Redazione e Presentazione di Progetti Informatici
annuncio pubblicitario
Redazione e Presentazione di Progetti Informatici Corso di Laurea in Informatica Massimo Ruffolo E-mail: [email protected] Web: http://www.icar.cnr.it/ruffolo Istituto di CAlcolo e Reti ad alte prestazioni del Consiglio Nazionale delle Ricerche (ICAR-CNR) Exeura s.r.l. – Spin-off dell’Università della Calabria Corso di RPPI - Massimo Ruffolo – Data Warehousing 1 Data Warehouse: Definizione Definizione Un DW è un struttura che memorizza una raccolta completa e consistente di dati ottenuti da sorgenti informative diverse e resi disponibili agli utenti finali utilizzando modi e formati che li renda immediatamente interpretabili ed utilizzabili agli scopi del “decision making” Corso di RPPI - Massimo Ruffolo – Data Warehousing 2 •1 Elementi di Data Warehousing Data Warehouse Ambiente Operativo Back end DBMS Front end utenti Corso di RPPI - Massimo Ruffolo – Data Warehousing 3 Elementi di Data Warehousing Ambiente Operativo Applicazione A Applicazione B Ambiente Decisionale Query Report Analisi Navigazione Applicazione C Corso di RPPI - Massimo Ruffolo – Data Warehousing 4 •2 Elementi di Data Warehousing Processi Operativi Dati attuali Dati elementari Inserimento, cancellazione, lettura Spazi di occupazione contenuti Applicazioni precostituite Processi Decisionali Dati attuali e storici Dati elementari ed aggregati Aggregazioni, lettura Spazi di occupazione crescenti Report, analisi, navigazione Corso di RPPI - Massimo Ruffolo – Data Warehousing 5 Elementi di Data Warehousing Proprietà di integrazione: Nel Data Warehouse il significato di un dato deve essere concorde a livello aziendale e definito con precisione in termini informatici. Sistemi Operazionali Data Warehouse Appl A – Descrizione 1 Appl B – Descrizione 2 Appl C – Descrizione 3 Appl A – m,f Appl B – 1,0 Appl C – x,y Appl A – Date(yymmdd) Appl B – Data(mmddaa) Descrizione Popolamento m,f Data(ddmmyy) Appl C – Data (assoluta) Corso di RPPI - Massimo Ruffolo – Data Warehousing 6 •3 Elementi di Data Warehousing: Caratteristiche Orientamento decisionale: cambiamento dalla prospettiva di dati per le applicazioni (dati per supportare il processo produttivo) a quella di dati per il management (dati per supportare il processo decisionale) Integrazione: il database consolida (come un bilancio consolidato) i dati dai differenti sistemi che utilizzano diversi metodi di codifica, unità di misura o altro, ed elimina le inconsistenze tra i dati Gestione storica dei dati: mentre i dati operazionali danno una visione sincronica (a un certo momento) e sono validi nel momento in cui si leggono, i dati in un datawarehouse tengono conto della variabile tempo e possono essere utilizzati per analizzare la "storia" degli eventi Non volatilità: i dati nuovi vengono aggiunti e non vanno a rimpiazzare quelli vecchi, preservando la temporalità ed accrescendo il contenuto informativo Corso di RPPI - Massimo Ruffolo – Data Warehousing 7 Classificazione dei dati nel DW Dati di business: dati di interesse dell’organizzazione utilizzati nei processi operazionali, gestionali e direzionali; sono modificati ed usati dai sistemi operazionali e dai DW Metadati: descrivono tutti gli aspetti dei dati contenuti nel DW, in modo che essi possano essere utilizzati in maniera consistente. Dunque si memorizzano informazioni sull’origine dei dati, sulle trasformazioni cui sono sottoposti e anche informazioni temporali relative alla creazione, all’ultima modifica o all’eliminazione dei dati. Corso di RPPI - Massimo Ruffolo – Data Warehousing 8 •4 Dati di business real-time: i dati correnti dell’azienda, essi sono manipolati esclusivamente dai processi operazionali e sono al massimo livello di dettaglio. Essi non vanno confusi con i dati attuali del DW, in quanto risiedono sulle sorgenti dati del DW e quindi sono nel formato nativo storici: molto dettagliati, hanno già subito la fase di integrazione e quindi fanno parte del DW. Essi risalgono a un periodo temporale non di interesse per le indagini attuali, perciò sono memorizzati su memorie di massa poco costose che sono accedute molto di rado riconciliati: sono il risultato della prima trasformazione che subiscono i dati real-time prima di essere caricati nel DW; sono il risultato dell’integrazione e della razionalizzazione dei dati real-time derivati: derivano dai dati riconciliati, se essi sono stati implementati, oppure dai dati real-time. Possono esistere a vario livello di dettaglio e sono proprio quelli usati dalle applicazioni DSS, sono acceduti solo in lettura Corso di RPPI - Massimo Ruffolo – Data Warehousing 9 Strumenti ETL Extraction o Capture (estrazione): ¾ ¾ statica: il DW viene popolato per la prima volta incrementale: il DW viene periodicamente aggiornato Cleaning o Scrubbing (pulitura): fase critica, deve migliorare la qualità dei dati provenienti dalle sorgenti informative, tipicamente sporchi a causa di errori e inconsistenze. Effettua ¾ la correzione e l’omogeneizzazione (riconoscimento di sinonimie, omonimie) ¾ la pulitura basata su regole (applicazione di regole proprie del dominio applicativo per l’individuazione delle corrette corrispondenze tra i valori) Transformation (trasformazione): fase di conversione dei dati dal formato delle sorgenti a quello del DW; è strettamente legata alla fase di pulitura Loading (caricamento): ¾ ¾ refresh: i dati del DW vengono riscritti integralmente (è usato in abbinamento all’estrazione statica) update: solo i cambiamenti occorsi nelle sorgenti informative vengono caricati nel DW (è usato in abbinamento all’estrazione incrementale). I dati preesistenti nel DW non vengono distrutti né alterati Corso di RPPI - Massimo Ruffolo – Data Warehousing 10 •5 Strumenti ETL: wrapper e mediator Wrapper: componente software che fa da interprete tra l’ambiente globale e la singola sorgente informativa Mediator: integra le informazioni estratte dai wrapper in un’unica sorgente informativa Corso di RPPI - Massimo Ruffolo – Data Warehousing 11 Elementi di Data Warehousing: Architettura A questo livello vi sono le applicazioni per il supporto alle decisioni BIG DW catalog popolamento Enterprise model Corso di RPPI - Massimo Ruffolo – Data Warehousing 12 •6 Elementi di Data Warehousing: Architettura Architettura Separazione: l’elaborazione analitica e quella transazionale devono essere mantenute il più possibile separate Scalabilità: l’architettura hardware e software deve poter essere facilmente ridimensionata a fronte della crescita nel tempo del volume di dati da gestire e da elaborare e del numero di utenti da soddisfare Estendibilità: deve essere possibile accogliere nuove applicazioni e tecnologie senza riprogettare integralmente il sistema Sicurezza: il controllo sugli accessi è essenziale a causa della natura strategica dei dati memorizzati Accessibilità: la complessità dell’attività di amministrazione non deve risultare eccessiva Corso di RPPI - Massimo Ruffolo – Data Warehousing 13 Il Data Warehousing del Bando Scopro Regione Regione APT APT Università Università Associazioni Associazioni Industriali Industriali UTENTI Oss. Oss. SE SE Oss. Oss. Turismo Turismo Oss. Oss. Univ. Univ. Oss. Oss. Imprese Imprese OSSERVATORI DW-PTC DW DW-PTC Oscar SORGENTI Erica Corso di RPPI - Massimo Ruffolo – Data Warehousing Turismo Segreteria Studenti 14 •7 Il Data Warehousing del Bando Scopro I dati, materia prima di un Data Warehouse, vengono modellati e trasformati al fine di supportare il processo decisionale. Il progetto DW-PTC mette a disposizione del management di Telcal, dei decisori istituzionali, dei cittadini e del mondo produttivo calabrese risorse informative della regione Calabria interne ed esterne al PTC. Le sorgenti informative del DW-PTC: OSCAR (Osservatorio Statistico Calabrese per l’Analisi e la Rilevazione) – Azione Progettuale Ricerca ERICA (Elenco Registro Imprese Calabrese) – Azione Progettuale Agricoltura e PMI Flussi Turistici – Azione Progettuale Turismo Segreteria Studenti – Università degli Studi della Calabria Corso di RPPI - Massimo Ruffolo – Data Warehousing 15 Il Data Warehousing del Bando Scopro OSCAR • E’ una Banca Dati relazionale che informazioni di tipo economico e sociale fornisce • Abbraccia un arco temporale che va dal 1991 al 1998 • Contiene 74000 record per un totale di circa 2 MB • E’ fornita dall’Azione Progettuale Ricerca Consente: • Analisi del tessuto economico e sociale • Elaborazioni statistiche sugli indicatori • Monitoraggio della diffusione delle ICT sul territorio Corso di RPPI - Massimo Ruffolo – Data Warehousing 16 •8 Il Data Warehousing del Bando Scopro OSCAR Popolazione Popolazione residente, residente, numero numero di di famiglie, famiglie, ecc. ecc. consumi consumi di di energia energia elettrica, elettrica, addetti addetti alle alle unità unità locali locali non non agricole, agricole, ecc. ecc. • Demografia • Struttura Produttiva • Territorio • Condizioni SocioEconomiche • Dotazioni di Servizi • Potenziali Fruitori della Domanda Telematica distanza distanza di di un un determinato determinato comune comune dall’aeroporto dall’aeroporto oo distanza distanza dal dal capoluogo, capoluogo, ecc. ecc. numero numero di di contribuenti contribuenti IRPEF, IRPEF, depositi depositi delle delle aziende aziende di di credito, credito, ecc. ecc. numero numero di di posti posti letto letto in in istituti istituti pubblici pubblici di di cura, cura, aule aule scuola scuola media media inferiore, inferiore, ecc. ecc. agenzie agenzie marittime, marittime, agenti agenti ed ed agenzie agenzie di di affari, affari, ecc. ecc. Corso di RPPI - Massimo Ruffolo – Data Warehousing 17 Il Data Warehousing del Bando Scopro ERICA • E’ una Banca Dati relazionale che offre informazioni anagrafiche relative alle imprese ubicate nel territorio calabrese • Abbraccia un arco temporale che va da novembre 1999 a maggio 2000 • Contiene 165000 imprese per un totale di circa 60 MB • E’ fornita dall’Azione Progettuale Agricoltura e PMI Consente analisi: • sulla composizione del tessuto produttivo • settoriali e per aree territoriali • sulla ricaduta di politiche di incentivazione e di sostegno all’imprenditoria. Corso di RPPI - Massimo Ruffolo – Data Warehousing 18 •9 Il Data Warehousing del Bando Scopro ERICA Attività Attività Economica Economica Natura Natura Giuridica Giuridica Capitale Capitale Sociale Sociale Le principali informazioni contenute in ERICA Stato Stato di di Attività Attività Localizzazione Localizzazione Variazione Variazione di di Stato Stato Corso di RPPI - Massimo Ruffolo – Data Warehousing 19 Il Data Warehousing del Bando Scopro Turismo • Proviene da informazioni cartacee fornite dall’Azione Progettuale Turismo • Non costituisce una vera e propria sorgente operazionale Consente: • Il monitoraggio dell’andamento del turismo nelle varie aree • Analisi sul grado di utilizzo delle struttura alberghiere ed extra alberghiere nei vari periodi dell’anno • Analisi sulla tipologia di offerta turistica Corso di RPPI - Massimo Ruffolo – Data Warehousing 20 •10 Il Data Warehousing del Bando Scopro Turismo Flussi Flussi di di turisti turisti italiani italiani Flussi Flussi di di turisti turisti stranieri stranieri Flussi Flussi di di turisti turisti in in strutture strutture alberghiere alberghiere Informazioni sui flussi turistici cha hanno interessato la Calabria negli anni dal 1990 al 1998 Flussi Flussi di di turisti turisti in in strutture strutture extra-alberghiere extra-alberghiere Presenze Presenze nelle nelle strutture strutture alberg. alberg. ed ed extra-alberg. extra-alberg. Corso di RPPI - Massimo Ruffolo – Data Warehousing 21 Il Data Warehousing del Bando Scopro Segreteria Studenti UNICAL • E’ fornita dall’Università della Calabria • Contiene 11000 iscritti, 126000 esami, 1490 lauree per la sola facoltà di ingegneria per un totale di circa 20 MB • Abbraccia un arco temporale che va dal 1994 al 2000 • E’ una Banca Dati relazionale che offre informazioni sul percorso di studio degli studenti dell’università della Calabria Consente: • Il monitoraggio del sistema universitario calabrese • Analisi sull’abbandono rendimento • Analisi sul all’università passaggio Corso di RPPI - Massimo Ruffolo – Data Warehousing universitario dalla scuola e sul superiore 22 •11 Il Data Warehousing del Bando Scopro Segreteria Studenti UNICAL Lauree Lauree Diplomi Diplomi Esami Esami Le principali informazioni Maturità Maturità Test Test di di Ammissione Ammissione Curricula Curricula Corso di RPPI - Massimo Ruffolo – Data Warehousing 23 Il Data Warehousing del Bando Scopro Erica Segr. Studenti Oscar Turismo Estrazione Trasformazione Schemi Intermedi Integrazione DW-PTC Olap Olap Corso di RPPI - Massimo Ruffolo – Data Warehousing Data-Mining Data-Mining 24 •12 Il Data Warehousing del Bando Scopro Segreteria Studenti UNICAL Materie Materie Università Università Facoltà Facoltà Lauree Lauree Esami Esami Analisi Revers Engineering Immatricolazioni Immatricolazioni Percorso Percorso accademico accademico Studente Studente Materie Materie Iscrizioni Iscrizioni Maturità Maturità Lauree Lauree Corso Corso di di laurea laurea Corso di RPPI - Massimo Ruffolo – Data Warehousing 25 Il Data Warehousing del Bando Scopro Livelli di Accesso Descrizione dei Report BIW Dimensional Fact Tree Metadati Metadati BIW BIW Struttura dei Data Mart Livelli di Accesso BDW Log Accessi Mapping Metadati Metadati BDW BDW Schema Integrato Sorgenti Procedure di ETL Schemi Intermedi Mapping Procedure ETL Metadati Metadati Sorgenti Sorgenti Struttura Sorgenti Operazionali Corso di RPPI - Massimo Ruffolo – Data Warehousing 26 •13
