Lezione 1

Lezione 1
Introduzione
al Data
Warehousing
Data Warehousing: Principi e
Modelli
27/02/2010
1
Motivazioni
I dati disponibili ad un’organizzazione sono
spesso memorizzati su sorgenti informative
pre-esistenti e differenziate
Collezioni eterogenee di ambienti hardware e
software
27/02/2010
Modelli logici differenti
Linguaggi di definizione e di manipolazione dei dati differenti
Meccanismi di gestione della concorrenza e delle transazioni
eterogenei
2
Informazione Distribuita
È necessario garantire la massima trasparenza per
gli utenti finali
È necessario garantire la massima autonomia alle
basi di dati coinvolte
Trasparenza ed autonomia sono molto spesso in
conflitto
Al fine di raggiungere una elevata efficienza è
necessario minimizzare le interazioni tra i componenti
Cooperazione: garantire la massima trasparenza,
autonomia ed efficienza
27/02/2010
3
Informazione Distribuita: Problemi
Gli schemi delle basi di dati da integrare
possono essere differenti
Automobili(numTelaio, modello, colore,
cambioAutomatico, lettoreCD, …)
Autovetture(nTelaio, modello, colore)
Optional(nTelaio, optional)
Nomi diversi possono essere utilizzati per
rappresentare lo stesso concetto (sinonimie)
Nomi uguali possono essere utilizzati per
rappresentare concetti diversi (omonimie)
27/02/2010
4
Informazione Distribuita: Problemi
Differenze nel tipo di dati
Differenze nei valori
Differenze nella semantica
Valori mancanti
27/02/2010
5
Informazione Distribuita: Problemi
La quantità di dati disponibili rende la loro
interpretazione ai fini della gestione dei
processi organizzativi spesso complessa, se
non impossibile, con strumenti tradizionali
Spesso i dati non vengono utilizzati
Decisioni importanti vengono prese senza
sfruttare tutte le informazioni disponibili
È necessario cercare di colmare il gap tra dati
e informazioni estraendo informazioni utili dai
dati disponibili
27/02/2010
6
Informazione Distribuita: Soluzioni
Database Distribuiti
Sistemi Informativi Federati
vi sono più sorgenti indipendenti; ciascuna può richiedere
alle altre informazioni
Sistemi Informativi Cooperativi
vi è un unico DBMS ma i dati sono distribuiti su più siti
le sorgenti sono indipendenti; al di sopra di esse vi è un
componente software che supporta un database virtuale che
l’utente può interrogare come se lo stesso fosse
materializzato
Data Warehousing
27/02/2010
le copie dei dati provenienti da sorgenti differenti sono
memorizzate in un singolo database integrato, denominato
Data Warehouse, dedicato al supporto delle decisioni
7
Database distribuiti
Il DBMS è unico; i dati sono però memorizzati
(ed, eventualmente, replicati) su più siti
In questo modo si massimizza la trasparenza
ma si annulla l’autonomia
Possibili forme di distribuzione dei dati nei
siti:
27/02/2010
Replicazione
Frammentazione
Replicazione e Frammentazione
8
Database distribuiti: Problemi
L’integrazione completa dei sistemi esistenti in un
database omogeneo è spesso difficile per:
difficoltà tecniche: costo di conversione alto
difficoltà organizzative: i DBMS esistenti appartengono a
diversi dipartimenti o organizzazioni
Generalmente, nell’effettuare l’informatizzazione di
un’organizzazione complessa, emerge sempre la
necessità di garantire un alto grado di autonomia ai
singoli dipartimenti
Negli ultimi anni questo trend si è via via sempre più
consolidato
27/02/2010
9
Sistemi Federati
Connessioni uno-ad-uno tra tutte le coppie di sorgenti
informative
IS-j può interrogare IS-i utilizzando il linguaggio e le
modalità che quest’ultimo è in grado di comprendere
Problema:
con n sorgenti informative è necessario scrivere n(n-1)
porzioni di codici di traduzione
Tale architettura è adeguata quando le
comunicazioni nel sistema avvengono
prevalentemente tra singole coppie di sorgenti o
quando il numero delle sorgenti coinvolte è piccolo
27/02/2010
10
Altre soluzioni
Sistemi cooperativi:
risolvono solo il problema dell’accesso
trasparente all’informazione
DWs
27/02/2010
danno valore aggiunto all’informazione
disponibile, fornendo ulteriori servizi
informativi che vanno al di là del mero
accesso trasparente all’informazione
11
Introduzione al Data Warehousing
Dati
rappresentazione digitale di informazioni
Informazione
rappresentazione di porzioni di un dominio
applicativo così come percepito dagli utenti
finali
“business contextualized data”
27/02/2010
12
Introduzione al Data Warehousing
Problemi da affrontare / Requisiti:
Accedere facilmente alle informazioni
necessarie anche con conoscenze
informatiche limitate: Accessibilità
Estrarre l’informazione di interesse da basi di
dati operazionali eterogenee a disposizione:
Integrazione
Decidere in qualunque momento quali analisi
condurre: Flessibilità di interrogazione
27/02/2010
13
Introduzione al Data Warehousing
Problemi da affrontare / Requisiti:
Mostrare all’utente l’informazione al livello di
dettaglio desiderato: Sintesi
Fornire una visione intuitiva e manipolabile
delle informazioni: Rappresentazione
multidimensionale
Correttezza e Completezza
27/02/2010
14
Introduzione al Data Warehousing
Data Warehouse (magazzino di dati)
Garante dei requisiti per un DSS
Orientato ai soggetti
Integrato e Consistente
Rappresentante dell’evoluzione temporale
(dati permanenti)
Finalizzato ai processi decisionali
27/02/2010
15
Introduzione al Data Warehousing
L’idea alla base dello sviluppo dei Data
Warehouse consiste nell’osservazione che le
esigenze di
processi operativi
processi decisionali
sono profondamente diverse e che sia quindi
sbagliato tentare di soddisfarle tutte con uno
stesso ambiente operativo
27/02/2010
Master IFM
16
Introduzione al Data Warehousing
Data Warehouse (caratteristiche)
Nessun inserimento nuova informazione
Riorganizzazione informazione esistente
Analisi su archi temporali molto lunghi
Aggiornamenti “a freddo”
Gestione transizioni non richiesta
27/02/2010
17
Introduzione al Data Warehousing
Processi Operativi
Dati attuali
Dati elementari
Inserimento, cancellazione, lettura
Spazi di occupazione contenuti
Applicazioni precostituite
Processi Decisionali
Dati attuali e storici
Dati elementari ed aggregati
Aggregazioni, lettura
Spazi di occupazione crescenti
Report, analisi, navigazione
27/02/2010
18
Introduzione al Data Warehousing
OLTP
On-Line Transactional Processing
Tipico dei DB-Operazionali
Dati dettagliati, aggiornati e recenti
Ridotto numero di record interessati
Interrogazioni semplici
Indispensabile sofisticata gestione transizioni
27/02/2010
19
Introduzione al Data Warehousing
OLAP
On-Line Analytical Processing
Tipico dei Data Warehouse
Dati storici e aggregati
Basi di dati multiple ed eterogenee
Grande quantità di record interessati
Interrogazioni complesse ma non updates
27/02/2010
20
Introduzione al Data Warehousing
Sistemi “Operazionali”
orientati alle transazioni
memorizzano dati “realtime”
transazioni semplici
ottimizzati su un insieme
di
transazioni predefinite
sono utilizzati da
personale che trattano
dati “individuali”
27/02/2010
Sistemi “Informazionali”
utilizzati per controllo di
gestione
dati storicizzati
ottimizzati per le
interrogazioni
il loro utilizzo è
largamente non
prevedibile
utilizzati dal management
ed altri utenti finali per
capire andamenti
aziendali e poter decidere
21
Introduzione al Data Warehousing
DB-Operazionali
Data Warehouse
Utenti
Impiegati
Dirigenti
Accesso
Pochi record (R/W)
Molti record (R)
Funzione
Operatività gionaliera
Supporto alle decisioni
Qualità
Integrità
Consistenza
Arco temporale
Dati correnti
Dati correnti e storici
Aggiornamenti
Continui
Periodici
Lavoro
Transazione Breve
Interrogazione Complessa
Modello
Normalizzato
Denormalizzato
Ottimizzazione
Per accessi OLTP
Per accessi OLAP
27/02/2010
22
Introduzione al Data Warehousing
Riassumendo:
Sistemi operazionali:
Sistemi informazionali:
27/02/2010
Gestione real-time dei processi aziendali (produttivi e non)
Gestiscono dati di tipo real-time
Progettati per eseguire efficientemente centinaia di piccole
transazioni predefinite di tipo read/write
Supporto alla gestione (qui e di seguito inteso in senso
lato)
Basati sulla “registrazione” della storia della realtà
aziendale
Progettati per eseguire efficientemente interrogazioni
complesse non necessariamente pre-definite
23
Introduzione al Data Warehousing
Nel Data Warehouse il significato di un dato deve
essere concorde a livello aziendale e definito con
precisione in termini informatici.
Sistemi Operazionali
Data Warehouse
Appl A – Descrizione 1
Appl B – Descrizione 2
Appl C – Descrizione 3
Appl A – m,f
Appl B – 1,0
Appl C – x,y
Appl A – Date(yymmdd)
Appl B – Data(mmddaa)
Descrizione
Popolamento
m,f
Data(ddmmyy)
Appl C – Data (assoluta)
27/02/2010
24
Introduzione al Data Warehousing
Data Warehouse
Ambiente
Operativo
27/02/2010
Back
end
DBMS
Front
end
utenti
25
Introduzione al Data Warehousing
Sviluppo spinto da una doppia esigenza
delle organizzazioni:
Necessità di una visione complessiva delle
informazioni
Necessità di un abbattimento dei costi di
gestione delle informazioni
Considerate singolarmente le due
esigenze non avrebbero determinato
questa spinta
27/02/2010
26
Introduzione al Data Warehousing
Determinato dalla disponibilità di
strumenti che hanno abbattuto i costi di
sviluppo
Determinato dall’accettazione diffusa
della centralità del bene informazione
come vantaggio competitivo
Difficoltà primaria / vantaggio primario:
ottenimento di una visione univoca ed
integrata dei dati
27/02/2010
27
Introduzione al Data Warehousing
Esempio
compagnia aerea che, incrociando dati relativi ai frequent
flyers ed alla vendita di biglietti è in grado di ottenere migliori
risultati dalle campagne promozionali
I gestori percepiscono la necessità di accedere in
maniera flessibile all’intero patrimonio informativo
disponibile e la tecnologia è matura per fornire gli
strumenti adatti a questo scopo
Tuttavia i problemi di integrazione da soli non
giustificano lo sviluppo di un DW
Uno studio calcola nel 321% in ROI medio dei progetti
di DW per organizzazioni medio-grandi, con un
periodo medio di payback pari a 2.73 anni
27/02/2010
28
Introduzione al Data Warehousing
Il principale vantaggio dei DW
risiede nel fatto che essi consentono
di utilizzare le informazioni disponibili
in maniera innovativa e non
completamente prefigurabile
27/02/2010
29
Introduzione al Data Warehousing
In ogni caso, e com’è ovvio, un DW non
rappresenta una panacea a tutti i
problemi di trattamento dati di
un’organizzazione
27/02/2010
30
Introduzione al Data Warehousing
Le difficoltà tecniche dello sviluppo di
DW “enterprise-wide” hanno
relativamente frenato la diffusione dei
DW
Accelerazione significativa negli ultimi
anni
Forte spinta verso l’espansione
dell’insieme dei soggetti fruitori di
informazione
27/02/2010
31
Introduzione al Data Warehousing
L’“Information-based management” si
caratterizza oggi nei seguenti punti:
Unica sorgente informativa:
Distribuzione dell’informazione:
27/02/2010
esigenza di riconciliazione e ripulitura dei dati
l’informazione deve poter essere utilizzata ai
diversi livelli di responsabilità decisionale nel
formato più appropriato
32
Introduzione al Data Warehousing
Informazione adattata alle esigenze
decisionali
“Consegna” automatica di nuova
informazione
Qualità e protezione dell’informazione:
l’informazione è bene primario
dell’organizzazione
la sua qualità deve essere garantita
deve essere correttamente protetta
27/02/2010
33
Introduzione al Data Warehousing
A questo livello
vi sono le
applicazioni per
il supporto alle
decisioni
popolamento
BIG
DW
catalog
Enterprise
model
27/02/2010
34
Introduzione al Data Warehousing
tecnologie introdotte nelle organizzazioni “una per volta”
naturale sedimentazione storica delle applicazioni
possibilità un tempo limitata di condurre progetti di sviluppo
altamente integrati
Frammentazione ed inconsistenza tra dati utilizzati da
applicazioni diverse
NOTA: la frammentazione non è di per sé
negativa, consentendo sviluppo veloce di
applicazioni basate su funzioni
27/02/2010
35
Introduzione al Data Warehousing
ambiente applicativo:
forgiato sulla base delle “funzioni” da erogare (es.
Vendita di un prodotto) e modellabile come un
insieme di attività “semplici”
definizione di domini di dati differenti, uno per
ogni applicazione
applicazione:
27/02/2010
insieme di funzioni che l’utente percepisce essere
tra loro collegate (e forse sviluppate in maniera
integrata)
i relativi domini di dati sono consistentemente
percepiti come insiemi integrati e tra loro disgiunti
36
Introduzione al Data Warehousing
il problema principale resta quello delle
inconsistenze
di rappresentazione
di uso
risolvibile solo parzialmente
nell’ambiente operazionale
peggiorato dall’enorme diffusione
dell’informatica personale
27/02/2010
37
Introduzione al Data Warehousing
In realtà.......
Le applicazioni operazionali sono
per loro natura “basate su funzioni” e, perciò,
il problema delle inconsistenze relative
è di fatto intrinseco ad esse
27/02/2010
38