Analisi di Metriche e Algoritmi per la Qualit`a dei Dati. Progettazione
annuncio pubblicitario
UNIVERSITÀ DEGLI STUDI DI MILANO - BICOCCA Dipartimento di Informatica Sistemistica e Comunicazione Facoltà di Scienze Matematiche, Fisiche e Naturali Corso di Laurea in Informatica Analisi di Metriche e Algoritmi per la Qualità dei Dati. Progettazione e Realizzazione di un Framework per l’Assessment della Qualità. Docenti: Prof. Carlo BATINI Ing. Andrea MAURINO Dott. Daniele BARONE Corso di Sistemi Informativi Esercitazione di Laboratorio Anno Accademico 2006-2007 Indice 1 Realizzazione di un Framework per la valutazione della qualità dei dati 2 1.1 Obiettivi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2 Strumenti da Utilizzare . . . . . . . . . . . . . . . . . . . . . 2 1.3 Funzionalità offerte e Struttura del Framework . . . . . . . . 3 1.3.1 Funzionalità . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3.2 Struttura . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.4 Specifiche per le Metriche da Implementare nel Framework . 4 1.4.1 Completezza . . . . . . . . . . . . . . . . . . . . . . . 4 1.4.2 Accuratezza Sintattica . . . . . . . . . . . . . . . . . . 7 1.5 Localizzazione e Correzione di Errori . . . . . . . . . . . . . . 14 1.5.1 Il Framework: Attività di Localizzazione e Correzione 14 A Appendice: Close Word Assumption 18 B Accuratezza 20 C Funzioni di Similarità C.1 Principali Funzioni di Similarità Bibliografia 21 . . . . . . . . . . . . . . . . 21 24 1 Capitolo 1 Realizzazione di un Framework per la valutazione della qualità dei dati 1.1 Obiettivi Lo scopo dell’esercizio è la realizzazione di un framework che permetta l’assessment della qualità dei dati di uno specifico database. In letteratura [1], il numero di dimensioni di qualità presenti è molto elevato, il framework che si vuole sviluppare deve implementare le seguendi dimensioni di qualità: la completeness e la syntactic accuracy. 1.2 Strumenti da Utilizzare Il framework deve esser realizzato utilizzando tecnologie e strumenti di sviluppo open source; in particolare, il linguaggio di programmazione Java [23] con l’ausilio di un’ambiente di sviluppo integrato (IDE) quale Eclipse [20]; e come Database management system (DBMS) il DMBS relazionale MySQL [19]. Con il linguaggio Java sarà possibile utilizzare librerie esterne open source che svolgono un ruolo importante, elenchiamole: • Java Database Connectivity (JDBC) [24]: le API per la connessione indipendente ai database tra un programma in linguaggio Java e una vasta gamma di database, tra cui MySQL. Forniscono API per l’accesso tramite il linguaggio SQL. Nel framework è utilizzata per la connessione al database MySQL e per tutti gli accessi e gestione dei dati ricavati dal database. • SimMetrics [25]: è una libreria Java open source per funzioni di similarità o distanza, ad esempio Levenshtein distance; tutte le funzioni 2 CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL forniscono un risultato compreso tra 0 e 1. Nel framework è utilizzata in alcune metriche per fornire le funzioni di similarità utili all’assessment della dimensione. • JFreeChart [26]: è una libreria Java open source che fornisce classi per lo sviluppo di diagrammi professionali; supporta molti tipi di diagrammi e di output tra cui componenti Swing, file immagine (PNG e JPEG), file di grafica vettoriale (EPS, PDF e SVG). Nel framework è utilizzata per la creazione di grafici a torta, per la visualizzazione grafica dei risultati. OPZIONALE: Questa libreria si utilizza solo nel caso si volesse approfondire l’esercizio e si volesse visualizzare i risultati attraverso opportuni grafici (es. istogrammi, torte, etc.). 1.3 Funzionalità offerte e Struttura del Framework In questo paragrafo forniamo una breve descrizione delle funzioni che il framework deve offrire e della sua struttura (ovvero le principali classi Java che devono esser definite). 1.3.1 Funzionalità Connessione: La prima funzione che deve essere offerta è la connessione/disconnesione al/dal database sul quale deve essere effettuato l’assessment della qualità. E’ possibile scegliere un qualsiasi database relazionale ma è consigliato l’utilizzo del DBMS MySQL. OPZIONALE: Se si vogliono memorizzare i risultati dell’attività di assessment sara necessario creare una conessione ad uno specifico database che contenga questi risultati. Informazioni Generali Database: Questa funzione permette di visualizzare informazioni generali sul database. Le informazioni relative al database sono ad esempio (i) il numero e il nome delle tabelle che contiene, e (ii) per ogni tabella il numero, il nome e il tipo degli attributi che essa contiene. Valutazione e Visualizzazione dei Risultati: Sono presenti le funzioni per la valutazione delle dimensioni di qualità a diversi livelli di granularità (singoli valori, tuple, attributi, tabelle e intero database) e loro visualizzazione. La visualizzazione può esser effettuata attraverso interfaccia testuale cosi come la scelta delle funzionalità. Le specifiiche per la valutazione delle dimensioni della qualità sono trattate nei paragrafi successivi. CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL 1.3.2 Struttura Il framework è organizzato in due livelli, un livello di front-end che rappresenta ciò che vede l’utente, ovvero l’interfaccia grafica testuale con la scelta delle funzionalità. Un livello di back-end che costituisce il framework vero e proprio, costituita dagli algoritmi e dalla connesione al database. Nel seguito viena fornita una breve descrizione delle principali classi Java che devono comporre il framework: • MainWindow.java: è una classe fondamentale e realizza l’interfaccia principale del framework. • Completeness.java: classe per l’implementazione delle metriche della dimensione completezza. • FrequencySynAcc.java: classe per l’implementazione della metrica della dimensione accuratezza sintattica dell’attributo, basata sulla frequenza dei valori. • SyntacticAccuracy.java: classe per l’implementazione della metrica della dimensione accuratezza sintattica dell’attributo, basata sulla lookup table. • RecordLinkage.java: classe per l’implementazione della metrica dell’accuratezza sintattica di tuple e relazione. 1.4 Specifiche per le Metriche da Implementare nel Framework In questo paragrafo vengono illustrate le dimensioni che devono esser considerate nel framework; per ognuna di esse vengono analizzate le relative metriche da implementare. 1.4.1 Completezza La dimensione completezza è calcolata nei seguenti livelli di granularità: • Relazione • Attributo • Tupla La metrica è basata sull’assunzione del modello a valori nulli e rispetta la closed world assumption CWA, spiegata in dettaglio nell’ Appendice A. La valutazione della completezza avviene utilizzando una delle tre forme CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL funzionali [4] (Simple Ratio, Min or Max Operation, Weighted Average); si propone l’utilizzo della Simple Ratio illustrata di seguito. L’algoritmo utilizzato nel framework deve basarsi sulla combinazione del modello a valori nulli, dell’assunzione CWA e della forma simple ratio. Simple Ratio La simple ratio, ovvero il rapporto semplice misura il rapporto tra i risultati desiderati e il numero totale di risultati (prima forma); tuttavia una forma migliore è il numero di risultati non desiderati diviso il numero totale, sottratto a uno (seconda forma). Il simple ratio aderisce alla convenzione che 1 rappresenta il risultato migliore e 0 quello peggiore. Le due forme di simple ratio, risultati non desiderati e risulati desiderati, danno le stesse informazioni ma nella pratica si preferisce un rapporto che mostra i risultati positivi, quindi la seconda forma, poichè questa forma è utile per confronti longitudinali che mostrano tendenze di miglioramento. Per quanto riguarda la completezza, questa dimensione può essere vista da diverse prospettive che implicano metriche diverse. Ad un livello di massima astrazione, si può definire il concetto di completezza dello schema che esprime il grado con cui entità e attributi risultano presenti nello schema. Al livello dei dati si può definire la completezza della colonna come funzione dei valori mancanti in una colonna della tabella. Un terzo tipo di metrica è chiamata completezza della popolazione. Se una colonna deve contenere almeno un’occorrenza di tutti i 50 possibili stati (valori), ma, per esempio, ne contiene solo 43 stati, abbiamo che la popolazione è incompleta. Ciascuna di queste tre metriche può essere misurata tramite il rapporto tra il numero di oggetti incompleti e il numero totale e successivamente sottraendolo a uno. Completezza Attributo Dopo aver selezionato l’attributo della relazione sul quale effettuare la misurazione, l’algoritmo inizia la ricerca dei valori nulli: inizializza a zero un contatore, per ogni tupla della relazione controlla il corrispondente valore dell’attributo, se risulta nullo, incrementa il contatore. Al termine della ricerca il contatore conterrà il numero di valori nulli relativi all’attributo. Successivamente viene applicato il simple ratio, riportandoci alla terminologia, i valori nulli rappresentano i risultati non desiderati, il numero di tuple della relazione il totale dei risultati; viene effettuato il rapporto tra i valori nulli e il numero di tuple e dopo sottratto a uno. Il risultato è un valore compreso tra 0 e 1 che viene espresso in percentuale moltiplicandolo per 100. Questo tipo di completezza è chiamata anche completezza verticale. In formula: Nvn CA = 1 − Nt CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL dove CA è la completezza dell’attributo, Nvn è il numero di valori nulli e Nt è il numero di tuple. Completezza Relazione Effettuata la scelta della relazione, l’algoritmo anche in questo caso ricerca i valori nulli, però riferendosi all’intera relazione, infatti per ogni attributo viene conteggiato il numero di valori nulli e poi effettuata una somma totale che rappresenta il numero di valori nulli dell’intera relazione. A questo punto viene utilizzata la prima forma del simple ratio, il rapporto è tra i risultati desiderati, numero valori non nulli (ricavato dalla differenza tra il totale dei valori e il numero di nulli), e il totale dei risultati ovvero il numero massimo di valori che una relazione potenzialmente può contenere che corrisponde alla grandezza della relazione data dal prodotto tra il numero di attributi per il numero di tuple. Questo tipo di completezza è chiamata anche completezza orizzontale. In formula: Nvnn CR = N dove CR è la completezza della relazione, Nvnn è il numero di valori non nulli e N è il numero massimo di valori possibili per la relazione. Completezza Tupla L’algoritmo, scelta la relazione, restituisce per ogni tupla il valore di completezza con una singola misurazione. Vediamo come lavora in dettaglio. Prendiamo in considerazione il caso di una singola tupla, visto che il calcolo si ripete in modo uguale sulle altre; la completezza è misurata tramite la seconda forma del simple ratio. Prima di tutto vengono analizzati i valori di tutti i campi della tupla e calcolato il numero di valori nulli, dopo viene effettuato il rapporto tra questo numero e il totale di attributi della relazione, il rapporto viene poi sottratto a uno. Facciamo alcune considerazioni. La misurazione effettuata dall’algoritmo può essere vista come una misura dell’informazione contenuta attualmente, rispetto alla massima informazione che una tupla potenzialmente può contenere, questo implica che tutti i valori della tupla contribuiscono allo stesso modo nel determinare il valore di completezza ovvero tutti gli attributi hanno lo stesso peso, questo è il nostro caso ma è possibile che gli attributi abbiamo pesi differenti e contribuiscano in modo diverso al risultato finale, questo perchè un valore nullo in un attributo è più importante che in un altro. OPZIONALE: Modificare l’algoritmo in modo che permetta la valutazione pesata. In formula: Nvn CT = 1 − Na CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL dove CT è la completezza della tupla, Nvn è il numero di valori nulli e Na è il numero di attributi. 1.4.2 Accuratezza Sintattica La dimensione accuratezza, come è possibile notare dalla letterarura presente, si divide in accuratezza semantica e accuratezza sintattica. L’accuratezza semantica spesso non è direttamente valutabile in quanto necessità di un confronto diretto con il mondo reale. L’accuratezza sintattica al contrario è più facilmente valutabile, anche se la sua valutazione non è proprio diretta, nel senso che, riferendoci al modello relazione, il risultato non è ottenibile analizzando i soli valori della relazione ma necessità di informazioni aggiuntive che assumono un ruolo importante nella valutazione, come vedremo in seguito nel dettaglio degli algoritmi. Si è cercato di trovare algoritmi in grado di svincolare la valutazione da queste informazioni aggiuntive ma sono state trovate poche soluzioni alternative, la consultazione di queste informazioni durante il calcolo per alcune metriche è indispensabile. Definiamo meglio il concetto, dalla definizione di accuratezza sintattica (si veda Appendice B)si capisce come si rende necessaria la presenza di un dominio di definizione D in modo da poter calcolare la vicinanza tra un valore v e gli elementi del corrispondente dominio D. Dal punto di vista implementativo, il dominio può essere visto come una sorgente dati di riferimento che viene consultata durante la valutazione, chiameremo questo dominio, LookUp Table, in modo da mettere in evidenza la sua implementazione tramite tabelle relazionali e la sua funzione di consultazione (dall’inglese lookup, consultare). Funzioni di Similarità E’ noto che le metriche per l’accuratezza sintattica si basano sull’utilizzo di funzioni di similarità che valutano la distanza tra un valore v e gli elementi del dominio. Esistono molte funzioni [13], ad esempio distanza di edit, distanza pesata, soundex, distanza con peso basato sulla frequenza e molte altre, approfondiremo le funzioni esistenti nell’Appendice C. In questo paragrafo ci si concentrerà su due in particolare che possono essere utilizzate negli algoritmi: la Jaro e la Soundex. • Jaro: Introduce una funzione di confronto tra stringhe che tiene conto di inserimenti, cancellazioni e trasposizioni. L’algoritmo di Jaro cerca il numero di caratteri comuni e il numero di caratteri trasposti nelle due stringhe. Un carattere comune è un carattere che appare in entrambe le stringhe con una distanza pari alla metà della lunghezza della stringa più corta. Un carattere trasposto è un carattere comune che appare in posizioni differenti. Come esempio consideriamo le stringhe Smith CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL e Simth, ci sono cinque caratteri comuni, due dei quali sono trasposti. La scala di confronto tra le stringhe per Jaro è data da: f (s1 , s2 ) = Nc lengthS1 + Nc lengthS2 Nt + 0.5 N c 3 dove s1 e s2 sono stringhe di lunghezza lengthS1 e lengthS2 rispettivamente, Nc è il numero di caratteri comuni tra le due stringhe (dove la distanza per caratteri comuni è la metà della lunghezza minima di s1 e s2 e Nt è il numero di trasposizioni). • Soundex: Lo scopo della funzione soundex è quello di raggruppare nomi che hanno suoni simili. Produce un codice, detto codice soundex. Per esempio il codice soundex di Hilbert e Heilbpr è simile. Un codice soundex contiene di regola quattro caratteri. La prima lettera del nome diventa il primo carattere del codice, i restanti tre caratteri sono dati dall’ordine sequenziale del nome, consultando una tabella predefinita. Per esempio il codice soundex di Hilbert e Heilbpr è H416. Una volta che il limite di quattro caratteri è raggiunto, le restanti lettere vengono ignorate. La Dimensione Accuratezza Sintattica è calcolata nei seguenti livelli di granularità: • Attributo • Tupla • Relazione Accuratezza Sintattica Attributo Per l’accuratezza sintattica dell’attributo vengono proposte due metriche, la prima si basa sul concetto di lookup table e la seconda sul concetto di frequenza dei valori. Per quanto riguarda la prima metrica, si assume che esista la lookup table relativa all’attributo che si vuole dare in input all’algoritmo. La lookup table è definita una relazione composta da due campi: un campo chiave contenente i valori che rappresentano gli elementi del dominio, un campo opzionale frequenza che indica la frequenza assoluta con cui quel valore è di solito presente in scenari reali(ad esempio il nome Mario è molto più frequente del nome Gilberto). Un esempio di lookup table relativa al dominio dei nomi può essere: CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL Nome Persona Luca Marco Paolo Giacomo John Frequenza 60 50 35 25 5 Dopo queste informazioni preliminari, vediamo in dettaglio l’algoritmo. La prima operazione che viene effettuata è quella di dividere i valori dell’ attributo accurati da quelli non accurati (prima analisi), che saranno poi sottoposti ad un ulteriore analisi; ogni valore v dell’attributo viene confrontato con tutti i valori v’ della lookup table, se risulta v = v’ allora v può considerarsi accurato in quanto presente nel dominio, se v non corrisponde a nessun v’ allora entra a far parte dell’insieme dei valori non accurati, da analizzare nuovamente. Su questo insieme facciamo una considerazione, esso contiene quei valori v che evidentemente dopo la prima analisi non risultano nel dominio, tutto quello che si può fare e una seconda analisi di vicinanza di questi v a quelli del dominio, con la speranza che il più vicino sia il valore che v vuole rappresentare con l’eccezione che v ha al suo interno degli errori sintattici. Riprendendo la descrizione, viene inizializzato e incrementato un contatore per i valori non accurati. A questo punto entra in gioco la funzione di similarità Jaro, ogni valore non accurato viene confrontato con tutti i valori della lookup table tramite la funzione, per ogni confronto viene restituito un valore di similarità compreso tra 0 e 1, tra tutti viene preso il massimo valore di similarità e contemporaneamente viene memorizzato il valore della lookup table più vicino. Questo procedimento viene ripetuto per ogni valore non accurato, come detto in precedenza. Ogni valore non accurato avrà quindi associato un valore di similarità e il relativo valore del dominio più vicino. Questo è un primo risultato che l’algoritmo restituisce, ovvero un accuratezza sintattica relativa ad ogni valore dell’attributo. Un secondo risultato è relativo all’accuratezza dell’attributo nel suo complesso che viene calcolato con la seconda forma del simple ratio, il rapporto tra il totale di valori non accurati e il numero di tuple della relazione, sottratto a uno. La seconda metrica è basata sulla frequenza dei valori e svincola completamente la valutazione dalla presenza di una lookup table per l’attributo. Tutto quello che viene fatto è un’analisi dei valori con l’utilizzo questa volta di due funzioni di similarità. Il dominio di definizione Df viene costruito dall’algoritmo; non è un dominio di possibili valori per l’attributo, come ad esempio, il dominio dei nomi di persona, ma è un dominio di confronto, ovvero un insieme costruito dall’algoritmo e utilizzato per confrontare i valori. Procediamo con la descrizione. Si analizzano i valori dell’attributo e per ognuno si contano le occorren- CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL ze; si passa alla creazione del dominio Df: i valori con numero di occorrenze maggiore o uguale a 2 (l’algoritmo deve permettere la parametrizzazione del valore) entrano a far parte di Df, i valori con numero di occorrenze pari a 1, vengono considerati valori a bassa frequenza che indichiamo con vlf (low frequency value) e vengono analizzati. Ogni vlf viene confrontato con ogni elemento di Df tramite la funzione di similarità Jaro; ogni operazione di confronto restituisce un risultato e tra tutti questi viene preso il massimo che indichiamo con maxsv (max similatity value) e contemporaneamente il valore di Df più vicino che chiamiamo vcl (close value). Si analizza maxsv e se risulta maggiore di una soglia posta a 0.8, vlf risulta accurato sintatticamente e può esser considerato un valore di Df ammissibile. Se invece maxsv è minore o uguale a 0.80, vlf viene analizzato tramite la funzione di similarità Soundex che prende come secondo argomento vcl. Facciamo una considerazione sui valori di soglia 2 e 0.8. Il valore 2 che permette di creare il dominio Df, è stato scelto in quanto si è pensato al fatto che un valore, presente come minimo due volte, può esser considerato “corretto”, invece se presente una volta può darsi che sia un valore uguale a quelli presenti ma con errori al suo interno oppure un valore “corretto”. Il valore 0.8 è frutto di prove sperimentali sulla funzione di distanza Jaro. Abbiamo notato che con similarità uguali o superiori a 0.8, due valori possono esser considerati simili con buona probabilità, invece con valori minori di 0.8 si ha una scarsa probabilità. La scelta della funzione soundex non è casuale, proprio per le sue caratteristiche di raggruppare nomi con suoni simili, a questo stadio della misurazione in cui abbiamo dopo una prima analisi dei valori considerati non accurati ma con una piccola probabilità che essi siano dei valori del dominio con almeno uno o più errori sintattici, permette di scoprire con un margine di errore accettabile se due valori rappresentano o meno lo stesso oggetto del mondo reale, nel caso dei nomi, ad esempio, permette di arrivare alla conclusione che palo e paolo sono lo stesso nome di una persona con nome proprio paolo e che palo è un nome con un evidente errore sintattico. Quindi, la funzione soundex permette di verificare se vlf è vcl a meno di qualche errore di accuratezza, oppure se vlf non è vcl e quindi vlf è accurato ed un valore ammissibile di Df. Al termine dell’applicazione di questa seconda funzione si avrà un insieme di valori non sintatticamente corretti. Infine si procede col determinare il valore dell’accuratezza sintattica dell’attributo tramite la seconda forma del simple ratio che effettua il rapporto tra il numero di valori non accurati e il numero totale di valori, sottratto a uno. Accuratezza Sintattica Tuple La misurazione dell’accuratezza sintattica a questo livello di dettaglio si differenzia molto dal livello dell’attributo, la metrica che deve essere imple- CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL mentata prevede due fasi, una prima fase di configurazione della misurazione e una seconda che coincide con la misurazione vera e propria. L’algoritmo si ispira alla tecnica del Record Linkage. Il problema del Record Linkage, conosciuto anche come record matching o meglio object identification problem, consiste nell’identificare se due record o tuple che non corrispondono tra loro accuratamente, possono tuttavia riferirsi allo stesso oggetto del mondo reale. Per fare questo e per capire se due record in due database sono tra loro equivalenti, si deve definire una funzione che misura la distanza tra i due record; un caso, che è quello adattato nel framework, è che il record con cui fare il confronto si trovi in una sorgente dati (relazione) diversa, che si suppone contenga le stesse tuple, ma corrette. La indicheremo sempre con il nome lookup table. Un tipico algoritmo di record linkage si sviluppa nei seguenti passi: 1. Normalizzazione dei formati: riorganizza i record e i valori secondo un formato standard e comune; 2. Blocking con riduzione dello spazio di ricerca; 3. Scelta della formula di distanza; 4. Per un campione di record già accoppiati, calcola per ogni valore di distanza la frequenza di matching e non matching; 5. Scelta, a partire dalla distribuzione di cui al punto 4 di due distanze di soglia min e max. Prima Fase: Configurazione della misurazione Ispirandoci alla tecnica del record linkage, come detto in precedenza si rende necessaria una lookup table, di fondamentale importanza per effettuare il confronto. Con riferimento all’algoritmo sopra riportato, questa fase potrebbe definirsi anche di normalizzazione dei formati. In ana prima possibile versione dell’algoritmo la lookup table assume la forma di una relazione identica a quella da valutare e contenente i valori corretti. Una considerazione può essere fatta a questo punto. La parola identica implica che la lookuptable oltre a contenere gli stessi valori, però corretti, deve avere anche la stessa struttura ovvero lo stesso numero di attributi e perfino nello stesso ordine. Per svincolare la valutazione dalle strutture delle relazioni è necessario una fase di configurazione, in cui definire sia per la relazione che per la lookup table, gli attributi che comporanno la struttura, tutti o un sottoinsieme e anche l’ordine; in questo modo l’utente non deve avere una lookup table identica ma simile e può adattare la struttura di una all’altra. CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL Facciamo un esempio, prendiamo in considerazione il caso degli indirizzi, data la seguente relazione ID 1 Tipo Corso Nome Vittorio Emanuele Città Milano Provincia Mi nel caso di lookup table identica, l’algoritmo per funzionare dovrebbe consultare una relazione come la seguente Key 1 Dug Corso Name Vittorio Emanuele Comune Milano Provincia Mi notiamo che i vincoli per il corretto funzionamento sono: ugual numero e stesso ordine di attributi. Il nome degli attributi è irrilevante. Altro vicolo importante è che anche la chiave primaria delle relazioni deve essere la stessa ovvero dello stesso tipo, ad esempio numerica (Integer), questo molto spesso non è possibile. Con la procedura di configurazione, la misurazione diventa più flessibile e possono essere prese in considerazione diverse strutture di lookup table. Facciamo alcuni esempi TipoNome Corso Vittorio Emanuele Città Milano Provincia Mi oppure ID 3 Indirizzo Corso Vittorio Emanuele Milano Mi Inoltre, con la prima versione non è possibile scegliere un sottoinsieme di attributi ma, bisogna considerare tutti gli attributi della relazione, inclusa la chiave primaria. Al contrario, con la seconda versione è possibile far si che i campi che compongono la tupla non siano tutti, ma un sottoinsieme scelto. Seconda Fase: Misurazione L’algoritmo, da sviluppare per verificare il grado di vicinanza di una tupla con la tupla corrispondente nella lookup table, si articola nei seguenti passi: 1. si concatenano in un unico campo, dopo aver rimosso gli spazi vuoti, tutti i valori degli attributi della tupla da valutare e si effettua la medesima operazione per la tupla della lookup table. La rimozione degli spazi vuoti serve ad evitare eventuali problemi connessi ai differenti formati di acquisizione delle informazioni in fase di inserimento, che possono anche non prevedere la possibilità d’includere spazi; 2. si definisce una lunghezza prefissata, ad esempio 3(l’algoritmo deve CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL permettere la parametrizzazione di questo valore), e si individuano nella stringa (ottenuta al passo 1) della tupla della lookup table tutte le sottostringhe di tale lunghezza costituite da sequenze consecutive di caratteri. Tale operazione viene effettuata anche per la tupla da valutare. 3. si pone pari a 0 uno specifico contatore. Si adotta un algoritmo di tipo sequenziale. Si considera la prima delle sottostringhe (identificate al passo 2) della tupla della lookup table e la si confronta in modo sequenziale con ciascuna delle sottostringhe della tupla da valutare. Ogni volta che si verifica l’uguaglianza delle sottostringhe si incrementa di uno un contatore. La sequenza viene iterata per la seconda sottostringa della tupla della lookup table, fino a considerare l’ultima sottostringa. Ad ogni iterazione viene aggiornato il valore del contatore; 4. l’indicatore complessivo di accuratezza sintattica per la generica tupla i è ottenuto come rapporto tra il valore del contatore, calcolato al passo precedente, e il numero di sottostringhe della tupla della lookup table identificate al passo (2). Facciamo una considerazione sulla lunghezza delle sottostringhe, che nel framework è uguale a 3. Ispirandosi alla metodologia ISTAT, questo valore è uguale a quello utilizzato nella metodologia. Ma la lunghezza in questione è quella ottimale nel caso di dati toponomastici, ricavata da una serie di analisi empiriche. Nel nostro caso non è propriamente ottimale ma al contempo non sottostima l’accuratezza effettiva (la definizione della lunghezza ottima richiede uno studio lungo e approfondito), infatti in alcuni casi, vengono assegnati punteggi elevati di accuratezza per alcune tuple, che superano il 100%; ma questo inconveniente può esser superato in fase di visualizzazione e report dei risultati, considerando inaccurate le tuple con valori minori di 100%. I passi precedentemente descritti vengono effettuati per ogni tupla della relazione, che viene confrontata con ogni tupla della lookup table. Come valore di accuratezza sintattica viene preso il massimo valore prodotto dalla serie dei confronti e allo stesso tempo deve esser tenuta traccia (per esser visualizzata successivamente) della tupla della lookup table che è più vicina. Al termine dell’esecuzione dell’algoritmo si avrà un insieme di tuple sintatticamente accurate, con valore pari al 100% e un insieme di tuple non accurate, dove ognuna avrà il proprio valore di accuratezza e la relativa tupla della lookup table più vicina. Accuratezza Sintattica Relazione La valutazione dell’accuratezza sintattica a questo livello di granularità, è identica alla misurazione per le tuple, con un calcolo aggiuntivo. La pro- CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL cedura per le tuple, abbiamo detto che restituisce un insieme di tuple non accurate, si considera la cardinalità di tale insieme ovvero il numero di tuple non accurate della relazione e lo si divide per il numero totale di tuple, sottraendo il tutto a uno. Quello appena descritto non è altro che la seconda forma del simple ratio. 1.5 Localizzazione e Correzione di Errori Nell’ambito delle attività e delle tecniche per la DQ, è presente un attività in particolare, relativa alla localizzazione e correzione degli errori. Questa attività si rende utile ogni volta che si ha un insieme di dati proveniente da una fonte di cui non si è certi dell’affidabilità. Gli errori nei dati possono essere espressi attraverso un gran numero di dimensioni; per alcune sono state fornite delle metriche di valutazione nei paragrafi precedenti. I metodi di localizzazione e correzione dipendono dal tipo di dimensione che si vuole analizzare e valutare. 1.5.1 Il Framework: Attività di Localizzazione e Correzione Il framework svolge principalmente un’attività di assessment della qualità, la fase successiva alla valutazione corrisponde a quella di miglioramento (improvement) attraverso la localizzazione e correzione degli errori che degradano la qualità dei dati. Il framework svolge un attività di localizzazione e correzione degli errori per alcune dimensioni implementate, ovvero contemporaneamente alla misurazione vengono localizzati gli errori e le relative correzioni; ad esempio nel misurare l’accuratezza sintattica dell’attributo, viene restituito il valore di accuratezza in percentuale e allo stesso tempo l’insieme di valori non accurati e i relativi valori del domino più vicini, con i quali i valori inaccurati potrebbero essere corretti. In particolare, vedremo in dettaglio il caso, (i) per l’accuratezza sintattica dell’attributo con la metrica basata sulla frequenza dei valori, (ii) per l’accuratezza sintattica dell’attributo con la metrica che utilizza la lookup table e (iii) per l’accuratezza sintattica delle tuple con la metrica che utilizza la lookup table. La correzione implementata è una proposta di possibile miglioramento che viene visualizzata e (OPZIONALE) memorizzata in un database contenente tutti i risultati dell’attività di assessmente. Nel seguito verranno descritte per ogni dimensione le localizzazioni e le proposte di possibili correzioni da implementare nel framework. Accuratezza Sintattica Nella misurazione dell’ accuratezza sintattica dell’attributo con la metrica basata sulla frequenza dei valori, per ogni valore dell’attributo con frequenza bassa (frequenza relativa minore di 2) che risulta non accurato, secondo CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL la prima metrica di similarità Jaro, viene proposto un valore del “dominio ricavato” (insieme di valori dell’attributo con frequenza relativa maggiore o uguale a 2) che è il più vicino, per la seconda funzione di similarità Soundex, al valore inaccurato. Chiariamo con un esempio. Supponiamo di avere una relazione Impiegati illustrata in tabella 1.1, NumeroImpiegato 0100 0200 0300 0400 0500 0600 0700 Nome Jack Jack Paolo Paolo Palo Steve Paolo Cognome Murphy Bauer Rossi Bianchi Bow Barrow Baggio email [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] [email protected] Tabella 1.1: Relazione Impiegati eseguiamo l’algoritmo sull’attributo Nome, il “dominio ricavato” è illustrato in tabella 1.2, ed è l’insieme dei valori di Nome il cui numero di occorrenze è maggiore o uguale a 2 (frequenza relativa maggiore o uguale a 2), ed è utilizzato per il confronto tramite le funzioni di similarità; è differente dal dominio dell’attributo Nome, insieme dei nomi, valori possibili che l’attributo può assumere. Dominio Ricavato Jack Paolo Frequenza Relativa 2 3 Frequenza Assoluta 2/7 3/7 Tabella 1.2: Dominio Ricavato dell’Attributo Nome I valori dell’attributo con frequenza bassa sono Palo e Steve, ma solo Palo risulta avere problemi di accuratezza, invece Steve è un valore possibile del dominio. Appurato il problema di qualità l’algoritmo suggerisce che il valore del dominio più vicino a Palo è Paolo e quindi una possibile correzione può essere apportata. Una snapshot generica del framework è mostrata in figura 1.1. Figura 1.1: Accuratezza sintattica attributo, metrica frequenza valori. Nella misurazione dell’ accuratezza sintattica dell’attributo con la metrica basata sull’utilizzo della lookup table, per ogni valore dell’attributo che non appartiene al dominio dei possibili valori, rappresentato dalla lookup table, quindi con probabili errori di accuratezza viene effettuato un confronto con CAPITOLO 1. REALIZZAZIONE DI UN FRAMEWORK PER LA VALUTAZIONE DELLA QUAL gli elementi del domino, tramite la funzione di similarità Jaro, per ricavare il valore di accuratezza e il valore del dominio più vicino. Una snapshot del framework è mostrata in figura 1.2. Figura 1.2: Accuratezza sintattica attributo, metrica lookup table. Nella misurazione dell’ accuratezza sintattica delle tuple con la metrica basata sull’utilizzo della lookup table, ogni tupla viene confrontata con le tuple della lookup table e per tutte quelle non accurate viene fornito il valore di accuratezza e la relativa tupla corretta. Una snapshot del framework è mostrata in figura 1.3. Figura 1.3: Accuratezza sintattica tuple. Appendice A Appendice: Close Word Assumption La completezza di una relazione può esser definita come il grado con il quale la relazione rappresenta la corrispondente parte del mondo reale. Nel modello relazionale, la completezza è definita in base a: 1. la presenza/assenza e significato dei valori nulli. 2. la validità di una delle due assunzioni chiamate rispettivamente open world assumption e closed world assumption In un modello con valori nulli, la presenza di un valore nullo ha il significato generale di valore mancante, ma è importante capire perchè tale valore non è presente. I significati che si possono dare sono: • il valore non è presente perchè esiste nel mondo reale ma non è conosciuto. • il valore non è presente perchè non esiste in generale. • il valore non è presente perchè potrebbe esistere ma attualmente non si è a conoscenza del fatto che esista oppure no. Nei modelli logici come quello relazionale, ci sono due assunzioni per la completezza dei dati di una istanza r di relazione. La closed world assumption (CWA) indica che solo i valori attualmente presenti in una tabella relazionale r e nessun altro valore rappresentano i fatti veri del mondo reale. Nella open world assumption (OWA) non possimo indicare ne la verità ne la falsità dei fatti non rappresentati nelle tuple di r. Dalle quattro possibili combinazioni, considerare/non considerare i valori nulli e OWA/CWA vengono fuori due casi: 1. modello senza valori nulli che rispetta OWA. 17 APPENDICE A. APPENDICE: CLOSE WORD ASSUMPTION 18 2. modello con valori nulli che rispetta CWA. Nel modello con valori nulli che rispetta CWA, la completezza può esser definita considerando la granularità degli elementi del modello: valore, tupla, attributo e relazione come mostrato in figura A.1. E’ possibile definire: Figura A.1: Completezza di differenti elementi del modello relazionale • Completezza del Valore: rileva la presenza di valori nulli per alcuni campi di una tupla. • Completezza della Tupla: definita per una tupla, in base ai valori di tutti i suoi campi. • Completezza dell’Attributo: misura il numero di valori nulli di un particolare attributo in una relazione. • Completezza della Relazione: rileva la presenza di valori nulli in una relazione. Appendice B Accuratezza L’accuratezza è definita come la vicinanza tra un valore v e un valore v’, considerato la corretta rappresentazione dell’evento del mondo reale che v vuole rappresentare. Per esempio se il nome di una persona è John, il valore v’ =John è corretto, invece il valore v =Jhn non è corretto. Esistono due tipi di accuratezza chiamati rispettivamente, accuratezza sintattica e accuratezza semantica. L’accuratezza sintattica è la vicinanza di un valore v agli elementi del corrispondente dominio di definizione D. Nell’accuratezza sintattica non si è interessati a confrontare v con il vero valore v’ ; piuttosto, si è interessati a controllare se v è uno dei valori in D. Ad esempio, se v =Jack, anche se v’ =John, v è considerato sintatticamente corretto e Jack è un valore ammissibile nel dominio dei nomi di persona. Nel capitolo 3 vengono approfonditi i metodi per misurare l’accuratezza sintattica, ma diamo uno sguardo generale alle possibili misurazioni; si possono utilizzare delle funzioni di distanza che valutano la distanza tra v e i valori in D, i vari tipi di funzioni sono descritte in dettaglio nell’Appendice C. Consideriamo la tabella ?? introdotta precedentemente che descrive una relazione Movies, il valore Rman Holiday del Title del movie 3 è sintatticamente inaccurato, in quanto non corrisponde a nessun titolo di movie. Roman Holiday è il titolo di movie più vicino a Rman Holiday. L’accuratezza semantica è la vicinanza del valore v al vero valore v’. Consideriamo nuovamente la relazione Movies mostrata in tabella ??. Lo scambio di director per le tuple 1 e 2 è un esempio di errore di accuratezza semantica. Per quanto riguarda la misurazione, mentre per l’accuratezza sintattica è ragionevole utilizzare funzioni di confronto, per l’accuratezza semantica è più accettabile un dominio come <corretto, non corretto> per la sua misurazione. A differenza dell’accuratezza sintattica, la misurazione di quella semantica di un valore v necessita che il vero valore di v sia noto. L’accuratezza semantica è di solito più complessa da misurare. 19 Appendice C Funzioni di Similarità C.1 Principali Funzioni di Similarità Le funzioni di similarità, specialmente quelle relative al confronto tra stringhe, vengono elencate nel seguito. Vediamo le principali. Alcune, precisamante la Jaro e la Soundex sono state approfondite precedentemente, in quanto proposte per la realizzazione di alcuni algoritmi del framework. • Distanza di Edit: La distanza di edit tra due stringhe A e B è il numero minimo di modifiche per trasformare una stringa A in B o viceversa. Per una modifica si intende l’inserimento, la cancellazione o la sostituzione di un carattere. A ciascuna di queste modifiche è assegnato un costo. Per esempio, assumiamo che i costi di inserimento e cancellazione siano pari ad 1, la distanza di edit tra due stringhe Smith e Sitch è 2, in quanto Smith è ottenuta inserendo m e cancellando c da Sitch. • Distanza di Hamming: La distanza di Hamming conta il numero di discrepanze tra due numeri. Per esempio, il codice di Hamming tra 00185 e 00155 è 1. • Smith-Waterman: L’algoritmo di Smith-Waterman, date due sequenze, utilizza la programmazione dimamica per trovare il più basso costo per convertire una stringa in un’altra. I costi per i singoli inserimenti e cancellazioni sono i parametri dell’algoritmo. • n-grams, bi-grams, q-grams: La funzione di distanza n-grams forma l’insieme di tutte le sottostringhe di lunghezza n p per stringa. Pciascuna 0 − f 00 | dove La distanza tra le due stringhe è definita come: |f s ∀x s fs0 e fs00 sono il numero di occorrenze delle sottostringhe x nelle due stringhe s0 e s00 , rispettivamente. La funzione Bi-grams (n=2) è largamente utilizzato e è efficacie, con minori errori tipografici. 20 APPENDICE C. FUNZIONI DI SIMILARITÀ 21 I q-grams posizionali sono ottenuti slittando di una finestra di lunghezza q i caratteri di una stringa s. • TF-IDF: Il Token Frequency-Inverse Document Frequency (TF-IDF) o cosine similarity per il confronto di stringhe simili nei documenti. L’idea di base è assegnare un peso alto ai token che appaiono frequentemente in un documento (TF weight), e assegnare un peso basso ai token che appaiono frequentemente in un intero insieme di documenti (IDF weight). Per un termine i in un documento j il peso wi,j è: N wi,j = (tf i, j) × log( ) dfi dove tf i, j è il numero di occorrenze di i in j, dfi è il numero di documenti contenenti i e N è il numero totale di documenti. La similarità tra due documenti è dopo calcolata con il coseno tra i loro rispettivi vettori con i termini di peso. Più precisamente, essendo V = {w1 , ..., wn } e U = {w1 , ..., wn } i vettori con i pesi, la similarità è: V ·U |V | · |U | Per completezza d’informazione, riportiamo nuovamente anche la Jaro e la Soundex: • Jaro: Introduce una funzione di confronto tra stringhe che tiene conto di inserimenti, cancellazioni e trasposizioni. L’algoritmo di Jaro cerca il numero di caratteri comuni e il numero di caratteri trasposti nelle due stringhe. Un carattere comune è un carattere che appare in entrambe le stringhe con una distanza pari alla metà della lunghezza della stringa più corta. Un carattere trasposto è un carattere comune che appare in posizioni differenti. Come esempio consideriamo le stringhe Smith e Simth, ci sono cinque caratteri comuni, due dei quali sono trasposti. La scala di confronto tra le stringhe per Jaro è data da: f (s1 , s2 ) = Nc lengthS1 + Nc lengthS2 Nt + 0.5 N c 3 dove s1 e s2 sono stringhe di lunghezza lengthS1 e lengthS2 rispettivamente, Nc è il numero di caratteri comuni tra le due stringhe (dove la distanza per caratteri comuni è la metà della lunghezza minima di s1 e s2 e Nt è il numero di trasposizioni). • Soundex: Lo scopo della funzione soundex è quello di raggruppare nomi che hanno suoni simili. Produce un codice, detto codice soundex. Per esempio il codice soundex di Hilbert e Heilbpr è simile. Un codice soundex contiene di regola quattro caratteri. La prima lettera del nome APPENDICE C. FUNZIONI DI SIMILARITÀ 22 diventa il primo carattere del codice, i restanti tre caratteri sono dati dall’ordine sequenziale del nome, consultando una tabella predefinita. Per esempio il codice soundex di Hilbert e Heilbpr è H416. Una volta che il limite di quattro caratteri è raggiunto, le restanti lettere vengono ignorate. Bibliografia [1] Carlo Batini, Monica Scannapieco. Data Quality: Concepts, Methodologies and Techniques. Springer, 2006. [2] Thomas C. Redman. Data Quality For The Information Age. Artech House, 1996. [3] Fellegi I.P., Sunter A.B. A Theory for Record Linkage. Journal of the American Statistical Association, vol. 64, 1969. [4] Pipino L.L., Lee Y.W., Wang R.Y. Data Quality Assessment. Communications of the ACM, vol.45, no.4, 2002. [5] Wang R.Y., Strong D.M. Beyond Accuracy: What Data Quality Means to Data Consumers. Journal of Management Information System, vol.12, no.4, 1996. [6] Nielsen J. Usability Engineering. Academic Press, 1993. [7] Dix A., Finley J., Abowd G., Beale R. Human-Computer Interaction. Second Edition. Prentice Hall, 1998. [8] William R. Durrell. Data Administration: A Practical Guide to Data Administration. McGraw-Hill, 1985 [9] Storey V., Wang R. Extending the ER Model to Represent Data Quality Requirements. Data quality (R. Wang, M. Ziad, and W. Lee, eds.), Kluver Academic Publishers, 2001. [10] F. De Amicis, D. Barone, C. Batini. An Analytical Framework To Analyze Dependencies Among Data Quality Dimension. ICIQ - 11th International Conference on Information Quality, November 2006. [11] Shankaranarayan G.R., Wang R.Y., Ziad M. Modeling the Manufacture of an Information Product with IP-MAP. Conference on Information Quality. Massachussets Institute of Technology, 2000. [12] Ballou D.P., Wang R.Y, Pazer H., Tayi G.K. Modeling Information Manufacturing Systems to determine Information Product Quality. Management Science, vol.44, no.4, 1998. 23 BIBLIOGRAFIA 24 [13] G. Navarro. A Guided Tour of Approximate String Matching. ACM Computing Surveys 31 (2001), 31-88. [14] Atzeni P., Ceri S., Paraboschi S., Torlone R. Basi di dati: Modelli e linguaggi di interrogazione. McGraw-Hill, 2002. [15] Wand Y., Wang, R.Y. Anchoring data quality dimensions in ontological foundations. Communication of ACM, vol. 39, no. 11, 1996. [16] Wang R.Y. A Product Perspective on Total Data Quality Management. Communication of the ACM, vol. 41, no. 2, 1998. [17] Diane M. String, Yang W. Lee, Richard Y. Wang. Data Quality in Contex. Communication of the ACM, vol. 40, no. 5, 1997. [18] Eclipse Birt, http://www.eclipse.org/birt/phoenix/. [19] MySQL, http://www.mysql.com/. [20] Eclipse, http://www.eclipse.org/. [21] XML, http://www.w3.org/XML/. [22] SWT: The Standard Widget Toolkit, http://www.eclipse.org/swt/. [23] Java, http://java.sun.com/. [24] JDBC, http://java.sun.com/javase/technologies/database/index.jsp. [25] SimMetrics, http://www.dcs.shef.ac.uk/ sam/stringmetrics.html. [26] JFreeChart, http://www.jfree.org/jfreechart/. [27] BrowserLauncher2, http://sourceforge.net/projects/browserlaunch2/. [28] Data Warehousing Institute, http://www.dw-institute.com/.
