Classificazione automatica - Cluster analysis
annuncio pubblicitario
Classificazione automatica Cluster analysis A. Iodice Classificazione automatica - Cluster analysis Clustering: classificazione automatica Strumenti quantitativi per l’economia e la finanza I Misure di dissimilarità e distanze (metriche e ultrametriche) Alfonso Iodice D’Enza [email protected] Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Università degli studi di Cassino e del Lazio Meridionale Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 1 / 68 Outline Classificazione automatica Cluster analysis 1 Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) 2 Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione 3 Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids 4 Metodi density-based DB-Scan 5 Approcci ibridi A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 2 / 68 Clustering Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Le tecniche di clustering consistono in procedure automatiche per raggruppare gli oggetti a disposizione in classi composte da record omogenei. Esempi Clustering dei profili di comportamento all’acquisto per identificare comportamenti di nicchia Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Raggruppare insieme i geni che presentano caratteristiche comuni Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 3 / 68 Clustering Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Obbiettivo delle tecniche di clustering Le tecniche di clustering puntano a ragruppare gli le unità statistiche considerate (oggetti, records) in gruppi (cluster). L’obbiettivo è creare gruppi massimamente omogenei al loro interno e massimamente eterogenei tra loro. Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 4 / 68 Clustering: misure di dissimilarità Classificazione automatica Cluster analysis A. Iodice Dati due oggetti x e y e un indice d() che ne misura della lontananza logica, possono valere le seguenti proprietà: Caratteristiche dell’indice di misura Clustering: classificazione automatica separabilità d(x, y) = 0 ⇒ x = y simmetria Misure di dissimilarità e distanze (metriche e ultrametriche) d(x, y) = d(y, x) disuguaglianza triangolare si considerino tre oggetti x, y e z Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione d(x, y) ≤ d(x, z) + d(z, y) Dissimilarità e distanza indice di dissimilarità: indice caratterizzato da separabilità e simmetria Clustering non gerarchico indice di distanza (metrica) : indice caratterizzato da separabilità e simmetria per il quale risulta verificata la disuguaglianza triangolare. Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 5 / 68 Clustering: misure di similarità Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Date due osservazioni x = x1 , x2 , . . . , xp e y = y1 , y2 , . . . , yp descritte da p variabili quantitative Distanze distanza euclidea Misure di dissimilarità e distanze (metriche e ultrametriche) d(x, y) = sX Clustering gerarchico i Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione distanza city-block d(x, bf y) = Clustering non gerarchico X |xi − yi | i Procedure non gerarchiche K-means e K-medoids Metodi density-based (xi − yi )2 A. Iodice Classificazione automatica - Cluster analysis Statistica 6 / 68 Clustering: misure di similarità Classificazione automatica Cluster analysis Distanze le precedenti sono casi particolari della distanza di Minkowski A. Iodice !1/q d(x, y) = Clustering: classificazione automatica Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione in particolare per q = 1 si ottiene la distanza city-block; per q = 2 si ottiene la distanza euclidea. Dissimilarità e dati qualitativi Nel caso di variabili categoriche il grado di similarità/dissimilarità che caratterizza le coppie di osservazioni si misura rispetto al numero di modalità comuni. Dati due oggetti A e B, descritti da d variabili qualitative, la distanza si misura contando il numero volte in cui assumono modalità differenti. Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based |xi − yi | q i Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico X d(A, B) = d 1X Xi d i=1 dove Xi = 1 se A e B assumono modalità diverse per la variabile i. A. Iodice Classificazione automatica - Cluster analysis Statistica 7 / 68 Distanze rispetto ad una soglia Classificazione automatica Cluster analysis A. Iodice Paradosso e distanza metrica Per determinare i cluster si determina una distanza soglia tale che dati due punti A e B, se la distanza tra loro è tale che d(A, B) > soglia allora A e B appartengono a gruppi diversi, viceversa saranno classificati nello stesso gruppo. problema: utilizzando una distanza metrica si va incontro al paradosso descritto nel seguente esemio: si considerino tre punti A, B e C, se la distanza che li separa è minore o uguale a 3 allora i punti vengono assegnati allo stesso gruppo Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 8 / 68 Distanze rispetto ad una soglia Classificazione automatica Cluster analysis A. Iodice Paradosso e distanza metrica Per determinare i cluster si determina una distanza soglia tale che dati due punti A e B, se la distanza tra loro è tale che d(A, B) > soglia allora A e B appartengono a gruppi diversi, viceversa saranno classificati nello stesso gruppo. problema: utilizzando una distanza metrica si va incontro al paradosso descritto nel seguente esemio: si considerino tre punti A, B e C, se la distanza che li separa è minore o uguale a 3 allora i punti vengono assegnati allo stesso gruppo Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 9 / 68 Distanze rispetto ad una soglia Classificazione automatica Cluster analysis A. Iodice Paradosso e distanza metrica Per determinare i cluster si determina una distanza soglia tale che dati due punti A e B, se la distanza tra loro è tale che d(A, B) > soglia allora A e B appartengono a gruppi diversi, viceversa saranno classificati nello stesso gruppo. problema: utilizzando una distanza metrica si va incontro al paradosso descritto nel seguente esemio: si considerino tre punti A, B e C, se la distanza che li separa è minore o uguale a 3 allora i punti vengono assegnati allo stesso gruppo Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 10 / 68 Distanze rispetto ad una soglia Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Passaggio alle ultrametriche Per ovviare al problema si passa alle distanze ultrametriche: le distanze ultrametriche che caratterizzano ciascuna terna di punti sono date dal triangolo isoscele la cui base è data dalla distanza dei punti più vicini tra loro. Il lato del triangolo isoscele è rappresentato da una delle atre due distanze. In particolare si ha: ultrametrica superiore minima se il lato del triangolo isoscele corrisponde alla maggiore delle atre due distanze Clustering gerarchico ultrametrica inferiore massima se il lato del triangolo isoscele corrisponde alla minore delle atre due distanze Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 11 / 68 Distanze rispetto ad una soglia Classificazione automatica Cluster analysis Passaggio alle ultrametriche ultrametrica superiore minima se il lato del triangolo isoscele corrisponde alla maggiore delle atre due distanze A. Iodice ultrametrica inferiore massima se il lato del triangolo isoscele corrisponde alla minore delle atre due distanze Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 12 / 68 Distanze rispetto ad una soglia Classificazione automatica Cluster analysis Passaggio alle ultrametriche ultrametrica superiore minima se il lato del triangolo isoscele corrisponde alla maggiore delle atre due distanze A. Iodice ultrametrica inferiore massima se il lato del triangolo isoscele corrisponde alla minore delle atre due distanze Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 13 / 68 Trasformazione delle variabili Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Normalizzare. standardizzare Per rendere direttamente confrontabili le variabili si possono utilizzare le seguenti trasformazioni normalizzazione min-max Misure di dissimilarità e distanze (metriche e ultrametriche) X∗ = Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione X − min(X) range(X) standardizzazione (z-score) X∗ = Clustering non gerarchico X − µX σX Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 14 / 68 Tipologie di clustering Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico gerarchie e partizioni clustering gerarchico determina una gerarchia, ovvero una struttura di cluster in cui l’insieme di unità viene bipartita ricorsivamente in corrispondenza di diversi livelli di aggregazione clustering non gerarchico: l’insieme delle unità viene partizionato in k cluster omogenei disgiunti Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 15 / 68 Partizioni e gerarchie Classificazione automatica Cluster analysis Gerarchie Si consideri un insieme O. La gerarchia H(O) .è un insieme di classi tali che A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Tutti gli oggetti oj ∈ O appartengono ad H(O) oj ∈ O → oj ∈ H(O) Partizioni Si consideri un insieme O ed una sua partizione P (O) = {A, B, C, D, E}. la gerarchia H(O) contiene anche la classe contenente tutti gli oggetti considerati Due elementi A e B sono disgiunti oppure coincidono. A ∩ B = 0 se A 6= B, A, B ∈ P (O). Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione se P (O) = {A, B, C, D, E}.allora A ∪ B ∪ C ∪ D ∪ E = O. Clustering non gerarchico O ∈ H(O) Due oggetti oi e oj ∈ H(O) o sono disgiunti oppure uno dei due contiene l’altro oi ∩ oj = oppure risulta una tra Procedure non gerarchiche K-means e K-medoids Metodi density-based oi ⊂ oj e oj ⊂ oi A. Iodice Classificazione automatica - Cluster analysis Statistica 16 / 68 Clustering gerarchico Classificazione automatica Cluster analysis A. Iodice clustering gerarchico: algoritmo agglomerativo. La soluzione si ottiene a partire dalle singole unità statistiche, ad ogni iterazione si aggregano le unità statistiche più vicine; la procedura termina quando tutte le unità risultano aggregate in un unico cluster. Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico clustering gerarchico: algoritmo divisivo. In questo caso tutte le unità sono in una stessa classe e, ad ogni iterazione successiva, l’unità più dissimile dalle altre viene assegnata ad un nuovo cluster. Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 17 / 68 Scelta del criterio di aggregazione Classificazione automatica Cluster analysis A. Iodice il primo passo di una procedura di clustering gerarchico agglomerativo consiste nell’aggregare tra loro i due elementi più vicini. Per fare questo si calcola la distanza tra tutte le coppie di unità considerate. Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) A partire dal secondo passo in poi emerge la necessità di calcolare distanze tra le singole unità e i gruppi di unità che si vanno progressivamente formando, o tra coppie di gruppi di unità. Clustering gerarchico I criteri di aggregazione stabiliscono, dunque, la regola per calcolare la distanza tra un’unità ed un gruppo, o tra due gruppi. Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 18 / 68 Scelta del criterio di aggregazione Classificazione automatica Cluster analysis A. Iodice metodo del legame semplice. La distanza tra due classi A e B viene calcolata considerando la distanza minima tra un elemento di A ad uno di B (nearest-neighbour) Clustering: classificazione automatica metodo del legame completo. La distanza tra due classi A e B viene calcolata considerando la distanza massima tra un elemento di A ad uno di B (farthest-neighbour) Misure di dissimilarità e distanze (metriche e ultrametriche) metodo del legame medio. La distanza tra due classi A e B viene calcolata considerando la distanza media tra gli elementi di A e di B Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione metodo dei centroidi. La distanza tra due classi A e B viene calcolata considerando la distanza tra i centroidi (elementi medi) di A e di B . Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 19 / 68 Scelta del criterio di aggregazione Classificazione automatica Cluster analysis A. Iodice metodo di Ward: tale metodo parte da gruppi contenenti un solo oggetto; ad ogni passo aggrega gli oggetti che determinano il minimo decremento di inerzia. Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) L’obbiettivo di una cluster analysis è massimizzare l’inerzia tra i gruppi, ovvero minimizzare l’inerzia interna ai gruppi. Clustering gerarchico Il metodo di Ward aggrega di volta in volta la coppia di oggetti che minimizza la perdita di inerzia tra i gruppi. Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 20 / 68 Esempio di classificazione gerarchico Classificazione automatica Cluster analysis A. Iodice esempio dati bivariati Clustering: classificazione automatica item01 item02 item03 item04 item05 item06 item07 item08 Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico X 2 9 12 11 7 9 10 11 scatter-plot Y 4 2 8 7 5 9 5 2 Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 21 / 68 Step dell’algoritmo agglomerativo Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione matrice di distanza esempio dati bivariati item01 item02 item03 item04 item05 item06 item07 item08 X 2 9 12 11 7 9 10 11 Y 4 2 8 7 5 9 5 2 i1 i2 i3 i4 i5 i6 i7 i8 i1 0 7.28 10.77 9.49 5.10 8.60 8.06 9.22 i2 i3 i4 i5 i6 i7 i8 0 6.71 5.39 3.61 7.00 3.16 2.00 0 1.41 5.83 3.16 3.61 6.08 0 4.47 2.83 2.24 5.00 0 4.47 3.00 5.00 0 4.12 7.28 0 3.16 0 Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 22 / 68 Procedura agglomerativa Classificazione automatica Cluster analysis matrice di distanza: step 1 i1 i2 i3 i4 i5 i6 i7 i8 A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico i2 i3 i4 i5 i6 i7 i8 0 6.71 5.39 3.61 7 3.16 2 0 1.41 5.83 3.16 3.61 6.08 0 4.47 2.83 2.24 5 0 4.47 3 5 0 4.12 7.28 0 3.16 0 matrice di distanza: step 2 Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione i1 i2 (i4,i3) i5 i6 i7 i8 Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based i1 0 7.28 10.77 9.49 5.10 8.60 8.06 9.22 A. Iodice i1 0 7.28 10.77 5.10 8.60 8.06 9.22 i2 (i4,i3) i5 i6 i7 i8 0 6.71 3.61 7 3.16 2 0 5.83 3.16 3.61 6.08 0 4.47 3 5 0 4.12 7.28 0 3.16 0 Classificazione automatica - Cluster analysis Statistica 23 / 68 Procedura agglomerativa Classificazione automatica Cluster analysis matrice di distanza: step3 A. Iodice i1 (i2,i8) (i4,i3) i5 i6 i7 Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico i1 0 9.22 10.77 5.10 8.60 8.06 (i2,i8) (i4,i3) i5 i6 i7 0 6.71 5 7.28 3.16 0 5.83 3.16 3.61 0 4.47 3 0 4.12 0 matrice di distanza: step4 Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione i1 (i2,i8) (i4,i3) i6 (i7,i5) Clustering non gerarchico i1 0 9.22 10.77 8.60 8.06 (i2,i8) (i4,i3) i6 (i7,i5) 0 6.71 7.28 5 0 3.16 5.83 0 4.47 0 Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 24 / 68 Procedura agglomerativa Classificazione automatica Cluster analysis matrice di distanza: step5 A. Iodice i1 (i2,i8) (i6,i4,i3) (i7,i5) Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico i1 0 9.22 10.77 8.06 (i2,i8) (i6,i4,i3) (i7,i5) 0 7.28 5 0 5.83 0 matrice di distanza: step6 Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione i1 (i6,i4,i3) (i7,i5,i2,i8) i1 0 10.77 9.22 (i6,i4,i3) (i7,i5,i2,i8) 0 7.28 0 Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 25 / 68 Esempio classificazione gerachica Classificazione automatica Cluster analysis legame semplice A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 26 / 68 Visualizzazione procedura: legame semplice Classificazione automatica Cluster analysis cliccare il centro della slide per visualizzare l’animazione A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 27 / 68 Esempio classificazione gerachica Classificazione automatica Cluster analysis legame completo A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 28 / 68 Visualizzazione procedura: legame completo Classificazione automatica Cluster analysis cliccare il centro della slide per visualizzare l’animazione A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 29 / 68 Esempio classificazione gerachica Classificazione automatica Cluster analysis legame medio A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 30 / 68 Visualizzazione procedura: legame medio Classificazione automatica Cluster analysis cliccare il centro della slide per visualizzare l’animazione A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 31 / 68 Qualità della soluzione Classificazione automatica Cluster analysis La qualità della gerarchia ottenuta può essere valutata confrontando le distanze tra le unità statistiche originarie e le distanze ultrametriche. Sia dij : la distanza tra l’individuo i e l’individuo j. A. Iodice d∗ ij : la distanza ultrametrica tra l’individuo i e l’individuo j. Clustering: classificazione automatica n: numero di unità statistiche considerate. n X Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Indice di deformazione del quadrato degli scarti Indice di deformazione del valore assoluto Misure di dissimilarità e distanze (metriche e ultrametriche) | dij − d∗ ij | n X i=1 j=i+1 2 (dij − d∗ ij ) 2 − n)/2 (n i=1 j=i+1 n X (n(n − 2))/2 n X coefficiente di correlazione Pn i=1 Clustering non gerarchico qP n i=1 Pn j=i+1 ¯ ∗ − d¯∗ ) (dij − d)(d ij Pn Pn ∗ ¯∗ 2 i=1 j=i+1 (dij − d ) ¯2 j=i+1 (dij − d) Pn Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 32 / 68 Qualità della soluzione Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione matrice di distanza esempio dati bivariati item01 item02 item03 item04 item05 item06 item07 item08 X 2 9 12 11 7 9 10 11 Y 4 2 8 7 5 9 5 2 i1 i2 i3 i4 i5 i6 i7 i8 i1 0 7.28 10.77 9.49 5.10 8.60 8.06 9.22 i2 i3 i4 i5 i6 i7 i8 0 6.71 5.39 3.61 7.00 3.16 2.00 0 1.41 5.83 3.16 3.61 6.08 0 4.47 2.83 2.24 5.00 0 4.47 3.00 5.00 0 4.12 7.28 0 3.16 0 Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 33 / 68 Qualità della soluzione Classificazione automatica Cluster analysis matrice di distanza i1 i2 i3 i4 i5 i6 i7 i8 A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico i2 i3 i4 i5 i6 i7 i8 0 6.71 5.39 3.61 7.00 3.16 2.00 0 1.41 5.83 3.16 3.61 6.08 0 4.47 2.83 2.24 5.00 0 4.47 3.00 5.00 0 4.12 7.28 0 3.16 0 i2 i3 i4 i5 i6 i7 i8 0 7.2 7.2 5.00 7.2 5.00 2.00 0 1.41 7.2 3.16 7.2 7.2 0 7.2 3.16 7.2 7.2 0 7.2 3.00 3.00 0 7.2 7.2 0 5.00 0 matrice delle ultrametriche superiori minime Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione i1 i2 i3 i4 i5 i6 i7 i8 Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based i1 0 7.28 10.77 9.49 5.10 8.60 8.06 9.22 A. Iodice i1 0 10.7 10.7 10.7 10.7 10.7 10.7 10.7 Classificazione automatica - Cluster analysis Statistica 34 / 68 Esempio con data set di dimensioni maggiori Classificazione automatica Cluster analysis legame semplice A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 35 / 68 Esempio con data set di dimensioni maggiori Classificazione automatica Cluster analysis legame completo A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 36 / 68 Esempio con data set di dimensioni maggiori Classificazione automatica Cluster analysis legame medio A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 37 / 68 Esempio data set strutturato Classificazione automatica Cluster analysis legame semplice A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 38 / 68 Esempio data set strutturato Classificazione automatica Cluster analysis legame completo A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 39 / 68 Esempio con data set strutturato Classificazione automatica Cluster analysis legame medio A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 40 / 68 Procedure non gerarchiche Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica metodo dei centri mobili: procedura di classificazione non gerarchica Misure di dissimilarità e distanze (metriche e ultrametriche) K-means: variazione del metodo dei centri mobili Clustering gerarchico K-medoids: variazione del metodo K-means Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 41 / 68 Clustering non gerarchico: centri mobili Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) centri mobili 1 scegliere il parametro k numero di classi 2 scegliere k centri c1 , . . . , ck in modo casuale 3 assegnare ciascuna osservazione al centro più vicino, ottenendo C1 , . . . , Ck classi 4 aggiornare i centri c1 = C̄1 , . . . , ck = C̄k 5 ripetere gli step 3 e 4 fino a convergenza Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 42 / 68 Procedura in azione: inizializzazione (favorevole) Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 43 / 68 Procedura in azione: inizializzazione (sfavorevole) Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 44 / 68 Procedura in azione: scelta erronea del numero di classi (K=4) Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 45 / 68 Procedura in azione: scelta erronea del numero di classi (K=5) Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 46 / 68 Clustering non gerarchico: K-means Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione K-means 1 scegliere il parametro k numero di classi 2 scegliere k centri c1 , . . . , ck : ciascun nucleo è composto da più elementi 3 assegnare ciascuna osservazione al centro più vicino 4 aggiornare contestualmente il centro associato alla classe cui l’osservazione è stata assegnata 5 ripetere gli step 3 e 4 fino a convergenza Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 47 / 68 Le forme forti Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Individuazione delle forme forti Gli oggetti che in diverse applicazioni successive di una procedura di classificazione automatica vengono collocate sempre nello stesso gruppo si definiscono forme forti Effettuare s volte la classificazione automatica Clustering gerarchico Gli oggetti che in ognuna delle s ripetizioni vengono assegnate ad uno stesso gruppo sono una forma forte Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Gli oggetti che in ognuna delle s ripetizioni vengono assegnate a gruppi diversi sono una forma debole Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 48 / 68 Esempio di classificazione non gerarchico Classificazione automatica Cluster analysis A. Iodice esempio dati bivariati Clustering: classificazione automatica item01 item02 item03 item04 item05 item06 item07 item08 Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico X 2 9 12 11 7 9 10 11 scatter-plot Y 4 2 8 7 5 9 5 2 Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 49 / 68 Esempio con data set strutturato Classificazione automatica Cluster analysis scelta del numero di classi: k = 3 A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 50 / 68 Esempio con data set strutturato Classificazione automatica Cluster analysis scelta del numero di classi: k = 4 A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 51 / 68 Criteri per stabilire il numero di classi Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Indice Calinski and Harabasz Per individuare il numero di classi che garantisce la soluzione migliore si utilizza il Calinski and Harabasz (CH) index. Tale indice consiste nel rapporto tra la devianza between (tra i gruppi) e quella within (interna ai gruppi): ciascuna delle due devianze è rapportata ad un fattore di penalizzazione legato al numero dei gruppi. Formalmente: CH = Dev(B)/K − 1 Dev(W )/n − K dove K è il numero di gruppi scelto, n è il numero di oggetti da raggruppare. Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Silhouette Ampiezza media della silhouette: per ciascun oggetto i il valore della silhouette é si = Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based bi − ai , max(ai , bi ) dove ai è la distanza media tra i e gli altri punti all’interno della stessa classe di i. Il valore bi è invece la distanza media tra i e i punti della più vicina delle altre classi. A. Iodice Classificazione automatica - Cluster analysis Statistica 52 / 68 Esempio di silhouette plot Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 53 / 68 Scelta del metodo Classificazione automatica Cluster analysis A. Iodice procedure gerarchiche Clustering: classificazione automatica procedure non gerarchiche La soluzione consiste in una partizione dei dati, di facile interpretazione Misure di dissimilarità e distanze (metriche e ultrametriche) il costo computazionale per ottenere una soluzione è n × k (n oggetti, k classi) la scelta iniziale (e casuale) dei centri determina l’esito della soluzione Clustering gerarchico necessità di conoscere a priori k il numero di classi, altrimenti sono necessarie prove ripetute su diversi k alla ricerca di quello ottimale Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione La soluzione consiste in una gerarchia indicizzata: - lettura veriticale: come si formano i gruppi - lettura orizzontale: ad ogni livello della gerarchia gli oggetti vengono assegnati ai diversi gruppi il costo computazionale per ottenere una soluzione: calcolare n(n − 1)/2 distanze diventa proibitivo in caso di elevata numerosità le aggregazioni iniziali sono incluse nelle successive e condizionano l’esito della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 54 / 68 Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Density-based clustering Le tecniche di clustering density-based mirano a identificare e distinguere le regioni ad alta densità di punti da qulle a bassa densità di punti The aim of clustering is to identify regions of high density of points, separated from one another by low density regions. center-based density: la densità di ciascun punto i è stimata dal numero di punti che si trovano all’interno del cerchio di centro in i e raggio Eps definito dall’utente. Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico core points: un punto la cui densità è superiore ad una certa soglia definita dall’utente, MinPts Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione border points: punti di frontiera, non sono core points, ma nelle loro vicinanze (all’interno del cerchio di raggio Eps) si trovano dei core points. Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based noise points: non sono ne core point ne border point. A. Iodice Classificazione automatica - Cluster analysis Statistica 55 / 68 Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Density-based clustering identificare ciascun punto e definire se sia core, border o noise point Misure di dissimilarità e distanze (metriche e ultrametriche) eliminare i noise point formare un cluster con tutti i core point che si trovano ciascuno nel cerchio di raggio Eps dell’altro Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione assegnare ciascun border point al cluster cui appartiene il core point più vicino Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 56 / 68 Cluster analysis sulle coordinate delle unità Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Nelle applicazioni di tecniche fattoriali quali ACP e MCA, la rappresentazione delle unità statistiche, soprattutto se in numero elevato, risulta di difficile interpretazione e in molti casi di scarso interesse. La rappresentazione sintetica delle unità può essere utilizzata come input di una procedura di cluster analysis: in questo modo si ottiene un duplice vantaggio riduzione del costo computazionale della procedura di cluster analysis Clustering gerarchico maggiore efficienza nella determinazione delle classi (gli oggetti osservati sono descritti da un numero ridotto di dimensioni) Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 57 / 68 Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 58 / 68 Cluster analysis sulle coordinate delle unità: ACP Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Con riferimento ai dati del Sole24Ore, e alle variabili associate al tenore di vita in particolare, si consideri di voler definire dei gruppi omogenei di province. Per fare questo si esegue: una ACP sulla matrice dei dati di partenza; una classificazione gerarchica sulle coordinate delle unità (le province). Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 59 / 68 Cluster analysis sulle coordinate delle unità: ACP Classificazione automatica Cluster analysis Dendrogramma: il numero di gruppi è 4 A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 60 / 68 Cluster analysis sulle coordinate delle unità: ACP Classificazione automatica Cluster analysis Dendrogramma costruito sul piano fattoriale A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 61 / 68 Cluster analysis sulle coordinate delle unità: ACP Classificazione automatica Cluster analysis Soluzione ACP e cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 62 / 68 Cluster analysis sulle coordinate delle unità: MCA Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Con riferimento ai dati del wg93 circa le opinioni sulla scienza di un campione di 871 individui, si consideri di voler definire dei gruppi omogenei di individui. Per fare questo si esegue: una ACM sulla matrice dei dati di partenza; una classificazione gerarchica sulle coordinate delle unità (individui). Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 63 / 68 Cluster analysis sulle coordinate delle unità: ACP Classificazione automatica Cluster analysis Dendrogramma: il numero di gruppi è 3 (ma la struttura in gruppi non è ben definita) A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 64 / 68 Cluster analysis sulle coordinate delle unità: ACP Classificazione automatica Cluster analysis Dendrogramma costruito sul piano fattoriale A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 65 / 68 Cluster analysis sulle coordinate delle unità: ACP Classificazione automatica Cluster analysis A. Iodice Soluzione ACP e cluster analysis Mappa fattoriale attributi Mappa fattoriale individui Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 66 / 68 Approccio combinato metodi gerarchici e non gerarchici Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Approccio combinato Le procedure non gerachiche, anche se molto potenti da un punto di vista computazionale, necessitano dell scelta apriori di K, numero di classi Misure di dissimilarità e distanze (metriche e ultrametriche) Clustering gerarchico Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Le procedure gerachiche, consentono di visualizzare la progressiva formazione delle classi, consentendo di scegliere opportunamente il numero di classi da considerare. Tuttavia gli algoritmi gerarchici richiedono un notevole sforzo computazionale e sono pertanto inadatti ad applicazioni su data set di grandi dimensioni (es. n > 10000) a causa dei lunghi tempi di elaborazioni richiesti. In caso di data set di grandi dimensioni è possibile adottare un approccio di classificazione ibrido che sfrutti al meglio le peculiarità degli algoritmi gerarchici e non gerarchici. Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 67 / 68 Approccio combinato metodi gerarchici e non gerarchici Classificazione automatica Cluster analysis A. Iodice Clustering: classificazione automatica Misure di dissimilarità e distanze (metriche e ultrametriche) Fasi cluster analysis ad approccio ibrido Quando il numero di oggetti da clusterizzare è elevato, è possibile ricorrere a procedure non gerarchiche con K = 100 o superiore in funzione del grado di sintesi che si vuole ottenere. Calcolando il centroide di ciascuna classe si ottengono K = 100 nuovi oggetti che sintetizzano i dati di partenza. La matrice di dati risultante può essere quindi agilmente inputata in una procedura gerarchica: dall’analisi del dendrogramma risultante si decide il numero di classi in cui ripartire i dati di partenza. Clustering gerarchico step1: algoritmo non gerarchico K − means con parametro K elevato step2: algoritmo gerarchico sui K centroidi ottenuti Criteri di aggregazione La procedura (agglomerativa) Qualità della soluzione Clustering non gerarchico Procedure non gerarchiche K-means e K-medoids Metodi density-based A. Iodice Classificazione automatica - Cluster analysis Statistica 68 / 68
![[7] Derivare la stima a massima verosimiglianza di un insieme di](http://s1.studylibit.com/store/data/006758447_1-fb6b79ebb53ab3721b4fca519ae605c5-300x300.png)
