Analisi in Componenti Principali - Strumenti quantitativi per l
annuncio pubblicitario
Analisi in Componenti Principali A. Iodice Analisi in Componenti Principali Definizione del metodo Strumenti quantitativi per l’economia e la finanza I Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Alfonso Iodice D’Enza [email protected] Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Università degli studi di Cassino e del Lazio Meridionale Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 1 / 60 Outline Analisi in Componenti Principali 1 Definizione del metodo 2 Trasformazioni sulla matrice dei dati 3 Formalizzazione del metodo: analisi in Rp Formalizzazione del metodo: analisi in Rp 4 Scelta del numero di dimensioni Scelta del numero di dimensioni 5 Contributi agli assi e qualità della rappresentazione Contributi agli assi e qualità della rappresentazione 6 Formalizzazione del metodo: analisi in Rn 7 Rappresentazione congiunta unità variabili A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 2 / 60 Analisi in Componenti Principali Analisi in Componenti Principali A. Iodice Definizione del metodo Ottica analitica Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Ottica geometrica L’Analisi in Componenti Principali ha per obbiettvo l’individuazione della struttura di fondo delle relazioni osservate. Questo avviene attraverso l’identificazione di un numero limitato di nuove variabili, risultanti dalla combinazione lineare delle variabili di partenza, che consentano un’ adeguata descrizione del sistema osservato, eliminando ridondanze nelle informazioni contenute nei dati. L’insieme dei vettori riga unità della matrice dei dati di partenza (di dimensioni n × p) è interpretabile come una configurazione di punti nello spazio di dimensione Rp . Analogamente,i p vettori colonna variabili della matrice sono interpretabili come una nube di punti nello spazio Rn . L’ACP ha per obbiettivo l’individuazione di un sottospazio di Rp (Rn ) tale che la sommma dei quadrati delle distanze tra le proiezioni dei punti/unità (punti/variabile) sia massimizzata. Ottenere una proiezione della configurazione dei punti di partenza che approssimi al meglio la forma originale Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 3 / 60 Matrice dei dati. Esempio: la dieta di 16 paesi europei Analisi in Componenti Principali Si consideri di aver rilevato le quantità di sostanze nutritive ingerite in sedici paesi europei. Ciascuna delle p = 10 variabili quantiative rappresenta una dimensione dello spazio R10 in cui sono rappresentati gli n = 16 paesi eutopei. In modo duale, a ciascuna delle variabili corrisponde un punto nello spazio R16 . A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 4 / 60 Trasformazione sulla matrice dei dati Analisi in Componenti Principali A. Iodice L’ACP si propone di individuare un sottospazio di dimensioni ridotte tale da massimizzare la somma delle distanze tra le proiezioni delle possibili coppie di punti. La somma di tali distanze è una misura della variabilità che caratterizza i dati. Dunque l’ACP mira a massimizzare la variabilità spiegata dalle proiezioni dei punti nel sottospazio. Per individuare le direzioni degli assi componenti del sottospazio di proiezione ottimale si fa riferimento al teorema generale di Huyghens Definizione del metodo Trasformazioni sulla matrice dei dati teorema generale di Huyghens Assicura che le direzioni di massima variabilità passino per il baricentro della nube di punti e siano ortogonali tra loro il baricentro della nube corrisponde al vettore delle medie delle p variabili Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni massimizzare la somma delle distanze quadratiche delle proiezioni equivale a massimizzare la somma delle distanze delle proiezioni dal baricentro centratura della matrice Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta analiticamente: centrare la matrice dei dati consiste nel calcolare gli n scarti dalla media per ciascuna delle p variabili geometricamente: centrare la matrice dei dati consiste nel traslare la configurazione di punti in modo che il baricentro della nube si sposti nell’origine degli assi. Il problema diventa quindi massimizzare la somma delle distanze al quadrato dei punti dall’origine degli assi del sottospazio di proiezione, ovvero massimizzare la somma dei quadrati delle coordinate dei punti sugli assi Analisi in Componenti Principali Statistica 5 / 60 Matrice dei dati. Esempio: la dieta di 16 paesi europei Analisi in Componenti Principali A. Iodice y1,1 y2,1 X= ... yn,1 Definizione del metodo Trasformazioni sulla matrice dei dati y1,2 y2,2 ... yn,2 ... ... ... ... (y1,1 − µ1 ) (y2,1 − µ1 ) = ... (yn,1 − µ1 ) y1,p µ1 y2,p − µ1 ... ... µ1 yn,p (y1,2 − µ2 ) (y2,2 − µ2 ) ... (yn,2 − µ2 ) ... ... ... ... µ2 µ2 ... µ2 ... ... ... ... µp µp = ... µp (y1,p − µp ) (y2,p − µp ) ... (yn,p − µp ) Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 6 / 60 Interpretazione geometrica della centratura Analisi in Componenti Principali A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 7 / 60 Rendere i dati omogenei: standardizzazione Analisi in Componenti Principali A. Iodice Definizione del metodo Per trattare simultaneamente le variabili è necessario che siano omogenee: si procede pertanto alla standardizzazione, consistente nel dividere ciascuno degli elementi della matrice centrata X per lo scarto quadratico medio della variabile corrispondente. Formalmente, Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp xij = (yij − µj ) √ σj n interpretazione geometrica della standardizzazione Scelta del numero di dimensioni attraverso la standardizzazioni i vettori colonna (variabili) vengono riscalati, si collocano nella iper-sfera di raggio unitario e dimensione n. Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 8 / 60 Interpretazione geometrica della centratura Analisi in Componenti Principali A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 9 / 60 Matrice dei dati standardizzati Analisi in Componenti Principali Per trattare simultaneamente le variabili è necessario che siano omogenee: si procede pertanto alla standardizzazione, consistente nel dividere ciascuno degli elementi della matrice centrata X per lo scarto quadratico medio della variabile corrispondente. Formalmente, A. Iodice xij = Definizione del metodo (yij − µj ) √ σj n Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 10 / 60 Formalizzazione del problema Analisi in Componenti Principali A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Il problema La proiezione ortogonale della matrice X su un asse di versore u è (OH) = Xu. Il problema della ricerca del sottospazio di proiezione che riproduca al meglio la variabilità originaria della nube viene formalizzato come segue Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione funzione obbiettivo: max! n X (OHi )2 = (Xu)T (Xu) = uT XT Xu i=1 vincolo: uT u = 1 Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 11 / 60 Soluzione del problema: ricerca del miglior asse Analisi in Componenti Principali A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Metodo di risoluzione del problema La ricerca del miglior asse di versore u1 è dunque un problema di massimizzazione vincolata. Per risolverlo si fa ricorso al metodo dei moltiplicatori di Lagrange. Tale metodo consiste nel ridefinire la funzione obbiettivo in modo da includere il vincolo (in questo caso uT 1 u1 = 1). La funzione da massimizzare diventa Contributi agli assi e qualità della rappresentazione T T max!L = uT 1 X Xu1 − λ(u1 u1 − 1) Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 12 / 60 Soluzione del problema Analisi in Componenti Principali A. Iodice Definizione del metodo La soluzione del problema Per massimizzare L si deve porre a zero la derivata prima rispetto ad u Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp T T max!L = uT 1 X Xu1 − λ1 (u1 u1 − 1) ðu1 L = 2XT Xu1 − 2λ1 u1 = 0 Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione XT Xu1 = λ1 u1 Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 13 / 60 Soluzione del problema Analisi in Componenti Principali Risoluzione dell’equazione caratteristica A. Iodice XT Xu1 = λ1 u1 Definizione del metodo Trasformazioni sulla matrice dei dati XT Xu1 − λ1 u1 = 0 Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn (XT X − λ1 )u1 = 0 quest’ultima rappresenta l’equazione caratteristica: di fatto la soluzione del problema di massimizzazione vincolata si ottiene mediante la ricerca di autovalori ed autovettori della matrice XT X. Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 14 / 60 Soluzione del problema Analisi in Componenti Principali A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Metodo di risoluzione del problema La ricerca del secondo miglior asse di versore u2 è un problema di massimizzazione vincolata (Lagrange). I vincoli da includere nel lagrangiano sono in questo caso uT 2 u2 = 1 (norma unitaria) T e u1 u2 = 0 (vincolo di ortogonalità)(per il teorema di Huyghens). La funzione da massimizzare diventa Scelta del numero di dimensioni T T T max!L = uT 2 X Xu2 − λ(u2 u2 − 1) − µ(u1 u2 ) Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 15 / 60 Soluzione del problema Analisi in Componenti Principali A. Iodice La soluzione del problema Per massimizzare L si deve porre a zero la derivata prima rispetto ad u Definizione del metodo T T T max!L = uT 2 X Xu2 − λ2 (u2 u2 − 1) − µ(u1 u2 ) Trasformazioni sulla matrice dei dati ðu2 L = 2XT Xu2 − 2λ2 u2 − µu1 = 0 Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Premoltiplicando uT 1 Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn T T T ðu2 L = 2uT 1 X Xu2 − 2λ2 u1 u2 − µu1 u1 = 0 i primi due termini sono nulli per l’ortogonalità tra u1 e u2 ; perchè il termine µuT 1 u1 si annulli deve essere µ = 0 Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali T Statistica 16 / 60 Soluzione del problema Analisi in Componenti Principali A. Iodice Risoluzione dell’equazione caratteristica XT Xu2 = λ2 u2 Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn (XT X − λ2 )u2 = 0 la soluzione del problema di massimizzazione vincolata si ottiene mediante la ricerca dell’autovettore associato al secondo autovalore più grande della matrice XT X. gli assi successivi al secondo avranno per versori gli autovettori associati agli autovalori successivi, presi in ordine decrescente. Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 17 / 60 Matrice di correlazione Analisi in Componenti Principali A. Iodice ρ1,1 ρ2,1 T R=X X= ... ρp,1 ρ1,2 ρ2,2 ... ρp,2 ... ... ... ... ρ1,p ρ2,p ... ρp,p Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 18 / 60 Autovalori λ, autovettori U Analisi in Componenti Principali Calcolando gli autovalori e gli autovettori di norma 1 ad essi associati, si è individuata la base ortogonale del sottospazio di proiezione ottimale. A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 19 / 60 Proiezione ortogonale sugli assi Analisi in Componenti Principali Le colonne della matrice degli autovettori U rappresentano il sistema di pesi da applicare alle righe della matrice X per ottenere le coordinate delle unità nel sottospazio ottimale ottenuto. Ricordando la proiezione ortogonale, le coordinate principali degli individui. CU = Xu A. Iodice Definizione del metodo Calcolo delle coordinate principali Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 20 / 60 Coordinate principali dei paesi europei Analisi in Componenti Principali Le coordinate principali delle unità sono date da A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 21 / 60 Scelta delle dimensioni Analisi in Componenti Principali A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Per scegliere il numero di dimensioni è necessario trovare un compromesso tra la variabilità spiegata dal sottospazio e il potere di sintesi della soluzione adottata: più alto è il numero q di dimensioni considerate minore sarà la sintesi dell’informazione. In particolare, se la dimensione del sottospazio è q > 3 non sarà possibile rappresentare la proiezione della nube di punti ottenuta. Per le proprietà degli autovalori p X T tr(X X) = λα α=1 T la traccia della matrice tr(X X corrisponde al valore della variabilità complessiva della nube di punti corrispondente alla matrice dei dati standardizzati: ciascun autovalore esprime una parte della variabilità complessiva. inertia La variabilità spiegata dall’asse associato all’autovalore λα si definisce inertia ed è data da Contributi agli assi e qualità della rappresentazione inertiaα = Pp λα α=1 λα × 100 Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 22 / 60 Scelta delle dimensioni Analisi in Componenti Principali A. Iodice rappresentazione inertia di ciascuna delle dimensioni del sottospazio di Rp Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 23 / 60 criteri di scelta delle dimensioni Analisi in Componenti Principali A. Iodice Definizione del metodo La scelta del numero di dimensioni non può essere univocamente determinata: sta all’analista valutare quale sia la scelta migliore sulla base dei seguenti criteri: Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni criterio della variabilità spiegata: si sceglie il numero delle dimensioni sulla base della percentuale cumulata di variabilità spiegata dagli assi (inertia cumulata) criterio dell’ eigenvalue-one: poichè per effetto della standardizzazione le variabili di partenza hanno tutte varianza pari ad 1 , si scelgono le variabili di sintesi la cui varianza sia maggiore di 1. La variabilità sugli assi è data dall’autovalore, quindi si sceglieranno le dimensioni il cui autovalore è maggiore di 1 criterio dello scree-test: si considera il diagramma di Pareto relativo agli autovalori, quando il salto da una barra alla successiva si regolarizza, l’apporto alla variabilità di ogni dimensione aggiuntiva è irrilevante. Si sceglieranno le dimensioni corrispondenti alle barre che precedono la regolarizzazione del decremento della distribuzione Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 24 / 60 Interpretazione dei fattori e qualità della rappresentazione Analisi in Componenti Principali La proiezione nel sottospazio ridotto determina delle distorsioni della configurazione di punti originaria; inoltre, gli assi di proiezione vengono determinati sulla base dei valori delle variabili di partenza osservati sulle diverse unità. È dunque necessario valutare, per ciascuna unità, contributo alla determinazione di ciascun asse di proiezione A. Iodice qualità della rappresentazione sugli’assi Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn contributo assoluto Il contributo di una unità alla variabilità dell’asse α si definisce contributo assoluto e si misura come segue: CAiα = c2 iα nλα 1 rappresenta il peso dell’unità, che nell’ACP è uguale per le n unità. il fattore n qualità della rappresentazione: il cos2 La qualità della rappresentazione di ciascun vettore unità dipende dal rapporto tra la lunghezza (norma) del vettore nello spazio originario e la lunghezza della sua proiezione ortogonale su ciascun asse. Il rapporto tra tali norme quadratiche equivale al coseno dell’angolo formato tra il vettore nello spazio originario e la sua proiezione sull’asse. kx̂iα k2 2 cosiα = kxi k2 Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 25 / 60 Rappresentazione degli individui Analisi in Componenti Principali A. Iodice Contributi assoluti sul primo asse Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 26 / 60 Rappresentazione degli individui Analisi in Componenti Principali A. Iodice Contributi assoluti sul secondo asse Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 27 / 60 Contributi assoluti degli individui Analisi in Componenti Principali A. Iodice Contributi assoluti degli individui Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 28 / 60 Coseni al quadrato degli individui Analisi in Componenti Principali A. Iodice Coseni al quadrato degli individui Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 29 / 60 Ricerca del sottospazio ottimale di rappresentazione delle variabili: formalizzazione del problema Analisi in Componenti Principali A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Metodo dei minimi quadrati Il metodo dei minimi quadrati ha per obbiettivo la ricerca dell’asse U che minimizzi la somma delle distanze al quadrato dei punti dall’asse. L’identificazione dell’asse all’identificazione del suo versore v: Pn U corrsponde 2 la ricerca del vettore v che massimizzi la quantità i=1 (OHi ) è vincolata al fatto che il vettore abbia lunghezza 1 (norma unitaria) tale condizione sussiste se vT v = 1. In questo caso, volendo proiettare i punti variabile, dobbiamo considerare i vettori colonna della matrice X, la proiezione ortogonale sull’asse di versore v è data da XT v. Il problema Ricordando che XT v: Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta funzione obbiettivo: max! n X (OHi )2 = (XT v)T (XT v) = vT XXT v i=1 vincolo: vT v = 1 Analisi in Componenti Principali Statistica 30 / 60 Ricerca del sottospazio ottimale di rappresentazione delle variabili: ricerca del miglior asse Analisi in Componenti Principali A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Metodo di risoluzione del problema La ricerca del miglior asse di versore v1 è un problema di massimizzazione vincolata. Per risolverlo si fa ricorso al metodo dei moltiplicatori di Lagrange. Tale metodo consiste nel ridefinire la funzione obbiettivo in modo da includere il vincolo (in questo caso v1T v1 = 1). La funzione da massimizzare diventa max!L = v1T XXT v1 − µ(v1T v1 − 1) Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 31 / 60 Soluzione del problema Analisi in Componenti Principali A. Iodice Definizione del metodo La soluzione del problema Per massimizzare L si deve porre a zero la derivata prima rispetto ad u Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp max!L = v1T XXT v1 − µ(v1T v1 − 1) ðv1 L = 2XXT v1 − 2µ1 v1 = 0 Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione XXT v1 = µ1 v1 Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 32 / 60 Soluzione del problema Analisi in Componenti Principali Risoluzione dell’equazione caratteristica T A. Iodice XX v1 = µ1 v1 Definizione del metodo XX v1 − µ1 v1 = 0 Trasformazioni sulla matrice dei dati (XX − µ1 )v1 = 0 T T Formalizzazione del metodo: analisi in Rp quest’ultima rappresenta l’equazione caratteristica: di fatto la soluzione del problema di massimizzazione vincolata si ottiene mediante la ricerca di autovalori ed autovettori della matrice XXT . Scelta del numero di dimensioni Coordinate dei punti variabile sul sottospazio di proiezione Contributi agli assi e qualità della rappresentazione Analogamente a quanto descritto nell’analisi dello spazio di rappresentazione degli individui Rp , gli autovalori µα catturano una quota della variabilità complessiva. La coordinata della variabile j sull’asse individuato dall’autovalore µα (α = 1, . . . , n) è data da T Cα (j) = xj vα Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 33 / 60 autovalori λ, autovettori U Analisi in Componenti Principali A. Iodice autovalori e autovettori Gli autovalori risultanti dalla diagonalizzazione della matrice XXT sono n di cui n − p nulli. Gli autovalori non nulli coincidono con quelli della matrice XT X. Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 34 / 60 Coordinate principali delle variabili Analisi in Componenti Principali A. Iodice Coordinate principali delle variabili Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 35 / 60 Rappresentazione delle variabili: il cerchio delle correlazioni Analisi in Componenti Principali Sottospazio di approssimazione di Rn A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 36 / 60 Relazione tra le decomposizioni di XT X e XXT Analisi in Componenti Principali A. Iodice Definizione del metodo EVD(XT X) vs. EVD(XXT ) Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni le due matrici XT X e XXT hanno gli stessi autavori; gli autovettori dono caratterizzati dalle seguenti relazione: −1/2 V = XUDλ −1/2 U = XT VDλ Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 37 / 60 Un piccolo esempio numerico Analisi in Componenti Principali A. Iodice A= Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp 3 25 4 1 23 8 5 12 9 3 2 1 ; AT A = 651 301 111 111 253 95 ; AAT = 619 286 145 288 286 698 146 124 145 146 45 66 288 124 66 146 EVD AAT EVD AT A U= 301 762 253 0.595 -0.760 -0.261 0.804 -0.570 -0.172 -0.018 -0.312 0.950 V= -0.657 -0.660 -0.204 -0.303 -0.602 0.738 0.001 -0.305 0.421 -0.030 0.086 -0.903 0.173 0.136 -0.975 -0.016 Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Dλ = 1084.419 0 0 0 413.852 0 0 0 9.729 Dλ = 1084.419 0 0 0 0 413.852 0 0 0 0 9.729 0 0 0 0 0 Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 38 / 60 Un piccolo esempio numerico Analisi in Componenti Principali A. Iodice −1/2 V = AUDλ = Definizione del metodo Trasformazioni sulla matrice dei dati 3 25 4 1 23 8 5 12 9 3 2 1 · 0.595 -0.760 -0.261 0.804 -0.570 -0.172 -0.018 -0.312 0.950 -0.657 -0.660 -0.204 -0.303 -0.602 0.738 0.001 -0.305 1 √ 1084.419 · 0 0 0 √ 1 413.852 0 0 0 Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni = 0.421 -0.030 0.086 -0.903 = √ 1 9.729 0.173 0.136 -0.975 -0.016 Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 39 / 60 Un piccolo esempio numerico Analisi in Componenti Principali T Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp −1/2 U = A VDλ A. Iodice 3 23 9 25 8 3 4 5 2 √ 1 12 1 · 1 1084.419 -0.657 -0.660 -0.204 -0.303 0 √ 0 = -0.602 0.738 0.001 -0.305 0 1 413.852 0.421 -0.030 0.086 -0.903 0 0 0 0 0 √ 1 9.729 0 0 0 0 0 0.173 0.136 -0.975 -0.016 · = Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione = 0.595 -0.760 -0.261 0.804 -0.570 -0.172 -0.018 -0.312 0.950 0 0 0 Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 40 / 60 Rappresentazione delle variabili: guida all’interpretazione Analisi in Componenti Principali Sottospazio di approssimazione di Rn Mentre per i punti individuo, la distanza euclidea che li separa è indice di dissimilarità, nel caso delle variabili si interpreta l’angolo formato tra i diversi vettori/variabile. A. Iodice Definizione del metodo minore è l’angolo θ tra un vettore e ciasun asse fattoriale, maggiore sarà la correlazione tra la variabili originaria corrispondente e le variabili di sintesi minore è l’angolo θ tra due vettori , maggiore sarà la correlazione tra le variabili corrispondenti Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 41 / 60 Possibile rappresentazione congiunta unità/variabili Analisi in Componenti Principali Da un punto di vista interpretativo può essere di aiuto avere una rappresentazione congiunta tra unità e variabili. Per fare questo, si proiettano le variabili iniziali nel sottospazio di proiezione delle unità. Possibilità di una rappresentazione congiunta A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Si definiscono p vettori variabile di lunghezza 1 che rappesentano le direzioni. Poichè ad ogni dimensione dello spazio Rp corrisponde una variabile, i vettori unitari associati a ciascuna variabile hanno tutti gli elementi uguali a zero, fatta eccezione per la dimensione corrispondente alla variabile che rappresentano. Gli operatori di proiezione ortogonale sono, come per le unità, gli autovettori (colonne della matrice U). Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 42 / 60 Rappresentazione congiunta unità/variabili Analisi in Componenti Principali A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 43 / 60 Le province italiane: dati del Sole24Ore Analisi in Componenti Principali A. Iodice Ogni anno il Sole24Ore stila una classifica sulla qualità della vita nelle 107 province italiane. Di seguito le 36 variabili osservate. Popolazione numero abitanti per km2 ; Definizione del metodo totale immigrati su popolazione; laureati su 1000 abitanti di età compresa tra 25 e 30 anni; Trasformazioni sulla matrice dei dati nati su 1000 abitanti; over 65 su abitanti di età compresa tra 15 e 64 anni; divorzi e separazioni ogni diecimila famiglie. Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Affari e Lavoro numero di fallimenti su 1000 imprese; numero di imprese su 100 abitanti; Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta saldo tra iscrizioni e cancellazioni di imprese; numero di protesti pro-capite; tasso di occupazione della popolazione tra 25 e 34 anni. tasso di occupazione femminile. Analisi in Componenti Principali Statistica 44 / 60 Le province italiane: dati del Sole24Ore Analisi in Componenti Principali Servizi socio-ambientali e sanitari A. Iodice asili comunali su utenza; Definizione del metodo indice Tagliacarne infrastrutture; Trasformazioni sulla matrice dei dati escursione termica; Formalizzazione del metodo: analisi in Rp emigrazione ospedaliera; indice Legambiente; rapporto tra cause evase e pendenti. Ordine pubblico Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione numero furti in casa su 100mila abitanti; numero d’auto su 100mila abitanti; numero di estorsioni su 100mila abitanti; numero di rapine su 100mila abitanti; numero di frodi su 100mila abitanti; variazione trend delitti tra il 2005 e il 2010. Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 45 / 60 Le province italiane: dati del Sole24Ore Analisi in Componenti Principali Tenore di vita A. Iodice valore dei risparmi; Definizione del metodo importo assegno sociale; Trasformazioni sulla matrice dei dati trend del reddito; Formalizzazione del metodo: analisi in Rp tasso di inflazione; costo case al m2 ; spesa pro-capite. Qualità del tempo libero Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione indice libri su popolazione bar e ristoranti su 100mila abitanti; numero di spettacoli su 100mila abitanti; indice di sportività; organizzazioni di volontariato su 100mila abitanti; numero di cinema su 100mila abitanti. Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 46 / 60 Analisi su tutto il data set (inerzia= 46.5%) Analisi in Componenti Principali Le variabili A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 47 / 60 Analisi su tutto il data set (inerzia= 46.5%) Analisi in Componenti Principali Le unità statistiche A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 48 / 60 Popolazione (inerzia= 61.44%) Analisi in Componenti Principali Le variabili A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 49 / 60 Popolazione (inerzia= 61.44%) Analisi in Componenti Principali Le unità statistiche A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 50 / 60 Affari e lavoro (inerzia= 65.18%) Analisi in Componenti Principali Le variabili A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 51 / 60 Affari e lavoro (inerzia= 65.18%) Analisi in Componenti Principali Le unità statistiche A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 52 / 60 Servizi socio-ambientali e sanitari (inerzia= 67%) Analisi in Componenti Principali Le variabili A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 53 / 60 Servizi socio-ambientali e sanitari (inerzia= 67%) Analisi in Componenti Principali Le unità statistiche A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 54 / 60 Ordine Pubblico (inerzia= 57.35%) Analisi in Componenti Principali Le variabili A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 55 / 60 Ordine Pubblico (inerzia= 57.35%) Analisi in Componenti Principali Le unità statistiche A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 56 / 60 Tenore di vita (inerzia= 70.3%) Analisi in Componenti Principali Le variabili A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 57 / 60 Tenore di vita (inerzia= 70.3%) Analisi in Componenti Principali Le unità statistiche A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 58 / 60 Tempo Libero (inerzia= 63.4%) Analisi in Componenti Principali Le variabili A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 59 / 60 Tempo Libero (inerzia= 63.4%) Analisi in Componenti Principali Le unità statistiche A. Iodice Definizione del metodo Trasformazioni sulla matrice dei dati Formalizzazione del metodo: analisi in Rp Scelta del numero di dimensioni Contributi agli assi e qualità della rappresentazione Formalizzazione del metodo: analisi in Rn Rappresentazione A. Iodice () congiunta Analisi in Componenti Principali Statistica 60 / 60
