Sintesi dell`informazione - Strumenti quantitativi per l`economia e la
annuncio pubblicitario
Sintesi dell’informazione A. Iodice Proiezioni ortogonali Sintesi dell’informazione Proiezioni ortogonali di matrici Strumenti quantitativi per l’economia e la finanza I Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Alfonso Iodice D’Enza [email protected] Formalizzazione del problema Soluzione del problema Autovalori e autovettori Università degli studi di Cassino e del Lazio Meridionale Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 1 / 42 Outline Sintesi dell’informazione A. Iodice 1 Proiezioni ortogonali Proiezioni ortogonali di matrici 2 Sintesi dell’informazione 3 Ricerca del sottospazio di proiezione ottimale 4 Formalizzazione del problema Soluzione del problema Autovalori e autovettori 5 Capacità informativa della sintesi Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 2 / 42 Proiezione ortogonale di un vettore Sintesi dell’informazione A. Iodice ...graficamente si consideri il vettore x = [5, 4] Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 3 / 42 Proiezione ortogonale di un vettore Sintesi dell’informazione A. Iodice ...graficamente si vuole proiettare il vettore x sull’asse U passante per il punto (11, 1). Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 4 / 42 Proiezione ortogonale di un vettore Sintesi dell’informazione A. Iodice ...graficamente per effettuare la proiezione di x sull’asse U occorre calcolare il versore v dell’asse U; il versore è v = [0.995, 0.0905] Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 5 / 42 Proiezione ortogonale di un vettore Sintesi dell’informazione A. Iodice ...graficamente coordinata α della proiezione ortogonale sull’asse U del vettore x si ottiene moltiplicando il vettore da proiettare per il versore v dell’asse U, Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 6 / 42 Proiezione ortogonale di un vettore Sintesi dell’informazione A. Iodice ...graficamente coordinata α della proiezione ortogonale sull’asse U del vettore x si ottiene moltiplicando il vettore da proiettare per il versore v dell’asse U, Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 7 / 42 Proiezione ortogonale di un vettore Sintesi dell’informazione A. Iodice ...graficamente avendo ottenuto α, è ora possibile calcolare il vettore x̂ che rappresenta l’ ‘immagine’ di x sull’asse U Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 8 / 42 Proiezione ortogonale di un vettore Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ciascun asse individua una direzione nello spazio; poichè ciascuna direzione identifica infiniti vettori di diversa intensità si fa riferimento al versore che ha norma (intensità ) pari ad 1. Dunque tutti i punti che giacciono su un asse U che ha per versore v avranno come coordinata un multiplo di v. Questo perchè a ciascuno dei punti su U corrisponde un vettore di direzione identificata dall’asse U di versore v. Sia x̂ la proiezione ortogonale del vettore x sull’asse U di versore v. La proiezione di x su U deve essere ortogonale, quindi il vettore differenza (x − x̂) deve essere ortogonale all’asse U, di conseguenza (x − x̂) deve essere ortogonale a v. Due vettori sono ortogonali se il loro prodotto scalare è nullo, il vincolo è quindi (x − x̂)T v = 0 da cui, facendo alcuni passaggi, si ha Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori x̂ = αv Determinare α, la coordinata sull’asse xT v − x̂T v = 0 poichè x̂ = αv e x̂T = αvT allora xT v − αvT v = 0 essendo v un versore, vT v = 1, quindi xT v − α = 0 α = xT v che rappresenta la coordinata di x sull’asse U di versore v. =⇒ dunque la coordinata α della proiezione ortogonale sull’asse U del vettore x si ottiene moltiplicando il vettore da proiettare per il versore v dell’asse U. La coordinata α sarà dunque una combinazione lineare (somma ponderata) di x 0.995 α = xT v = [5, 4] = 5 × 0.995 +4 × 0.905 = 8.595 0.905 | {z } | {z } peso Capacità informativa della sintesi A. Iodice peso Sintesi dell’informazione Statistica 9 / 42 Proiezione ortogonale di un vettore Sintesi dell’informazione A. Iodice ...graficamente avendo ottenuto α, è ora possibile calcolare il vettore x̂ che rappresenta l’ ‘immagine’ di x sull’asse U Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 10 / 42 Proiezione ortogonale di vettori Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici Esempio di proiezione ortogonale di vettori su un asse Si consideri di voler proiettare ortogonalmente i vettori v1 =√ [−7, 6] e v2 = [3, 5] sull’asse individuato dal vettore U1 = [3, 10], la cui norma è 32 + 102 = 10.44. Sintesi dell’informazione Il versore che identifica l’asse U1 è u1 = [0.2873, 0.9578] Ricerca del sottospazio di proiezione ottimale Le coordinate dei vettori v1 e v2sono 0.2873 α1 = −7 6 × = 3.735 0.9578 0.2873 α2 = 3 5 × = 5.65 0.9578 Formalizzazione del problema Le coordinate dei punti che individuano i vettore proiettati v̂1 e v̂2 sono rispettivamente v̂1 = α1 u1 = [1.07, 3.58] e v̂2 = α2 u1 = [1.62, 5.41] Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 11 / 42 Proiezione ortogonale di un vettore Sintesi dell’informazione A. Iodice ...graficamente Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A seconda dell’asse di proiezione scelto, la distanza tra le proiezioni dei vettori cambia considerevolmente. A. Iodice Sintesi dell’informazione Statistica 12 / 42 Proiezione ortogonale di vettori Sintesi dell’informazione A. Iodice Proiezioni ortogonali Esempio di proiezione ortogonale di vettori su un asse Proiezioni ortogonali di matrici Si consideri di voler proiettare ortogonalmente i vettori v1 = [−7, 6] e v2 = [3, 5] sull’asse individuato dal vettore U2 = [−9, 2]. Sintesi dell’informazione Il versore che identifica l’asse U2 è u2 = [−0.9762, 0.2169] Ricerca del sottospazio di proiezione ottimale Le coordinate dei vettori v 1 e v2 sono −0.9762 −7 6 α1 = × = 8.13 0.2169 −0.9762 3 5 α2 = × = −1.84 0.2169 Formalizzazione del problema Le coordinate dei punti che individuano i vettore proiettati v̂1 e v̂2 sono rispettivamente v̂1 = [−7.94, 1.76] e v̂2 = [1.8, −0.4] Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 13 / 42 Proiezione ortogonale di un vettore Sintesi dell’informazione A. Iodice ...graficamente Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A seconda dell’asse di proiezione scelto, la distanza tra le proiezioni dei vettori cambia considerevolmente. A. Iodice Sintesi dell’informazione Statistica 14 / 42 Proiezione ortogonale sull’asse delle ascisse Sintesi dell’informazione A. Iodice ...graficamente Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A seconda dell’asse di proiezione scelto, la distanza tra le proiezioni dei vettori cambia considerevolmente. A. Iodice Sintesi dell’informazione Statistica 15 / 42 Proiezione ortogonale sull’asse delle ordinate Sintesi dell’informazione A. Iodice ...graficamente Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A seconda dell’asse di proiezione scelto, la distanza tra le proiezioni dei vettori cambia considerevolmente. A. Iodice Sintesi dell’informazione Statistica 16 / 42 Proiezione ortogonale di una matrice Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici La matrice Xn×p è un insieme di n vettori incolonnati xi di p elementi, dunque la proiezione ortogonale di X su un asse U corrisponde alla simultanea proiezione dei vettori riga della matrice. Le coordinate dei vettori riga si ottengono effettuando il prodotto scalare tra la matrice considerata ed il versore: Sintesi dell’informazione x11 x21 α = Xu = ... xn1 Ricerca del sottospazio di proiezione ottimale x12 x22 ... xn2 ... ... ... ... x1p x2p × ... xnp u1 u2 = ... up α1 α2 ... αp Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 17 / 42 Proiezione ortogonale di matrici Sintesi dell’informazione A. Iodice ...graficamente Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 18 / 42 Proiezione ortogonale di matrici Sintesi dell’informazione A. Iodice ...graficamente Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 19 / 42 Proiezione ortogonale di matrici sull’asse delle ascisse Sintesi dell’informazione A. Iodice ...graficamente Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 20 / 42 Proiezione ortogonale di matrici sull’asse delle ordinate Sintesi dell’informazione A. Iodice ...graficamente Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 21 / 42 Sintesi dell’informazione Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema La proiezione ortogonale su un asse U dei vettori riga o colonna determina una sintesi degli elementi dei vettori (la coordinata sull’asse). La sintesi varia al variare dell’asse scelto. Quindi... obiettivo delle tecniche fattoriali ...i metodi fattoriali hanno l’obbiettivo di sintetizzare la configurazione dei vettori riga nello spazio Rp e quella dei vettori colonna nello spazio Rn . ricerca della soluzione la soluzione consiste nella determinazione di un sottospazio di proiezione costiituito da assi che approssimino al meglio le distanze tra i punti dello spazio originario. Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 22 / 42 Perdita di informazione Sintesi dell’informazione A. Iodice Proiezioni ortogonali La proiezione ortogonale dei punti determina una inevitabile perdita di informazione: la distanza che caratterizza i punti nello spazio originario viene deformata quando proiettata nel sottospazio fattoriale. Minore sarà tale deformazione, più fedele sarà l’immagine nel sottospazio della configurazione iniziale dei punti. deformazione delle distanze tra i punti Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 23 / 42 Criterio per la ricerca del sottospazio di proiezione ottimale Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Un vettore sarà approssimato al meglio dall’asse U quanto minore sarà la sua distanza dall’asse (Mi Hi ) o, in maniera corrispondente, quanto maggiore sarà la coordinata del vettore sull’asse (OHi ). ..ricordando il Teorema di Pitagora Metodo dei minimi quadrati Il metodo dei minimi quadrati ha per obbiettivo la ricerca dell’asse U che minimizzi la somma delle distanze al quadrato dei punti dall’asse. Formalmente min! n X 2 (Mi Hi ) = i=1 n X 2 (OMi ) − i=1 n X Da un punto di vista grafico, si considera il triangolo rettangolo di vertici (O, Hi , Mi ). 2 (OHi ) i=1 L’ipotenusa OMi del triangolo rettangolo di vertici OMi Hi corrsiponde al vettore nello spazio originario, di conseguenza è fissa. Dunque min! n X i=1 Capacità informativa della sintesi A. Iodice (Mi Hi ) 2 equivale a max! n X 2 (OHi ) i=1 Sintesi dell’informazione Statistica 24 / 42 Formalizzazione del problema Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Metodo dei minimi quadrati Il metodo dei minimi quadrati ha per obbiettivo la ricerca dell’asse U che minimizzi la somma delle distanze al quadrato dei punti dall’asse. L’identificazione dell’asse all’identificazione del suo versore u: Pn U corrsponde 2 la ricerca del vettore u che massimizzi la quantità i=1 (OHi ) è vincolata al fatto che il vettore abbia T lunghezza 1 (norma unitaria) tale condizione sussiste se u u = 1. Il problema Ricordando che l’insieme delle coordinate (OHi ) sull’asse di versore u sono contenute nel vettore Xu: funzione obbiettivo: Formalizzazione del problema Soluzione del problema Autovalori e autovettori max! n X (OHi )2 = (Xu)T (Xu) = uT XT Xu i=1 Capacità informativa della sintesi vincolo: uT u = 1 A. Iodice Sintesi dell’informazione Statistica 25 / 42 Soluzione del problema: ricerca del miglior asse Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Metodo di risoluzione del problema La ricerca del miglior asse di versore u1 è dunque un problema di massimizzazione vincolata. Per risolverlo si fa ricorso al metodo dei moltiplicatori di Lagrange. Tale metodo consiste nel ridefinire la funzione obbiettivo in modo da includere il vincolo (in questo caso uT 1 u1 = 1). La funzione da massimizzare diventa T T max!L = uT 1 X Xu1 − λ(u1 u1 − 1) Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 26 / 42 Soluzione del problema Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici La soluzione del problema Per massimizzare L si deve porre a zero la derivata prima rispetto ad u T T max!L = uT 1 X Xu1 − λ1 (u1 u1 − 1) Sintesi dell’informazione ðu1 L = 2XT Xu1 − 2λ1 u1 = 0 Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema XT Xu1 = λ1 u1 Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 27 / 42 Soluzione del problema Sintesi dell’informazione A. Iodice Proiezioni ortogonali Risoluzione dell’equazione caratteristica XT Xu1 = λ1 u1 Proiezioni ortogonali di matrici Sintesi dell’informazione XT Xu1 − λ1 u1 = 0 Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori (XT X − λ1 )u1 = 0 quest’ultima rappresenta l’equazione caratteristica: di fatto la soluzione del problema di massimizzazione vincolata si ottiene mediante la ricerca di autovalori ed autovettori della matrice XT X. Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 28 / 42 Definizione di autovalori e autovettori Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Autovalori e autovettori Data una matrice A quadrata, si cerca un vettore x di A tale che il prodotto Ax sia proporzionale ad x secondo il fattore λ. Formalmente equazione caratteristica: Ap×p xp×1 = λxp×1 Ricerca del sottospazio di proiezione ottimale (Ap×p − λ1 Ip×p )xp×1 = 0 Formalizzazione del problema λ è uno scalare e rappresenta l’ autovalore Soluzione del problema Autovalori e autovettori x rappresenta uno degli infiniti autovettori collineari associati all’autovalore λ Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 29 / 42 Autovalori e autovettori Sintesi dell’informazione A. Iodice Esempio di calcolo di autovalori e autovettori Si consideri la seguente matrice Proiezioni ortogonali A3×3 Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema 2 = 3 3 4 8 1 7 9 1 Per trovare gli autovalori è necessario uguagliare a zero il determinante della seguente matrice 2 (A−λI) = 3 3 Soluzione del problema Autovalori e autovettori 4 8 1 7 λ 9 − 0 1 0 det Capacità informativa della sintesi 2−λ 3 3 0 λ 0 4 8−λ 1 0 2−λ 0 = 3 λ 3 4 8−λ 1 7 9 1−λ 7 =0 9 1−λ Ricorrendo alla formula del determinante per matrice 3 × 3 A. Iodice Sintesi dell’informazione Statistica 30 / 42 Autovalori e autovettori Sintesi dell’informazione Esempio di calcolo di autovalori e autovettori A. Iodice Proiezioni ortogonali det Proiezioni ortogonali di matrici 2−λ 3 3 4 8−λ 1 Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale = (2 − λ)((8 − λ)(1 − λ) − 9) − 4(3(1 − λ) − 27) + 7(3 − 3(8 − λ)) = Formalizzazione del problema 2 = (2 − λ)(λ − 9λ − 1) − 4(3 − 3λ − 27) + 7(3 − 24 + 3λ) = 2 Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi 7 8−λ 9 = (2 − λ) × det 9 1 1−λ 1−λ 3 9 − 4 × det 3 1−λ 3 8−λ =0 + 7 × det 3 1 3 2 = 2λ − 18λ − 2 − λ + 9λ + λ − 12 + 12λ + 108 + 21 − 168 + 21λ = 3 2 = −λ + 11λ + 16λ − 53 = 0 L’equazione è risolta per λ1 = 11.97, λ2 = −2.64 e λ3 = −1.675 A. Iodice Sintesi dell’informazione Statistica 31 / 42 Autovalori e autovettori Sintesi dell’informazione A. Iodice Proiezioni ortogonali Esempio di calcolo di autovalori e autovettori Per ciascuno degli autovalori ottenuti si può individuare, tra gli infiniti vettori collineari ad essi associati, l’autovettore di norma 1. La ricerca dell’autovettore u di norma 1 associato a λ1 si ottiene risolvendo l’equazione caratteristica. Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi 2 − 11.97 3 3 4 8 − 11.97 1 x1 0 7 × x2 = 0 9 0 1 − 11.97 x3 −9.97x1 + 4x2 + 7x3 = 0 3x1 − 3.97x2 + 9x3 = 0 3x1 − 1x2 − 10.97x3 = 0 Dato il sistema rispetto al primo autovalore, tra gli infiti autovalori collineari che lo risolvono, si sceglie l’autovalore di norma unitaria. L’autovettore cercato è −0.4879 u1 = −0.8471 0.2107 L’autovettore u1 è pertanto associato all’autovalore λ1 . Ripetendo il procedimento per ciascuno degli autovalori trovati (λ2 ,λ3 ), si ottengono gli autovettori u2 e u3 . A. Iodice Sintesi dell’informazione Statistica 32 / 42 Autovalori e autovettori Sintesi dell’informazione A. Iodice Proiezioni ortogonali A ciascun autovalore λ sono associati infiniti autovettori collineari Proiezioni ortogonali di matrici Una matrice A e la sua trasposta AT hanno gli stessi autovalori ma autovettori diversi Sintesi dell’informazione La somma degli autovalori di A è uguale alla sua traccia Ricerca del sottospazio di proiezione ottimale Se A è una matrice simmetrica ad elementi reali, gli autovalori sono reali Se A è una matrice simmetrica ad elementi reali, il numero di autovalori non nulli corrisponde al numero di righe e colonne linearmente indipendenti (rango di A) Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 33 / 42 Spazio delle variabili e spazio delle unità Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Matrice dei dati: spazio delle variabili e spazio delle unità La matrice dei dati, relativa ad n unità descritte da p variabili è x1,1 x1,2 ... x1,p x2,1 x2,2 ... x2,p ... ... ... ... xn,1 xn,2 ... xn,p Spazio delle unità Spazio delle variabili Ricerca del sottospazio di proiezione ottimale Si consideri la matrice X come insieme di n vettori riga: da un punto di vista geometrico, tale matrice corrisponde una configurazione di n punti nello spazio Rp . Si consideri la matrice X come insieme di p vettori colonna: da un punto di vista geometrico, tale matrice corrisponde una configurazione di p punti nello spazio Rn . Formalizzazione del problema Le coordinate di dei punti sui p assi che costituiscono lo spazio Rp sono gli elementi degli n vettori riga della matrice X. Le coordinate dei punti sugli n assi che costituiscono lo spazio Rn sono gli elementi dei p vettori colonna della matrice X. La sintesi delle p variabili di partenza si determina mediante la ricerca di autovalori ed autovettori della matrice La sintesi delle p variabili di partenza si determina mediante la ricerca di autovalori ed autovettori della matrice Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi T X X A. Iodice XX Sintesi dell’informazione T Statistica 34 / 42 Capacità informativa della sintesi Sintesi dell’informazione A. Iodice Capacità informativa della sintesi Per stabilire il grado di informazione che la sintesi è in grado di catturare si tenga conto dei seguenti aspetti Proiezioni ortogonali 1 Proiezioni ortogonali di matrici Se X è centrata (ovvero i suoi elementi sono scarti dalla media aritmetica di ciascuna variabile), allora la matrice risultante dal prodotto XT X è la matrice di varianze e covarianze 2 σ1,1 σx2,1 X X= ... σxp,1 Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale σx1,2 2 σ2,2 ... σxp,2 T 2 Formalizzazione del problema σx1,p σx2,p ... 2 σp,p Richiamando una delle proprietà degli autovalori, vale la seguente relazione T tr(X X) = Soluzione del problema Autovalori e autovettori ... ... ... ... p X λj j=1 poichè tr(XT X) rappresenta la variabilità complessiva della nube dei punti unità, ciascun autovalore λj esprime una parte della variabilità originaria. Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 35 / 42 Capacità informativa della sintesi Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Capacità informativa della sintesi A seconda del numero di assi di sintesi che si sceglie di utilizzare, si otterrà un diverso grado di sintesi. La variabilità catturata dalla sintesi operata sul primo asse (identificato dal primo autovalore) può essere dunque calcolata come segue λ1 tr(XT X) Qualora si scelga un maggior numero (d) di assi di sintesi (che costituiscono il sottospazio di proiezione Rd ), la variabilità spiegata dalla sintesi diventa Pd j=1 λj tr(XT X) Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 36 / 42 Ricerca di assi successivi al primo Sintesi dell’informazione A. Iodice Proiezioni ortogonali Ricerca del secondo asse Alla luce di quanto detto, all’aumentare del numero di assi di sintesi d, aumenta la quota di variabilità originaria che la sintesi è in grado di riprodurre. Tuttavia se d > 3 si perde la possibilità di visualizzare graficamente la sintesi dei dati ottenuta. Per cercare il secondo asse di sintesi si procede analogamente a quanto fatto per il primo, ovvero si ricorre al metodo dei moltiplicatori di Lagrange. La funzione obbiettivo, comprensiva di vincolo, è Proiezioni ortogonali di matrici T Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi T T ðu2 L = 2X Xu2 − 2λ1 u2 = 0 Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema T max!L = u2 X Xu2 − λ2 (u2 u2 − 1) Sintesi dell’informazione T X Xu2 = λ2 u2 Ottenuti i vettori u1 e u2 , si è ottenuto un piano di proiezione su cui rappresentare la sintesi della nube dei punti unità. Coordinata sull’asse α la coordinata dell’unità i sull’asse di sintesi α si ottiene combinando linearmente gli elementi dell’i-mo vettore riga di X con l’autovettore uα . cα = xi uα A. Iodice Sintesi dell’informazione Statistica 37 / 42 Ricerca del sottospazio ottimale di rappresentazione delle variabili: formalizzazione del problema Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici Metodo dei minimi quadrati Il metodo dei minimi quadrati ha per obbiettivo la ricerca dell’asse U che minimizzi la somma delle distanze al quadrato dei punti dall’asse. L’identificazione dell’asse all’identificazione del suo versore v: Pn U corrsponde 2 la ricerca del vettore v che massimizzi la quantità i=1 (OHi ) è vincolata al fatto che il vettore abbia T lunghezza 1 (norma unitaria) tale condizione sussiste se v v = 1. In questo caso, volendo proiettare i punti variabile, dobbiamo considerare i vettori colonna della matrice X, la proiezione ortogonale sull’asse di versore v è data da XT v. Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Il problema Ricordando che XT v: funzione obbiettivo: Formalizzazione del problema Soluzione del problema Autovalori e autovettori max! n X (OHi )2 = (XT v)T (XT v) = vT XXT v i=1 Capacità informativa della sintesi vincolo: vT v = 1 A. Iodice Sintesi dell’informazione Statistica 38 / 42 Ricerca del sottospazio ottimale di rappresentazione delle variabili: ricerca del miglior asse Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Metodo di risoluzione del problema La ricerca del miglior asse di versore v1 è un problema di massimizzazione vincolata. Per risolverlo si fa ricorso al metodo dei moltiplicatori di Lagrange. Tale metodo consiste nel ridefinire la funzione obbiettivo in modo da includere il vincolo (in questo caso v1T v1 = 1). La funzione da massimizzare diventa max!L = v1T XXT v1 − µ(v1T v1 − 1) Formalizzazione del problema Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 39 / 42 Soluzione del problema Sintesi dell’informazione A. Iodice Proiezioni ortogonali Proiezioni ortogonali di matrici La soluzione del problema Per massimizzare L si deve porre a zero la derivata prima rispetto ad u max!L = v1T XXT v1 − µ(v1T v1 − 1) Sintesi dell’informazione ðv1 L = 2XXT v1 − 2µ1 v1 = 0 Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema XXT v1 = µ1 v1 Soluzione del problema Autovalori e autovettori Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 40 / 42 Soluzione del problema Sintesi dell’informazione Risoluzione dell’equazione caratteristica A. Iodice T XX v1 = µ1 v1 Proiezioni ortogonali T XX v1 − µ1 v1 = 0 Proiezioni ortogonali di matrici Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Formalizzazione del problema Soluzione del problema Autovalori e autovettori T (XX − µ1 )v1 = 0 quest’ultima rappresenta l’equazione caratteristica: di fatto la soluzione del problema di massimizzazione vincolata si ottiene mediante la ricerca di autovalori ed autovettori della matrice XXT . Coordinate dei punti variabile sul sottospazio di proiezione Analogamente a quanto descritto nell’analisi dello spazio di rappresentazione degli individui Rp , gli autovalori µα catturano una quota della variabilità complessiva. La coordinata della variabile j sull’asse individuato dall’autovalore µα (α = 1, . . . , n) è data da T Capacità informativa della sintesi Cα (j) = xj vα A. Iodice Sintesi dell’informazione Statistica 41 / 42 Relazione tra analisi delle unità e delle variabili: dualità tra Rp e Rn Sintesi dell’informazione Autovalori A. Iodice T Analisi unità :X X matrice p × p, p autovalori Proiezioni ortogonali T Proiezioni ortogonali di matrici Analisi variabili :XX matrice n × n, n autovalori di cui n − p nulli Sintesi dell’informazione Ricerca del sottospazio di proiezione ottimale Autovettori Gli autovettori delle matrici XT X e XXT sono tra loro proporzionali. E’ possibile ottenere gli autovettori vα possono essere ottenuti a partire da uα e viceversa. Si ricorre alle seguenti formule di transizione Formalizzazione del problema 1 vα = √ Xuα λα Soluzione del problema Autovalori e autovettori 1 T uα = √ X vα λα Capacità informativa della sintesi A. Iodice Sintesi dell’informazione Statistica 42 / 42
