Sintesi dell`informazione - Strumenti quantitativi per l`economia e la

Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Sintesi dell’informazione
Proiezioni
ortogonali di
matrici
Strumenti quantitativi per l’economia e la finanza I
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Alfonso Iodice D’Enza
[email protected]
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Università degli studi di Cassino e del Lazio Meridionale
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
1 / 42
Outline
Sintesi dell’informazione
A. Iodice
1
Proiezioni ortogonali
Proiezioni ortogonali di matrici
2
Sintesi dell’informazione
3
Ricerca del sottospazio di proiezione ottimale
4
Formalizzazione del problema
Soluzione del problema
Autovalori e autovettori
5
Capacità informativa della sintesi
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
2 / 42
Proiezione ortogonale di un vettore
Sintesi dell’informazione
A. Iodice
...graficamente
si consideri il vettore x = [5, 4]
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
3 / 42
Proiezione ortogonale di un vettore
Sintesi dell’informazione
A. Iodice
...graficamente
si vuole proiettare il vettore x sull’asse U passante per il punto (11, 1).
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
4 / 42
Proiezione ortogonale di un vettore
Sintesi dell’informazione
A. Iodice
...graficamente
per effettuare la proiezione di x sull’asse U occorre calcolare il versore v dell’asse U; il versore è
v = [0.995, 0.0905]
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
5 / 42
Proiezione ortogonale di un vettore
Sintesi dell’informazione
A. Iodice
...graficamente
coordinata α della proiezione ortogonale sull’asse U del vettore x si ottiene moltiplicando il vettore da
proiettare per il versore v dell’asse U,
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
6 / 42
Proiezione ortogonale di un vettore
Sintesi dell’informazione
A. Iodice
...graficamente
coordinata α della proiezione ortogonale sull’asse U del vettore x si ottiene moltiplicando il vettore da
proiettare per il versore v dell’asse U,
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
7 / 42
Proiezione ortogonale di un vettore
Sintesi dell’informazione
A. Iodice
...graficamente
avendo ottenuto α, è ora possibile calcolare il vettore x̂ che rappresenta l’ ‘immagine’ di x sull’asse U
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
8 / 42
Proiezione ortogonale di un vettore
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ciascun asse individua una direzione nello spazio; poichè ciascuna direzione identifica infiniti vettori di diversa
intensità si fa riferimento al versore che ha norma (intensità ) pari ad 1. Dunque tutti i punti che giacciono
su un asse U che ha per versore v avranno come coordinata un multiplo di v. Questo perchè a ciascuno dei
punti su U corrisponde un vettore di direzione identificata dall’asse U di versore v. Sia x̂ la proiezione
ortogonale del vettore x sull’asse U di versore v.
La proiezione di x su U deve essere ortogonale, quindi il vettore differenza (x − x̂) deve essere ortogonale
all’asse U, di conseguenza (x − x̂) deve essere ortogonale a v. Due vettori sono ortogonali se il loro
prodotto scalare è nullo, il vincolo è quindi (x − x̂)T v = 0 da cui, facendo alcuni passaggi, si ha
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
x̂ = αv
Determinare α, la coordinata sull’asse
xT v − x̂T v = 0
poichè x̂ = αv e x̂T = αvT allora
xT v − αvT v = 0
essendo v un versore, vT v = 1, quindi
xT v − α = 0
α = xT v che rappresenta la coordinata di x sull’asse U di versore v.
=⇒
dunque la coordinata α della proiezione ortogonale sull’asse U del vettore x si ottiene moltiplicando il
vettore da proiettare per il versore v dell’asse U.
La coordinata α sarà dunque una
combinazione lineare (somma ponderata) di x
0.995
α = xT v = [5, 4]
= 5 × 0.995 +4 × 0.905 = 8.595
0.905
| {z }
| {z }
peso
Capacità
informativa
della sintesi
A. Iodice
peso
Sintesi dell’informazione
Statistica
9 / 42
Proiezione ortogonale di un vettore
Sintesi dell’informazione
A. Iodice
...graficamente
avendo ottenuto α, è ora possibile calcolare il vettore x̂ che rappresenta l’ ‘immagine’ di x sull’asse U
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
10 / 42
Proiezione ortogonale di vettori
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Esempio di proiezione ortogonale di vettori su un asse
Si consideri di voler proiettare ortogonalmente i vettori v1 =√
[−7, 6] e v2 = [3, 5]
sull’asse individuato dal vettore U1 = [3, 10], la cui norma è 32 + 102 = 10.44.
Sintesi dell’informazione
Il versore che identifica l’asse U1 è u1 = [0.2873, 0.9578]
Ricerca del
sottospazio di
proiezione
ottimale
Le coordinate dei vettori
v1 e v2sono
0.2873
α1 = −7 6 ×
= 3.735
0.9578
0.2873
α2 = 3 5 ×
= 5.65
0.9578
Formalizzazione
del problema
Le coordinate dei punti che individuano i vettore proiettati v̂1 e v̂2 sono
rispettivamente v̂1 = α1 u1 = [1.07, 3.58] e v̂2 = α2 u1 = [1.62, 5.41]
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
11 / 42
Proiezione ortogonale di un vettore
Sintesi dell’informazione
A. Iodice
...graficamente
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A seconda dell’asse di proiezione scelto, la distanza tra le proiezioni dei vettori cambia considerevolmente.
A. Iodice
Sintesi dell’informazione
Statistica
12 / 42
Proiezione ortogonale di vettori
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Esempio di proiezione ortogonale di vettori su un asse
Proiezioni
ortogonali di
matrici
Si consideri di voler proiettare ortogonalmente i vettori v1 = [−7, 6] e v2 = [3, 5] sull’asse
individuato dal vettore U2 = [−9, 2].
Sintesi dell’informazione
Il versore che identifica l’asse U2 è u2 = [−0.9762, 0.2169]
Ricerca del
sottospazio di
proiezione
ottimale
Le coordinate dei vettori v
1 e v2 sono −0.9762
−7
6
α1 =
×
= 8.13
0.2169
−0.9762
3
5
α2 =
×
= −1.84
0.2169
Formalizzazione
del problema
Le coordinate dei punti che individuano i vettore proiettati v̂1 e v̂2 sono rispettivamente
v̂1 = [−7.94, 1.76] e v̂2 = [1.8, −0.4]
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
13 / 42
Proiezione ortogonale di un vettore
Sintesi dell’informazione
A. Iodice
...graficamente
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A seconda dell’asse di proiezione scelto, la distanza tra le proiezioni dei vettori cambia considerevolmente.
A. Iodice
Sintesi dell’informazione
Statistica
14 / 42
Proiezione ortogonale sull’asse delle ascisse
Sintesi dell’informazione
A. Iodice
...graficamente
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A seconda dell’asse di proiezione scelto, la distanza tra le proiezioni dei vettori cambia considerevolmente.
A. Iodice
Sintesi dell’informazione
Statistica
15 / 42
Proiezione ortogonale sull’asse delle ordinate
Sintesi dell’informazione
A. Iodice
...graficamente
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A seconda dell’asse di proiezione scelto, la distanza tra le proiezioni dei vettori cambia considerevolmente.
A. Iodice
Sintesi dell’informazione
Statistica
16 / 42
Proiezione ortogonale di una matrice
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
La matrice Xn×p è un insieme di n vettori incolonnati xi di p elementi, dunque la proiezione ortogonale di
X su un asse U corrisponde alla simultanea proiezione dei vettori riga della matrice. Le coordinate dei
vettori riga si ottengono effettuando il prodotto scalare tra la matrice considerata ed il versore:
Sintesi dell’informazione

x11
 x21
α = Xu = 
 ...
xn1
Ricerca del
sottospazio di
proiezione
ottimale
x12
x22
...
xn2
...
...
...
...


x1p

x2p 
×

... 
xnp

u1
u2 
=
... 
up


α1
 α2 


 ... 
αp
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
17 / 42
Proiezione ortogonale di matrici
Sintesi dell’informazione
A. Iodice
...graficamente
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
18 / 42
Proiezione ortogonale di matrici
Sintesi dell’informazione
A. Iodice
...graficamente
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
19 / 42
Proiezione ortogonale di matrici sull’asse delle
ascisse
Sintesi dell’informazione
A. Iodice
...graficamente
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
20 / 42
Proiezione ortogonale di matrici sull’asse delle
ordinate
Sintesi dell’informazione
A. Iodice
...graficamente
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
21 / 42
Sintesi dell’informazione
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
La proiezione ortogonale su un asse U dei vettori riga o colonna determina una sintesi degli elementi dei
vettori (la coordinata sull’asse). La sintesi varia al variare dell’asse scelto. Quindi...
obiettivo delle tecniche fattoriali
...i metodi fattoriali hanno l’obbiettivo di sintetizzare la configurazione dei vettori riga nello spazio Rp e
quella dei vettori colonna nello spazio Rn .
ricerca della soluzione
la soluzione consiste nella determinazione di un sottospazio di proiezione costiituito da assi che approssimino
al meglio le distanze tra i punti dello spazio originario.
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
22 / 42
Perdita di informazione
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
La proiezione ortogonale dei punti determina una inevitabile perdita di informazione: la distanza che
caratterizza i punti nello spazio originario viene deformata quando proiettata nel sottospazio fattoriale.
Minore sarà tale deformazione, più fedele sarà l’immagine nel sottospazio della configurazione iniziale dei
punti.
deformazione delle distanze tra i punti
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
23 / 42
Criterio per la ricerca del sottospazio di proiezione
ottimale
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Un vettore sarà approssimato al meglio dall’asse U quanto minore sarà la sua distanza dall’asse (Mi Hi ) o,
in maniera corrispondente, quanto maggiore sarà la coordinata del vettore sull’asse (OHi ).
..ricordando il Teorema di Pitagora
Metodo dei minimi quadrati
Il metodo dei minimi quadrati ha per obbiettivo la ricerca
dell’asse U che minimizzi la somma delle distanze al
quadrato dei punti dall’asse. Formalmente
min!
n
X
2
(Mi Hi )
=
i=1
n
X
2
(OMi ) −
i=1
n
X
Da un punto di vista grafico, si considera il
triangolo rettangolo di vertici (O, Hi , Mi ).
2
(OHi )
i=1
L’ipotenusa OMi del triangolo rettangolo di vertici
OMi Hi corrsiponde al vettore nello spazio originario, di
conseguenza è fissa. Dunque
min!
n
X
i=1
Capacità
informativa
della sintesi
A. Iodice
(Mi Hi )
2
equivale a max!
n
X
2
(OHi )
i=1
Sintesi dell’informazione
Statistica
24 / 42
Formalizzazione del problema
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Metodo dei minimi quadrati
Il metodo dei minimi quadrati ha per obbiettivo la ricerca dell’asse U che minimizzi la somma delle distanze
al quadrato dei punti dall’asse. L’identificazione dell’asse
all’identificazione del suo versore u:
Pn U corrsponde
2
la ricerca del vettore u che massimizzi la quantità
i=1 (OHi ) è vincolata al fatto che il vettore abbia
T
lunghezza 1 (norma unitaria) tale condizione sussiste se u u = 1.
Il problema
Ricordando che l’insieme delle coordinate (OHi ) sull’asse di versore u sono
contenute nel vettore Xu:
funzione obbiettivo:
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
max!
n
X
(OHi )2 = (Xu)T (Xu) = uT XT Xu
i=1
Capacità
informativa
della sintesi
vincolo: uT u = 1
A. Iodice
Sintesi dell’informazione
Statistica
25 / 42
Soluzione del problema: ricerca del miglior asse
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Metodo di risoluzione del problema
La ricerca del miglior asse di versore u1 è dunque un problema di massimizzazione
vincolata. Per risolverlo si fa ricorso al metodo dei moltiplicatori di Lagrange.
Tale metodo consiste nel ridefinire la funzione obbiettivo in modo da includere il
vincolo (in questo caso uT
1 u1 = 1). La funzione da massimizzare diventa
T
T
max!L = uT
1 X Xu1 − λ(u1 u1 − 1)
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
26 / 42
Soluzione del problema
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
La soluzione del problema
Per massimizzare L si deve porre a zero la derivata prima rispetto ad u
T
T
max!L = uT
1 X Xu1 − λ1 (u1 u1 − 1)
Sintesi dell’informazione
ðu1 L = 2XT Xu1 − 2λ1 u1 = 0
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
XT Xu1 = λ1 u1
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
27 / 42
Soluzione del problema
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Risoluzione dell’equazione caratteristica
XT Xu1 = λ1 u1
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
XT Xu1 − λ1 u1 = 0
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
(XT X − λ1 )u1 = 0
quest’ultima rappresenta l’equazione caratteristica: di fatto la soluzione del
problema di massimizzazione vincolata si ottiene mediante la ricerca di autovalori
ed autovettori della matrice XT X.
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
28 / 42
Definizione di autovalori e autovettori
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Autovalori e autovettori
Data una matrice A quadrata, si cerca un vettore x di A tale che il prodotto Ax
sia proporzionale ad x secondo il fattore λ. Formalmente
equazione caratteristica:
Ap×p xp×1 = λxp×1
Ricerca del
sottospazio di
proiezione
ottimale
(Ap×p − λ1 Ip×p )xp×1 = 0
Formalizzazione
del problema
λ è uno scalare e rappresenta l’ autovalore
Soluzione del
problema
Autovalori e
autovettori
x rappresenta uno degli infiniti autovettori collineari associati all’autovalore
λ
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
29 / 42
Autovalori e autovettori
Sintesi dell’informazione
A. Iodice
Esempio di calcolo di autovalori e autovettori
Si consideri la seguente matrice

Proiezioni
ortogonali
A3×3
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
2
= 3
3
4
8
1

7
9 
1
Per trovare gli autovalori è necessario uguagliare a zero il determinante della
seguente matrice

2
(A−λI) =  3
3
Soluzione del
problema
Autovalori e
autovettori
4
8
1
 
7
λ
9 − 0
1
0

det 
Capacità
informativa
della sintesi
2−λ
3
3
0
λ
0
4
8−λ
1
 
0
2−λ
0  = 
3
λ
3
4
8−λ
1

7

9
1−λ

7
=0
9
1−λ
Ricorrendo alla formula del determinante per matrice 3 × 3
A. Iodice
Sintesi dell’informazione
Statistica
30 / 42
Autovalori e autovettori
Sintesi dell’informazione
Esempio di calcolo di autovalori e autovettori
A. Iodice

Proiezioni
ortogonali
det 
Proiezioni
ortogonali di
matrici
2−λ
3
3
4
8−λ
1
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
= (2 − λ)((8 − λ)(1 − λ) − 9) − 4(3(1 − λ) − 27) + 7(3 − 3(8 − λ)) =
Formalizzazione
del problema
2
= (2 − λ)(λ − 9λ − 1) − 4(3 − 3λ − 27) + 7(3 − 24 + 3λ) =
2
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi

7
8−λ
9
 = (2 − λ) × det
9
1
1−λ
1−λ
3
9
− 4 × det
3
1−λ
3
8−λ
=0
+ 7 × det
3
1
3
2
= 2λ − 18λ − 2 − λ + 9λ + λ − 12 + 12λ + 108 + 21 − 168 + 21λ =
3
2
= −λ + 11λ + 16λ − 53 = 0
L’equazione è risolta per
λ1 = 11.97, λ2 = −2.64 e λ3 = −1.675
A. Iodice
Sintesi dell’informazione
Statistica
31 / 42
Autovalori e autovettori
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Esempio di calcolo di autovalori e autovettori
Per ciascuno degli autovalori ottenuti si può individuare, tra gli infiniti vettori collineari ad essi associati,
l’autovettore di norma 1. La ricerca dell’autovettore u di norma 1 associato a λ1 si ottiene risolvendo
l’equazione caratteristica.
Proiezioni
ortogonali di
matrici


Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
2 − 11.97
3
3
4
8 − 11.97
1





x1
0
7
 ×  x2  =  0 
9
0
1 − 11.97
x3
−9.97x1 + 4x2 + 7x3 = 0
3x1 − 3.97x2 + 9x3 = 0
3x1 − 1x2 − 10.97x3 = 0
Dato il sistema rispetto al primo autovalore, tra gli infiti autovalori collineari che lo risolvono, si sceglie
l’autovalore di norma unitaria. L’autovettore cercato è


−0.4879
u1 =  −0.8471 
0.2107
L’autovettore u1 è pertanto associato all’autovalore λ1 .
Ripetendo il procedimento per ciascuno degli autovalori trovati (λ2 ,λ3 ), si ottengono gli autovettori u2 e
u3 .
A. Iodice
Sintesi dell’informazione
Statistica
32 / 42
Autovalori e autovettori
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
A ciascun autovalore λ sono associati infiniti autovettori collineari
Proiezioni
ortogonali di
matrici
Una matrice A e la sua trasposta AT hanno gli stessi autovalori ma
autovettori diversi
Sintesi dell’informazione
La somma degli autovalori di A è uguale alla sua traccia
Ricerca del
sottospazio di
proiezione
ottimale
Se A è una matrice simmetrica ad elementi reali, gli autovalori sono reali
Se A è una matrice simmetrica ad elementi reali, il numero di autovalori
non nulli corrisponde al numero di righe e colonne linearmente indipendenti
(rango di A)
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
33 / 42
Spazio delle variabili e spazio delle unità
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Matrice dei dati: spazio delle variabili e spazio delle unità
La matrice dei dati, relativa ad n unità descritte da p variabili è

x1,1
x1,2
...
x1,p
 x2,1
x2,2
...
x2,p

 ...
...
...
...
xn,1
xn,2
...
xn,p
Spazio delle unità




Spazio delle variabili
Ricerca del
sottospazio di
proiezione
ottimale
Si consideri la matrice X come insieme di n
vettori riga: da un punto di vista
geometrico, tale matrice corrisponde una
configurazione di n punti nello spazio Rp .
Si consideri la matrice X come insieme di p
vettori colonna: da un punto di vista
geometrico, tale matrice corrisponde una
configurazione di p punti nello spazio Rn .
Formalizzazione
del problema
Le coordinate di dei punti sui p assi che
costituiscono lo spazio Rp sono gli elementi
degli n vettori riga della matrice X.
Le coordinate dei punti sugli n assi che
costituiscono lo spazio Rn sono gli elementi
dei p vettori colonna della matrice X.
La sintesi delle p variabili di partenza si
determina mediante la ricerca di autovalori
ed autovettori della matrice
La sintesi delle p variabili di partenza si
determina mediante la ricerca di autovalori
ed autovettori della matrice
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
T
X X
A. Iodice
XX
Sintesi dell’informazione
T
Statistica
34 / 42
Capacità informativa della sintesi
Sintesi dell’informazione
A. Iodice
Capacità informativa della sintesi
Per stabilire il grado di informazione che la sintesi è in grado di catturare si tenga conto dei seguenti aspetti
Proiezioni
ortogonali
1
Proiezioni
ortogonali di
matrici
Se X è centrata (ovvero i suoi elementi sono scarti dalla media aritmetica di ciascuna variabile),
allora la matrice risultante dal prodotto XT X è la matrice di varianze e covarianze
2
σ1,1

 σx2,1
X X=

...
σxp,1

Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
σx1,2
2
σ2,2
...
σxp,2
T
2
Formalizzazione
del problema

σx1,p

σx2,p 


...
2
σp,p
Richiamando una delle proprietà degli autovalori, vale la seguente relazione
T
tr(X X) =
Soluzione del
problema
Autovalori e
autovettori
...
...
...
...
p
X
λj
j=1
poichè tr(XT X) rappresenta la variabilità complessiva della nube dei punti unità, ciascun
autovalore λj esprime una parte della variabilità originaria.
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
35 / 42
Capacità informativa della sintesi
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Capacità informativa della sintesi
A seconda del numero di assi di sintesi che si sceglie di utilizzare, si otterrà un diverso grado di sintesi. La
variabilità catturata dalla sintesi operata sul primo asse (identificato dal primo autovalore) può essere dunque
calcolata come segue
λ1
tr(XT X)
Qualora si scelga un maggior numero (d) di assi di sintesi (che costituiscono il sottospazio di proiezione Rd ),
la variabilità spiegata dalla sintesi diventa
Pd
j=1 λj
tr(XT X)
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
36 / 42
Ricerca di assi successivi al primo
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Ricerca del secondo asse
Alla luce di quanto detto, all’aumentare del numero di assi di sintesi d, aumenta la quota di variabilità
originaria che la sintesi è in grado di riprodurre. Tuttavia se d > 3 si perde la possibilità di visualizzare
graficamente la sintesi dei dati ottenuta.
Per cercare il secondo asse di sintesi si procede analogamente a quanto fatto per il primo, ovvero si ricorre al
metodo dei moltiplicatori di Lagrange. La funzione obbiettivo, comprensiva di vincolo, è
Proiezioni
ortogonali di
matrici
T
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
T
T
ðu2 L = 2X Xu2 − 2λ1 u2 = 0
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
T
max!L = u2 X Xu2 − λ2 (u2 u2 − 1)
Sintesi dell’informazione
T
X Xu2 = λ2 u2
Ottenuti i vettori u1 e u2 , si è ottenuto un piano di proiezione su cui rappresentare la sintesi della nube
dei punti unità.
Coordinata sull’asse α
la coordinata dell’unità i sull’asse di sintesi α si ottiene combinando linearmente gli elementi dell’i-mo
vettore riga di X con l’autovettore uα .
cα = xi uα
A. Iodice
Sintesi dell’informazione
Statistica
37 / 42
Ricerca del sottospazio ottimale di rappresentazione delle variabili: formalizzazione
del problema
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Metodo dei minimi quadrati
Il metodo dei minimi quadrati ha per obbiettivo la ricerca dell’asse U che minimizzi la somma delle distanze
al quadrato dei punti dall’asse. L’identificazione dell’asse
all’identificazione del suo versore v:
Pn U corrsponde
2
la ricerca del vettore v che massimizzi la quantità
i=1 (OHi ) è vincolata al fatto che il vettore abbia
T
lunghezza 1 (norma unitaria) tale condizione sussiste se v v = 1.
In questo caso, volendo proiettare i punti variabile, dobbiamo considerare i vettori colonna della matrice X,
la proiezione ortogonale sull’asse di versore v è data da XT v.
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Il problema
Ricordando che XT v:
funzione obbiettivo:
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
max!
n
X
(OHi )2 = (XT v)T (XT v) = vT XXT v
i=1
Capacità
informativa
della sintesi
vincolo: vT v = 1
A. Iodice
Sintesi dell’informazione
Statistica
38 / 42
Ricerca del sottospazio ottimale di rappresentazione delle variabili: ricerca del miglior
asse
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Metodo di risoluzione del problema
La ricerca del miglior asse di versore v1 è un problema di massimizzazione
vincolata. Per risolverlo si fa ricorso al metodo dei moltiplicatori di Lagrange.
Tale metodo consiste nel ridefinire la funzione obbiettivo in modo da includere il
vincolo (in questo caso v1T v1 = 1). La funzione da massimizzare diventa
max!L = v1T XXT v1 − µ(v1T v1 − 1)
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
39 / 42
Soluzione del problema
Sintesi dell’informazione
A. Iodice
Proiezioni
ortogonali
Proiezioni
ortogonali di
matrici
La soluzione del problema
Per massimizzare L si deve porre a zero la derivata prima rispetto ad u
max!L = v1T XXT v1 − µ(v1T v1 − 1)
Sintesi dell’informazione
ðv1 L = 2XXT v1 − 2µ1 v1 = 0
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
XXT v1 = µ1 v1
Soluzione del
problema
Autovalori e
autovettori
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
40 / 42
Soluzione del problema
Sintesi dell’informazione
Risoluzione dell’equazione caratteristica
A. Iodice
T
XX v1 = µ1 v1
Proiezioni
ortogonali
T
XX v1 − µ1 v1 = 0
Proiezioni
ortogonali di
matrici
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Formalizzazione
del problema
Soluzione del
problema
Autovalori e
autovettori
T
(XX − µ1 )v1 = 0
quest’ultima rappresenta l’equazione caratteristica: di fatto la soluzione del problema di massimizzazione
vincolata si ottiene mediante la ricerca di autovalori ed autovettori della matrice XXT .
Coordinate dei punti variabile sul sottospazio di proiezione
Analogamente a quanto descritto nell’analisi dello spazio di rappresentazione degli individui Rp , gli
autovalori µα catturano una quota della variabilità complessiva. La coordinata della variabile j sull’asse
individuato dall’autovalore µα (α = 1, . . . , n) è data da
T
Capacità
informativa
della sintesi
Cα (j) = xj vα
A. Iodice
Sintesi dell’informazione
Statistica
41 / 42
Relazione tra analisi delle unità e delle variabili:
dualità tra Rp e Rn
Sintesi dell’informazione
Autovalori
A. Iodice
T
Analisi unità :X X matrice p × p, p autovalori
Proiezioni
ortogonali
T
Proiezioni
ortogonali di
matrici
Analisi variabili :XX
matrice n × n, n autovalori di cui n − p nulli
Sintesi dell’informazione
Ricerca del
sottospazio di
proiezione
ottimale
Autovettori
Gli autovettori delle matrici XT X e XXT sono tra loro proporzionali. E’ possibile ottenere gli autovettori
vα possono essere ottenuti a partire da uα e viceversa. Si ricorre alle seguenti formule di transizione
Formalizzazione
del problema
1
vα = √
Xuα
λα
Soluzione del
problema
Autovalori e
autovettori
1
T
uα = √
X vα
λα
Capacità
informativa
della sintesi
A. Iodice
Sintesi dell’informazione
Statistica
42 / 42