.
A
p.
CAPITOLO QUARTO
S.
IL MODELLO DI REGRESSIONE MULTIPLA
br
i
SOMMARIO: 1. Introduzione. - 2. Specificazione di un modello di regressione multipla. - 3. Stima con il
metodo dei minimi quadrati ordinari (OLS). - 4. Proprietà degli stimatori dei minimi quadrati. - 5. Indice di
determinazione multipla. - 6. Test e intervalli di confidenza per il modello di regressione multipla. - 7.
Previsione nel modello di regressione mutipla. - 8. Variabili dummy. - Questionario.
li
1. INTRODUZIONE
Es
se
Nella realtà è opportuno analizzare modelli in cui le variabili indipendenti, che spiegano una
variabile dipendente, sono più di una. Quando si analizza un fenomeno, esso presenta una serie
di caratteristiche che obbligano a sottolineare certe variabili influenti sullo stesso e a trascurarne
altre; la scelta dell’una o dell’altra variabile esplicativa da inserire nel modello è rimessa alla
competenza dell’elaboratore.
Supposta giusta la scelta delle variabili inserite nel modello, in questo capitolo tratteremo, in
generale, un modello in cui le variabili esplicative sono più di una. Dopo aver trattato la fase di
specificazione del modello, ci occuperemo della procedura di stima dei parametri dello stesso
e delle proprietà statistiche degli stimatori. Tratteremo, infine, i problemi di inferenza relativi al
modello, quali la costruzione dei test d’ipotesi e degli intervalli di confidenza per i coefficienti.
ht
©
Per illustrare il modello di regressione multipla ci serviremo dell’algebra lineare e indicheremo con lettere in grassetto i vettori e le matrici; più precisamente:
— un vettore sarà indicato con una lettera in grassetto minuscolo o con un numero in grassetto,
ad esempio, il vettore nullo sarà indicato con 0;
— una matrice sarà indicata con una lettera in grassetto maiuscolo.
ig
La stessa convenzione è stata adoperata in Appendice A per illustrare le matrici e le loro
proprietà.
yr
2. SPECIFICAZIONE DI UN MODELLO DI REGRESSIONE MULTIPLA
La rappresentazione formale del modello considera la variabile dipendente Y come una
op
funzione lineare di k – 1 variabili esplicative X 2 , X 3 ,..., X k .
Il modello di regressione multipla sarà:
Y = β1 + β2 X 2 + β 3 X 3 + ... + β k X k + ε
(2.1)
C
in cui la variabile Y è funzione di una combinazione lineare di valori della variabile X. Geometricamente l’equazione data definisce l’iperpiano di regressione nello spazio a k dimensioni.
.
78
A
Capitolo Quarto
p.
La (2.1), in presenza di n osservazioni campionarie, dà luogo al seguente sistema di equazioni:
y2 = β1 + β2 x22 + β 3 x23 + ... + β k x2 k + ε 2
… … … … … … … … …
yn = β1 + β2 xn 2 + β 3 xn 3 + ... + β k xnk + ε n
S.
y1 = β1 + β2 x12 + β 3 x13 + ... + β k x1k + ε1
li
(2.3)
se
y1
y
y = 2
yn
br
i
Il modello può essere rappresentato con notazione matriciale nel seguente modo:
y = Xβ + ε
(2.2)
dove:
— y è il vettore n ×1 costituito dall’insieme ordinato delle n osservazioni sulla variabile
dipendente, realizzazioni della v.c. Y, ossia:
©
Es
— X è la matrice n × k ottenuta dall’insieme ordinato delle n osservazioni sulle k – 1 variabili
esplicative, ossia:
1 x12 x13 ... x1k
1 x22 x23 ... x2 k
X =
(2.4)
1 xn 2 xn 3 ... xnk
ht
in cui il vattore unitario nella prima colonna ha la funzione di inserire la costante β1 e
rappresenta, quindi, una varibile esplicativa artificiosa, pari a 1 per ogni unità statistica.
yr
ig
— β è il vettore costituito dai k coefficienti delle variabili esplicative Xi , ossia:
β1
β
β = 2
β k
(2.5)
C
op
— ε è il vettore n ×1 delle manifestazioni non osservabili della componente stocastica di
disturbo negli n tempi cui si riferiscono le rilevazioni campionarie, ossia:
ε1
ε
ε = 2
ε n
(2.6)
.
79
IPOTESI CLASSICHE DEL MODELLO DI REGRESSIONE MULTIPLA
p.
A
Il modello di regressione multipla
S.
Le ipotesi su cui si basa il modello di regressione multipla sono:
1. Ipotesi di linearità
L’ipotesi specifica il vettore delle osservazioni campionarie sulla variabile Y osservata negli
n tempi come una combinazione lineare tramite i coefficienti β delle osservazioni sulle variabili
i
esplicative Xi , i = 1, 2, …, k , cui si aggiunge, in ogni tempo, un vettore di disturbo ε; in
simboli:
br
y = β1x 1 + β2 x 2 + β3 x 3 + ... + βk x k + ε
i = 1, 2, … k
se
x1i
x
xi = 2 i
xni
li
in cui xi (i = 1, 2, …, k) sono i vettori colonna di osservazioni nella matrice X (2.4), dove:
Es
2. Ipotesi di non sistematicità degli errori
L’influenza dell’errore su Y è, in media, nulla, o ciò che è lo stesso, il valore atteso:
E (ε ) = 0
o, in forma estesa, per ciascuna delle n osservazioni:
ht
©
E (ε1 ) 0
E (ε 2 ) 0
E (ε ) =
=
E (ε n ) 0
ig
Tale ipotesi, formalmente, implica la seguente:
E ( y ) = Xβ
yr
3. Ipotesi di sfericità degli errori
Si tratta di una duplice ipotesi distinguibile a sua volta, in:
3.1 Ipotesi di omoschedasticità per cui la variabilità dell’errore è costante:
Var (ε1 ) = Var (ε 2 ) = … = Var (ε n ) = σ 2
C
op
3.2 Ipotesi di covarianza nulla di errori relativi a osservazioni diverse:
Cov (ε1 , ε 2 ) = Cov (ε1 , ε 3 ) = … = Cov (ε n , ε n –1 ) = 0
.
80
A
Capitolo Quarto
p.
Sia E (εε′) la matrice di varianze e covarianze di ε , questa duplice ipotesi in simboli si traduce
nella seguente espressione:
S.
E (εε′) = σ 2 I
dove I è la matrice identità; in altri termini, la matrice di varianze e covarianze dei termini d’errore è:
i
... Cov (ε1 , ε n ) σ 2 0
... Cov (ε 2 , ε n ) 0 σ 2
=
... ...
...
...
... Var (ε n ) 0
0
br
Var (ε1 )
Cov (ε1 , ε 2 )
Cov (ε , ε )
Var (ε 2 )
∑= ...2 1
...
Cov (ε n , ε1 ) Cov (ε n , ε 2 )
... 0
... 0
... ...
... σ 2
se
li
4. Ipotesi di non collinearità delle variabili esplicative
Fra due o più delle variabili esplicative non esiste una perfetta dipendenza lineare; in altri
termini, nessuna variabile esplicativa può essere espressa come combinazione lineare delle altre
variabili esplicative.
Il rango della matrice X, ossia il numero massimo di righe e colonne linearmente indipendenti, è:
Es
ρ (X) = k
5. Ipotesi di non stocasticità delle variabili esplicative
Formalmente, la matrice X non è stocastica ma deterministica.
©
6. Ipotesi di normalità degli errori
Un’ulteriore ipotesi del modello di regrssione concerne la normalità dei termini d’errore ed,
essendo, dalle ipotesi 2 e 3, rispettivamente, E (ε ) = 0 e E (εε′) = σ 2 I, tale ipotesi si traduce nella
ht
seguente espressione analitica:
ε ∼ N ( 0, σ 2 I )
yr
ig
Talvolta, i dati empirici violano una o più ipotesi del modello lineare di regressione. Nei
capitoli seguenti ci occuperemo della violazione di alcune di tali assunzioni.
Altra ipotesi fondamentale, che non abbiamo esplicitato, è quella di correlazione nulla tra
variabili esplicative e termine di errore. Vedremo nel capitolo sesto le conseguenze sul modello
della violazione di tale ipotesi.
op
3. STIMA CON IL METODO DEI MINIMI QUADRATI ORDINARI (OLS)
Il procedimento di stima in un modello di regressione multipla è volto alla determinazione
C
del vettore β costituito dagli elementi ( β1 , β2 ,…, β k ) , e alla varianza dei termini di errore σ 2 .
Occupiamoci dapprima della stima del vettore dei coefficienti di regressione.
.
81
A
Il modello di regressione multipla
p.
3.1 Stima di β
β1
β
... x k ] 2 + ε
β k
br
x2
(3.1)
i
y = [ x1
S.
Per applicare il metodo dei minimi quadrati ordinari OLS, consideriamo il modello
espresso in forma compatta y = Xβ + ε ; esso può essere scritto nel modo seguente:
in cui xi (i = 1, 2, ..., k) sono i vettori colonna delle osservazioni nella matrice X (2.4).
La (3.1), eseguendo i prodotti, diviene:
li
y = β1 x1 + β2 x2 + ... + β k xk + ε
(3.2)
se
Se nella (3.2) al vettore (2.5) di parametri incogniti βi , i = 1, 2, ..., k, si sostituisce il vettore
dei valori arbitrari seguente:
Es
βˆ *
1
βˆ *
βˆ * = 2
βˆ *
k
©
allora a ciascuna delle t osservazioni yt corrisponde un valore calcolato:
t = 1, 2, ..., n
yˆ = βˆ * x + βˆ * x + ... + βˆ * x
e la differenza:
t
1
t1
2
t2
k
tk
ht
t = 1, 2, ..., n
et = yt − βˆ1* xt 1 − βˆ 2* xt 2 − ... − βˆ k* xtk
costituisce un residuo che, espresso in termini matriciali, assume la seguente notazione:
yr
ig
e1
e
e = 2
en
(3.3)
op
Pertanto, ripetendo per tutte le osservazioni campionarie, il modello diviene:
y = βˆ * x + βˆ * x + ... + βˆ * x + e = Xβˆ * + e
1
1
2
2
k
k
C
ossia:
y = Xβ̂β∗ + e
(3.4)
.
82
A
Capitolo Quarto
e2
S.
e′e = [ e1
e1
e
... en ] 2 = e12 + e22 + ...+ en2
en
p.
Per la determinazione dei parametri incogniti, il metodo dei minimi quadrati consiste nel
minimizzare la somma dei quadrati dei residui espressa da:
(
)(
ossia deve essere:
( )
(
)(
)
br
e′e = y − Xβˆ ∗ ′ y − Xβˆ ∗
i
Essendo, dalla (3.4), e = y − Xβ̂β∗ , si ha che la quantità da minimizzare è la seguente:
(3.5)
)
Effettuando i prodotti, la (3.5) diviene:
(
li
f βˆ ∗ = e′e = y − Xβˆ ∗ ′ y − Xβˆ ∗ = min
)(
)
= ( y′ − βˆ ′ X ′) ( y − X βˆ )
∗
se
e′e = y − Xβˆ ∗ ′ y − Xβˆ ∗
∗
Es
= y′y − βˆ ∗′ X ′y − y′Xβˆ ∗ + βˆ ∗′ X ′Xβˆ ∗
= y′y − 2βˆ ∗′ X ′y + βˆ ∗′ X ′Xβˆ ∗
( )
©
in cui y′Xβ̂β∗ , essendo uno scalare, è uguale al trasposto β̂β∗′ X ′y .
Per minimizzare f β̂β∗ = e′e, per la condizione del primo ordine per l’esistenza di un punto
ig
ht
di minimo, occorre uguagliare a zero la derivata parziale rispetto a β̂β∗:
( )
∂f βˆ ∗
= −2 X ′y + 2 X ′Xβˆ ∗ = 0
∂βˆ ∗
(3.6)
da cui si definiscono equazioni normali le equazioni risultanti dalla relazione:
yr
X ′Xβ̂β∗ = X ′y
op
Moltiplicando ambo i membri della (3.7) per ( X ′X )
( X ′X )
-1
−1
(3.7)
si ha:
-1
X ′Xβˆ ∗ = ( X ′X ) X ′y
C
da cui, lo stimatore OLS è dato dal vettore dei parametri β̂β espresso da:
-1
βˆ = ( X ′X ) X ′y
(3.8)
.
83
A
Il modello di regressione multipla
p.
È importante rilevare che la determinazione di β̂β è possibile solo se la matrice prodotto X ′X
S.
è invertibile. Essendo le matrici X ′ e X, di ordine, rispettivamente, k × n e n × k , la matrice X ′X
è una matrice quadrata k × k ; essa ha rango:
ρ ( X ′X ) = k
pertanto, è non singolare ed esiste la sua inversa ( X ′X ) .
−1
()
∂2 f βˆ
= 2 ( X ′X ) .
∂βˆ 2
()
li
ottenendo:
br
i
Affinché si tratti di un minimo occorre differenziare nuovamente l’equazione
∂f βˆ
;
∂βˆ
se
Essendo la matrice X ′X definita positiva, la condizione del secondo ordine è soddisfatta.
ESEMPIO
Y
ig
ht
©
4
4
6
6
7
7
6
5
4
5
Es
La tabella seguente riporta le osservazioni campionarie su una variabile Y e su due
corrispondenti variabili esplicative:
X2
X3
4
4
9
5
3
4
2
7
5
4
9
11
21
17
16
17
12
16
12
13
Tabella 1
yr
Stimare i parametri del modello di regressione multipla:
op
y = Xβ +ε
In realtà si tratta di un modello di regressione trivariata già visto nel capitolo precedente e per
il quale non è strettamente necessaria la notazione matriciale. Abbiamo presentato qui questo
modello, in quanto l’estensione per stimare il vettore dei parametri del modello applicando la
C
(3.8) occorre specificare la matrice X ′X e il vettore X ′y . Praticamente, il calcolo delle stime OLS
si ottiene utilizzando uno dei numerosi pacchetti statistici presenti sul mercato; non è agevole
calcolare, infatti, la matrice inversa di X ′X .
.
84
A
Capitolo Quarto
p.
Inserendo nella prima colonna della matrice X il vettore unitario, la matrice X e la matrice
4
4
...
5
4
9
11
...
12
13
1
X ′ = 4
9
1
4
11
...
...
...
1
5
12
1
4
13
i
1
1
X = ...
1
1
S.
trasposta X ′ sono pari, rispettivamente, a:
br
Pertanto, la matrice X ′X , di ordine 3 × 3 , è pari a:
li
10 47 144
X ′X = 47 257 718
144 718 2.190
1
X ′y = 4
9
...
...
...
Es
1
4
11
se
Il vettore X ′y è, invece, pari a:
1
5
12
1
4
13
4
4 54
= 252
804
4
5
Lo stimatore dei minimi quadrati del vettore β , applicando la (3.8), è:
ht
©
−1
βˆ
, 2845
144 54 19
1 10 47
ˆβ = βˆ 2 = 47 257 718 252 = −0,51793
βˆ 3 144 718 2.190 804 0, 41013
ig
Pertanto, l’equazione del modello di regressione è la seguente:
Yˆ = 192845
− 0,51793X + 0, 41013X
,
2
3
yr
Nel calcolare β̂β si è dovuta calcolare la matrice inversa di X ′X ; si rimette al lettore la
determinazione della stessa con l’ausilio della teoria sulle matrici riportata nell’Appendice A.
3.2 Stima di σ 2
op
Una stima della varianza dei termini di errore è ottenuta in funzione della devianza residua e′e .
C
Ma, prima, occorre introdurre la matrice M desumibile da:
-1
e = y − Xβˆ = y − X ( X ′X ) X ′y
-1
= I − X ( X ′X ) X ′ y = My
(3.9)
.
85
A
Il modello di regressione multipla
p.
Nella (3.9) si è introdotta la nuova matrice:
M = I − X ( X ′X ) X ′
-1
(3.10)
i
S.
per la quale valgono le seuenti relazioni:
1. M = M ′ (la matrice è simmetrica);
2. M ′M = MM ′ = M (la matrice è idempotente);
3. MX = 0 ;
4. e = Mεε ;
5. e′e = ε′Mε , in cui:
br
E ( e′e ) = E (ε′Mε )
= E {tr (ε′Mε )}
essendo ε′Mε uno scalare
= E {tr ( Mεε′)}
essendo E (εε′) = σ 2 I
li
= σ 2 tr ( M )
(3.11)
se
in cui tr(M) è la traccia della matrice M. Dalla (3.10) si ha:
(
)
= tr ( I ) − tr (( X ′X ) X ′)
tr ( M ) = tr ( I ) − tr X ( X ′X ) X ′
-1
Es
-1
=n−k
per cui, la (3.11) assume la seguente espressione:
©
E ( e′e ) = σ 2 ( n − k )
Pertanto, lo stimatore OLS della varianza σ 2 è definito da:
e′e
(3.12)
n−k
La radice quadrata di s2 rappresenta, come è noto, l’errore standard della regressione.
Il valore atteso dello stimatore s2 è:
ig
ht
s2 =
E (s2 ) =
E ( e′e )
n−k
=
σ 2 (n − k )
=σ2
n−k
e, quindi, lo stimatore è non distorto.
()
yr
Pertanto, la stima della matrice delle varianze e covarianze degli stimatori β̂β , ossia di
C
op
Var β̂β = σ 2 ( X ′X ) , è:
−1
()
es 2 β̂β = s 2 ( X ′X )
−1
.
86
In particolare, la stima della varianza dello stimatore β̂i , i = 1, 2, ..., k, è:
( )
es 2 β̂i = s 2 aii
p.
A
Capitolo Quarto
−1
S.
in cui aii è l’elemento i-esimo sulla diagonale principale della matrice ( X ′X )
espressione analitica sarà data nel capitolo quinto.
e la cui
i
Se le v.c. errori ε sono normali, allora anche il vettore e = Mε è una v.c. normale
multivariata con:
E (e) = 0
Var ( e ) = Var ( Mε ) = MVar (ε ) M ′ = σ 2 M
br
e
Per cui, si scrive:
li
ε ∼ N ( 0, σ 2 I ) ⇒ e ∼ MN ( 0, σ 2 M )
se
4. PROPRIETÀ DEGLI STIMATORI DEI MINIMI QUADRATI
Dalla (3.8) si evince che le stime OLS del vettore dei parametri β sono funzioni del vettore
Es
dei valori osservati su Y; al variare del campione casuale le stime β̂β generano stimatori dei
minimi quadrati definiti da:
β̂β = ( X ′X ) X ′y
–1
(4.1)
che, essendo y = Xββ + ε , può essere espresso in maniera equivalente:
©
–1
–1
βˆ = ( X ′X ) X ′y = ( X ′X ) X ′ ( X β + ε )
= ( X ′X ) X ′Xβ + ( X ′X ) X ′ε = β + ( X ′X ) X ′ε
ht
–1
–1
–1
(4.2)
Sia assegnata la matrice C = ( X ′X ) X ′ per cui:
-1
CC′ = ( X ′X ) X ′ ( X ′X ) X = ( X ′X )
ig
–1
–1
–1
yr
lo stimatore β̂β (4.1) può essere scritto in maniera equivalente:
β̂β = Cy = β + C ε
(4.3)
C
op
Le proprietà dello stimatore β̂β sono espresse nel seguente teorema di Gauss-Markov già visto
nel capitolo secondo per un modello di regressione semplice. Ovviamente, in questo contesto,
esso si esprime sotto forma matriciale.
