Lezione 18 - Statistica
annuncio pubblicitario
Lezione 18 A. Iodice Regressione lineare semplice Lezione 18 Assunzioni sul modello di regressione semplice Statistica Stimatore della varianza Alfonso Iodice D’Enza [email protected] Verifica di ipotesi sul coefficiente angolare della retta di regressione Università degli studi di Cassino Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 1 / 45 Outline Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata 1 Regressione lineare semplice 2 Assunzioni sul modello di regressione semplice 3 Stimatore della varianza 4 Verifica di ipotesi sul coefficiente angolare della retta di regressione 5 Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 2 / 45 Modello di regressione lineare semplice Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata In molte applicazioni il ruolo delle variabili x ed Y non è lo stesso, in particolare, assegnato un certo valore al predittore x (indicato pertanto con la lettera minuscola), il valore che Y assume dipende in qualche modo da x. La relazione più semplice tra le variabili è quella lineare, e il modello corrispondente è Y = β0 + β1 x; tale modello presuppone che, stabiliti i parametri β0 e β1 , sia possibile determinare esattamente il valore di Y conoscendo il valore di x: salvo eccezioni, questo non si verifica mai. Il modello Alla determinazione del valore di Y , oltre che la componente deterministica β0 + β1 x, concorre anche una componente casuale detta errore non osservabile , una variabile casuale con media 0 Y = β0 + β1 x + . Analogamente, la relazione di regressione lineare semplice può essere espressa in termini di valore atteso E[Y |x] = β0 + β1 x. poichè E[] = 0. A. Iodice () Lezione 18 Statistica 3 / 45 Modello di regressione lineare semplice Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Si consideri di voler analizzare la relazione tra il peso del rullo di un taglia erba e l’entità della depressione riscontrata nel prato da tagliare. Sia Y la depressione (depression) e x il peso del rullo utilizzato (weight). Per vedere se l’utilizzo del modello di regressione lineare semplice sia ragionevole in questo caso occorre raccogliere delle coppie di osservazioni (xi , yi ) e rappresentarle graficamente attraverso il diagramma di dispersione. Il diagramma di dispersione (scatter plot) units 1 2 3 4 5 6 7 8 9 10 weight 1.9 3.1 3.3 4.8 5.3 6.1 6.4 7.6 9.8 12.4 depression 2.0 1.0 5.0 5.0 20.0 20.0 23.0 10.0 30.0 25.0 Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 4 / 45 La retta di regressione Lezione 18 La retta di regressione A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata La retta di regressione fornisce una approssimazione della dipendenza dei valori di Y dai valori di X. La relazione di dipendenza non è esattamente riprodotta dalla retta; i valori ŷi = β0 + β1 xi sono dunque i valori teorici, ovvero i valori che la variabile Y assume, secondo il modello Y = β0 + β1 x, in corrispondenza dei valori xi osservati. Le differenze ei tra i valori teorici ŷi e i valori osservati yi vengono definite residui. Questo perchè per ciascuna osservazione il modello è dato da yi = β0 + β1 xi | {z } comp. deterministica + rette passanti per la nube di punti i |{z} comp. casuale Determinazione della retta di regressione L’identificazione della retta avviene attraverso la determinazione dei valori di B0 , e B1 , stime dell’intercetta e del coefficiente angolare o pendenza, rispettivamente. La retta ’migliore’ è quella che passa più ’vicina’ ai punti osservati. In altre parole, si vuole trovare la retta per la quale le differenze tra i valori teorici ŷi e i valori osservati yi siano minime. A. Iodice () Lezione 18 Statistica 5 / 45 La retta di regressione Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Metodo dei minimi quadrati La retta di regressione è tale che la somma dei residui al quadrato sia minima. Formalmente n n n X X X 2 2 2 ei = (yi − ŷi ) = (yi − B0 − B1 xi ) i=1 i=1 Il problema consiste dunque nel ricercare B0 e B1 che minimizzano la precedente espressione. Da un punto di vista operativo bisogna risolvere il seguente sistema di equazioni (condizioni del primo ordine o stazionarietà). Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata i=1 ∂ n X ∂B0 i=1 Stimatori dei parametri della retta di regressione:(B0 ) −2 n X (yi − B0 − B1 xi ) = i=1 2 (yi − B0 − B1 xi ) =0 n X yi − n ∗ B0 − B1 i=1 ∂ n X ∂B1 i=1 2 (yi − B0 − B1 xi ) =0 n X xi = 0 i=1 B0 = ȳ − B1 x̄ Nota: si tratta di punti di minimo perchè le derivate seconde ∂B0 B0 f (B0 , B1 ) = −2(−n), P 2 ∂B1 B1 f (B0 , B1 ) = −2 n i (−xi ) sono sempre non negative. A. Iodice () Lezione 18 Statistica 6 / 45 La retta di regressione Lezione 18 A. Iodice Stimatori dei parametri della retta di regressione:(B1 ) Regressione lineare semplice I residui Assunzioni sul modello di regressione semplice le differenze tra i valori stimati ŷi e i valori osservati yi vengono definite residui. La retta di regressione è tale che la somma dei residui al quadrato sia minima. Formalmente Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione n n X X 2 2 RSS = ei = (yi − ŷi ) = i=1 = n X i=1 −2 xi (yi − B0 − B1 xi ) = 0 i=1 n X x i y i − B0 i=1 B1 B1 n X 2 xi = n n X 2 xi RSS (residual sum of squares) B1 = A. Iodice () n Lezione 18 n X xi y i − Pn i=1 xi n i=1 −( n X ! 2 xi ) =n n X i=1 Pn yi Pn − B1 i=1 n X n X xi yi − xi i=1 xi ! n yi i=1 Pn σxy xi yi − i=1 xi i=1 yi = Pn 2 − (Pn 2 2 x x ) σx i i=1 i i=1 i=1 n 2 xi = 0 i=1 i=1 Pn n X xi − B1 i=1 n X i=1 Regressione su tabella a doppia entrata n X i=1 i=1 2 (yi − B0 − B1 xi ) i=1 n X Statistica 7 / 45 Determinazione della retta di regressione Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice ...statistiche descrittive P10 P10 i=1 xi = 6.07 i=1 yi = 14.1 ȳ = 10 10 rP rP 10 (x −x̄)2 10 (y −ȳ)2 i i i=1 i=1 sx = = 3.04 sy = 10 10 P10 i=1 (xi −x̄)(yi −ȳ) = 24.7 sxy = 10 σxy rxy = σ σ = 0.8 x y x̄ = Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione = 10.1 Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 8 / 45 Determinazione della retta di regressione Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Calcolo dei coefficienti Richiamando le quantità calcolate in precedenza e le formule per il calcolo dei parametri si ha σ B1 = σxy B0 = ȳ − B1 x̄ = 14.1 − (2.66 ∗ 6.07) = −2.04 2 = 2.66 x Y = −2.04 + 2.66x rappresenta la retta di regressione stimata La retta ’migliore’ Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 9 / 45 Interpretazione dei valori dei coefficienti di regressione Lezione 18 A. Iodice Regressione lineare semplice B0 rappresenta l’intercetta della retta di regressione ed indica il valore della variabile di risposta Y quando il predittore x assume valore 0. Assunzioni sul modello di regressione semplice Stimatore della varianza B1 rappresenta l’inclinazione della retta di regressione, ovvero la variazione della variabile di risposta Y in conseguenza di un aumento unitario del predittore x. Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 10 / 45 Assunzioni sul modello Lezione 18 A. Iodice Il modello di regressione lineare semplice è Regressione lineare semplice Assunzioni sul modello di regressione semplice Y = β0 + β1 x + e l’errore non osservabile è una variabile aleatoria con valore atteso pari a 0. Per poter fare inferenza sono necessarie alcune assunzioni: la variabile aleatoria i si distribuisce come una Normale di parametri 0 e σ 2 : dunque la varianza dell’errore non osservabile i non dipende dal predittore xi ; Stimatore della varianza cov(i , j ) = 0, ∀i 6= j (i, j = 1, . . . , n), questo comporta che la risposta relativa al predittore xi è indipendente da quella relativa al predittore xj ; Verifica di ipotesi sul coefficiente angolare della retta di regressione x è nota e non stocastica (priva di errore); dalle precedenti assunzioni segue che ∀i la variabile di risposta Yi si distribuisce secondo una Normale di parametri Regressione su tabella a doppia entrata E[Yi ] = β0 + β1 xi A. Iodice () Lezione 18 e var(Yi ) = σ 2 . Statistica 11 / 45 Assunzioni sul modello Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata fonte: Statistics for Business and Economics (Anderson, Sweeney and Williams, (2011)) A. Iodice () Lezione 18 Statistica 12 / 45 Lo stimatore della varianza σ 2 Lezione 18 A. Iodice La quantità σ 2 è incognita e deve essere stimata a partire dai dati. A questo scopo si consideri che la standardizzazione di Yi si distribuisce secondo una normale Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata Yi − (β0 + β1 xi ) Yi − E[Yi ] p = . σ var(Yi ) La somma dei quadrati delle Yi standardizzate è Pn 2 i=1 (Yi − β0 − β1 xi ) 2 σ ed essendo la somma di n normali standardizzate indipendenti, si distribuisce come una variabile aleatoria chi-quadro con n gradi di libertà. Sostituendo i parametri β0 e β1 con gli stimatori dei minimi quadrati B0 e B1 la precedente diventa Pn 2 i=1 (Yi − B0 − B1 xi ) σ2 è un chi-quadro con n-2 gradi di libertà, in quanto si perde un grado di libertà per ogni parametro stimato. A. Iodice () Lezione 18 Statistica 13 / 45 Lo stimatore della varianza σ 2 Lezione 18 A. Iodice Il numeratore della precedente rappresenta la somma dei quadrati dei residui Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata n X (Yi − B0 − B1 xi )2 = i=1 n X e2 = RSS; i=1 è un chi-quadro con n-2 gradi da quanto trovato in precedenza, la quantità RSS σ2 di libertà. Poichè il valore atteso di un chi-quadro è uguale ai gradi di libertà possiamo scrivere E[RSS] RSS = n − 2 da cui E = σ2 , σ2 n−2 lo stimatore della varianza σ 2 è dunque RSS . Lo stimatore dello scarto n−2 quadratico medio σ viene definito errore standard della stima e corrisponde a q RSS . n−2 A. Iodice () Lezione 18 Statistica 14 / 45 Verifica dell’ipotesi che β1 = 0 Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Un’ipotesi molto importante da verificare nel modello di regressione lineare semplice è che il coefficiente angolare della retta di regressione sia pari a 0: se infatti β1 = 0 allora la variabile di risposta non dipende dal predittore, in altre parole non c’è regressione sul predittore. Per ottenere il test H0 : β1 = 0 vs H1 : β1 6= 0 è necessario studiare la distribuzione dello stimatore B1 di β1 : se B1 si discosta da 0 allora si rifiuta H0 , altrimenti non si rifiuta. Ma di quanto B1 deve discostarsi da 0? A questo scopo si consideri che B1 si distribuisce come una Normale e occorre definirne i parametri. Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 15 / 45 Verifica dell’ipotesi che β1 = 0 Lezione 18 A. Iodice Si consideri la seguente formalizzazione alternativa dello stimatore B1 Regressione lineare semplice B1 = Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione σxy = σx2 Pn Pn (xi − x̄) Yi − Ȳ /n i=1 (xi − x̄) Yi − Ȳ = = Pn P 2 n 2 i=1 (xi − x̄) /n i=1 (xi − x̄) i=1 =0 z }| { n X Pn (xi − x̄) i=1 (xi − x̄) Yi − Ȳ Pn (xi − x̄) Yi − (xi − x̄) Ȳ = Pn 2 i=1 (xi − x̄) ! n n X X (xi − x̄) = Yi = δ i Yi Pn 2 i=1 (xi − x̄) i=1 i=1 {z } | = i=1 i=1 Pn i=1 (xi − x̄)2 = ponendo tale quantità=δi Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 16 / 45 Verifica dell’ipotesi che β1 = 0 Lezione 18 A. Iodice Due relazioni interessanti che riguardano δi : Regressione lineare semplice =0 n X Assunzioni sul modello di regressione semplice δi = i=1 n X i=1 1 (xi − x̄) = Pn Pn 2 2 (x − x̄) (x i i − x̄) i=1 i=1 }| { z n X (xi − x̄) = 0 i=1 Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione n X i=1 δi2 = n X " (xi − x̄) Pn i=1 = Pn i=1 Regressione su tabella a doppia entrata A. Iodice () i=1 #2 (xi − x̄)2 = hP n n X 1 2 i=1 (xi − x̄) i2 (xi − x̄)2 = i=1 1 (xi − x̄)2 Lezione 18 Statistica 17 / 45 Verifica dell’ipotesi che β1 = 0 Lezione 18 E’ a questo punto possibile dimostrare che lo stimatore B1 di β1 è non distorto. A. Iodice " Regressione lineare semplice Assunzioni sul modello di regressione semplice E[B1 ] = E n X # δ i Yi = i=1 = n X n X δi β0 + β1 Regressione su tabella a doppia entrata δ i xi = β1 i=1 | {z } Verifica di ipotesi sul coefficiente angolare della retta di regressione δi E [Yi ] = | {z } i=1 β0 +β1 xi i=1 n X δi (β0 + β1 xi ) = i=1 n X i=1 (xi − x̄) Pn 2 i=1 (xi − x̄) ! xi = | {z } =0 Stimatore della varianza n X δi = Pn (xi −x̄) (xi −x̄)2 i=1 = β1 P n i=1 n X 1 2 (xi − x̄) (xi − x̄) xi = β1 Pn i=1 i=1 n X 1 2 (xi − x̄) x2i − x̄ i=1 n X xi = i=1 | {z } =nx̄ = β1 P n i=1 1 (xi − x̄)2 n X Pn 2 i=1 (xi − x̄) x2i − nx̄2 = β1 Pn i=1 i=1 | {z (xi − x̄)2 = β1 } P 2 = n i=1 (xi −x̄) A. Iodice () Lezione 18 Statistica 18 / 45 Verifica dell’ipotesi che β1 = 0 Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice La varianza dello stimatore B1 è data da 2 = bY , b è una costante, var(Z) = b var(Yi )) = costante Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione X n var (B1) = var Y δ i = ( poichè se Z i i=1 | {z } n X = (δi )2 i=1 | = Pn {z i=1 } σ2 var(Yi ) = Pn 2 | {z } (x i − x̄) i=1 =σ 2 1 (xi −x̄)2 Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 19 / 45 Verifica dell’ipotesi che β1 = 0 Lezione 18 A. Iodice la Normale standard Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata sP n i=1 (xi − x̄)2 (B1 − β1 ) σ2 non consente ancora di costruire una statistica test perchè è ancora presente il parametro incognito σ 2 : tuttavia si può stimare tale parametro attraverso RSS n−2 che, come visto in precedenza, si distribuisce secondo un chi-quadrato con n-2 gradi di libertà; sostituendo a σ 2 il suo stimatore si ha s P 2 (n − 2) n i=1 (xi − x̄) (B1 − β1 ). RSS Poichè questa quantità ha al numeratore una Normale standard ed al denominatore un chi-quadro rapportato ai propri gradi di libertà, si distribuisce come una distribuzione t di student con n-2 gradi di libertà. A. Iodice () Lezione 18 Statistica 20 / 45 Verifica dell’ipotesi che β1 = 0 Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice A questo punto la statistica test da utilizzare sotto H0 (β1 = 0) è s ST = Pn 2 i=1 (xi − x̄) B1 ∼ tn−2 RSS Il test di livello α di H0 è ha la seguente regola di decisione: Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione (n − 2) se | ST |≥ tn−2,α/2 allora si rifiuta H0 se | ST |< tn−2,α/2 allora non si rifiuta H0 Nell’esempio roller, il valore della statistica test è ST = 3.808, il p − value corrispondente è 0.00518. Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 21 / 45 Intervallo di confidenza su β1 Lezione 18 A. Iodice Regressione lineare semplice A partire dalla statistica test per il test su β1 , è possibile definire l’intervallo di confidenza, i cui estremi sono: Assunzioni sul modello di regressione semplice s B1 ± t(α/2,n−2) Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione RSS Pn 2 i=1 (xi − x̄) {z } √ (n − 2) | var(B1 ) con riferimento all’esempio roller, gli estremi dell’intervallo sono, ad un livello di confidenza del 95% sono [1.05, 4.28]. Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 22 / 45 Bontà di adattamento e diagnostica Lezione 18 A. Iodice Regressione lineare semplice Una volta stimato il modello di regressione, è necessario misurare la bontà dell’adattamento del modello ai dati e analizzare i residui per controllare che le assunzioni di normalità con media nulla e varianza costante dei residui siano rispettate. Strumenti analitici: coefficiente di determinazione lineare R2 Assunzioni sul modello di regressione semplice Strumenti grafici: plot dei residui plot variabili esplicative vs. residui: in caso di relazione non lineare nella configurazione dei punti allora la relazione con la variabile esplicativa potrebbe non essere di primo grado (lineare), ma di grado superiore; Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione plot valori stimati dal modello vs. residui: se i residui aumentano all’aumentare dei valori stimati dal modello, allora potrebbe essere necessario effettuare una trasformazione della variabile di risposta; Normal probability plot: confronto tra i quantili della distribuzione dei residui osservati e quella di una normale standardizzata; Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 23 / 45 Plot dei residui Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Perchè la retta possa essere considerata una buona approssimazione della relazione che intercorre tra Y ed X è necessario che i residui abbiano un andamento casuale rispetto ai valori della x. Se, ad esempio, all’aumentare dei valori della x aumentassero sistematicamente anche i residui, allora la relazione potrebbe non essere non lineare: la retta di regressione ne sarebbe dunque una cattiva approssimazione. variabili esplicative vs residui Per verificare che l’andamento dei residui sia effettivamente casuale rispetto ad x, è possibile utilizzare un diagramma di dispesione tra i valori xi ed i corrispondenti residui ei (i = 1, . . . , n) Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 24 / 45 Plot dei residui Lezione 18 A. Iodice Regressione lineare semplice Perchè la retta possa essere considerata una buona approssimazione della relazione che intercorre tra Y ed x è necessario che i residui abbiano un andamento casuale rispetto ai valori della x. Se, ad esempio, all’aumentare dei valori della x aumentassero sistematicamente anche i residui, allora la relazione potrebbe non essere non lineare: la retta di regressione ne sarebbe dunque una cattiva approssimazione. valori stimati ŷ vs residui Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 25 / 45 Quantile-quantile plot Lezione 18 A. Iodice Regressione lineare semplice Per controllare che l’assunzione della normalità dei residui sia rispettata si ricorre al confronto tra i quantili della distribuzione Normale standard ed i quantili della distribuzione dei residui osservati. Q-Q plot Quanto più i punti del grafico risultano allineati lungo la bisettrice del primo quadrante, tanto migliore sarà l’adattamento dei residui osservati alla distribuzione normale. Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 26 / 45 coefficiente di determinazione lineare R2 Lezione 18 Ricordando che la devianza il numeratore della varianza... A. Iodice SSy = n X 2 (yi − ȳ) i=1 Regressione lineare semplice Assunzioni sul modello di regressione semplice = = 2 (yi − ŷi + ŷi − ȳ) = i=1 2 (yi − ŷi ) + n X n X 2 (ŷi − ȳ) + 2 i=1 i=1 i=1 n X n X n X 2 (yi − ŷi ) + i=1 2 (ŷi − ȳ) + 2( i=1 (yi − ŷi )(ŷi − ȳ) yi − i=1 n X ŷi )( i=1 n X ŷi − nȳ) i=1 Poiché ŷi è una trasformazione lineare di xi , allora Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione n X n X = µŷ = B0 + B1 x̄ = (ricordando che B0 = ȳ − B1 x̄) = ȳ − B1 x̄ +B1 x̄ = ȳ | {z } B0 dunque µŷ = ȳ → Regressione su tabella a doppia entrata Pn i=1 ŷi n SSy = n X = Pn i=1 yi n 2 (yi − ŷi ) + i=1 = n X i=1 A. Iodice () da cui n X Pn i=1 ŷi − 2 2 n X i=1 yi = 0, quindi (ŷi − ȳ) + 2 ∗ 0 ∗ ( i=1 (ŷi − ȳ) + Pn n X ŷi − nȳ) i=1 2 (yi − ŷi ) = SSr + RSS i=1 Lezione 18 Statistica 27 / 45 Decomposizione della devianza Lezione 18 La devianza può essere decomposta dunque nelle seguenti quantità SSy = SSr + RSS A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice SSy = Pn (yi − ȳ)2 devianza totale SSr = Pn (ŷi − ȳ)2 devianza di regressione RSS = i=1 i=1 Pn i=1 (yi − ŷi )2 devianza dei residui Interpretazione grafica Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 28 / 45 Bontà dell’adattamento Lezione 18 A. Iodice Intituitivamente, l’adattamento della retta è migliore quanto maggiore sarà proporzione di variabilità totale che la retta di regressione riesce a spiegare; ovvero, l’adattamento della retta è migliore quanto minore sarà la variabilità residua. Una misura di come il modello approssima i dati osservati è data dal coefficiente di determinazione lineare R2 , dato da Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza R 2 SSr SSy Pn = Pi=1 n i=1 ovvero R 2 RSS =1− SSy (ŷi − µy )2 (yi − µy )2 Pn = 1 − P i=1 n (yi − ŷi )2 2 i=1 (yi − µy ) esempio di calcolo R2 Verifica di ipotesi sul coefficiente angolare della retta di regressione SSy = Pn i=1 (yi − ȳ)2 = 1020.9 2 i=1 (ŷi − ȳ) = 657.97 Pn RSS = (y − ŷ )2 = 362.93 i i i=1 SSr = Pn R Regressione su tabella a doppia entrata = ovvero R A. Iodice () 2 =1− 2 = RSS SSy SSr SSy =1− Lezione 18 = 657.97 1020.9 282.1862 5058.4 = 0.64 = 1 − 0.36 = 0.64 Statistica 29 / 45 Bande di confidenza e di previsione Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata Utilizzo del modello per stima e previsione Se il modello stimato si adatta bene ai dati e se la relazione tra Y e X è significativa, si può utilizzare la retta di regressione stimata per la stima e la previsione. Banda di confidenza La banda di confidenza è composta dalle stime intervallari, ognuna costruita sul valore atteso di Y dato il valore corrispondente di xi . Banda di previsione La banda di previsione è composta dalle stime intervallari, ognuna costruita sul singolo valore di Y dato il valore corrispondente di xi . A. Iodice () Lezione 18 Statistica 30 / 45 Bande di confidenza e di previsione Lezione 18 A. Iodice Regressione lineare semplice ...qualche definizione Assunzioni sul modello di regressione semplice xp è un valore specifico assunto dalla variabile indipendente X; yp è il valore assunto da Y quando X = xp ; Stimatore della varianza E [yp ] è il valore atteso di Y quando X = xp ; Verifica di ipotesi sul coefficiente angolare della retta di regressione ŷp = B0 + B1 xp , il valore stimato dalla retta di regressione, dunque è la stima di E [xp ] per X = xp . Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 31 / 45 Bande di confidenza e di previsione Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Intervallo di confidenza su E[Y | X = xp ] = E[yp ] Per costruire lo stimatore intervallare su E[yp ] dato che X = xp è necessario stimarne la varianza, lo stimatore in questione è s2ŷp Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione RSS = n−2 " 1 (xp − x̄)2 + Pn 2 n i=1 (xi − x̄) # pertanto l’intervallo di confidenza è dato da ŷp ± t α ,(n−2) sŷp 2 Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 32 / 45 Bande di confidenza e di previsione Lezione 18 A. Iodice Regressione lineare semplice Intervallo di previsione su yp Per costruire lo stimatore intervallare su yp è necessario stimarne la varianza, lo stimatore in questione consiste di due componenti Assunzioni sul modello di regressione semplice la varianza di un singolo di valore Y rispetto alla sua media E[yp ] la varianza associata all’utilizzo di un singolo valore ŷp per stimare E[yp ] (già stimata in precedenza s2ŷp ) Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione RSS n−2 s2singolo = RSS + s2ŷp n−2 pertanto l’intervallo di previsione è dato da ŷp ± t α ,(n−2) ssingolo 2 Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 33 / 45 Intervallo di confidenza su E(yp ) Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata Bande di confidenza A. Iodice () Lezione 18 Statistica 34 / 45 Intervallo di previsione Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata Bande di previsione A. Iodice () Lezione 18 Statistica 35 / 45 Bande di confidenza e previsione Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 36 / 45 Regressione su distribuzione doppia di frequenze Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Si consideri di aver osservato su 10 rivenditori di componenti informatiche le variabili numero di punti vendita e Fatturato settimanale complessivo. Si studi la dipendenza del fatturato dal numero di punti vendita. fino a 5000 tra 5000 e 10000 Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione fino a 2 3 1 tra 2 e 4 2 2 tra 4 e 6 0 2 Si stimino i coefficienti della retta di regressione. Si valuti la bontà di adattamento della retta ai dati. Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 37 / 45 Regressione distribuzione doppia di frequenze Lezione 18 A. Iodice Essendo le modalità delle variabili qualitative espresse in intervalli di valori, è necessario fare riferimento ai centri di ciascun intervallo. La tabella è dunque data da Regressione lineare semplice Y /X 2500 7500 Tot Assunzioni sul modello di regressione semplice 1 3 1 4 3 2 2 4 5 0 2 2 Tot 5 5 10 Le medie aritmetiche si ottengono a partire dalle distribuzioni marginali di frequenze: Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione µx = µy = Regressione su tabella a doppia entrata k 1 X n j=1 h 1X n i=1 xj n.j = yi ni. = 1 10 1 10 × (1 × 4) + (3 × 4) + (5 × 2) = × (2500 × 5) + (7500 × 5) = 4 + 12 + 10 10 12500 + 37500 10 = 2.6 = 5000 dove h rappresenta numero di righe della tabella, k il numero di colonne della tabella. A. Iodice () Lezione 18 Statistica 38 / 45 Regressione: distribuzione doppia di frequenze Lezione 18 Per calcolare le varianze si fa riferimento agli scarti dalla media al quadrato A. Iodice Y /X (2500 − 5000)2 (7500 − 5000)2 Tot Regressione lineare semplice Assunzioni sul modello di regressione semplice (1 − 2.6)2 3 1 4 (3 − 2.6)2 2 2 4 (5 − 2.6)2 0 2 2 Tot 5 5 10 Le varianze si ottengono a partire dalle distribuzioni marginali di frequenze: Stimatore della varianza 2 σx = Verifica di ipotesi sul coefficiente angolare della retta di regressione k 1 X 2 n j=1 (xj − µx ) n.j = 2 + ((5 − 2.6) × 2) = 2 σy = Regressione su tabella a doppia entrata = h 1X n i=1 1 10 2 10.24 + 0.64 + 11.52 10 2 (yi − µy ) ni. = 31250000 + 31250000 10 2 × ((1 − 2.6) × 4) + ((3 − 2.6) × 4)+ 1 10 = 2.24 2 2 × (2500 × 5) + (7500 × 5) = 6250000 dove h rappresenta numero di righe della tabella, k il numero di colonne della tabella. A. Iodice () Lezione 18 Statistica 39 / 45 Esercizio regressione: distribuzione doppia di frequenze Lezione 18 Per calcolare la covarianza si deve fare riferimento alle distribuzioni condizionate di frequenza. Y /X (2500 − 5000) (7500 − 5000) Tot A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione σxy = h X k 1 X n i=1 j=1 (1 − 2.6) 3 1 4 (3 − 2.6) 2 2 4 (5 − 2.6) 0 2 2 yi xi yi − µ y xi − µx 2500 2500 2500 2500 2500 7500 7500 7500 7500 7500 1 1 1 3 3 1 3 3 5 5 (2500-5000) (2500-5000) (2500-5000) (2500-5000) (2500-5000) (7500-5000) (7500-5000) (7500-5000) (7500-5000) (7500-5000) (1-2.6) (1-2.6) (1-2.6) (3-2.6) (3-2.6) (1-2.6) (3-2.6) (3-2.6) (5-2.6) (5-2.6) Tot 5 5 10 (yi − µy ) × (xj − µx ) × nij = 1 ((2500 − 5000)(1 − 2.6) × 3 + (2500 − 5000)(3 − 2.6) × 2+ 10 + (7500 − 5000)(1 − 2.6) × 1 + (7500 − 5000)(3 − 2.6) × 2+ Regressione su tabella a doppia entrata = + (7500 − 5000)(5 − 2.6) × 2) = A. Iodice () 12000 − 2000 − 4000 + 2000 + 12000 Lezione 18 10 = 2000 Statistica 40 / 45 Esercizio regressione: distribuzione doppia di frequenze Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice Avendo calcolato le quantità µx = 2.6, µy = 5000, σx2 = 2.24 e σxy = 2000, è possibile calcolare i coefficienti della retta di regressione Calcolo dei coefficienti b1 = σxy σx2 = 2000 2.24 = 892.571 b0 = µy − b1 µx = 5000 − (892.571 ∗ 2.6) = 2679.315 Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione quindi l’equazione della retta di regressione è Regressione su tabella a doppia entrata Dunque, il valore stimato ŷi corrispondente ad un valore xi assegnato è ŷi = b0 + b1 x. y = b0 + b1 x = 2679.315 + 892.571x A. Iodice () Lezione 18 Statistica 41 / 45 Valutazione della bontà di adattamento Lezione 18 A. Iodice Ricordando che Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Regressione su tabella a doppia entrata R 2 = Devr Devy Pn = Pi=1 n i=1 ovvero R 2 =1− Deve Devy (ŷi − ȳ)2 (yi − ȳ)2 Pn (yi − ŷi )2 2 i=1 (yi − ȳ) = 1 − Pi=1 n con Devy = Devr + Deve SSy = Pn (yi − ȳ)2 devianza totale SSr = Pn (ŷi − ȳ)2 devianza di regressione RSS = i=1 i=1 Pn i=1 (yi − ŷi )2 devianza dei residui Per ottenere R2 , misura della bontà di adattamento, si deve calcolare solo la devianza dei residui, avendo 2 già calcolato σy . A. Iodice () Lezione 18 Statistica 42 / 45 Calcolo della devianza dei residui Lezione 18 A. Iodice Regressione lineare semplice Assunzioni sul modello di regressione semplice RSS = Pn i=1 (yi − ŷi )2 devianza dei residui in base alla retta di regressione stimata, i valori ŷi stimati in funzione dei valori xi sono Stimatore della varianza ŷ1 = b0 + b1 x1 = 2679.315 + 892.571 × 1 = 3571.886 Verifica di ipotesi sul coefficiente angolare della retta di regressione ŷ2 = b0 + b1 x2 = 2679.315 + 892.571 × 3 = 5357.028 ŷ3 = b0 + b1 x3 = 2679.315 + 892.571 × 5 = 7142.17 Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 43 / 45 Calcolo della devianza dei residui Lezione 18 Per calcolare i residui yi − ŷi nel caso di tabella a doppia entrata si procede come segue A. Iodice yi /ŷj y1 = 2500 y2 = 7500 Tot Regressione lineare semplice Assunzioni sul modello di regressione semplice Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione RSS = Ph i=1 ŷ1 = 3571.886 3 1 4 Pk i=1 ŷ2 = 5357.028 2 2 4 ŷ3 = 7142.17 0 2 2 Tot 5 5 10 ((yi − ŷj )2 ) × nij devianza dei residui per tabella doppia calcolo della devianza dei residui RSS = h X k X 2 2 2 ((yi − ŷj ) ) × nij = ((2500 − 3571.886) ) × 3 + ((2500 − 5357.028) ) × 2+ i=1 j=1 2 2 2 + ((7500 − 3571.886) ) × 1 + ((7500 − 5357.028) ) × 2 + ((7500 − 7142.17) ) × 2 = = 44642859 SSy = Regressione su tabella a doppia entrata n X 2 (yi − ȳ) 2 = σy × n = 6250000 × 10 = 62500000 i=1 R A. Iodice () 2 =1− RSS SSy Lezione 18 = 1 − 0.71 = 0.29 Statistica 44 / 45 Verifica dell’ipotesi che β1 = 0 Lezione 18 A. Iodice Regressione lineare semplice A questo punto il valore della statistica test (stimatore standardizzato di β1 ) è Assunzioni sul modello di regressione semplice s ST = (n − 2) Pn (xi − x̄)2 B1 = RSS i=1 Stimatore della varianza Verifica di ipotesi sul coefficiente angolare della retta di regressione Tenuto conto del fatto che P10 i=1 r (10 − 2)22.4 2679.315 = 5.37 44642859 (xi − x̄)2 = n × σ 2 = 10 × 2.24 = 22.4. Poiché il p − value corrispondente è 2 × 0.0003, non si può rifiutare H0 . Regressione su tabella a doppia entrata A. Iodice () Lezione 18 Statistica 45 / 45
