Test del 2 Inferenza statistica Indagine campionaria: indagine svolta su una parte dell’intero collettivo da indagare (popolazione) Estendere i risultati a tutta la popolazione: i risultati ottenuti per il campione sono approssimativamente validi per tutta la popolazione Inferenza statistica: insieme di metodi che consentono di precisare “a posteriori” i margini di tale approssimazione oppure “a priori” l’articolazione e il dimensionamento ottimale del campione Problemi inferenziali • Stima dei parametri • Verifica di ipotesi sui parametri Problemi inferenziali parametrici sulla base dei risultati del campione, si valutano i parametri che caratterizzano la distribuzione del carattere nella popolazione (a posteriori) o se ne verificano le congetture (a priori) • Verifica di altre ipotesi riguardano aspetti della distribuzione del carattere nella popolazione non suscettibili di essere espressi dai parametri che compaiono, che valgano per qualsiasi forma funzionale di tale distribuzione Problemi inferenziali nonparametrici Verifica di ipotesi (cap. 8.4 cenni) Nell’inferenza statistica parametrica si formulano ASSUNZIONI sui valori di un parametro incognito di una distribuzione di probabilità di funzione NOTA. La verifica statistica delle ipotesi vaglia il grado di attendibilità che può essere attribuito loro. Inferenza statistica non parametrica (cap. 9) Si tratta di usare metodi (detti non parametrici) che non usano alcuna informazione sulla distribuzione di probabilità. Dunque sono utili quando non si conosce la distribuzione di probabilità della popolazione e non è possibile usare test che coinvolgono ipotesi sui parametri della distribuzione. Vedremo come realizzare con Excel un test per la “bontà dell’adattamento”: il test del 2 (che state utilizzando in Fisica). Test del 2 (di buon adattamento) • I test di buon adattamento, in generale, hanno lo scopo di verificare se una variabile in esame abbia o meno un certa distribuzione ipotizzata, sulla base, come al solito, di dati sperimentali. • Si usa per confrontare un insieme di frequenze osservate in un campione, con le analoghe quantità teoriche ipotizzate per la popolazione Test del 2 (di buon adattamento) • I test di buon adattamento, in generale, hanno lo scopo di verificare se una variabile in esame abbia o meno un certa distribuzione ipotizzata sulla base, come al solito, di dati sperimentali. • Si usa per confrontare un insieme di frequenze osservate in un campione, con le analoghe quantità teoriche ipotizzate per la popolazione Confronto tra frequenze empiriche e teoriche Mediante il test è possibile misurare quantitativamente il grado di deviazione tra i due insiemi di valori Confronto tra frequenze empiriche e teoriche I risultati ottenuti nei campioni non sempre concordano esattamente con i risultati teorici attesi secondo le regole di probabilità, anzi, è ben raro che questo si verifichi. Per esempio: benché considerazioni teoriche ci portino ad attenderci 50 teste e 50 croci da 100 lanci di una moneta, è raro che questi risultati siano ottenuti esattamente, ma nonostante questo non si deve per forza dedurre che la moneta sia truccata! Un esempio Un amico vi dice: Questa moneta è equa. Infatti su 1000 lanci ho ottenuto 499 "testa" e 501 "croce". Come possiamo valutare la verosimiglianza di quanto raccontato dall'amico con la previsione teorica? Col test del 2 vedremo quanto il dato osservato concorda col dato teorico, e potremo trarre le nostre conclusioni. Distribuzione 2 (a n gradi di libertà) E’ una distribuzione di probabilità continua, ottenuta come somma dei quadrati di n variabili casuali indipendenti, con media 0 e varianza 1 In Excel esistono le funzioni: DISTRIB.CHI(x;gradi_libertà) INV.CHI(probabilità;gradi_libertà) che ne calcola la sua inversa. Per esempio: DISTRIB.CHI(0,004;1) = 0,950 INV.CHI(0,950;1) = 0,004 Esistono pure DISTRIB.CHI.QUAD, DISTRIB.CHI.QUAD.DS, INV.CHI.QUAD e INV.CHI.QUAD.DS relative alle probabilità a una coda. Come valutare la concordanza Test del χ2 di Pearson: Nell’esempio della moneta, prendiamo come frequenza teorica quella della distribuzione binomiale: si ottiene testa (o croce) con probabilità p=1/2 Confronto dato empirico e dato teorico modalità testa croce n= frequenze empiriche: fe 499 501 1000 probabilità teoriche: p 0,5 0,5 frequenze teoriche: ft=p*n 500 500 funzione test 2= livello di significativita' = valore critico c2= 2 (fe - ft) / ft 0,002 0,002 0,004 0,05 Confrontare 2 col valore teorico nel caso di moneta non truccata 3,841458821 Il valore critico lo posso ottenere dalla tabella dei valori della distribuzione 2, in funzione di a e dei gradi di libertà, o calcolarlo direttamente con INV.CHI(probabilità; gradi_libertà), dove gradi di libertà = quantità delle frequenze sperimentali che devo conoscere direttamente. Nel nostro esempio: a = 0,05 e gradi di libertà = 1 (perché basta conoscere p per ottenere q=1-p) 2 = INV.CHI(0,05;1) = 3,841458821 c Valori in tabella con Excel Come ottenere i valori in tabella con Excel? 2 0,950 = 0,004 DISTR.CHI(0,004;1) = 0,950 INV.CHI(0,950;1) = 0,004 2 0,050 = 3,841 DISTR.CHI(3,841;1) = 0,050 INV.CHI(0,050;1) = 3,841 2 0,050 corrisponde 2 0,010 corrisponde 2 0,950 corrisponde alla probabilità 5% alla probabilità 1% alla probabilità 95% Accettazione ACCETTO se 2< 2 C (come indica il libro di Excel) Il valore della funzione test Il valore critico 2 = 0,004 = 2 = 3,841 = C 2 0,950 2 0,050 0,004 < 3,841 quindi ACCETTO. Equivalentemente: ACCETTO se 0,95 > 0,05 = a livello di significatività scelto; ovvero ACCETTO se 95% > 5% In Excel la percentuale 0,950 la posso ottenere direttamente: 0,950 = TEST.CHI(int_effettivo; int_previsto) dove int_effettivo e int_previsto sono rispettivamente le tabelle delle frequenze empiriche e teoriche Quindi più velocemente: ACCETTO se TEST.CHI(int_effettivo; int_previsto) > a Funzione TEST.CHI TEST.CHI(B2:B3;D2:D3) = 0,950 Indica direttamente che il valore di Dato che 0,950 > 0,05: ACCETTO! 2 (0,004) corrisponde a 2 0,950 Commento Abbiamo ottenuto: 2 = 2 0, 950 In realtà ciò indica che la discordanza dal valore teorico è addirittura un po’ «troppo bassa»: il valore è piuttosto «anormale» e quindi improbabile (è sensato supporre che … l’amico ci abbia detto una frottola!). Altro esempio Effettuando 50 lanci di un dado si sono ottenuti: 9 11 5 8 10 7 uno due tre quattro cinque sei. Vogliamo valutare se i dadi sono equi. Confrontiamo le frequenze ottenute con quelle teoriche della distribuzione uniforme, corrispondente ai dadi equi. Per valutarne la discordanza, calcoliamo il relativo χ2. Calcoliamo modalità 1 2 3 4 5 6 frequenze empiriche: fe 9 11 5 8 10 7 n= 50 probabilità teoriche: p 0,1667 0,1667 0,1667 0,1667 0,1667 0,1667 2 frequenze teoriche: ft=p*n 8,333333333 8,333333333 8,333333333 8,333333333 8,333333333 8,333333333 (fe - ft)2/ ft 0,053333333 0,853333333 1,333333333 0,013333333 0,333333333 0,213333333 funzione test 2= 2,8 Cosa ci dice 2,8 sulla equità del dado? Studiando la distribuzione 2 teorica, cioè come si distribuirebbe il valore di 2 se il dado fosse equo (per esempio su 5000 lanci) si otterrebbe il seguente istogramma Istogramma della distribuzione lanci di un dado equo 2 di 5000 Dove si colloca il nostro 2,8? Si nota che 2,8 è un valore abbastanza centrale. Anzi studiando i percentili si trova che 2,8 è il 25° percentile. Quindi posso ACCETTARE l’ipotesi che il dado sia equo! Per valutare ciò con Excel procediamo come segue. Con Excel (senza usare TEST.CHI) modalità 1 2 3 4 5 6 n= frequenze empiriche: fe 9 11 5 8 10 7 50 probabilità teoriche: p 0,1667 0,1667 0,1667 0,1667 0,1667 0,1667 frequenze teoriche: ft=p*n 8,333333333 8,333333333 8,333333333 8,333333333 8,333333333 8,333333333 2 (fe - ft) / ft 0,053333333 0,853333333 1,333333333 0,013333333 0,333333333 0,213333333 funzione test 2= 2,8 livello di significativita' = valore critico c2= 0,05 11,07049769 risultato: si accetta l'ipotesi nulla Confrontare 2 col valore teorico nel caso di dadi equi Nel nostro esempio (seguendo il libro di Excel che non usa la funzione TEST.CHI): gradi di libertà = 5 (perché occorre conoscere 5 frequenze per ottenere anche la sesta) INV.CHI(0,05;5) = 11,07049769 2,8 < 11,07049769 quindi ACCETTO Con la funzione TEST.CHI TEST.CHI(B2:B7;D2:D7) = 0,731 Indica direttamente che il valore di 2 corrisponde a 20,731 Dato che 0,731 > 0,05: ACCETTO! Uso la funzione: SE(D11>D10; "ACCETTO H0";"RIFIUTO H0") Tecnica generale Consideriamo una variabile X con distribuzione di probabilità da verificare. 1. Effettuiamo n misurazioni della variabile. 2. Raggruppiamo i valori in k classi/modalità, ottenendo una distribuzione empirica delle frequenze. 3. Confrontiamola con una distribuzione teorica ipotetica e valutiamo così il grado di adattamento tra le due distribuzioni. Scopo del test 2 • Confrontiamo tra loro le frequenze empiriche e quelle teoriche verificando l’ipotesi nulla H0 , ossia che tra le probabilità teoriche e le frequenze relative empiriche ci sia un buon accordo • L’ipotesi alternativa H1 è che la distribuzione teorica non si adatta alla distribuzione empirica Con Excel (senza la funzione TEST.CHI) “Ingredienti” per il test (ogni ingrediente in una colonna) • ai modalità (classi) della distribuzione empirica (i=1,…,k) • n numero di elementi del campione • fi frequenza assoluta empirica dell’i-esima modalità • fri=fi /n frequenza relativa empirica dell’i-esima modalità • pi probabilità teorica dell’i-esima modalità • n*pi frequenza assoluta teorica dell’i-esima modalità • Calcoliamo • Calcoliamo il valore critico 2c con INV.CHI(a ; gdl) dove a = livello di significatività richiesto, e gdl=gradi di libertà; gdl=k-1 se sono noti i parametri della distribuzione teorica; gdl=k-1-r se sono r i parametri da stimare usando le osservazioni • Se 2<c2 c «Accetta l’ipotesi nulla»; altrimenti «Rifiuta l’ipotesi nulla» Test del 1. 2. 3. 4. 2 con Excel (con la funzione TEST.CHI) Inserire i dati Calcolare le frequenze osservate (int_effettivo) Calcolare le frequenze attese (int_previsto) Usare la funzione TEST.CHI(int_effettivo; int_previsto) Il valore ottenuto è il valore della probabilità che la differenza tra i valori osservati e quelli attesi, verificato con il test chi-quadro, sia dovuto al caso, ovvero la probabilità che l’ipotesi nulla sia vera. Infine valutare se accettare l’ipotesi oppure no. Si accetta l’ipotesi nulla se tale valore è maggiore del livello di significatività a voluto. Gradi di libertà TEST.CHI restituisce la probabilità che un valore del dato statistico χ2 equivalente al valore calcolato mediante la formula venga casualmente ottenuto in base al presupposto di indipendenza. Nel calcolo di tale probabilità, TEST.CHI utilizza la distribuzione χ2 con il numero adeguato di gradi di libertà, gdl. TEST.CHI(int_effettivo; int_previsto) Se le tabelle int_effettivo e int_previsto hanno un diverso numero di dati, viene restituito il valore di errore: #N/D. Altrimenti, siano r = numero di righe c = numero di colonne delle tabelle int_effettivo e int_previsto. Negli esempi precedenti c = 1. Se r > 1 e c > 1, allora gdl = (r - 1)(c - 1). Se r = 1 e c > 1, allora gdl = c - 1 Se r > 1 e c = 1, allora gdl = r - 1. r = c= 1 non è consentito e viene restituito il valore di errore #N/D. Esempio 9.2 Durante un certo periodo, un’apparecchiatura è stata sottoposta a controllo: in 100 lotti è stata registrata la seguente distribuzione di pezzi difettosi Pezzi difettosi 0 1 2 3 4 5 6 Lotti 11 32 26 14 12 4 1 Si vuole verificare, ad un livello del 5%, se è possibile adattare una distribuzione binomiale a questa distribuzione empirica In Excel • Introdurre i dati (modalità=numero pezzi difettosi; frequenze empiriche=lotti) • Calcolare la somma delle frequenze (n; sarà 100) • Per calcolare la probabilità teorica, in questo caso binomiale, occorre usare 7 volte la funzione DISTRIB.BINOM(num_successi;prove;probabilità_s;cumulativo) – – – – Num_successi = numero di successi in prove = 0,1,…,6 Prove = numero di prove indipendenti = 100 Probabilità_s= probabilità di successo per ciascuna prova? Cumulativo = valore logico che determina la forma assunta dalla funzione = FALSO Come calcolare la probabilità di successo? Probabilità di successo Per calcolare p ricordiamo che m = n p, dove m è il valor medio, da cui p = m / n. Occorre quindi: sommare i prodotti delle modalità per le rispettive frequenze empiriche e dividere questa quantità per n per ottenere m . Dividendo il risultato per n si ottiene p. Avremo: modalità 0 1 2 3 4 5 6 n= frequenze empiriche 11 32 26 14 12 4 1 100 k · fe 0 32 52 42 48 20 6 200 m= 2 p= 0,02 Frequenze teoriche Usando la funzione DISTRIB.BINOM(num_successi;prove;probabilità_s;cumulativo) con probabilità_s = p (appena calcolato) ottengo le probabilità teoriche; moltiplicandole per n ottengo le frequenze teoriche. modalità 0 1 2 3 4 5 6 n = frequenze empiriche 11 32 26 14 12 4 1 100 k · fe 0 32 52 42 48 20 6 200 = p = 2 0,02 probabilità frequenze teoriche teoriche 0,132620 13 0,270652 27 0,273414 27 0,182276 18 0,090208 9 0,035347 4 0,011422 1 Senza la funzione TEST.CHI – – – – Valutare (fe - ft)2/ ft per ogni riga Calcolare la somma 2 (funzione test) Calcolare esplicitamente 2 c = INV.CHI(a;gdl) Poi valutare se si accetta l’ipotesi: accetto se modalità 0 1 2 3 4 5 6 n = frequenze empiriche 11 32 26 14 12 4 1 100 k · fe 0 32 52 42 48 20 6 200 = p = probabilità frequenze (fe - ft)2/ ft teoriche teoriche 0,132620 13 0,385799 0,270652 27 0,899756 0,273414 27 0,065810 0,182276 18 0,980522 0,090208 9 0,983908 0,035347 4 0,061257 0,011422 1 0,017694 funzione test = 3,395 2 0,05 0,02 5 c = 11,070 risultato : si accetta l'ipotesi nulla 2 c > 2 Con la funzione TEST.CHI modalità frequenze empiriche k · fe 0 1 2 3 4 5 6 11 32 26 14 12 4 1 0 32 52 42 48 20 6 100 200 n = = p = 2 0,02 probabilità frequenze teoriche teoriche 0,132620 0,270652 0,273414 0,182276 0,090208 0,035347 0,011422 a= 13 27 27 18 9 4 1 0,05 test chi= 0,757917 risultato= si accetta l'ipotesi nulla Test 2 di indipendenza In una indagine epidemiologica si sono classificate 100 persone secondo i seguenti caratteri: A = influenzato durante l'inverno, E = di norma usa l'autobus, ottenendo la seguente tabella Controllare con il test chi-quadro la dipendenza statistica tra A ed E con un livello di fiducia del 95% (alfa=0,05). Nota: in questo esempio la tabella delle frequenze empiriche ha r = 2 e c = 2. Test del 1. 2. 3. 4. 2 con Excel Inserire i dati Calcolare le frequenze osservate (int_effettivo) Calcolare le frequenze attese (int_previsto) Usare la funzione TEST.CHI(int_effettivo; int_previsto) Il valore ottenuto è il valore della probabilità che la differenza tra i valori osservati e quelli attesi, verificato con il test chi-quadro, sia dovuto al caso, ovvero la probabilità che l’ipotesi nulla sia vera. Infine valutare se accettare l’ipotesi oppure no. Si accetta l’ipotesi nulla se tale valore è maggiore del livello di significatività alfa. Calcolo delle frequenze attese • Inseriamo i dati in una tabella Excel • Calcoliamo la tabella delle frequenze attese, cioè quelle che avremmo se non ci fosse nessuna particolare relazione fra “prendere l’autobus” e “essere influenzati” (i due caratteri fossero indipendenti). Si procede in questo modo: totale riga1 * totale colonna1 / totale generale totale riga1 * totale colonna2 / totale generale totale riga2 * totale colonna1 / totale generale totale riga2 * totale colonna2 / totale generale Frequenze empiriche Frequenze teoriche influenzato non influenzato usa l'autobus 40,92 25,08 non usa l'autobus 21,08 12,92 Nota: 40,92 = 66%*62%*100 = frequenza teorica di A&B su 100 persone Test con Excel