TEST STATISTICI I dati campionari possono essere utilizzati per verificare se una certa ipotesi su una caratteristica della popolazione può essere ritenuta verosimile o meno. Con il termine ipotesi statistica si indica una congettura su un parametro in una popolazione (si può voler verificare se un macchinario produce pezzi che rispettano caratteristiche prestabilite, se un dado o una moneta sono equilibrati, se un farmaco è efficace). Le ipotesi sono sottoposte a verifica sulla base di un campione e la procedura utilizzata per la verifica di queste ipotesi costituisce il cosiddetto test statistico. Per verificare se una moneta è equilibrata si può lanciare più volte la moneta e registrare il numero di teste e di croci. Si riterrà plausibile l’ipotesi che la moneta sia equilibrata se il numero di teste e di croci non risultano molto diversi, ma non si può stabilire con certezza se un'ipotesi è vera o falsa, dato che uno stesso risultato può derivare da popolazioni con strutture diverse (nel lancio di una moneta equilibrata 100 volte il numero di teste va da 0 a 100, anche se alcuni risultati sono improbabili) Un qualsiasi criterio di decisione comporterà necessariamente il rischio di commettere un errore che consiste nel rifiutare l’ipotesi quando è vera oppure nell’accettarla quando è falsa. Nel caso della moneta il risultato campionario potrebbe segnalare che la moneta è equilibrata anche se non lo è realmente, oppure potrebbe indicare che la faccia “testa” ha una probabilità molto maggiore di “croce” anche se la moneta fosse equilibrata o, se la faccia “croce” avesse una probabilità maggiore. Prenderemo in considerazione solo la probabilità di rifiutare un'ipotesi quando è vera e faremo riferimento, quindi, ai cosiddetti tests di significatività. In generale l’ipotesi che si vuole verificare è detta ipotesi nulla ed è indicata con la notazione H0: seguita dal suo enunciato formale. H0: = 0. indica l’ipotesi che il parametro della distribuzione di una variabile assume il valore 0 Nel caso della moneta, se indichiamo con la probabilità associata alla faccia testa, l’ipotesi che la moneta sia bilanciata può essere quindi espressa da H0 : =0.5 Un’ipotesi su è considerata tanto più verosimile quanto più la stima campionaria risulta probabile se si assume come vera l’ipotesi H0 e la regola di decisione consiste nell’accettare H0 se la stima campionaria rientra nell’insieme dei risultati più probabili sotto H0 e nel rifiutarla in caso contrario. Per controllare se il risultato campionario è un risultato probabile quando il parametro è uguale a 0 si utilizza la distribuzione di probabilità dello stimatore T del parametro sotto ipotesi nulla. L’insieme dei possibili risultati campionari viene suddiviso nella regione di accettazione di H0 (quelli probabili) e in una regione di rifiuto o regione critica (quelli poco probabili). C’è una probabilità di rifiutare l’ipotesi nulla quando è vera, perché si può ottenere un risultato campionario improbabile anche quando H0 è vera. La probabilità dell’errore che consiste nel rifiutare l’ipotesi nulla quando è vera viene indicata con e viene detta errore di prima specie o livello di significatività: corrisponde alla probabilità di ottenere, quando è vera H0, un risultato compreso nella regione di rifiuto dell’ipotesi. Considerata la distribuzione dello stimatore sotto ipotesi nulla e scelto il livello di probabilità , gli estremi dell’intervallo di accettazione, detti valori critici, corrispondono in genere ai due quantili che in questa distribuzione isolano il primo sulla sua sinistra ed il secondo sulla sua destra una probabilità pari ad /2. Se il valore campionario t di T risulta compreso nella regione critica si dice che il valore della statistica è significativo. La probabilità viene scelta in modo da essere “quasi sicuri” di non respingere H0 quando è vera e sul suo valore si possono fare considerazioni analoghe a quelle relative ai livelli di probabilità degli intervalli di confidenza. Il suo valore viene fissato tenendo presenti le conseguenze che derivano dal rifiutare un'ipotesi vera. Al diminuire di aumenta l’ampiezza dell’intervallo di accettazione per cui si finisce per non respingere H0 anche in presenza di risultati molto improbabili. Se il valore t dello stimatore T è compreso nell’intervallo di accettazione dell’ipotesi nulla ciò non implica che l’ipotesi sia necessariamente vera. Se, per esempio, si fosse ottenuto un numero di teste pari a 503 su 1000 lanci non si rifiuterebbe l’ipotesi che la moneta sia equilibrata ma ovviamente non si rifiuterebbe mai l’ipotesi che fosse uguale a 0.503. Ogni stima t rientra anche nell’insieme dei risultati più probabili sotto altre ipotesi diverse da H0 ed è quindi compreso nell’intervallo di accettazione associato a queste ipotesi. VERIFICA DI IPOTESI SULLA MEDIA H0 : 0 2 CASO 1) Se X ~ N ; 2 noto X ~ N ; n L’intervallo di accettazione dell’ipotesi sarà centrato su 0 e delimitato dai due quantili 0 u1 / 2 0 u1 / 2 n , n che isolano a sinistra e a destra della distribuzione un’area pari ad /2. Gli intervalli a sinistra e a destra costituiscono invece l’area di rifiuto dell'ipotesi o regione critica, e i valori 0 u1 / 2 e 0 u1 / 2 n n sono i valori critici. La regione di accettazione contiene l’insieme dei valori più probabili sotto ipotesi nulla. Se la media risulta compresa nella regione di accettazione si conclude affermando che, al livello di significatività prestabilito, non si ha motivo di rifiutare l’ipotesi nulla o che l’ipotesi è compatibile con il risultato campionario. Se, invece, la media campionaria cade in una delle due regioni critiche l’ipotesi viene rifiutata al livello di significatività . Il risultato campionario x0 di X è contenuto negli intervalli di accettazione di tutto un insieme di ipotesi diverse. La verifica dell'ipotesi si può effettuare in modo più semplice, confrontando il valore assoluto di X μ0 con il valore z/2 della normale standardizzata. σ n X μ0 > z/2 σ n il valore della statistica è significativo e l'ipotesi nulla è rifiutata al livello di significatività , in caso contrario l'ipotesi è compatibile con i risultati campionari e non vi sono motivi per rifiutarla. Se In modo più accurato si può calcolare il p-valore (o p-value) associato al valore della statistica test calcolata sul campione, ossia la probabilità che la statistica assuma un valore più estremo di quello osservato sotto l’ipotesi che H0 sia vera. Quanto più il p-valore è piccolo, tanto meno verosimile appare l’ipotesi nulla. ESEMPIO Su un campione di 10 elementi estratto da una popolazione normale di varianza nota pari a 160 si è ottenuta una media campionaria pari a 20. Si vuole verificare l’ipotesi che la media nella popolazione sia 25 al livello =0.1. H0: = 25 20 25 1.25 z0.05 1.645 Non si ha motivo di rifiutare 160/ 10 Il p-valore associato a 1.25 è uguale all’area isolata alla destra di tale valore più l’area alla sinistra dello stesso valore preso con segno negativo, ossia 211.25 210.8944 0.2112 CASO 2) Se la varianza della popolazione non è nota e il campione è piccolo, per la verifica della stessa ipotesi si controlla se risulta X μ0 tn1α/ 2 S n ESEMPIO Su un campione casuale di 8 elementi estratto da una popolazione normale sono state rilevate le seguenti intensità della variabile oggetto di studio 1.1 3.1 4.2 4.6 5.0 5.2 5.3 6.5 Verificare le ipotesi che la media della popolazione sia pari a 5 al livello di significatività=0.01. Dai dati campionari risulta EX 4.375 E X 2 21.5 Per la verifica dell’ipotesi H0: = 5 si utilizza la statistica X μ tn-1 S n σ̂ 2 2,359375 8 S 2 σ̂ 2 2.6964 7 4.375 5 1.0770 t7 0.005 3.4995 2.6964/ 8 Non si ha motivo di rifiutare l’ipotesi nulla al livello di significatività prefissato. CASO 3) Se il campione è sufficientemente numeroso, la verifica di ipotesi si basa sulla distribuzione asintotica, così come si è visto a proposito degli intervalli di confidenza. X μ0 zα/ 2 S n ESEMPIO Su un campione di 65 uova è stato rilevato lo "spessore del guscio” (in millimetri) ottenendo una media x 0.32 e la radice quadrata della varianza corretta S 0.08. In base a queste informazioni si vuole verificare l'ipotesi che lo spessore medio del guscio sia pari a 0.3 millimetri al livello di significatività = 0.05. H0 : 0.3 0,32 0,30 2.02 u0,0251.96 , l'ipotesi viene rifiutata al livello di significatività = 0.05. 0,08 65 P-valore: 212.02 210.9783 0.0434 Si rifiuta per = 0.05 Non si rifiuta per = 0.01 VERIFICA DI IPOTESI SULLA PROPORZIONE Data una popolazione con distribuzione Zero-Uno (o di Bernoulli), la verifica di ipotesi sul parametro assume al forma H0 : = 0 Se il campione è sufficientemente numeroso, la media campionaria si distribuisce in modo normale π (1 π0 ) con valore atteso 0 e varianza 0 . L’ipotesi si rifiuta se n X 0 z / 2 0 (1 0 ) n ESEMPIO Si vuole verificare al livello di significatività dell’1% l’ipotesi che il tasso di disoccupazione dei laureati con una votazione finale superiore o uguale a 100 sia pari al 5% sapendo che dalla popolazione è stato estratto un campione casuale di 5000 individui sui quali 300 sono risultati disoccupati. H0 : = 0.05 La media campionaria di individui disoccupati è pari al 6%, per cui l’ipotesi viene rifiutata 0.06 0.05 3.24 z0.005 2.576 0.05 0.95 5000 P-valore: 213.24 210.9994 0.0012 VERIFICA DELL’UGUAGLIANZA FRA LE MEDIE DI DUE POPOLAZIONI In molte situazioni reali lo scopo dell’indagine consiste nel confronto fra due o più popolazioni, come nel caso in cui si volesse verificare se due diversi fertilizzanti portano a risultati diversi nella produttività per ettaro o se due diversi farmaci possono essere considerati equivalenti nella cura di una determinata malattia. In casi come questi si vuole verificare l’ipotesi che non esistono differenze significative fra le produttività o fra i tempi di guarigione. Questa ipotesi è particolarmente rilevante dato che la sua accettazione porterebbe a concludere che fra i due fertilizzanti e fra i due medicinali non esiste alcuna reale differenza. Se invece le differenze ottenute nei due diversi gruppi sono così grandi da non poter essere imputate al solo effetto di fattori casuali, si potrebbe concludere che uno dei due fertilizzanti consente di ottenere un risultato migliore rispetto all’altro e che il tempo di guarigione rilevato nel gruppo di pazienti trattati con un farmaco è significativamente diverso del tempo di guarigione nel gruppo di pazienti trattato con l’altro. In genere l’ipotesi che si vuole verificare riguardano i valori medi di una variabile Z esaminata in due (o più) popolazioni distinte, come quando si verifica se esiste una differenza significativa nel rendimento di titoli diversi, nei punteggi ottenuti ad un esame da gruppi di studenti che hanno utilizzato testi differenti, nella durata di funzionamento di prodotti ottenuti con macchinari diversi. Per semplicità ci occuperemo del caso in cui i gruppi presi in esame sono soltanto due e supporremo inoltre che siano verificate le condizioni standard che ipotizzano che la variabile abbia una distribuzione normale con uno stesso valore della varianza in entrambe le popolazioni. Quest’ultima ipotesi costituisce la cosiddetta condizione di omoschedasticità, sotto la quale si ottengono abbastanza facilmente le distribuzioni della statistica test (se i valori delle varianze sono invece diversi fra di loro, si parla di condizione di eteroschedasticità). Indicate con X1 e con X2 la variabile di interesse rilevata nella prima e nella seconda popolazione, le condizioni standard sono le due v.c. siano normali con medie 1 e 2 e varianza comune 2 non nota. La verifica dell’ipotesi H0 : 1 = 2 si basa sulla differenza fra le medie campionarie che si distribuisce in modo normale con media pari alla differenza delle medie e varianza pari alla somma delle varianze. X1 X 2 μ1 μ1 X1 X 2 μ1 μ1 2 2 σ n1 n2 /n1n2 σ /n1 σ /n2 2 dove è stimata da n 1S12 n2 1S22 varianza pooled. S 2p 1 n1 n2 2 Tenendo conto che sotto ipotesi nulla le medie 1 e 2 sono uguali fra di loro, la verifica dell’ipotesi si basa sulla statistica test X1 X 2 Sp n1 n2 / n1n2 che, sotto ipotesi nulla, si distribuisce come una t di Student con n1+n22 gdl. ESEMPIO Su due campioni, entrambi di numerosità 12, sono state rilevate le altezza di 12 piantine sottoposte a due diversi metodi di coltura. Sulla base dei seguenti risultati x1 96.58 s12 25.17 x2 90.92 s22 28.99 la varianza pooled è pari a 1125.171128.99 S 2p 27.08 22 La statistica test risulta quindi 96.58 90.92 2.67. 5,20 1212/ 144 Per =0.01 il quantile di ordine 0.995 della t con 22 g.d.l. è 2.8188. Si conclude che l’ipotesi è compatibile con i dati campionari raccolti al livello di significatività dell’1%. Se i gradi di libertà della t sono molto elevati, si usano le tavole della normale standard e si può calcolare il p-valore VERIFICA DELL’UGUAGLIANZA FRA LE PROPORZIONI DI DUE POPOLAZIONI Nel caso in cui le popolazioni abbiano distribuzione Bernoulliana di parametri 1 e 2 l’ipotesi che si vuole sottoporre a verifica è l’uguaglianza dei parametri H0 : 1 = 2 Per una numerosità campionaria sufficientemente elevata la statistica X1 X 2 1 2 1 1 X p 1 X p n1 n2 ~N(0,1) dove n X n X X p 1 1 2 2 è la media delle medie campionarie ponderata con le numerosità. n1 n2 Tenendo conto che sotto ipotesi nulla le proporzioni 1 e dell’ipotesi si basa sulla statistica test Se risulta X1 X 2 1 1 X p 1 X p n1 n2 2 sono uguali fra di loro, la verifica z / 2 si rifiuta l’ipotesi nulla ESEMPIO Anni fa venne condotto uno studio per analizzare gli effetti positivi dell’uso di aspirina sulla prevenzione degli attacchi cardiaci. Su un insieme di 22071 individui vennero formati due gruppi: il gruppo di trattamento e quello di controllo. Gli individui del gruppo di trattamento ricevevano una dose quotidiana di aspirina mentre quelli di controllo un farmaco placebo. Lo studio venne condotto per un periodo di 5 anni osservando il numero di decessi per infarto. Si ottennero i seguenti risultati Farmaco\Esito Infartuati Non infartuati Placebo 239 10795 11034 Aspirina 139 10898 11037 378 21693 22071 239 0.0217 11034 139 La proporzione dei colpiti da infarto nel gruppo sottoposto a trattamento è X 2 0.0126 11037 239139 Xp 0.0171 22071 La proporzione dei colpiti da infarto nel gruppo di controllo è X1 0.0217 0.0126 1 1 0.01711 0.0171 11034 11037 Il p-valore è praticamente nullo 5.25 z0.995 2.576 TEST DI INDIPENDENZA Abbiamo utilizzato l’indice chi-quadrato per misurare l’indipendenza fra due variabili. Supponendo che l’indice sia stato calcolato su un campione, si vuole verificare se si può accettare o meno l’ipotesi che le due variabili nella collettività sono indipendenti o meno. Sotto l’ipotesi nulla e per n sufficientemente elevato la statistica 2 H K nij n'ij 2 i1 j1 n'ij tende ad una chi-quadrato con (H1)(K1) gdl sempre che ciascuna delle frequenze assolute congiunte (riportate all’interno della tabella a doppia entrata) sia almeno pari a 5. La regione di rifiuto è posizionata alla destra del quantile 2H1K1 . ESEMPIO Supponiamo che si voglia verificare l’ipotesi di indipendenza fra due variabili al livello di significatività =0.05 sapendo che su un campione di 90 elementi si sono ottenuti i risultati riportati nella tabella successiva X\Y A B a 30 32 62 b 6 22 28 36 54 90 36 62 2 54 62 2 30 32 90 90 2 (21)(21) ... 5.8410 36 62 54 62 90 90 e l’ipotesi di indipendenza va quindi rifiutata perché la statistica risulta maggiore del quantile 3.8415 che nella chi-quadrato con 1 gradi di libertà isola alla sua destra un’area pari a 0.05.