Corso di Statistica Verifica di ipotesi Prof.ssa T. Laureti a.a. 2012-2013 Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 1 Il problema Se si lancia 14 volte una moneta, il numero di volte in cui può uscire “testa” è una v.c. binomiale, di parametri n=14 e, se la moneta è “perfetta”, π=0,5 . Si supponga di aver effettuato veramente i 14 lanci e di aver ottenuto per 11 volte “testa”. Il risultato fa nascere dei dubbi sulla “bontà” della moneta : un numero di teste uguale o superiore a 11 con una moneta “buona” ha soltanto il 2,87% di probabilità di verificarsi. Allora i casi sono due: - o è vera l’ipotesi π=0,5 e si è verificato un evento raro, anche se pur sempre possibile; - o è vera l’ipotesi alternativa π>0,5 e , sotto questa Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti ipotesi, l’evento X ≥ 11 appare più “normale”. Considerando che gli eventi poco probabili si verificano raramente, è ragionevole dubitare che sia realmente π=0,5 e accettare l’alternativa π>0,5. Il procedimento logico descritto è un particolare test di significatività. Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti Bin(14;0,50) p(x) 0, 20 0,15 0,10 0, 05 0 2 4 6 8 10 12 14 x p(x) 0 0,0001 1 0,0008 2 0,0056 3 0,0222 4 0,0611 5 0,1222 6 0,1833 7 0,2094 8 0,1833 9 0,1222 10 0,0611 11 0,0222 12 0,0056 13 0,0008 14 0,0001 x Teoria dei test statistici – Idea generale Supponiamo che un’azienda sia interessata a stabilire che il processo produttivo sia sotto controllo ossia se le scatole prodotte abbiano una lunghezza media pari a 10 cm Ipotesi: la lunghezza media è uguale a 10 cm Si estrae un campione casuale di scatole I dati portano a confutare l’ipotesi? Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 5 Teoria dei test statistici – Idea generale L’ipotesi di base è come l’innocenza di un imputato e si dà per buona Quindi si cercano le prove contrarie nei dati raccolti. Di solito si propone un’ipotesi alternativa che serve per sapere in che direzione cercare le prove contrarie L’ipotesi di partenza si chiama ipotesi nulla Come si fa a valutare le “prove contrarie”? Quando possiamo dire che l’ipotesi nulla va rifiutata? L’idea è che l’ipotesi nulla va scartata se i dati raccolti sono estremamente improbabili sotto questa ipotesi Dobbiamo utilizzare una statistica test Definizione di ipotesi statistica parametrica Un’ipotesi statistica è un’affermazione o una congettura riguardante un parametro θ della popolazione nell’esempio precedente “la lunghezza media delle scatole prodotte è di 10 cm” è un’ipotesi statistica sulla media µ della popolazione Sottoporre a test (o verifica) un’ipotesi significa valutarne la plausibilità alla luce delle informazioni campionarie Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 7 Ipotesi nulla e alternativa Si considera una coppia di ipotesi (sistema di due ipotesi): ipotesi nulla (H0) ipotesi alternativa (H1) L’ipotesi nulla H0 coincide con lo stato attuale delle cose o con l’attuale convinzione riguardo ad un valore assunto da un parametro L’ipotesi alternativa H1 è specificata come ipotesi opposta e complementare a H0 Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 8 Ipotesi semplici e composte Ipotesi del tipo θ = θ 0 oppure θ = θ 1 sono dette ipotesi semplici Ipotesi del tipo θ > θ 0 oppure θ < θ 0 o ancora θ ≠ θ 0 sono dette ipotesi composte Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 9 Teoria dei test statistici – Idea generale Nell’esempio siamo interessati a verificare se il processo produttivo è sotto controllo (cioè se la lunghezza media delle scatole è di 10 cm) oppure se c’è qualche malfunzionamento nel processo di produzione che determina differenze significative (incrementi) della lunghezza media dal valore di 10 cm (tali da rendere necessaria una revisione del processo) H0 : µ = 10 Ipotesi nulla H1 : µ > 10 Ipotesi alternativa Le “prove contrarie” sono rappresentate dalla presenza di valori molto più grandi Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 10 Teoria dei test statistici – Idea generale Si estrae un campione di n=20 scatole Sulla base dell’evidenza empirica (il risultato campionario) si vuole capire se l’ipotesi nulla possa essere ritenuta plausibile oppure no Nel primo caso si accetta H0, nel secondo si rifiuta H0 a favore di H1 Se il campione non fornisce sufficiente evidenza contro H0, si conclude affermando che non possiamo rifiutare H0 (quindi la accettiamo) Altrimenti, si rifiuta H0 e si accetta H1 Serve una regola per decidere Test di ipotesi Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 11 Teoria dei test statistici – Idea generale Un test di ipotesi è una regola attraverso la quale decidere se rifiutare l’ipotesi nulla sulla base di un campione casuale Il test si basa sul valore assunto da una statistica test. La statistica test è una statistica campionaria la cui distribuzione deve essere completamente nota sotto l’ipotesi nulla. L’insieme dei valori della statistica test che portano all’accettazione dell’ipotesi nulla è chiamata regione di accettazione. L’insieme dei valori della statistica test che portano al rifiuto dell’ipotesi nulla è chiamata regione di rifiuto. Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 12 Teoria dei test statistici – Esempio Se ipotizziamo che la popolazione sia Normale (la lunghezza delle scatole) con media µ incognita e varianza σ2 nota (σ2=36) per verificare: H0 : µ = 10 n=20 H1 : µ > 10 Si può considerare come statistica test la media campionaria X che sotto l’ipotesi nulla si distribuisce come una Normale con media µ = µ0 e varianza σ 2 n Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 13 Teoria dei test statistici – Esempio Nel campione si osserva: Statistica test X − µ0 σ P(X>0,74)=0,2296 n X = 11 ~ N(0,1) X − µ0 σ Non è un valore anomalo sotto l’ipotesi nulla n = 11− 10 6 20 = 0,74 Non si rifiuta H0 P(Z>0,74)=0,2296 P(Z>1,64)=0,05 z=1,64 z=0,74 14 Verifica di ipotesi sulla media Si ipotizza che la media della popolazione sia un valore µ = µ0 L’ipotesi nulla è: H 0 : µ = µ 0 In alternativa, si può considerare una delle tre ipotesi: H1 : µ > µ 0 oppure H1 : µ < µ 0 oppure H1 : µ ≠ µ 0 La prima alternativa è unilaterale destra, la seconda è unilaterale sinistra e la terza è bilaterale. L’accettazione o il rifiuto di H 0 possono essere basati sul confronto tra µ0 e una stima campionaria della media. Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 15 Varianza della popolazione nota Si considera (per ora) l’ipotesi di nullità H 0 : µ = µ0 , contro l’alternativa unilaterale sinistra H1 : µ > µ0 . Se è vera H 0 si ha: X − µ0 Z= ∼ N(0,1) σ/ n E’ evidente che al crescere della differenza X − µ0 tale variabile si collocherà sempre più sulla coda destra della normale standardizzata. Ma valori alti di X − µ0 , e quindi di Z ,evidenziano un allontanamento dall’ipotesi nulla in quanto assai poco probabili e portano ad accettare l’ipotesi alternativa. Si tratta, perciò, di definire un Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 16 quantile z α (valore soglia) della N(0,1) che isoli alla sua destra un’area limitata pari a α , chiamato livello di significatività, che esprime la probabilità che, se H è 0 vera, Z assuma un valore uguale o superiore ad esso. ⎛ ⎞ X − µ0 = zα ⎟ = α P⎜ Z ≥ σ/ n ⎝ ⎠ La regola di decisione è perciò: - se il valore empirico di Z è inferiore a z α si accetta H 0 ; - se il empirico di Z è uguale o superiore a z α si respinge H 0 in favore dell’alternativa H1 : µ > µ 0 Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 17 Verifica dell’ipotesi H 0 : µ = µ 0 Varianza della popolazione nota Z ∼ N(0,1) 1− α 0 Regione di accettazione H 0 accettata α Z zα Regione di rifiuto H 0 rifiutata Le regioni di rifiuto possono essere espresse in una forma più esplicita, e del tutto equivalente, in termini di valori della media campionaria. Nell’esempio si ha: x α ≥ µ0 + zα σ n Per semplicità considereremo regioni di rifiuto in termini della statistica test 18 Regione di accettazione e regione di rifiuto Se il valore campionario cade nella regione di accettazione A, si accetta H0 Se il valore campionario cade nella regione di rifiuto R, si rifiuta H0 a favore di H1 La regione di rifiuto comprende valori della statistica test che hanno una probabilità molto bassa di verificarsi se H0 è vera (sono quei valori che ci aspetteremmo di osservare nel caso in cui H0 fosse falsa) Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 19 Test bilaterale e test unilaterale Test di ipotesi H0 : θ = θ 0 H1 : θ ≠ θ 0 H0 : θ ≥ θ 0 H1 : θ < θ 0 H0 : θ ≤ θ0 H1 : θ > θ0 Tipo di test Bilaterale (due aree di rifiuto) Unilaterale sinistro (area di rifiuto a sinistra) Unilaterale destro (area di rifiuto a destra) Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 20 Verifica di ipotesi sulla media Esempio (test unilaterale destro) Si estrae un campione di media x = 6 e numerosità n=12 da un universo normale di varianza σ2 = 16. Si vuole verificare l’ipotesi al livello 1 − α = 0,95 H0 : µ = 4 Z= H1 : µ > 4 Poiché z 0,05 = 1, 645 : 6−4 = 1, 732 > 1, 645 16 12 si respinge H 0 e si accoglie H1 . Z ∼ N(0,1) Z=1,732 Cade nella regione di rifiuto 0,95 0, 05 0 H 0 accettata 1, 645 Z H 0 rifiutata 21 Si supponga ora di voler condurre la verifica al livello di significatività 1 − α = 0,99. Poiché z 0,01 = 2,326 e Z= 6−4 = 1, 732 < 2,326 16 12 si accetta H 0 . Z=1,732 Z ∼ N(0,1) 0,99 0 H 0 accettata Cade nella regione di accettazione 0, 01 2,326 Z H 0 rifiutata La logica del test è, ovviamente, sempre la stessa. Si noti che nel primo caso, con probabilità del 5%, si corre il rischio di rifiutare H0 anche quando essa è vera; nel secondo caso il rischio è dell’1%. Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 22 Verifica di ipotesi sulla media Esempio (test bilaterale) Si estrae un campione di media x = 9 e numerosità n=22 da un universo normale di varianza σ2 = 30 . Si vuole verificare l’ipotesi : H 0 : µ = 11 contro l’alternativa bilaterale : H1 : µ ≠ 11 al livello 1 − α = 0,95 . Se è vera H0 le due soglie di rifiuto saranno z 0,025 = ±1, 96 Statistica test nel campione Z= 9 − 11 = −1, 71 30 22 Z=-1,71 cade nell’area di accettazione quindi si accetta H0 Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 23 Verifica dell’ipotesi H 0 : µ = 11 vs. H1 : µ ≠ 11 1 − α = 0,95 0,95 0, 025 0, 025 X -1,96 rifiuto +1,96 accettazione rifiuto Z=-1,71 Si può verificare che, se si fosse operato a 1-α=0,90 l’ipotesi di nullità sarebbe stata rifiutata. Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 24 Verifica di ipotesi sulla media. Popolazione Normale. Varianza nota- Esempio (test unilaterale a sinistra) Un’industria automobilistica acquista un lotto di batterie per autovetture della durata media di 4000 ore, secondo quanto ha dichiarato il costruttore Gli acquirenti vogliono verificare al livello di significatività del 5% sulla base di un campione di 30 autovetture che le batterie abbiano almeno una durata di 4000 ore Si conosce che la deviazione standard σ della popolazione di batterie è pari a 141,42 ore (σ2=141,422=20000), che la popolazione è normale e che la media campionaria riscontrata è pari a 3985 ore. Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 25 Verifica di ipotesi sulla media. Popolazione Normale. Varianza nota- Esempio (test unilaterale a sinistra) H0 : µ = 4000 H1 : µ < 4000 20000 ⎞ ⎛ X ~ N ⎜ 4000 , ⎟ 30 ⎝ ⎠ z= (3985 − 4000 ) = −0,58 20000 30 α=5% zα=-1,64 0 z=-0,58 Poiché -0,58> -1,64 allora il manager non può rifiutare l’ipotesi nulla al livello di significatività del 5% la durata media delle batterie si può ritenere pari almeno a 4000 ore, come dichiarato dal produttore 26 Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti Verifica dell’ipotesi H 0 : µ = µ 0 . Popolazione normale Varianza nota Livello di significatività α Tabella riassuntiva Statistica test Z= X −µ σ n Ipotesi H1 ~ N (0,1) Zona di rifiuto H 0 (si accetta H1 ) H1 : µ > µ 0 z ≥ zα H1 : µ < µ 0 −z ≤ −zα H1 : µ ≠ µ 0 z ∉ (−z α /2 , + z α /2 ) Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti Approccio del p-value La conclusione di un test può dipendere dalla scelta del livello di significatività α. Un’ipotesi nulla rifiutata per α=0,10 potrebbe essere accettata con α=0,01 L’approccio del p-value permette di sganciare l’esito del test dalla scelta di α. Il p-value è definito come la probabilità di osservare un valore della statistica test uguale o più estremo di quello osservato effettivamente sul campione, dato che H0 è vera Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 28 Approccio del p-value Il p-value è chiamato anche “livello di significatività osservato” A differenza di α non è una quantità fissata a priori Misura quanto i dati campionari supportano H0: più piccolo è il p-value, minore è il supporto a favore di H0 (maggiore è l’evidenza contro H0) Si rifiuta H0 se p-value < α Si accetta H0 se p-value > α Per diversi livelli di α Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 29 Esempio-Approccio del p-value Durata media delle batterie z= H0 : µ = 4000 H1 : µ < 4000 (3985 − 4000 ) = −0,58 p-value=P(z<-0,58)=1Ф(0,58)=0,29 Tale valore non mostra evidenza nei dati contro l’ipotesi nulla 20000 30 p-value Si accetta H0 p-value>α=0,01;0,05;0,1 -1,64 -0,58 0 z valore osservato z della statistica test Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 30 Esempio-Approccio del p-value Un produttore di vernici assicura che il tempo medio di asciugatura non è superiore a 15 minuti La ditta acquirente prima di acquistare il prodotto prova il prodotto su 200 pezzi per verificare l’affermazione del produttore ad un livello di significatività dell’1% e riscontra un tempo medio di asciugatura pari a 15,8 minuti E’ noto che la distribuzione dei tempi di asciugatura è normale con una varianza pari a 10 Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 31 Esempio-Approccio del p-value H0 : µ = 15 H1 : µ > 15 z= 10 ⎞ ⎛ X ~ N⎜15, ⎟ 200 ⎝ ⎠ (15,8 − 15) = 3,58 α=1% 10 200 0 zα=2,33 z=3,58 Poiché 3,58> 2,33 allora il manager rifiuta l’ipotesi nulla ad un livello di significatività dell’1% i dati campionari smentiscono l’affermazione del produttore Il tempo medio di asciugatura è significativamente superiore a 15 minuti p-value=P(z>3,58)=1- Ф(3,58)=0,00017 Tale valore mostra una netta evidenza dei dati contro l’ipotesi nulla. Si rifiuta H0 32 Verifica di ipotesi sulla media di una popolazione Normale. Varianza non nota. Il test T Sia X un carattere continuo con distribuzione Normale, X~N(µ,σ2), in cui anche la varianza non è nota, e supponiamo di disporre di un campione casuale di ampiezza n ► Siamo interessati a sottoporre a verifica empirica un’ipotesi riguardante la media della popolazione µ, in una delle forme H0: µ = µ0 vs H1: µ > µ0 H0: µ = µ0 vs H1: µ < µ0 H0: µ = µ0 vs H1: µ ≠ µ0 Come nel caso di σ nota a priori, anche in questo contesto la migliore statistica test è la media campionaria; tuttavia, proprio perché σ non è nota la versione standardizzata Z è inutilizzabile Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 33 Verifica di ipotesi sulla media di una popolazione Normale. Varianza non nota. Il test T ⇨Sostituendo σ con la deviazione standard campionaria s si ottiene una statistica test T con struttura analoga a Z ma che sotto H0 ha distribuzione t di Student con n−1 gdl T = X −µ s n ~ t n −1 Il test si svolge in modo equivalente al caso di σ nota. Per determinare il valore critico è necessario usare la tavola della t invece della tavola della Normale standard Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 34 Verifica dell’ipotesi H 0 : µ = µ 0 . Popolazione normale Varianza non nota Livello di significatività α Tabella riassuntiva Statistica test T = X −µ s n ~ t n −1 Ipotesi H1 Zona di rifiuto H 0 (si accetta H1 ) H1 : µ > µ 0 t ≥ t α ,n −1 H1 : µ < µ 0 − t ≤ − t α ,n −1 H1 : µ ≠ µ 0 t ∉ (− t α /2;n −1 , + t α /2;n −1 ) Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 35 Verifica di ipotesi sulla media di una popolazione Normale. Varianza non nota. L’approccio del p-value non è fattibile con la tavola della t, perché tale tavola non consente di determinare la probabilità a sinistra o a destra di un punto arbitrario; una soluzione approssimata è quella di usare la tavola della Normale standard (l’approssimazione è tanto migliore quanto più grande è n; altrimenti se si dispone di un computer si può fare il calcolo esatto con la t) Per grandi campioni si ricorda che, per il TLC: T = X −µ s n N ( 0,1) Quindi è possibile utilizzare direttamente la Distribuzione Normale se n è grande (n>120) 36 Esempio- Test per la media di una popolazione (varianza della popolazione non nota) Il manager delle poste di Viterbo è interessato a stabilire se il tempo medio di attesa dei clienti allo sportello è rimasto invariato oppure è cambiato nell’ultimo anno rispetto al precedente (quando era pari a 30 minuti) Assume un livello di significatività del 5% (α=0,05) Su un campione di n=15 clienti osserva che il tempo medio di attesa è pari a 30,2 minuti Si ipotizza che il tempo di attesa segua una distribuzione normale. Supponiamo che il manager non conosca la varianza σ2 della popolazione che deve quindi essere stimata dal campione utilizzando la varianza campionaria corretta s2 Ipotizziamo che S 2 = 32,8 da un campione di n=15 clienti Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 37 Esempio- Test per la media di una popolazione (varianza della popolazione non nota, n piccolo) H0 : µ = 30 H1 : µ ≠ 30 Tn −1 = (X − µ0 ) è la statistica test S2 n-1=14 g.d.l. n Valore osservato della statistica test t = (30 ,2 − 30 32 ,8 15 ) − t α / 2 = −2,14 0 t α / 2 = 2,14 t=0,135 = 0 ,135 P(T14 > 2,14) = α = 0,025 2 –2,14 < 0,135 < 2,14 l’ipotesi nulla non può essere rifiutata al livello di significatività del 5% Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 38 Esempio- Test per la media di una popolazione (varianza della popolazione non nota, n grande) Sempre considerando la stima campionaria della varianza, se n=150 invece di n=15 Sotto H0 , per TLC Valore osservato della statistica test X − 30 ~ N(0,1) 32,8 150 z= (x − 30) 32,8 150 = − zα 2 = −1,96 zα 2 = 1,96 z=0,43 (30,2 − 30) = 0,43 32,8 150 –1,96 < 0,43 < 1,96 il manager non può rifiutare l’ipotesi nulla al livello di significatività del 5% Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 39 Statistica test per la verifica di ipotesi sulla media µ Distribuzione popolazione X ~ Normale Varianza popolazione X ~ f (X ) qualunque Varianza popolazione nota non nota (s2 stima campionaria) nota non nota (s2 stima campionaria) n piccolo X−µ ~ N(0,1) σ n X−µ ~ Tn−1 s n ? ? n grande X−µ X−µ X−µ X−µ ~ N(0,1) ~ N(0,1) ~ N(0,1) ~ N(0,1) σ n s n σ n s n Dimens. campion Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 40 Test per una proporzione X è una v.c. dicotomica che può assumere i valori 0 e 1 la cui distribuzione di probabilità è una Bernoulli di parametro π I sistemi di ipotesi possono essere: H0 : π = π0 H0 : π = π0 H0 : π = π0 H1 : π ≠ π0 H1 : π > π0 H1 : π < π0 Per n grande la statistica test sotto H0 X − π0 è una normale standardizzata Z = (in tal caso la media campionaria=proporzione campionaria) π 0 (1 − π 0 ) n Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 41 Esempio: test bilaterale sulla proporzione Si sono effettuati 1000 lanci di una moneta e si è ottenuto 498 volte testa Decidere se la moneta è truccata oppure no ad un livello di significatività pari a 1% H0 : π = 0,5 H1 : π ≠ 0,5 z= 0,498 − 0,5 = 0,0158 0,5(1 − 0,5) 1000 Si può concludere che ad un livello di significatività del 1% la moneta non sia truccata α/2=0,5% -2,58 α/2=0,5% 0 +2,58 z=0,0158 Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 42 Esempio: test unilaterale sulla proporzione Un’industria farmaceutica asserisce che un farmaco è efficace nel 95% dei casi Su un campione di 300 persone il farmaco è stato efficace su 230 unità Si può concludere ad un livello di significatività del 5% che l’affermazione sia legittima? Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 43 Esempio: test unilaterale sulla proporzione H0 : π = 0,95 H1 : π < 0,95 230 = 0,76 300 0 ,76 − 0 ,95 = − 14 ,3 0 ,95 (1 − 0 ,95 ) 300 x= z α=5% -1,64 0 z z=-14,3 Poiché -14,3 < -1,64 si rifiuta l’ipotesi nulla ad un livello di significatività del 5% i dati campionari smentiscono l’affermazione dell’industria La proporzione di pazienti sui quali il farmaco è efficace è significativamente inferiore al 95% Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 44 44 Tipi di errore e potenza dei test Costruire un test significa individuare una partizione dello spazio campionario Ω in due sottoinsiemi Ω A e Ω B complementari e disgiunti; il primo viene chiamato zona di accettazione e il secondo zona di rifiuto. Il sottospazio Ω A contiene i campioni per i quali si accetta H 0 , mentre il sottospazio Ω B contiene i campioni per i quali H 0 è rifiutata a favore dell’alternativa H1 . La verifica dell’ipotesi H 0 è un problema di decisione in condizioni di incertezza e gli errori che si possono commettere sono di due tipi. 45 1. Se si rifiuta H 0 quando è vera si commette un errore di primo tipo. 2. Se si accetta H 0 quando è falsa, si commette un errore di secondo tipo. La probabilità di commettere un errore di primo tipo viene indicata con α ; la probabilità di commettere un errore di secondo tipo viene indicata con β . Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 46 Decisione corretta ed errori Decisione Situazione effettiva Accetto H0 H0 vera Decisione corretta H0 falsa Rifiuto H0 Errore I tipo Prob (decisione corretta)=1- α Prob (errore I Tipo)=α Errore II tipo Decisione corretta Prob (errore II Tipo)= β Prob (decisione corretta)=1- β Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 47 Tipi di errore: definizione Errore di I tipo : si rifiuta H0 ma l’ipotesi nulla è vera. La probabilità di commettere un errore di primo tipo è uguale a α P(rifiutare H 0 | H 0 vera) = α rappresenta l’ampiezza della regione di rifiuto. α è chiamato “livello di significatività” Errore di II tipo: si accetta H0 ma l’ipotesi nulla è falsa. La probabilità di commettere un errore di secondo tipo è uguale a β P(accettare H 0 | H 0 falsa) = β Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 48 Esempi. 1. Nel giudicare un imputato, un giudice può commettere due tipi di errore. L’ipotesi da verificare è che la persona sia non colpevole, contro l’alternativa che sia colpevole. Se il giudice dichiara colpevole un innocente, commette un errore di primo tipo (respinge H 0 quando è vera). Se, invece, assolve un colpevole (accetta H 0 quando è falsa) commette un errore di secondo tipo. Le attuali giurisdizioni non attribuiscono lo stesso costo ai due tipi di errore, valutando l’assoluzione di un colpevole meno grave della condanna di un innocente. Per minimizzare l’errore di primo tipo (condanna di un innocente),il giudice adotterà criteri prudenziali che inevitabilmente aumenteranno la probabilità di commettere un errore di secondo tipo (assoluzione di un colpevole). Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 49 2. Nelle sperimentazioni su nuovi farmaci l’ipotesi H 0 è: “il nuovo farmaco è equivalente a quello attualmente in uso”, contro l’ipotesi alternativa H1 “il nuovo farmaco è più efficace”. Gli errori possibili sono: - di primo tipo, se si rifiuta a torto H 0 accogliendo l’ipotesi che il nuovo farmaco sia più efficace; - di secondo tipo, se si mantiene erroneamente il vecchio farmaco, quando quello nuovo è migliore. Generalmente si procede con cautela, per cui, a parità di altre circostanze, anche in questo caso l’errore di 1° tipo viene considerato più grave di quello di 2° tipo. Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 50 Potenza del test La quantità γ (H1)= 1- β rappresenta la probabilità di rifiutare l’ipotesi nulla quando questa è falsa e viene detta potenza del test relativamente all’ipotesi H1 Al variare di H1 la γ (H1) assumerà il carattere di funzione, e viene detta funzione potenza del test Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 51 Errore di I e II tipo e Potenza del test (caso ipotesi semplice) T stimatore corretto di θ H1 : θ = θ1 H 0 :θ = θ0 P ( rifiutare H0 | H 0 vera) = α errore I tipo P(accettare H0 | H0 falsa) = β errore II tipo P ( rifiutare H0 | H 0 falsa) = 1 − β potenza del test T | H 0 vera T | H 0 falsa θ0 Area di accettazione di H0 θ1 Area di rifiuto di H0 Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 52 I rischi del processo decisionale e la costruzione di un test Per la verifica di una ipotesi sulla base di un campione di numerosità fissata pari a n, non è possibile minimizzare contemporaneamente i due tipi di errore. Si dovrà quindi operare in modo diverso; infatti, la procedura che si segue generalmente è quella di fissare la misura della probabilità di commettere un errore di primo tipo (si stabilisce cioè il livello di significatività α) e nell'individuare poi il test che minimizza la probabilità di commettere un errore di II tipo Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 53 I rischi del processo decisionale e la costruzione di un test In altre parole, fissato il livello di significatività α , si cerca il test più potente, ossia, quello che ha il valore di γ ( H1 ) più elevato Si è già detto come la costruzione di un test si riduce in effetti alla bipartizione dello spazio dei campioni in due sottospazi di accettazione e di rifiuto. Il miglior test per sottoporre a verifica un'ipotesi H0 sia quello che individua la migliore regione critica R Un famoso teorema (Neyman Pearson) attesta che esiste, ed è sempre possibile individuare, la migliore regione critica (nel caso di ipotesi semplici). Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 54 I rischi del processo decisionale e la costruzione di un test Si sceglie di fissare α ad un livello basso come il rischio che si è disposti a tollerare (in genere 0,01 ; 0,05; 0,10) Se si ritengono gravi le conseguenze di commettere un errore di I specie, fisseremo un α piccolo (ad esempio 0,01 invece di 0,05) Ma quanto più piccolo è α, tanto più grande è β Quando risulta prioritario contenere l’errore di II specie, si può fissare α pari a 0,05 o a 0,10 piuttosto che 0,01 Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 55 I rischi del processo decisionale e la costruzione di un test Esempio: processo di produzione di scatole regalo. Il processo si considera sottocontrollo se la lunghezza media di tali scatole è di 10 cm (ipotesi nulla H0). L’errore di I tipo consiste nel concludere che il processo non è sottocontrollo quando invece lo è (ovvero affermiamo che la lunghezza media è variata quando invece è sempre di 10 cm). L’errore di II tipo consiste nel concludere che il processo è sotto controllo quando invece la media delle lunghezze è variata realmente. Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 56 I rischi del processo decisionale e la costruzione di un test La scelta del livello di significatività α dipende dai costi che ciascuno dei due errori comporta. Se costa tanto il cambiamento del processo produttivo si dovrebbe essere molto certi della sua necessità. In tal caso l’errore di I specie è quello più grave e dovrà essere il più piccolo possibile. Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 57 Passi per la verifica di ipotesi 1. Definizione del sistema di ipotesi 2. Scelta della statistica test 3. Scelta del livello α di significatività del test e della numerosità campionaria n 4. Definizione della regione di rifiuto 5. Estrazione del campione 6. Calcolo del valore della statistica test sulla base dei dati campionari 7. Si prende la decisione Corso di Statistica a.a. 2012-2013 – DEIM, Univ.TUSCIA - Prof.ssa Laureti 58