Elementi di Psicometria con Laboratorio di SPSS 1 29-Analisi della potenza statistica vers. 1.0 (12 dicembre 2014) Germano Rossi1 [email protected] 1 Dipartimento di Psicologia, Università di Milano-Bicocca 2014-2015 G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 1 / 16 Introduzione Ogni volta che si inizia a fare una ricerca ci si trova ad affrontare diversi problemi uno di questi è l’ampiezza del campione Devo raccogliere almeno 100 soggetti? o ne bastano 30? La ragione di questa domanda è duplice Più piccolo è il campione, meno tempo (e fatica) è necessario per raccogliere i dati Più grande è il campione, più probabilità abbiamo di ottenere risultati significativi A questa domanda ci sono diverse risposte comuni (si ricordi che la statistica ipotizza un campione casuale) 1 2 3 Almeno 30 per ogni gruppo formato dalle variabili indipendenti Un campione il più grande possibile Non si sa esattamente quanto dev’essere grande G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 2 / 16 Grandezza di un campione La prima risposta fa riferimento alla teoria campionaria, per cui con campioni di 30 o più osservazioni, la distribuzione campionaria tende a distribuirsi normalmente anche se la variabile non è normale La seconda risposta dipende dall’idea che se il campione è molto grande sia più facile trovare un risultato significativo L’ultima risposta non è accettabile, salvo: quando non si conosce assolutamente nulla sull’argomento di ricerca 2 si hanno molte variabili indipendenti e molte dipendenti 3 si è interessati più ad una ricerca esplorativa che ad una ricerca inferenziale vera e propria 1 G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 3 / 16 Grandezza di un campione La grandezza del campione dovrebbe quella che permette di rispondere alle ipotesi di ricerca, considerando che: il risultato dipende dalla dimensione dell’effetto che si studia (un effetto “grande” verrà rilevato anche con poche osservazioni, mentre uno “piccolo” necessita di più casi) dal rischio di sbagliare la nostra decisione (cioè dall’errore di I e di II tipo che utilizziamo); un α elevato produrrà più rifiuti di H0 e uno più piccolo più rifiuti di H1 G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 4 / 16 Relazioni fra errori e ipotesi Risultato ricerca Accetto H0 ; rifiuto H1 Rifiuto H0 ; accetto H1 Realtà H0 - Vera H0 - Falsa H1 - Falsa H1 - Vera Corretta Errore II tipo 1−α β Errore I tipo Corretta α 1−β Se α è la probabilità di rifiutare H0 quando è vera, 1 − α sarà la probabilità di accettare H0 quando è vera Analogamente se β è la probabilità di accettare H0 quando è falsa, 1 − β sarà la probabilità di rifiutare H0 quando è falsa 1 − β è chiamata potenza di un test e corrisponde alla probabilità di rilevare una relazione veramente esistente nella realtà G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 5 / 16 Analisi della potenza La potenza statistica di un test è la sua capacità di rifiutare un ipotesi nulla falsa, perché noi, in genere, verifichiamo un’ipotesi nulla rispetto ad una “gamma” di ipotesi alternative (ad es. H1 : µ1 6= µ2 ) Come ricercatori, facciamo molti sforzi per organizzare e fare una ricerca che ci dia conoscenze “sicure” e “affidabili”. Ma i nostri sforzi sono vani se non riusciamo a trovare i risultati che ci aspettiamo, o meglio, se non riusciamo a falsificare con maggior sicurezza la nostra ipotesi. Per molti anni, i ricercatori si sono focalizzati sul rischio di rifiutare H0 quando è vera (atteggiamento conservatore) Di recente ha acquisito importanza anche l’errore opposto. Riassumiamo un momento le procedure di verifica d’ipotesi G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 6 / 16 Verifica d’ipotesi All’inizio di una ricerca, partiamo generalmente da un’ipotesi che è espressa a parole. Ad es. “A causa delle nuove tecnologie di comunicazione veloce (e-mail, sms, chat, cellulari) gli studenti passano meno tempo a stabilire relazioni personali dirette fra di loro”. Siccome qualcuno ha raccolto dati sul tempo trascorso in relazioni personali negli anni precedenti (M=6 ore alla settimana; s=2), posso raccogliere un nuovo campione da confrontare con il precedente Possiamo trasformare la nostra ipotesi verbale in ipotesi statistica: H0 : µ = 6.0 H1 : µ < 6.0 G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 7 / 16 Verifica d’ipotesi Ricordiamo che noi verifichiamo l’ipotesi nulla confrontandola con un’ipotesi alternativa. L’ipotesi nulla è ciò che è noto o che si assume in base alla teoria o alle ricerche precedenti. Nel nostro esempio, la ricerca precedente, ci ha detto che gli studenti universitari hanno speso circa 6 ore al giorno della settimana in contatti faccia-a-faccia (più o meno 2 ore). Così, la nostra ipotesi è che µ = 6.0. L’errore α ci protegge dal prendere una decisione errata basata su un campione “particolarmente anomalo” estratto dalla popolazione corretta La potenza di un test (1 − β) ci dice la probabilità di aver accettato correttamente l’ipotesi alternativa G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 8 / 16 Concetti chiave della potenza Ricordiamo che la potenza statistica di un test è la sua capacità di rifiutare un ipotesi nulla falsa e che è legata al test statistico usato. Ci sono 3 variabili che legate alla potenza di un test: 1 Il livello di significatività cioè α: più è severo (vicino a 0), più è difficile rifiutare l’ipotesi nulla (anche quando è falsa). All’aumentare di α aumenta la potenza del test. Tuttavia non possiamo usare α molto grandi; un buon criterio (non troppo basso, né troppo alto) è α = 0.05 (per ricerche esplorative possiamo usare anche .10) 2 L’ampiezza del campione cioè N ; quando un campione è grande, è meno probabile fare errori di campionamento e trovare dati che portino a stime inaffidabili dei parametri della popolazione. L’errore standard è sempre basato su N . Quindi all’aumentare di N , aumenta la potenza G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 9 / 16 Concetti chiave della potenza 3 La dimensione dell’effetto nella popolazione cioè d o r; ovvero quanto grande è il risultato che abbiamo ottenuto; possiamo considerare d o r come una misura di quanto è falsa l’ipotesi nulla; tanto più d o r è grande, tanto più H0 è falsa, tanto più aumenta la potenza 4 Possiamo considerare la potenza statistica (cioè 1 − β) come un quarto elemento Essendo legati fra loro matematicamente; si può calcolare il valore del quarto conoscendo il valore degli altri tre G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 10 / 16 Concetti chiave della potenza La potenza (1 − β) aumenta diminuisce Riassumendo: quando α quando N quando d o r aumenta aumenta aumenta diminuisce diminuisce diminuisce La formula che lega i quattro indici è abbastanza complessa per cui sono state predisposte delle tavole ed esistono dei software appositi (ad es. G*Power, http://www.gpower.hhu.de/en.html che free) G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 11 / 16 Uso dell’analisi di potenza L’analisi di potenza viene usata, generalmente, per due obiettivi 1 a posteriori per determinare la potenza di un test: dal momento che la ricerca viene effettuata su un certo campione (di ampiezza N) e usando un certo livello α, e dai risultati ottenuti possiamo calcolare d, ne consegue la possibilità di stimare la potenza di un test, cioè la probabilità di aver fatto la scelta giusta; 2 a priori per determinare la numerosità del campione: se vogliamo fare una ricerca che abbia una determinata potenza, una volta stabilito un determinato α e ipotizzato un determinato d, quale dev’essere l’ampiezza del campione? G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 12 / 16 Calcolare la potenza di un test Abbiamo raccolto un certo campione su cui abbiamo misurato la religiosità estrinseca personale (slide 18 del Cap.13) Abbiamo stabilito un livello α = .05 Calcoliamo d (slide 14 cap.25) g=q 9.46 − 10.89 (160−1)3.522 +(179−1)2.982 160+179−2 = −.4405 Chiamiamo G*Power, scegliamo Test family = t-tests, Statistical test = Means: Difference between two independent means (two groups), Type of power analysis = post hoc: Compute achieved power Inseriamo Effect size d = .44, α err prob = .05, Sample size group 1 = 160, Sample size group 2 = 179 Clicchiamo Calculate G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 13 / 16 Videata GPower La potenza è 0.98 G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 14 / 16 Numerosità del campione Ipotizziamo di voler fare una ricerca su un campione patologico (ad es. pazienti di un servizio mentale confrontati con un campione di controllo di uguale numerosità) Possiamo fare una ricerca veloce (in termini di tempo) su un piccolo campione oppure una ricerca che duri più tempo per poter raccogliere un campione più grande certamente non vogliamo fare una ricerca che non abbia abbastanza “potenza” e che possa essere criticata Decidiamo quindi una potenza minima che vogliamo raggiungere (ad esempio .50), un d che ci aspettiamo (ad esempio, d=.50) e calcoliamo quanto dev’essere ampio il campione da raccogliere. G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 15 / 16 Videata GPower Chiamiamo G*Power, scegliamo Test family = t-tests, Statistical test = Means: Difference between two independent means (two groups), Type of power analysis = A priori: ... Inseriamo Effect size d = .50, α err prob = .05, Power = .50, Allocation ratio N2/N1 = 1 Clicchiamo Calculate: ci servono due campioni di 32 casi ciascuno G. Rossi (Dip. Psicologia) ElemPsico 2014-2015 16 / 16