Metodologia della ricerca
annuncio pubblicitario
Seminario di Metodologia della Ricerca Psicologica MARIAGRAZIA BENASSI ROBERTO BOLZANI SARA GIOVAGNOLI Magritte, Age of Reason Metodologia della Ricerca • Non indica semplicemente i metodi e le tecniche da utilizzare nella ricerca ma l’attività critica che si applica ai diversi prodotti della ricerca (Boudon, 1991) • Aspetto normativo della metodologia: l’importanza di fare buone ricerche Ricerca scientifica • Scopo: generare e controllare teorie metodologicamente corrette – Aderenza alla realtà empirica di riferimento – Riduzione dei costi e degli errori Programma del corso I PARTE (3cfu) Elementi di statistica inferenziale 1. 2. 3. 4. 5. 6. 7. 8. Misura: Tipi di variabili e scale di misurazione Procedura della statistica inferenziale Logica del test statistico Errori nell'interpretazione dei risultati del test statistico Disegni di ricerca Metodi di campionamento Fallacia nel campionamento Affidabilità e validità Programma del corso II Parte (+3 cfu) Procedure statistiche avanzate 1. Analisi della correlazione 2. Analisi fattoriale 3. Analisi discriminante e cluster analysis 4. Modelli non parametrici 5. Metanalisi Modalità d’esame Orale 3 cfu I Parte 6 cfu I + II Parte Bibliografia I Parte: • Bolzani R., Canestrari R. (1994) Logica del test statistico. Milano, Casa Editrice Ambrosiana. (Cap. 2) • Bolzani R. (1999) Problemi di statistica. Milano, Casa Editrice Ambrosiana. (Cap. 2) • Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 1) • McBurney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. da 3 a 10) • Mucciarelli G, Celani G (a cura di) (2002) Quando il Pensiero Sbaglia. Torino, Utet Libreria (Cap. 3, 4, 5) II Parte: • Bolzani R., Canestrari R. (1994) Logica del test statistico. Milano, Casa Editrice Ambrosiana. (Cap. 5) • Bolzani R. (1999) Problemi di statistica. Milano, Casa Editrice Ambrosiana. (Cap. 4, 5) • Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 7, 8) Strumenti • Diapositive e esercizi sul sito di PsicePagine Insegnamenti • Lezioni e esercitazioni on-line disponibili sulla piattaforma A3 Piattaforma A3 • Registrazione atutor.psice.unibo.it/registrazione/ Id: PsicologiaFreq Password:poqevipe36 » Mail e matricola • http://atutor.psice.unibo.it Piattaforma A3 • Moduli didattici e esercitazioni • Chat (orari di ricevimento CESENA) • Forum Verifiche • Pre-appelli per frequentanti (1 per ogni parte per 1cfu): durante il corso (15 Marzo; 5 Aprile) • Appelli ufficiali (esame orale) PRE-REQUISITI • Logica della dimostrazione sperimentale • Distribuzioni di Probabilità • Test parametrici e non parametrici Note sulla teoria della Misura in Psicologia Definizione di Misura: misurare significa attribuire agli elementi di un insieme le caratteristiche di un sistema di riferimento tali per cui queste caratteristiche siano rappresentative rispetto alle caratteristiche dell’insieme di partenza Per definire il rapporto (funzione di omeomorfismo) fra l’insieme misurato e il sistema di riferimento occorre che sia definibile: • • Il sistema relazionale empirico (oggetto) Il sistema relazionale di riferimento (strumento) • le relazioni fra gli elementi dell’insieme misurato sono riprodotte (omeomorfe) dagli elementi dell’insieme misurante • permette di fare operazioni fra gli elementi dell’insieme e quindi di meglio comprendere le caratteristiche delle parti rispetto all’insieme stesso • permette di condividere e quindi confrontare le informazioni di insiemi diversi in base a un linguaggio comune CRITICITA’: a. Precisione dello strumento b. Determinazione dell’Oggetto c. Generalizzazione Precisione dello strumento • Non c’è mai corrispondenza perfetta fra i due sistemi (misurante-misurato) • Lo strumento di misura deve essere in grado di dare anche una stima dell’errore di misura • La stima viene data attraverso l’intervallo di tolleranza che è definibile solo se sono definiti i metodi di misurazione e se la misura è empirica Statistica inferenziale Falsificazione Ho INTERVALLO DI CONFIDENZA: rappresenta la zona attorno al parametro stimato entro cui ci aspettiamo, con una probabilità 1-, di trovare il parametro relativo a un nuovo campione. Ha la stessa estensione dell'intervallo attorno all'ipotesi nulla. Se nell'intervallo di confidenza cade il valore di H0 non si può respingere l'ipotesi nulla. Statistica inferenziale Falsificazione Ho INTERVALLO DI TOLLERANZA: rappresenta la zona attorno al parametro stimato entro cui ci aspettiamo, con una probabilità 1-, che cada un nuovo caso. Determinazione dell’oggetto • Semplicità della teoria • Conformità alle leggi o alle regolarità della natura • Semplicità come Falsificabilità • Universalità della teoria • Parsimonia Generalizzazione • Scopo della misura • Punto di partenza e di arrivo di ogni misurazione SCALE DI MISURA Classificazione Stevensiana: • sistema di riferimento: sistema dei numeri reali R • Va da una classe più semplice a una classe più complessa SCALE DI MISURA Classificazione Stevensiana • • • • Scale nominali Scale ordinali Scale intervalli Scale rapporto Scale Nominali • la relazione fra gli eventi è la categorizzazione • le categorie sono distinte in base alla sola operazione di uguaglianza o differenza • La proprietà dei R corrispondente è la cardinalità • Gli eventi sono raggruppabili in classi mutualmente esclusive • Le operazioni statistiche possibili sono il calcolo delle frequenze, test non parametrici. • I parametri descrittivi tipici sono moda e mediana Scale Ordinali • Gli elementi dell’insieme sono oltre che sottoposti a categorizzazione anche ordinati gerarchicamente seguendo una relazione di asimmetria • i numeri sono disposti in modo tale da riflettere l’ordine di graduatoria degli elementi • Non è possibile quantificare la distanza fra gli elementi • La proprietà dei R corrispondente è l’ordinalità • Le operazioni statistiche possibili sono il calcolo delle frequenze, test non parametrici • I parametri descrittivi tipici sono moda e mediana Scale Intervalli • alle caratteristiche delle prime due scale si aggiunge anche la definizione della distanza fra ogni elemento dell’insieme • costanza degli intervalli fra le diverse classi • non viene definito lo zero assoluto • Con queste scale sono possibili solo le operazioni di somma e sottrazione • Test statistici parametrici • I parametri descrittivi tipici sono media e varianza Scale Rapporto • oltre ad esserci una costanza fra le classi è anche definito un valore di zero assoluto non arbitrario • applicabili le operazioni matematiche di moltiplicazione e divisione • Test statistici parametrici • I parametri descrittivi tipici sono media e varianza SCALE DI MISURA Critiche alla classificazione stevensiana: 1. non comprende tutte le possibili classi di eventi. 2. Rigidità nell’accostamento scala-statistica Variabili • Eventi empirici oggetto della misura • Possono essere parte di categorie e assumere diversi valori VARIABILI CRITICITA’ • Aderenza fra sistema numerico e sistema empirico • Metodo di misurazione sintetico o analitico TIPI DI VARIABILI Classificazione in base al ruolo nel disegno sperimentale Relazione causale • Variabile dipendente • Fattore • Variabile confondente TIPI DI VARIABILI Classificazione in base alle caratteristiche • Variabili qualitative • Variabili quantitative Classificazione in base alla distribuzione • Variabili gaussiane • Varibili non gaussiane VARIABILI E SCALE DI MISURA - OPERAZIONI STATISTICHE POSSIBILI – Scelta è dettata da: • dal disegno sperimentale • dall’ipotesi sperimentale • dal tipo di variabili VARIABILI E SCALE DI MISURA - OPERAZIONI STATISTICHE POSSIBILI – Dal disegno sperimentale • Multivariato • Univariato •… VARIABILI E SCALE DI MISURA - OPERAZIONI STATISTICHE POSSIBILI – Dall’ipotesi sperimentale • Inferenza (rapporti di causa-effetto generalizzabili) • Descrizione (esplorazione di un fenomeno di diversa complessità) VARIABILI E SCALE DI MISURA - OPERAZIONI STATISTICHE POSSIBILI – Dal tipo di variabili • Se a distribuzione gaussiana allora test parametrici • Se a distribuzione non gaussiana allora test non parametrici VARIABILI E SCALE DI MISURA - OPERAZIONI STATISTICHE POSSIBILI – Criticità: - criteri decisionali rigidi - ambiguità della situazione Soluzioni: - motivazioni del criterio Statistica Descrittiva • La statistica DESCRITTIVA rappresenta sinteticamente i diversi valori relativi ai soggetti di un determinato gruppo (media, frequenza, percentuale etc.) • Oggetto: riguarda esclusivamente i soggetti esaminati • Processo: il processo sulla quale è basata va dalla raccolta dei dati alla descrizione alla successiva formulazione di un’idea da verificare • Misura: i test statistici sono di tipo esplorativo: utilizzano modelli matematici molto raffinati ma non hanno valore dimostrativo. I parametri che utilizzano non sono basati sul calcolo probabilistico. Statistica Inferenziale • Oggetto: l'esistenza di relazioni fra una generica variabile dipendente e un insieme di variabili indipendenti (fattori) • Processo: procede secondo una sequenza di operazioni ben definita e rigida • Logica di tipo falsificazionista • Misura: calcolo probabilistico R. Fisher, 1890-1962 Inferenza: regole RELAZIONE FRA FATTORI E VARIABILE DIPENDENTE IPOTESI E TEST STATISTICO SEGUONO UNA LOGICA DI TIPO CAUSA-EFFETTO TUTTAVIA: • I RISULTATI NON SONO VINCOLATI DA QUESTA LOGICA • LE CONCLUSIONI NON VENGONO ACCETTATE SE SOSTENGONO UNA LOGICA CAUSA-EFFETTO Inferenza: regole ESEMPIO 1: INDAGINE SULLA RELAZIONE FRA ALCOOLISMO E CIRROSI EPATICA ESEMPIO 2: INDAGINE SULLA RELAZIONE FRA ETA’ E CAPACITA’ MNEMONICHE Inferenza: regole Metodologia: teoria delle regole alla base del processo euristico Motivazioni dell’esplicitazione delle regole: – Ragioni epistemologiche – Ragioni etiche – Ragioni politiche *** KR Popper (1934) La logica della scoperta scientifica, cap 2. Einaudi (1998) Inferenza: regole RIGIDITA’ DEL PROCESSO DIMOSTRATIVO Regole di metodo come convenzioni Controllo Corroborazione Replicabilità Revisione Inferenza: regole Controllo • Coerenza interna (confronto logico delle conclusioni) • Indagine sulla forma logica (teoria empirica, scientifica o tautologica) • Confronto con altre teorie • Confronto mediante le applicazioni empiriche Inferenza: regole L’oggettività della scienza sta nell’intersoggettività delle asserzioni della scienza stessa. Inferenza: regole Idea Generale Ipotesi Sperimentale Formulazione Ho Scelta Campione casuale e idoneo Raccolta Dati e Descrizione Variabili Test Statistico (stima del parametro) falsifico l'ipotesi nulla non falsifico l'ipotesi nulla Inferenza: regole (1) Formulazione Idea sperimentale (H1): generale e falsificabile ipotesi di differenza Inferenza: regole (2) Formulazione di H0 da falsificare complementare a H1 ipotesi di uguaglianza Inferenza: regole (3) Raccolta del Campione Idoneo a confermare l'idea Rappresentativo dell'intera popolazione (casuale, sufficientemente ampio) Conforme alle richieste del test che si intende utilizzare (distribuzione, indipendenza) Inferenza: regole (4) Applicazione del TEST STATISTICO indipendenza riferimento alle distribuzioni teoriche (continuità, normalità ..) in grado di falsificare tipi determinati di ipotesi nulle Inferenza: regole (5) SIGNIFICATIVITÀ Probabilità di respingere l'ipotesi nulla pur essendo questa vera Il suo limite è stabilito a priori (livello di significatività normalmente 0.05 o 0.01) Inferenza: regole (6a) Falsificazione di H0 & dimostrazione di H1 (6b) Non falsificazione di H0 & riflessioni sulla ricerca*** ***NON SI PUO’ DIMOSTRARE H0*** Inferenza: regole Attraverso la distribuzione dell’ipotesi nulla vengono individuate due zone: • una zona attorno all'ipotesi nulla in cui non è possibile escludere, in base al risultato ottenuto, che l'ipotesi nulla sia vera • La rimanente regione riguarda una zona in cui è estremamente improbabile ottenere un risultato sperimentale se è vera l'ipotesi nulla Inferenza: regole Inferenza: regole ERRORI DI MISURA Misurare implica sempre un errore • ineliminabile • di diversa origine • può essere quantificabile Occorre identificare e misurare anche l’errore Inferenza: regole ERRORI DI MISURA Errori di metodo – controllo tramite evitamento Errori di decisione – controllo tramite stima Inferenza: regole ERRORI DI DECISIONE H0 vera H0 falsa H1 falsa H1 vera Respingo H0 errore I tipo corretto Non respingo H0 corretto errore II tipo ERRORI DI DECISIONE Errore alpha • Errore relativo alla probabilità di falsificare H0 quando H0 è vera • Legato alla significatività del test • Il suo valore è determinato a priori (<=0.05 o 0.01) • Legato a errore beta ERRORI DI DECISIONE Errore beta • Errore relativo alla probabilità di non falsificare H0 quando H0 è falsa • Legato alla potenza del test • Il suo valore è determinato a priori • Legato a errore alpha Inferenza: regole • Potenza del test: probabilità di respingere H0 quando H0 è falsa. È data da 1- • Dipende : da H0 e da H1 dalla numerosità del campione dalla minima differenza apprezzabile dalla varianza casuale Primit Inferenza: regole (6b) Non respingo H0 l'ipotesi nulla è “vera” o meglio le differenze analizzate da H1 sono troppo piccole scarsa potenza del test: • il campione ha varianza elevata scarsa numerosità del campione il campione non soddisfa le condizioni relative alla distribuzione il campione non è rappresentativo dell'intera popolazione non sufficiente separazione fra H0 e H1 Inferenza: regole La forza dell’effetto (effect size) Indice della relazione fra la variazione dovuta al fattore considerato e la variazione totale del modello (dovuta alla somma fra variabilità del fattore e variabilità errore) Inferenza: regole La forza dell’effetto (effect size) Parametro: Partial Eta squared Utile per il confronto fra diversi studi perché è indipendente dalla numerosità Permette di confrontare campioni di numerosità diversa Non è associato alla probabilità di errore ovvero alla significatività Inferenza: regole Un esempio: nell’analisi della covarianza è possibile calcolare la potenza del test (observed power) e la forza dell’effetto (partial Eta squared) Tests of Between-Subjects Effects Dependent Variable: memory Source Corrected Model Intercept età Error Total Corrected Total Type III Sum of Squares 3611.944b 83910.134 3611.944 2031.300 257557.000 5643.243 df 1 1 1 35 37 36 Mean Square 3611.944 83910.134 3611.944 58.037 a. Computed using alpha = .05 b. R Squared = .640 (Adjusted R Squared = .630) F 62.235 1445.801 62.235 Sig. .000 .000 .000 Partial Eta Squared .640 .976 .640 Noncent. Parameter 62.235 1445.801 62.235 Obs erved a Power 1.000 1.000 1.000 ERRORI DI DECISIONE Tuttavia… • La potenza del test a posteriori è calcolata sulla differenza misurata e non sulla minima differenza apprezzabile Inferenza: regole Logica falsificazionista Un sistema empirico per essere scientifico deve poter esser confutato dall’esperienza Asimmetria fra verificabilità e falsificabilità Limite alpha funge da sbarramento Inferenza: regole CRITICHE • Essendo asimmetrico le ipotesi nulle non falsificate non vengono prese in considerazione • Rigidità nella scelta • Arbitrarietà di Alpha • Il problema della numerosità • Non permette di analizzare direttamente ipotesi alternative Inferenza: regole Possibili errori dalla logica falsificazionista: • Non valutazione della Potenza del test • Confronto fra i valori di p relativo ad alpha • Utilizzo della logica falsificazionista per confermare H0 • La significatività indica una differenza ma non è né un indice di senso né un indice di forza esercizio1 • Analizza l’articolo dal punto di vista delle variabili in studio e dei test statistici applicati. “L’indice di capacità di lavoro in operatori sanitari”, Giornale Italiano di Medicina del lavoro e Ergonomia, p. 355-358 Domande • Quale è l’ipotesi sperimentale? – E’espressa chiaramente? E’ semplice e generale? • Quali sono le variabili in studio? – Sono identificabili? Fanno riferimento a un disegno sperimentale univariato o multivariato? Quali le dipendenti e i fattori? Che scala rappresentano? • Quale è la statistica applicata? – I test sono parametrici o non? – C’è una corrispondenza fra test utilizzato e tipo di variabile? – E’ visibile la distribuzione di probabilità della dipendente? Inferenza: regole La logica falsificazionista deriva da due approcci – il p-value approach (PVA), di Fisher (1935) – il fixed alpha approach (FAA), di Neyman e Pearson (1933) Fisher 1890-1962 J. Neyman 1884-1981 E. Pearson 1885-1980 Inferenza: regole Entrambi gli approcci condividono: • l’utilizzo dell’ipotesi nulla H0 • l’utilizzo di un valore critico di probabilità p (p-value) e del livello per determinare la probabilità del verificarsi di eventi dovuti al caso o ad errori di campionamento Inferenza: regole METODO ALTERNATIVO ALLA LOGICA FALSIFICAZIONISTA FAA di Neyman e Pearson metodo per selezionare una ipotesi tra due ipotesi possibili H1 e H0 Inferenza: regole • Oltre al valore di alpha si fissa anche quello di beta; di solito, rispettivamente 0.05 e 0.2 • Non si determina più la probabilità dei dati per H0 vera, ma la probabilità condizionata di H0 e H1 per quei dati osservati, da confrontare con i valori posti di alpha e beta [e cioè, p(H0, H1 dati)]. Inferenza: regole …Tuttavia • Non ci sono oggi test statistici basati sul FAA salvo calcoli probabilistici bayesiani • Tutti i test sono basati sulla falsificazione di H0 secondo la logica falsificazionista Inferenza: regole Consigli dell’ APA – Chiarezza nella presentazione dei dati (presentazione dei casi, dei dati mancanti e degli outliers) – Scelta di analisi semplici – Rinunciare alla scelta dicotomica fra accettazione e rifiuto di H1 e riportare oltre al valore di p anche gli intervalli di confidenza e la forza dell’effetto Inferenza: regole Letture consigliate: • Fisher RA (1935) The design of Experiments, Edimburgh, Oliver & Boyd; trad. it. La programmazione degli esperimenti, Pisa, Nistri Lischi, 1954. • Neyman J e Pearson ES (1933) On the problem of the most efficient tests of statistical hypothesis, in Philosophical transaction of the Royal Society of London, A231, pp 289-337. • Cohen, J (1994) The Earth is round (p<0.05), American Psychologist, 49, 12, pp 997-1003. Disegno di ricerca Definizione: è il progetto nel quale sono specificati i legami fra le variabili che si andranno ad analizzare e i possibili risultati che ci si aspetta di trovare ovvero il modo con cui si analizzano le variabili in studio. Tipologie di disegni di ricerca Non c’è concordanza fra gli autori 2 linee 1. Formale: D.Sperimentali, D.Quasi sperimentali e D.Non sperimentali 2. Pragmatica: tutti i disegni sono considerati sperimentali Tipologie di disegni di ricerca DISEGNI SPERIMENTALI sono caratterizzati dal controllo di tutte le variabili in gioco, del campione raccolto con selezione idonea e casuale e della procedura di raccolta e analisi dei dati Tipologie di disegni di ricerca DISEGNI QUASI SPERIMENTALI sono caratterizzati dal PARZIALE controllo di tutte le variabili in gioco. Tipologie di disegni di ricerca DISEGNI QUASI SPERIMENTALI I disegni con un solo campione sono quelli sui quali si effettuano diverse misure ma che si trattano non come misure ripetute ma come misure indipendenti. Nei disegni con campioni non equivalenti l’assegnazione dei soggetti ai gruppi non avviene in modo casuale. I disegni ex-post-facto sono riferiti a situazioni nelle quali l’evento in studio si è già verificato. Esempio Tipologie di disegni di ricerca DISEGNI NON SPERIMENTALI sono caratterizzati dall’IMPOSSIBILITA’ del controllo sulle variabili in gioco, sul campione sulla procedura di raccolta e analisi dei dati Tipologie di disegni di ricerca DISEGNI NON SPERIMENTALI • le ricerche di osservazione nelle quali l’attenzione è spostata sulla struttura del problema che si sta indagando • le ricerche d’archivio nelle quali si fa riferimento a dati raccolti in passato in archivi • le ricerche sui casi singoli Tipologie di disegni di ricerca DISEGNI FATTORIALI • sono presenti tutte le possibili combinazioni di fattori • è possibile analizzare tutti gli effetti a cui i criteri di classificazione utilizzati fanno riferimento e tutte le possibili interazioni tra gli effetti principali Tipologie di disegni di ricerca DISEGNI FATTORIALI • disegni entro i soggetti o per prove correlate nei quali la misura è effettuata sullo stesso campione • disegni fra i soggetti nei quali è misurato l’effetto di una variabile in diversi gruppi • disegni misti nei quali le condizioni fra i soggetti e entro i soggetti sono presenti Tipologie di disegni di ricerca Esempi di disegni fattoriali • entro i soggetti • fra i soggetti • misti Tipologie di disegni di ricerca DISEGNO INCOMPLETO • non è possibile utilizzare tutte le combinazioni dei fattori • non è conveniente il disegno fattoriale perchè porterebbe all'utilizzo di un numero totale di sottogruppi troppo grande Tipologie di disegni di ricerca DISEGNI INCOMPLETI: non vengono utilizzati tutti i sottogruppi possibili ma solo quelli che permettono lo studio degli effetti principali. • QUADRATO LATINO Utilizza un criterio di incompletezza ciclica uguale per tutte le interazioni possibili • A BLOCCHI RANDOMIZZATI nel quale le classi di un certo fattore comprendono solo alcune sottoclassi, rappresentanti l'insieme complessivo. Esempio Tipologie di disegni di ricerca DISEGNI PERSONALIZZATI • I tipi di disegno sperimentale esaminati sono solo una parte dei disegni utilizzabili. • Il tipo di disegno è condizionato dall'ipotesi che vogliamo dimostrare e dal tipo di effetti che riteniamo influenti. • In tutte le analisi statistiche è possibile personalizzare il modello di riferimento che rispecchia il disegno sperimentale utilizzato Esempio Capitoli di riferimento • Misura: – Bolzani R. Benassi M (2003)Tecniche Psicometriche. Roma, Carocci Editore (Cap. 1) – McBurney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. 3) • Statistica inferenziale, logica del test e errori di misura – Bolzani R., Canestrari R. (1994) Logica del test statistico. Milano, Casa Editrice Ambrosiana. (Cap. 2) – Bolzani R. (1999) Problemi di statistica. Milano, Casa Editrice Ambrosiana. (Cap. 2) – McBurney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. 5, 6) • Disegni di ricerca – McBurney DH (1986) Metodologia della ricerca psicologica. Bologna, Il Mulino. (Cap. 7, 8, 9, 10)
