PROBLEMI DI VALIDITA` DELL RICERCA (cap 5) Nelle scienze

PROBLEMI DI VALIDITA’ DELL RICERCA (cap 5)
Nelle scienze naturali negli esperimenti valgono l’assunto di invarianza (stabilità temporale e ininfluenza
della rilevazione) e l’assunto di equivalenza (è sensato supporre che due unità siano uguali per tutti gli
aspetti rilevanti). Nelle scienze psicologiche e sociali tali assunti non sono possibili => soluzione statistica
per la violazione dell’assunto di equivalenza: spostarla da soggetti a gruppi di soggetti.
Non tutti gli esperimenti sono condotti in laboratorio, alcuni sono condotti in ambiente naturale
Un disegno sperimentale è un piano di ricerca che prevede la messa a punto di procedure atte a garantire
la validità dei risultati. Si tratta di piani di ricerca molto rigorosi, sviluppati per tenere sotto controllo anche
delle possibili minacce alla validità di ricerca che si sta conducendo. Un disegno sperimentale ben costruito
consente innanzi tutto di dire con sicurezza se, in quale misura e come la manipolazione della variabile
indipendente incide sulle variazione della variabile dipendente studiata
I problemi della validità della ricerca

VALIDITA’ INTERNA
La relazione tra x e y individuata è vera per le situazioni, i luoghi, i soggetti e i tempi in cui è stata
svolta la ricerca?

VALIDITA’ ESTERNA
La relazione tra x e y è vera (causale) anche per situazioni, luoghi, soggetti e tempi diversi da quelli
in cui è stata svolta la ricerca?

VALIDITA’ DI COSTRUTTO
Le misurazioni effettuate corrispondono a ciò che si voleva misurare?

VALIDITA’ STATISTICA
I risultati sono effettivamente dovuti alla manipolazione della x o a variazioni di ordine casuale?

VALIDITA’ ECOLOGICA
La relazione individuata in laboratorio è vera anche in situazioni naturali?
Validità interna =>
Si ha validità interna quando la relazione tra la variabile dipendente (Y) e quella indipendente (X) è di tipo
causale.
Si deve pertanto fare attenzione a due aspetti:


Qual è la direzione della relazione
Quali sono le variabili che sono potenzialmente in grado di influenzare la relazione
La conduzione di esperimenti consente di contenere le minacce alla validità interna della ricerca, a patto di
tenere sotto controllo tutte le variabili che possono confondere la relazione tra x e y
Costituiscono minacce alla validità interna tre fattori:
1. Non aver tenuto conto di tutte le possibili fonti di disturbo della relazione tra x e y (non sono più
certo che l’effetto osservato su y dipenda dalla manipolazione di x)
2. Gli errori del soggetto sperimentale
3. Gli errori dello sperimentatore
Fonti di disturbo sistematiche:
 Processi di maturazione
Cambiamenti di ordine biologico e psicologico che possono intercorrere tra il pre-test e il post-test
Soluzione: ripetizione delle misure ad intervalli temporali costanti, utilizzando sempre un gruppo di
controllo
 Apprendimento
Cambiamenti che si verificano a seguito della ripetizione di prove sperimentali, gli individui
acquistano familiarità con la situazione di ricerca
Soluzione: eliminazione o banalizzazione del pre-test, disegno di Solomon
 Strumentazione
Cambiamenti prodotti dalle caratteristiche degli strumenti impiegati nella ricerca, tra cui il
ricercatore stesso
Soluzione: aumento della standardizzazione (sincronizzazione e randomizzazione)
 Selezione
Composizione del gruppo sperimentale e del gruppo di controllo non equivalente (non è da
confondere con i difetti di selezione dei soggetti che minacciano la validità esterna)
Soluzione: bilanciamento dei gruppi attraverso randomizzazione, pareggiamento (ordinamento in
base alla distribuzione di una variabile confondente, segmentazione in coppie, divisione delle
coppie in due gruppi) e uso dei blocchi (partizione in base alla distribuzione di una variabile
confondente)
 Regressione statistica
Effetto di regressione verso la media dei punteggi estremi in prove ripetute. È una minaccia alla
validità interna soprattutto quando i soggetti vengono selezionati per far parte di un esperimento
sulla base dei punteggi estremi
Soluzione: gruppo di controllo costituito da soggetti con performance estreme
Fonti di disturbo sistematiche:
 Storia attuale
Cambiamenti prodotti da eventi che si verificano tra pre-test e post-tes. Ad esempio un evento
relativo alla storia del soggetto
Soluzione: abbreviazione dell’intervallo tra le prove, unica sessione, aumento del controllo,
randomizzazione delle prove e delle sessioni
 Perdita differenziale dei soggetti
Autoselezione dei partecipanti alla ricerca, che rende il gruppo sul quale viene eseguito il post-test
significativamente diverso dal gruppo selezionato in origine dal ricercatore => l’autoselezione
avviene sulla base di specifiche caratteristiche che in origine si era cercato di controllare
Soluzione: difficile contenimento, ricostruzione o correlazione ex post dei dati mancanti
Validità esterna =>
La validità esterna riguarda la legittimità con cui è possibile estendere i risultati di ricerca ad altri soggetti,
situazioni o luoghi. Andrebbe testata ripetendo più volte la medesima ricerca, variando in modo sistematico
le condizioni di ricerca (soggetti, setting).
È possibile distinguere tre tipi di validità esterna:
o
Validità di popolazione
rappresentatività del campione utilizzato rispetto alla popolazione da cui è stato estratto.
Un campione è rappresentativo quando riflette adeguatamente le caratteristiche della popolazione
totale (o p. bersaglio o universo).
Minacce alla validità di popolazione: uso di campioni non rappresentativi (studenti come
approssimazione di tutti gli adulti!)
Evitamento/contenimento: uso di procedure di campionamento che garantiscano la
rappresentatività del campione
o
Validità temporale
stabilità temporale dei risultati
Minacce alla validità temporale: variazioni stagionali: cambiamenti che avvengono nella
popolazione a intervalli regolari (esempio > incidenti d’auto d’inverno) ; variazioni cicliche: legate
all’organismo dei soggetti (esempio al mattino si è più/meno stanchi che alla sera); variazioni
personologiche: cambiamento delle caratteristiche degli individui nel tempo
Evitamento/contenimento: impostare disegni che tengano sotto controllo o permettano di studiare
gli effetti del tempo, usare misurazioni non intrusive, preservare l’ingenuità dei soggetti, controllare
gli effetti del pre-test.
o
Validità ecologica (trattata a parte)
Optimum: validazione empirica dei risultati (= ripetere la ricerca) Ma… molto costoso
Validità ecologica =>
La validità ecologica della ricerca fa riferimento alla plausibilità di poter estendere i risultati di ricerca anche
alla quotidianità. I risultati di ricerca dovrebbero cioè essere rappresentativi del comportamento
dell’individuo nella sua realtà abituale.
Minacce alla validità ecologica: artificialità del setting di ricerca; tutti i fattori che impediscono al ricercatore
di conoscere in quale modo il soggetto percepisce il setting di ricerca.
Validità di costrutto =>
La validità di costrutto riguarda la bontà della teoria psicologica che viene testata nella ricerca. Infatti, per
produrre una buona definizione operativa dei costrutti ed arrivare a degli indicatori che permettano di
ottenere dei risultati validi è essenziale che i costrutti siano in origine definiti in modo chiaro. Devono
altresì essere definite in modo chiaro le relazioni tra i costrutti.
Minacce alla validità di costrutto: Definizione teorica dei costrutti insufficiente; Definizione operativa dei
costrutti inadeguata (parziale o scorretta); Ambiguità delle variabili indipendenti (impossibilità di
manipolazione).
Validità statistica =>
La validità statistica riguarda la bontà dei risultati ottenuti, la loro significatività in termini statistici. Più nel
dettaglio la validità statistica dipende:
o
o
dalla bontà delle ipotesi statistiche formulate e
dalla potenza dei test statistici impiegati (probabilità di compiere degli errori di I e II tipo
nell’accettare o nel respingere l’ipotesi nulla di un test).
Può essere controllata solo dopo che i dati sono stati raccolti. Significa quasi sempre confrontare la
variabilità osservata empiricamente con quella teorica prevista dal calcolo delle probabilità.
I fase: formulazione delle ipotesi statistiche:
;
(mono o bidirezionale) costruite in modo tale da
negarsi reciprocamente
II fase: formulazione delle supposizioni ausiliarie che consentono di dedurre una determinata
grandezza d’esame e la rispettiva distribuzione di probabilità (esempio la distribuzione F)
III fase: selezione dei campioni casuali da sottoporre al pre test – test - post test
IV fase: definizione della zona di rifiuto
Definizione di un campo di valori possibili che ci si attende con minore probabilità in caso di verifica
dell’ipotesi nulla e con maggiore probabilità in caso di verità dell’ipotesi alternativa. Fisso un valore
CRITICO della statistica scelta in fase II e stabilisco che esso, in caso di verità di
venga superato o
raggiunto solo con una piccola probabilità che sia a un piccolo valore α da determinare.
Stato reale
decisione
α = scartare l’ipotesi nulla quando invece è vera
β = accettare l’ipotesi nulla quando invece è falsa
OK
Β, II tipo
α, I tipo
OK
1-β = potenza del test, ossia probabilità di
rigettare correttamente una ipotesi nulla quando
è falsa
Minacce alla validità statistica: Portano a errori del primo tipo: fishing ; Portano a errori del secondo tipo:
campioni piccoli, violazione delle condizioni di applicabilità dei test o dei modelli di analisi dei dati, bassi
livelli di significatività