Strumenti di indagine per la valutazione psicologica

Creare un nuovo questionario
Strumenti di indagine
per la valutazione psicologica
Da dove partire
●
2.2 – Mettere a punto un test psicologico
●
Davide Massidda
C'è davvero bisogno di un nuovo strumento di misura?
Analisi della letteratura.
Si può validare in italiano uno strumento già esistente ma
in lingua straniera (necessaria back-translation).
●
Gli item vengono creati da un pool di esperti.
●
Somministrazione su larga scala del test.
[email protected]
Università di Cagliari, a.a. 2013/2014
Creare un nuovo questionario
Lunghezza del test
●
●
●
●
Dipende dal numero di scale (una scala è quella porzione
di test volta a misurare un particolare costrutto latente).
Aumentando il numero di item di una scala, l'errore
accidentale dovrebbe compensarsi, con un conseguente
aumento dell'attendibilità.
Per uno stesso tratto latente possono esserci molte aree
che richiedono approfondimento, con un conseguente
aumento degli item.
Chiaramente, il questionario non può essere troppo
lungo (si rischia di ottenere misure poco attendibili).
Creare un nuovo questionario
Analisi dei dati
●
Analisi dei dati mancanti:
- Chi omette risposte?
- In quali item si osservano omissioni?
●
Valutare possibili differenze nelle risposte sulla base di
variabili socio-demografiche o altre variabili critiche per il
fenomeno sotto esame.
●
Analisi di affidabilità e validità.
●
Analisi della struttura fattoriale.
●
Analisi delle proprietà degli item (approccio IRT).
Attendibilità di un test
x= τ+ ϵ
E( ϵ)=0
●
●
cov ( τ , ϵ)=0
Un test è tanto più affidabile quanto più consente di
ottenere delle misure esenti da errore.
Un test affidabile è un test in cui la componente vera τ
predomina nettamente sulla componente erratica ε.
Valutare l'attendibilità
Stabilità delle misure
●
Test-retest
●
Forme parallele
Consistenza interna a ogni scala: gli item stanno misurando il
medesimo costrutto?
●
Split-half
●
Indice α di Cronbach
●
Correlazione item-totale
Riduzione degli item
●
●
●
Nel processo di validazione, talvolta si somministra un
test con un numero di item più elevato di quello che si
intende andare a inserire nella batteria finale.
Solo gli item con le proprietà psicometriche “migliori”
saranno candidati all'inserimento nella versione finale del
test.
In alcuni casi, il questionario viene addirittura proposto in
due versioni: una completa e una ridotta.
Riduzione degli item
●
Esempio di procedura di selezione degli item:
1. si calcola l'indice α di Cronbach della scala;
2. a uno a uno, gli item vengono eliminati singolarmente e
ogni volta si ricalcola l'indice α di Cronbach;
3. se l'eliminazione dell'item è associata a un aumento
dell'alfa, allora l'item è da buttare.
Validità di un test
●
Lo strumento misura ciò che dovrebbe essere preposto a
misurare?
Validità di un test
Validità di contenuto
●
●
L'attendibilità è una condizione necessaria ma non
sufficiente per la validità: non basta che uno strumento
sia preciso, deve anche misurare ciò per cui è stato
costruito.
●
Capacità
dello
strumento
di
rappresentare
accuratamente l’universo dei comportamenti legati al
costrutto.
Risponde alla domanda: la misura prende davvero in
esame tutti i comportamenti legati al costrutto in esame?
Validità di un test
Validità di costrutto
●
●
Definisce quanto la misura fornita dal test è connessa al
costrutto che si propone di misurare.
Può essere valutata come:
Validità convergente: grado di accordo tra diverse misure
dello stesso costrutto ottenute con metodi diversi.
Validità discriminante: grado in cui misure di costrutti
diversi riescono effettivamente a distinguere i costrutti.
Validità di un test
Validità di criterio
●
●
Grado di associazione tra la misura e un concetto (criterio
rilevante) in teoria connesso con il costrutto da misurare.
Può assumere due forme specifiche:
Validità concorrente: misura e criterio valutati in
contemporanea (c'è una corrispondenza fra test e
comportamento attuale?).
Validità predittiva: il criterio viene valutato in un
momento successivo (il test è in grado di predire un
risultato futuro?).
Validità di un test
Validità di facciata
●
●
Analisi della struttura fattoriale
●
Corrispondenza tra ciò che sembra che il test stia
misurando e ciò che effettivamente sta misurando.
●
(Vedi differenza tra item overt e covert).
●
Gli item possono essere raggruppati sulla base del tratto
(fattore) latente che si suppone stiano misurando.
Tutti gli item che sono espressione di un medesimo
fattore latente saranno molto correlati fra loro e poco
correlati con altri item.
L'analisi fattoriale è una tecnica di riduzione dati: invece
di utilizzare i punteggi dei singoli item (che sono tanti), si
posso utilizzare i punteggi dei (pochi) fattori di cui essi
sono espressione.
Esempio di struttura fattoriale
Approcci all'analisi fattoriale
●
Ci sono due possibili approcci all'analisi della struttura
fattoriale di un test psicologico:
➔
Esplorativo
➔
Confermativo
Analisi della struttura fattoriale
Analisi fattoriale esplorativa
●
●
●
●
●
●
Analisi della struttura fattoriale
Analisi fattoriale confermativa
Sapendo che è stato un numero n di fattori latenti ad
aver originato i dati, ne si stima il punteggio e si calcola
quanto ogni item satura su ogni fattore.
Alcuni item avranno forti saturazioni su un tratto, altri
item su un altro tratto, altri item su un altro tratto
ancora, ecc.
Sulla base delle saturazioni, gli item potranno essere
raggruppati.
●
●
Non dobbiamo scoprire alcuna struttura fattoriale: la
conosciamo già! (E ci mancherebbe: il questionario
l'abbiamo costruito noi.)
Quindi, a partire da come i soggetti hanno risposto agli
item, si cerca di dedurre la struttura fattoriale.
Quello che dobbiamo fare è verificare che il nostro
modello sia sostenuto dai dati osservati: «Quanto è
verosimile che siano proprio questi fattori, organizzati in
questo modo, ad aver generato le risposte agli item?»
La verità sta nel mezzo
Alcune note sull'analisi fattoriale
L'approccio migliore non è né quello esplorativo né
quello confermativo.
Si spezza in due campione: su metà si applica l'analisi
esplorativa e sull'altra metà si valida, tramite un'analisi
confermativa, il modello individuato (cross-validation).
●
●
●
●
●
Il questionario è stato già in partenza costruito con una
certa logica: le risposte a un gruppo di item sono
generate da un certo fattore, le risposte a un altro
gruppo di item da un altro fattore, e così via.
Se il questionario è fatto bene, le due analisi
convergeranno verso gli stessi risultati. Il fatto che due
analisi diverse, su campioni diversi, diano gli stessi
risultati, sarà un'argomentazione molto convincente
riguardo la struttura fattoriale del test!
●
L'analisi fattoriale assume che i tratti latenti siano
variabili continue.
I fattori latenti possono essere assunti come correlati fra
loro, ma non necessariamente (questione delicata).
Determinare il numero di fattori latenti non è sempre
ovvio (approfondimento su www.insular.it/?p=403).
Oggi la tendenza è quella di costruire strumenti piccoli e
con pochi fattori se non non addirittura unidimensionali.