Scarica il file

AREA CRITICAL APPRAISAL
INTRODUZIONE AGLI ERRORI NELLA RICERCA
© dott. Alessandro Battaggia
Risultato
preciso ma distorto
BIAS O ERRORE
SISTEMATICO
Risultato
impreciso ma non distorto
ERRORE RANDOM
(STIMA IMPRECISA)
Risultato
preciso e non distorto
CONDIZIONE
IDEALE
Risultato
impreciso e distorto
CONDIZIONE
PEGGIORE
classificazione degli errori nella ricerca
(Szklo e Nieto)
1.
Errore Random
2.
Bias
3.
Fattore di confondimento
UN ERRORE
• Può suggerire rapporti causa-effetto inesistenti
• Può negare l’ esistenza di rapporti causa-effetto reali
Se su 10 lanci ‘testa’ compare solo 3 volte è un bias?
Random error
Errore random
 E' un errore 'non sistematico': ripetendo moltissime
volte un trial con lo stesso protocollo i risultati
saranno di volta in volta diversi (con distribuzione
gaussiana delle loro frequenze)
 Non viene provocato dal ricercatore o dai
partecipanti (è effetto del caso)
Alta probabilità di errore random
1. Trial piccoli
2. Analisi per sottogruppi
3. Analisi di outcome secondari
1. TRIAL PICCOLI
Battaggia A, Giustini SE
2006 www.farmacovigilanza.org
1. TRIAL PICCOLI
2. ANALISI PER SOTTOGRUPPI
Distribuzione dei risultati di 146 sottogruppi (studio BATH)
2. ANALISI PER SOTTOGRUPPI
Bilancia o gemelli
ASA
n= 8587
ISIS-2
P<0.00000001
Lancet 1988 ii:349-360
PLA
CEBO
n=8600
Altri segni zodiacali
Mortalità a 30 giorni nell' Infarto (tutto il campione)
2. ANALISI PER SOTTOGRUPPI
Bilancia o gemelli
ASA
Altri segni zodiacali
P= 0.05
ISIS-2
Lancet 1988 ii:349-360
Bilancia o gemelli
PLA
CEBO
Altri segni zodiacali
Mortalità a 30 giorni nell' Infarto (sottogruppo bilancia o gemelli)
2. ANALISI PER SOTTOGRUPPI
Bilancia o gemelli
ASA
Altri segni zodiacali
ISIS-2
Lancet 1988 ii:349-360
Bilancia o gemelli
P<0.0000001
PLA
CEBO
Altri segni zodiacali
Mortalità a 30 giorni nell' Infarto (sottogruppo altri segni zodiacali)
Bias
BIAS
 E' un errore 'sistematico': ripetendo moltissime volte
un trial con lo stesso protocollo i risultati saranno
caratterizzati sempre dalla stessa distorsione
 Viene provocato dal ricercatore o dai partecipanti
(non è effetto del caso)
BIAS
BIAS
Systematic
error (bias)
BIAS
Random
error
(caso)
Systematic
error (bias)
BIAS
Random
error
(caso)
Systematic
error (bias)
Un trial con errori
metodologici è un trial con
Bias
Errore
BIAS
Selection Bias
Measurement Bias
Asimmetria dei due bracci per
Asimmetria dei due bracci
distribuzione di
nella accuratezza
fattori prognostici
della rilevazione dei dati
Allocation sbilanciata
Performance bias
Mancanza di cecità
Performance Bias
Attrition Bias
Misclassificazioni
1. Allocation sbilanciata
Allocation non randon
Studi quasi-randomizzati
Bilancia o gemelli
Studi quasi-sperimentalli
Altri segni zodiacali
Mancanza di mascheramento
Allocation non in cieco
Bilancia o gemelli
Nuovo intervento
chirurgico
allocation
Intervento abituale
Altri segni zodiacali
allocation non in cieco
SELECTION BIAS
Vengono assegnati al braccio
di controllo i pazienti più malati
Bilancia o gemelli
Estrogeni si
SELECTION BIAS
autoselezione di
donne più attente alla
salute
allocation
Estrogeni no
Altri segni zodiacali
allocation non in random
Nurses' health study - Stampfer MJ et al NEJM 1991 325:756
NEJM 1991 325:756
Nurses' Health Study
Tab.1 – 22.950 donne in menop.
•
•
•
•
•
•
•
•
Ipertensione
Diabete mellito
Dislipidemia
Fumo
Sovrappeso
Contracc. Pregressa
Attività fisica
Grassi saturi dieta
TOS si
23.2
2.7
9.9
11.5
9.8
34.0
48.2
27.6
TOS no
21.8
3.5
7.6
14.5
13.3
23.9
42.4
26.2
NEJM 1991 325:756
Nurses' Health Study
Tab.1 – 22.950 donne in menop.
•
•
•
•
•
•
•
•
Ipertensione
Diabete mellito
Dislipidemia
Fumo
Sovrappeso
Contracc. Pregressa
Attività fisica
Grassi saturi dieta
TOS si
23.2
2.7
9.9
11.5
9.8
34.0
48.2
27.6
TOS no
21.8
3.5
7.6
14.5
13.3
23.9
42.4
26.2
JAMA 2002 288:321
Women's healt Initiative (WHI)
Tab.1 – 16.608 donne in menop.
•
•
•
•
•
•
•
•
PAS mmHg
Diabete mellito
Dislipidemia
Fumo
Sovrappeso
Pregresso uso orm.
Attività fisica
Grassi Saturi
TOS si
127.6
4.4
12.5
10.5
34.2
19.7
-
TOS no
127.8
4.4
12.9
10.5
34.0
19.6
-
ANALISI MULTIVARIATA
Aumenta la confrontabilità dei due bracci
Bilancia o gemelli
Altri segni zodiacali
perché non raggiungerà mai la qualità della randomizzazione?
2. Mancanza di doppia cecità
Tre tipi di mascheramento (cecità)
 Allocation (già visto)
 Somministrazione intervento
Estrazione e analisi risultati
cecità = non conoscenza
del braccio di appartenenza
PERFORMANCE BIAS
vengono curati meglio
I pazienti nel braccio di
intervento
Bilancia o gemelli
Nuovo farmaco
Placebo
Altri segni zodiacali
Mancata cecità nella somministrazione dell' intervento
DETECTION BIAS
maggior attenzione
ai risultati nel braccio
di intervento
Bilancia o gemelli
Nuovo farmaco
Placebo
Altri segni zodiacali
Mancata cecità nella valutazione dei risultati
3. Attrition bias
Tre tipi di problemi nel follow-up
 Pazienti drop-outers (outcome ignoto)
 Pazienti non compliant
 Pazienti drop-ins (cross overs)
morti per causa
del farmaco
Bilancia o gemelli
Nuovo farmaco
ATTRITION BIAS
vengono analizzati
solo i sopravvissuti
Intervento abituale
Analisi 'Per Protocol'
Altri segni zodiacali
4. Measurement Bias
Misclassificazione dell' outcome
 dati incidenti (es: studi di coorte)
 dati storici (qualsiasi studio)
Misclassificazione dell' esposizione
 dati storici (studi caso controllo)
Il problema dei dati storici
1. Scarsa qualità dei dati raccolti

Sono stati raccolti per scopi clinici, non per ricerca

Quello che viene rilevato può essere gravato da errate
classificazioni (criteri diversi nel definire una esposizione o un
outcome)

Sono stati raccolti da più mani

La registrazione è spesso incompleta (missing data)
Il problema dei dati storici
1. Scarsa qualità dei dati raccolti

Sono stati raccolti per scopi clinici, non per ricerca

Quello che viene rilevato può essere gravato da errate
classificazioni (criteri diversi nel definire una esposizione o un
outcome)

Sono stati raccolti da più mani

La registrazione è spesso incompleta (missing data)
2. Criteri di eleggibilità stabiliti ex post

Età diverse

Razze diverse

Fattori prognostici diversi

Possibili fattori di confondimento
3. Scarse informazioni sul follow-up

Scarse informazioni sui co-trattamenti ( squilibri tra i due
bracci)
Confounding
Quali fattori oltre all' intervento studiato possono
influire sull’ outcome ??
a) Fattori Prognostici
b) Fattori di confondimento
fattore prognostico
Agente
causale
Agente causale
indipendente
OUTCOME
COSA SONO I FATTORI PROGNOSTICI?
fattore prognostico
Aterosclerosi
coronarica
INFARTO
COSA SONO I FATTORI PROGNOSTICI?
confounding
Agente
causale
Fattore correlato
ad entrambi
OUTCOME
COSA SONO I FATTORI DI CONFONDIMENTO?
confounding
Aumento
Urbanizzazione
Aumento nidi
Aumento
Bambini
OR CHD
Metanalisi di studi
Osservazionali
sulla Terapia
Sostitutiva in
Menopausa (TOS)
OR CHD
OR NON AGGIUSTATO
Humprey LL Ann Intern Med 2002 137:273
OR CHD
‘Confounding’
Metanalisi di studi
Osservazionali
sulla Terapia
Sostitutiva in
Menopausa (TOS)
OR CHD
OR AGGIUSTATO
Humprey LL Ann Intern Med 2002 137:273
Gli studi osservazionali sono
molto vulnerabil!
• Sono stati trovate conclusioni
opposte su 56 argomenti di
grande rilevanza per la salute
–
–
–
–
–
–
–
Effetti dei contraccettivi
Procedure chirurgiche
Procedure radiografiche
Radioterapia
Infezioni
Vaccini
Esposizioni varie …
Mayes LC
Int J Epidem
1988 17:680