Workshop al Convegno
“La ricerca in psichiatria in Italia: stato
dell’arte e prospettiva future”
Genova, 28-29 gennaio 2010
Revisioni Sistematiche di
Letteratura
federica vigna-taglianti
La gerarchia dell’evidenza
scientifica
Case Reports
Case Series without control
Series with literature controls
Surveys – prevalence studies
4
Case-control studies
Retrospective studies - cohorts
Randomized Control Trials
Meta-analysis
1
2
3
5
Come accedere ai risultati
della ricerca scientifica?
Informazione scientifica su internet
Articoli originali/editoriali su riviste
scientifiche
Banche dati informatiche (Medline,Embase,
CINHAL)
Convegni, corsi di aggiornamento
Consultazione di esperti
Revisioni di letteratura
risulta spesso difficile
trarre delle conclusioni
Eterogeneità degli studi
Gli studi sono eterogenei per:
Disegno dello studio (coorte, casocontrollo, RCT)
Popolazione in studio (età, sesso, casi
ospedalieri….)
Indicatori valutati
Aggregazioni
Periodo di osservazione
Risultati
Strumenti
Oggi esistono strumenti di grande utilità
per accedere ai risultati delle evidenze
scientifiche già elaborati:
REVISIONI
SISTEMATICHE
DI
LETTERATURA
N
A
T
E
M
I
S
I
L
A
LINEE
GUIDA
Revisioni di letteratura
(reviews)
Sono articoli in cui viene effettuato un sunto
della letteratura esistente riguardo ad un
determinato argomento
– Relazione tra un fattore di rischio ed una
malattia
– Efficacia di farmaci
– Efficacia di interventi
– Altro..
Possono essere di varia qualità..
Revisioni classiche / narrative
Generalmente scritte da esperti in quel campo
Usano metodi informali e soggettivi nel
raccogliere ed interpretare le informazioni
Generalmente sintetizzano in modo narrativo i
risultati della ricerca
Inficiate dall’assenza di regole esplicite e
condivise in:
– Strategia di ricerca degli studi
– Criteri di selezione degli studi (qualità…)
– Estrazione dei dati
– Sintesi dei dati
Che cos’è una revisione
sistematica?
Una revisione dell’evidenza relativamente
ad un quesito di ricerca chiaramente
formulato che usa metodi standardizzati,
espliciti e sistematici nell’identificazione,
selezione e valutazione critica degli studi
primari, nell’estrazione e nell’analisi dei
dati*
*Undertaking Systematic Reviews of Research on Effectiveness. CRD’s Guidance for those Carrying Out or
Commissioning Reviews. CRD Report Number 4 (2nd Edition). NHS Centre for Reviews and Dissemination,
University of York. March 2001.
Revisioni “sistematiche”
REGOLE ESPLICITE
– Esaustività della ricerca bibliografica (senza limiti di
tempo, più database internazionali, ricerca studi
non pubblicati)
Effettuando la ricerca bibliografica solo su Medline,
vengono reperiti solo il 15% degli studi esistenti
–
–
–
–
–
–
Criteri di scelta degli studi esplicitati
Valutazione di qualità degli studi
Estrazione dei dati
Analisi dei risultati in base alla qualità degli studi
Sintesi quantitativa (metanalisi)
Peer reviewing
Revisioni sistematiche vs.
revisioni classiche/narrative
Approccio scientifico
verso articolo di revisione
Quesito di ricerca
formulato secondo
standard (PICO)
Ricerca sistematica degli
articoli rilevanti, tutti
database rilevanti
interrogati
Metodi espliciti di
valutazione e sintesi
Metanalisi usata se
possibile per combinare i
dati
Approccio secondo
inclinazioni dell’autore
(bias)
Formulazione del quesito
secondo interesse
dell’autore
Ricerca degli articoli su un
solo database
Metodi non standardizzati
Mancanza di valutazione di
qualità degli studi
Sintesi testuale e non
quantitativa
Risultati difficili da
replicare
Vantaggi delle revisioni
sistematiche
Riduzione dei bias
Replicabilità
Attraverso la metanalisi si possono
risolvere i dubbi sui risultati inconsistenti
dei singoli studi
Abilità di identificare le “aree grigie” della
ricerca
Forniscono risultati affidabili per i decisori
di sanità pubblica
Limitazioni
I risultati possono ancora essere
inconclusivi
– Spesso non si trovano trials/RCT
– I trials possono essere di bassa qualità
L’intervento può essere troppo complesso
per essere testato in un trial
Non c’e’ ancora pieno consenso sull’uso
degli studi osservazionali
Le pratiche non cambiano solo perchè c’e’
evidenza di efficacia o inefficacia!!!!
Cochrane Collaboration
Named in honour of Archie Cochrane, a British
researcher
In 1979:
“It is surely a great criticism
of our profession that we
have not organised a critical
summary, by specialty or
subspecialty, adapted
periodically, of all relevant
randomised controlled trials”
Cochrane Collaboration
E’ un’organizzazione
internationale nonprofit
che prepara, aggiorna,
e dissemina i risultati
delle revisioni
sistematiche
sull’efficacia degli
interventi socio-sanitari
The Cochrane Library
The Cochrane Database of Systematic Reviews
The Database of Abstracts of Reviews of
Effectiveness
The Cochrane Controlled Trials Register
The Cochrane Methodology Register
Pubblicate (Issue 4/2009):
• Reviews = 4125
• Protocols = 1924
www.cochrane.org
www.cochrane.it
Revisioni Cochrane
efficacia di trattamenti medici e chirurgici
efficacia di interventi preventivi
(individuali e di popolazione)
efficacia di interventi organizzativi
costo/efficacia di interventi
… diagnosi...
Per condurre una revisione
Cochrane
Quesito di ricerca di interesse per il
gruppo
Gruppo di lavoro / coautori (4?)
Training e supporto da editor del gruppo /
centro cochrane italiano
Supporto finanziario e tempo da dedicare
(almeno 6 mesi)
Accesso a database bibliografici di
letteratura pubblicata e non pubblicata
Scrivere il protocollo
1) Background
– Perchè è importante?
– È un problema importante di sanità
pubblica?
– C’e’ incertezza nei risultati?
– Quali sono le ragioni teoriche per cui
questo intervento potrebbe essere
efficace
– Ci sono altre revisioni di letteratura?
Scrivere il protocollo
2) Obiettivi
– Quali sono i quesiti e le ipotesi?
3) Formulazione del quesito
– PICO(T)
Popolazione
Intervento
Confronti
Outcomes (Primari / Secondari)
Disegno di studio
Scrivere il protocollo
4) Pianificazione della strategia di ricerca
– Databases e mesh
5) Pianificazione dell’estrazione dei dati
– Outcomes
– Quanti revisori
– Valutazione di qualità (checklists)
6) Metodi di sintesi
– Descrizione studi
– Metodi di sintesi quantitativa
1. Procedure per la conduzione
della revisione sistematica
1. Quesito chiaramente formulato
2. Strategia di ricerca sistematica
3. Selezione ed estrazione dei dati
4. Valutazione della qualità degli studi
5. Sintesi dei dati
6. Interpretazione dei risultati
Quesito fattibile e chiaro
PICO
Popolazione
P
Intervento
I
Confronto
C
Outcomes rilevanti
O
È un quesito PICO?
Un quesito time-consuming:
What is the best strategy to prevent
smoking in young people?
Un quesito fattibile
Are mass media (or school-based or
community-based) interventions effective
in preventing smoking in young people?
Ma anche in questo caso il lavoro è molto
(forse si può restringere ulteriormente il
campo)………
The PICO(T) chart
Problem,
population
Intervention
Comparison
Outcome
Types of
studies
Young people
under 25 years
of age
a) Television
b) Radio
c) Newspapers
d) Bill boards
e) Posters
f) Leaflets
g) Booklets
a) School-based
interventions
b) No
intervention
a) objective
measures of
smoking (saliva
thiocyanate
levels, alveolar
CO)
b) self-reported
smoking
behaviour
c) Intermediate
measures
(intentions,
attitude,
knowledge,
skills)
d) Media reach
a) RCT
b) Controlled
before and after
studies
c) Time series
designs
2. Procedure per la conduzione
della revisione sistematica
1. Quesito chiaramente formulato
2. Strategia di ricerca sistematica
3. Selezione ed estrazione dei dati
4. Valutazione della qualità degli studi
5. Sintesi dei dati
6. Interpretazione dei risultati
Electronic searching
Database di interesse per il quesito:
– Medical: Medline, EMBASE, CINAHL
– Social Science: PsycINFO, Social Science
Citation Index, Sociological Abstracts
– Educational: ERIC
– Other: AGRIS (agricultural), SPORTSDiscus
(sports), EconLit (economics)
– Other registers: CENTRAL (Cochrane), BiblioMap
(EPPI-Centre), HealthPromis (HDA)
Necessità di costruire diverse strategie per i diversi
database (utilizzano diversi vocabolari)
Unpublished literature
Hand searching di atti dei convegni
Database delle tesi (US)
Scanning bibliographies / reference lists degli
studi primari, inclusi, esclusi pertinenti e
review
Contatto con case farmaceutiche, istituzioni
internazionali leader in quel campo, autori dei
lavori inclusi
3. Procedure per la conduzione
della revisione sistematica
1. Quesito chiaramente formulato
2. Strategia di ricerca sistematica
3. Selezione ed estrazione dei dati
4. Valutazione della qualità degli studi
5. Sintesi dei dati
6. Interpretazione dei risultati
Details to collect / checklist
– Publication details
– Study design
– Population details
(n, characteristics)
– Intervention
details
– Theoretical
framework
– Provider
– Setting
– Target group
Study details (date,
follow-up)
Consumer
involvement
Process measures
– adherence,
exposure, training,
etc
Context details
Outcomes and
findings
Selezione degli studi ed
estrazione dei dati
deve essere sempre fatta in doppio
le inconsistenze tra i revisori sono risolte
in discussione o da un terzo revisore /
supervisore
Selezione: è necessario costruire un
database con tutti gli articoli esaminati per
registrare i risultati della valutazione
Estrazione dati: utili checklist
4. Procedure per la conduzione
della revisione sistematica
1. Quesito chiaramente formulato
2. Strategia di ricerca sistematica
3. Selezione ed estrazione dei dati
4. Valutazione della qualità degli studi
5. Sintesi dei dati
6. Interpretazione dei risultati
Perchè valutare la qualità?
La scarsa qualità dei trials può sovrastimare
l’effetto del trattamento:
– Inadequate allocation concealment esagera
l’effetto del trattamento del 35-41% (Moher
1998, Schulz 1995)
– Lack of blinding of subjects esagera
l’effetto del trattamento del 17% (Schulz
1995)
– Open outcome assessment esagera l’effetto
del trattamento del 35% (Juni 1999, Moher
1998)
Bias / quality criteria
1.
2.
3.
4.
5.
Selection bias
Allocation bias
Blinding (detection bias)
Withdrawals and drop-outs
Statistical analysis / confounding
1. Selection bias
Metodi di arruolamento
Differenze nei metodi di arruolamento e
nei criteri di eligibilità dei pazienti
possono rendere i risultati non
comparabili
2. Allocation bias
È necessario che i pazienti nei gruppi siano
simili per caratteristiche al baseline
La randomizzatione dovrebbe garantirlo
- controllo del possibile fallimento della
randomizzazione
L’allocazione dei pazienti ai gruppi
dovrebbe essere gestita da un centro
esterno e nascosta a chi gestisce i pazienti
3. Blinding
Blinding
Chi riceve (singolo)
– Chi somministra il trattamento (doppio)
– Chi effettua l’analisi dei dati (triplo)
– Chi rileva i sintomi al follow-up
–
4. Drop-out
Attrition bias differenze sistematiche nel drop-out dei
pazienti tra i diversi gruppi
5. Analisi Statistica
Power / sample size calculation
Intention-to-treat
Controllo del confondimento
Unità di analisi (studi a Cluster allocano
per scuola/comunità etc ma generalmente
analizzano i dati a livello individuale…
l’unità di analisi è diversa, può produrre
sovrastima dell’effetto)
Risk of bias tables
Summary of risk
of bias
evaluation
5. Procedure per la conduzione
della revisione sistematica
1. Quesito chiaramente formulato
2. Strategia di ricerca sistematica
3. Selezione ed estrazione dei dati
4. Valutazione della qualità degli studi
5. Sintesi dei dati
6. Interpretazione dei risultati
Steps
1. Tabella descrittiva degli studi
2. Controllo dell’eterogeneità
a. No – meta-analysis
b. Yes – identificare i possibili
fattori determinanti, fare
analisi di sottogruppo, sintesi
narrativa
3. Analisi di sensibilità (con e
senza studi bassa qualità)
4. Controllare publication bias
Not all systematic reviews are
meta-analyses
“…it is always appropriate and desirable to
systematically review a body of data, but it
may sometimes be inappropriate, or even
misleading, to statistically pool results
from separate studies. Indeed, it is our
impression that reviewers often find it
hard to resist the temptation of combining
studies even when such meta-analysis is
questionable or clearly inappropriate.”
Egger et al. Systematic reviews in health care. London: BMJ Books,
2001:5
Metanalisi
E’ la sintesi quantitativa, effettuata
mediante tecniche statistiche, dei risultati
degli studi
Il termine è usato come sinonimo di
revisione sistematica, ma è solo la tecnica
statistica utilizzata per combinare gli studi
Una revisione sistematica può contenere –
o meno - una metanalisi
Esempio di metanalisi
Quesito
Valutazione di efficacia
dell'impiego profilattico di antibiotici vs
placebo
nel caso di rottura prematura pretermine
delle membrane
per la prevenzione delle infezioni neonatali
Interpretazione del grafico
metanalitico
Graficamente, la linea verticale indica il
punto di pari efficacia fra i trattamenti a
confronto (RR o OR = 1)
Le linee orizzontali rappresentano i singoli
studi inclusi
– Il punto centrale di ogni linea orizzontale
rappresenta la stima del rischio relativo
fornita da quello studio
– La lunghezza della linea orizzontale
rappresenta l’intervallo di confidenza del
rischio stimato dallo studio
Interpretazione del grafico
metanalitico
Il diamante in basso rappresenta il
risultato cumulativo della metanalisi
– OR=0.7
l'intervallo di confidenza, più ristretto
di quello dei singoli studi, indica un
minore grado di imprecisione: è
statisticamente significativo
Interpretazione del grafico
metanalitico
L'intervallo di confidenza espresso dal
diamante mostra, in questo caso che
l'impiego profilattico di antibiotici nella rottura
prematura pretermine delle membrane
riduce la frequenza di infezioni neonatali
una conclusione che non sarebbe possibile
trarre dalla maggior parte degli studi,
considerati singolarmente
Utilità della metanalisi
La metanalisi risulta utile quando esiste
incertezza nella valutazione di efficacia di un
trattamento
– i risultati dei singoli studi non sono univoci
– i singoli studi sono effettuati su pochi pazienti e -
considerati singolarmente - sono scarsamente
affidabili
La combinazione dei dati diminuisce
l’imprecisione dei risultati dei singoli studi. Il
risultato complessivo è espresso con le
stesse misure di associazione utilizzate per i
singoli studi (RR, OR, etc)
Esempio 2
0.1 0.2
1
5
10
favours controls favours treatment
Esempio 3
Esempio 3
Publication bias: Funnel plots
No publication bias = symmetrical inverted funnel
Effect size vs. sample size
i.e. Smaller studies without statistically significant
effects remain unpublished, gap in bottom corner of
graph
6. Procedure per la conduzione
della revisione sistematica
1. Quesito chiaramente formulato
2. Strategia di ricerca sistematica
3. Selezione ed estrazione dei dati
4. Valutazione della qualità degli studi
5. Sintesi dei dati
6. Interpretazione dei risultati
Conclusioni
Le conclusioni dovrebbero tener conto di:
Forza dell’evidenza
Bias / limitazioni della review
Applicabilità dei risultati
Rapporto beneficio / danno
Implicazioni per
– Clinica
– Sanità pubblica
– Ricerca
GRADE qualità dell’evidenza
Summary of findings tables
Cochrane Library: psichiatria
Gruppi potenzialmente correlati alla psichiatria:
Behavioural medicine field
Depression, anxiety and neurosis
Developmental, psychosocial and learning
problems
Drugs and alcohol
Schizophrenia
Tobacco addiction
Gruppo : Depression, anxiety
and neurosis
45 titoli approvati
57 protocolli
106 revisioni pubblicate
Withdrawn
Updated/new
Most visited
UPDATED !!!
MOST VISITED !!!
MOST VISITED !!!
Per aiuto e supporto
[email protected]
…. Grazie per l’attenzione….!!
