SINTESI DEI DATI PROLOGO CAPITOLO 1 CAPITOLO 2 CAPITOLO 3 CAPITOLO 4 CAPITOLO 5 CAPITOLO 6 CAPITOLO 7 Protocollo Quesito Background Ricerca degli studi Selezione degli studi Valutazione critica degli studi Estrazione dei dati Raccolta, comparazione e riepilogo dei risultati dei singoli studi inclusi in una revisione. Sintesi e analisi dei dati CAPITOLO 8 EPILOGO SINTESI DEI DATI CONTENUTO Confrontare i dati estratti QUANTITATIVE: uso di tecniche formali statistiche Considerare la forza delle evidenze come le meta analisi Esplorare la coerenza degli effetti osservati tra gli studi Investigare possibili ragioni di incongruenza. NARRATIVE: quando le prime non sono possibili discussione delle caratteristiche degli studi e dei loro risultati Trarre affidabili conclusioni dal corpo di evidenze assemblato. QUALE APPROCCIO SINTESI NARRATIVE Dipende dal quesito e dalla tipologia di studi che si prevede saranno trovati Dovrebbe essere pianificata nel protocollo. Approccio testuale che fornisce un’analisi della relazione all’interno e tra gli studi e una valutazione generale della forza delle evidenze. L’approccio narrativo e quantitativo non sono esclusivi. oGli studi sono troppo diversi sia dal punto di vista clinico che metodologico per essere combinati in una meta analisi oInterpretare le evidenze raccolte dove esista una meta-analisi Componenti della sintesi narrativa possono essere incorporati in una revisione quantitativa Una revisione principalmente narrativa può incorporare alcune analisi statistiche SINTESI DESCRITTIVA INIZIALE Sia le sintesi narrative che quantitative dovrebbero cominciare con un riepilogo descrittivo chiaro degli studi inclusi. (tabelle) esempio Tipologia dello studio Tipologia di intervento Numero di partecipanti, Riepilogo delle caratteristiche dei partecipanti Gli outcome Le misure di outcome. Michael Klompas et al Reappraisal of Routine Oral Care With Chlorhexidine Gluconate for Patients Receiving Mechanical Ventilation Systematic Review and Meta-analysis JAMA Intern Med..2014.359 Published online March 24, 2014. SINTESI NARRATIVE GUIDANCE... Essendo un processo soggettivo anche loro dovrebbero essere redatta con un processo rigoroso e trasparente. Un progetto dell’Economic and Social Research Council (ESRC) http://www.esrc.ac.uk Linea guida sulla conduzione di sintesi narrative nelle revisioni sistematiche. Recepita dal Centre for Review and Dissemination, University of York Jennie Popay, Helen Roberts, Amanda Sowden, Mark Petticrew, Lisa Arai, Mark Rodgers, Nicky Britten With Katrina Roen and Steven Duffy. 2006 Guidance on the Conduct of Narrative Synthesis in Systematic Reviews: A Product from the ESRC Methods Programme La guida offre sia una struttura generale che specifici strumenti e tecniche per aumentare trasparenza e affidabilità delle sintesi narrative Centre for Reviews and Dissemination, University of York 2009 Systematic Review. CDR’s guidance for undertaking reviews in health care. 48-53 (http://www.lancaster.ac.uk/shm/research/nssr/research/dissemination/publications.php) STRUTTURA GENERALE Sviluppare una teoria su l’intervento, perché e per chi come SCHEMA GENERALE lavora Non per forza sequenziali Sviluppare una sintesi preliminare dei risultati dei singoli studi Esplorare le relazioni all’interno e tra gli studi Valutare la solidità delle evidenze ma neanche totalmente indipendenti Non obbligatorie ma giustificare la selezione nella sezione di metodi della revisione Teachers’ salaries increase SVILUPPARE UNA TEORIA: COME LAVORA L’INTERVENTO, PERCHÈ E PER CHI Teacher morale improves Classroom climate becomes more pleasant Teachers give up their second jobs and put full energies into teaching Abler people are attracted to teaching Teachers work harder at teaching and put more effort into preparation and pedagogy Teachers develop more congenial relationships with students Teachers prepare lessons more thoroughly School districts hire abler teachers Students understanding of their material improves Students seek to maintain good relations with their teachers Teachers employ a greater variety of pedagogical strategies Abler teachers teach more effectively Non ha lo stesso ruolo in tutte le revisioni Scarso in una revisione su l’effetto di un farmaco perché i meccanismi di azione saranno già stati spiegati. Importante in una revisione che valuta l’effetto di un programma psicosociale o educativo (catena causale che collega l’intervento all’outcome d’interesse) FORMA DESCRITTIVA O UN DIAGRAMMA Jennie Popay, et al. 2006 Students work harder Guidance on the Conduct of Narrative Synthesis in Systematic Reviews: A Product from the ESRC Methods Programme, 13 Teachers teach more effectively Increased student achievement Figure 3. Example of a Programme Theory model: mechanisms by which higher teachers’ pay may be linked to increased student achievement (from Weiss, 1998) Interventions to increase use and function of smoke alarms: implicit theory of change model esempio SVILUPPARE UNA SINTESI PRELIMINARE DEI RISULTATI DEI SINGOLI STUDI Riunire, organizzare e descrivere i risultati degli studi Descrizione testuale degli studi Paragrafo descrittivo per ogni studio incluso Raggruppamenti e cluster Raggruppamento studi inclusi per descrizione e schemi interni e tra gli studi. Tabulazione Rappresentazione visiva dei dati Trasformare i dati in una misura comune Dati presentati in una misura comune Il conteggio come uno strumento di Direzione dell’effetto, categorie, pesi e punteggi descrizione Centre for Reviews and Dissemination, University of York 2009 Systematic Review. CDR’s guidance for undertaking reviews in health care. 50 Trasformare i dati: analisi tematiche Identificare in modo sistematico le tematiche e/o i concetti principali Trasformare i dati: analisi di contenuto Convertire i dati in frequenze ESPLORARE LE RELAZIONI ALL’INTERNO E TRA GLI STUDI Analisi dei dati emersi dalla sintesi preliminare per identificare i fattori che potrebbero spiegare le variazioni nelle dimensione e nella direzione dell’effetto STRUMENTI Grafici, frequenze, distribuzioni, forest plot ecc. Strumenti visivi e grafici per aiutare i revisori a esplorare le relazioni all’interno e tra gli studi Variabili moderatrici e analisi per sottogruppi Analisi di variabili che ci si aspetta influenzino l’effetto principale esaminato nella revisione: 1.caratteristiche variabili tra gli studi (disegno, ambiente) 2.caratteristiche del campione Reticoli di idee e mappe concettuali Metodi visivi per aiutare a costruire raggruppamenti e relazioni Esplorare le relazioni tra Le caratteristiche degli studi e i loro risultati I risultati dei diversi studi Descrizione qualitativa dei casi I dati descrittivi usati per provare a spiegare le differenze nei risultati statistici Triangolazione tra autori, concetti e metodologia Usare più di un punto di riferimento per spiegare il fenomeno: analisi dei dati in relazione al contesto (riferimenti disciplinari) e all’esperienza del ricercatore VALUTARE LA SOLIDITÀ DELLE EVIDENZE STRUMENTI Qualità metodologica degli studi Uso di una valutazione di validità Credibilità del processo di sintesi Riflettere in modo critico sul processo di sintesi: Qualità e quantità delle evidenze Il metodo di sintesi Chiarezza/trasparenza della sua descrizione Sistema di grading informazioni sulla solidità e generalizzabilità Metodologia usata per la sintesi, evidenze usate (possibili fonti di bias), deduzioni fatte, discrepanze e incertezze identificate, cambiamenti attesi nella tecnologia e nelle evidenze, aspetti che possono influenzare efficacia e implementazione. Controllare la sintesi con gli autori degli studi primari VALUTAZIONE SINTESI NARRATIVA Testare la validità delle interpretazioni e quanto i dati primari supportano la sintesi SINTESI QUANTITATIVA Guidance on the conduct of narrative synthesis in systematic reviews: a comparison of guidance-led narrative synthesis versus meta-analysis Rodgers M1, Arai L2, Britten N3, Petticrew M4, Popay J5, Roberts H2, Sowden A1 1 CRD, University of York, 2 Child Health Research and Policy Unit, City University,3 Peninsula Medical School, Universities of Exeter and Plymouth, 4 MRC Social and Public Health Sciences Unit, University of Glasgow, 5 Institute for Health Research, University of Lancaster Objectives • To evaluate the impact of applying guidance on the conduct of narrative synthesis to a systematic review of effects. • To compare the results and conclusions of this guidanceled narrative synthesis with those of a published Cochrane meta-analysis of the same group of studies. Methods • Initially, we undertook a review of the methodological literature to develop draft guidance on the conduct of narrative synthesis in systematic reviews (see box). • After developing a draft of the guidance, we applied it to a synthesis of 11 RCTs that had previously been included in • Ten of the 19 “tools and techniques” described in the guidance were considered relevant and were used in the synthesis (see Figure 1). • Both the narrative synthesis and the meta-analysis led to the conclusion that educational interventions resulted in only modest increases in smoke alarm ownership and function and that there was insufficient data on injury/burn prevention. • Both syntheses suggested that including previously-injured children in a trial might moderate the effectiveness of a safety education intervention. • The narrative synthesis led to recommendations for future research relating to improvements in outcome Conclusions • For this example, the results and conclusions of metaanalysis and guidance-led narrative synthesis of the same effectiveness studies were broadly similar. • The availability of point estimates in subgroup and sensitivity analyses may allow the meta-analyst greater confidence to draw ‘firm’ conclusions about moderators of effects. • The detailed scrutiny of studies allowed by narrative synthesis may provide additional insights into implications for further research. • The guidance provides a useful framework for the conduct of narrative synthesis, particularly for increasing http://www.york.ac.uk/inst/crd/Posters/Guidance%20on%20the%20conduct%20of%20narrative%20synthesis%20 in%20systematic%20review.pdf SINTESI QUANTITATIVA Conteggio dei risultati positivi e di quelli negativi CONTEGGIO Comparare numero studi positivi con quello degli studi negativi PROBLEMI Combinazione statistica dei risultati di due o più studi separati 1)Agli studi grandi e piccoli viene dato lo stesso valore 2)Investigatori diversi possono valutare in modo diverso lo stesso studio: Negativo per assenza significatività statistica Positivo per piccolo effetto ma importante dal punto di vista clinico. COMBINAZIONE STATISTICA META-ANALISI Combinazione statistica dei risultati di due o più studi separati META-ANALISI La meta-analisi è una tecnica clinico-statistica quantitativa che permette di combinare i dati di più studi condotti su uno stesso argomento, generando un unico dato conclusivo per rispondere ad uno specifico quesito clinico. De Berardis Meta-analisi Lab. Epidemiologia Clinica del Diabete e delle Malattia Croniche Istituto Mario Negri. Presentazione UN PO’ DI STORIA Pearson K. Report on certain enteric fever inoculation statistics. BMJ 1904;3:1243–6 Uno dei primi esempi di questo tipo di analisi risale ai primi anni del novecento ed è dovuta a Karl Pearson (matematico e statistico) Sviluppò una tecnica statistica allo scopo di trovare un accordo per studi di piccole dimensioni che presentavano risultati divergenti; UN PO’ DI STORIA Il termine meta-analisi è entrato a far parte della letteratura scientifica solamente in tempi molto recenti, l’interesse intorno a questa disciplina si è manifestato sostanzialmente negli ultimi 25 anni. Il primo uso del termine in senso statistico è del 1976 da parte di Gene V. Glass (ricercatore americano che lavora nel campo della psicologia educativa e delle scienze sociali). Glass, G. V (1976). Primary, secondary, and meta-analysis of research. Educational Researcher, 5, 3-8. PERCHE’ FARE UNA META-ANALISI Fornire omogeneità a risultati di studi clinici diversi Incrementare la potenza statistica di confronti fra campioni piccoli Migliorare la precisione della stima dell’efficacia di una terapia Studiare sottogruppi di pazienti nei diversi studi Fornire indicazioni su nuovi possibili studi Da: Pingitore Giuseppe 2011 Come si legge una meta-analisi FORZE DELLE META-ANALISI Combinare dati fra un elevato numero di studi individuali Aumentare il potere statistico per individuare differenze significative tra gli interventi Può fornire un risultato più preciso rispetto a un singolo lavoro Minimizza la soggettività nell’interpretazione degli studi individuali Karen Spithoff Syntesizing the evidence November 28 2012 Può volerci molto lavoro negli studi di pazienti ed esplorare le differenze tra i risultati degli studi Fornisce un risultato più generalizzabile tra i diversi ambienti Può aiutare a velocizzare l’introduzione di un intervento efficace nella pratica clinica DEBOLEZZE DELLE META-ANALISI problema I bias di pubblicazione possono gonfiare i risultati La validità della meta-analisi dipende da quella degli studi inclusi (GIGO: garbage in, garbage out) Karen Spithoff Syntesizing the evidence November 28 2012 Permette di fare considerazioni su sottogruppi Applicare i risultati ai singoli pazienti rimane un Devono essere disponibili un certo tipo di dati risultati possono inconcludenti Evidenzia la coerenza dei risultati tra gli studi Karen Spithoff Syntesizing the evidence November 28 2012 DEBOLEZZE DELLE META-ANALISI I FORZE DELLA META-ANALISI comunque essere Può dare una falsa impressione di certezza dei risultati e trascurare elementi soggettivi del processo Può mascherare differenze importanti tra gli studi Karen Spithoff Syntesizing the evidence November 28 2012 TIPOLOGIE DI META-ANALISI COMPONENTI DI UNA META-ANALISI La stima dell’effetto del trattamento Meta-analisi sui dati aggregati Le misure di incertezza intorno alla stima dell’effetto del trattamento Outcome dicotomici (morte) Outcome continui (variazioni di peso) Outcome Time to event (tempo di sopravvivenza totale) Altri (accuratezza diagnostica) Meta-analisi per dati individuali Raccolta dei dati di singoli pazienti dai trial originali e rianalisi i risultati Karen Spithoff Syntesizing the evidence November 28 2012 TIPOLOGIE DI OUTCOME: DICOTOMICI Esempio: morte, infezione, reintervento Misure più comuni Odds ratio (OR) Odds gruppo A / Odds gruppo B TIPOLOGIE DI OUTCOME: CONTINUI Esempio: giorni di degenza, dolore, variazioni di peso Misure più comuni 1)Differenza tra medie (gli studi hanno outcome con misure confrontabili: stesse scale) Media gruppo A – Media gruppo B Rischio relativo (RR) Rischio gruppo A / Rischio gruppo B Rischio attribuibile (RA) 2)Differenza delle medie standardizzata (gli studi hanno outcome misurati in modo diverso: differenti scale) 1) Media gruppo A – Media Gruppo B / Media ponderata della DS del gruppo A e del gruppo B Rischio gruppo A – Rischio gruppo B TIPI DI OUTCOME: TIME-TO-EVENT Effect of acyclovir on time to resolution of postherpetic neuralgia TIPI DI OUTCOME: TIME-TO-EVENT Esempio: sopravvivenza, tempo alla ricaduta 1)Due tipi di informazioni Se un evento ha avuto luogo Punto nel tempo dove avviene l’evento o se il paziente è uscito dallo studio 1)Due tipi di approcci meta analitici Riassuntivo con hazard ratio (HR) Spruance SL, Reid JE, Grace M, Samore M. Hazard Ratio in Clinical Trials. Antimicrob Agents and Chemotherapy Aug 2004:2787-2792. Tenere conto dei “censurati” e includere tutti i dati Convertire i dati in outcome binari Necessita i dati di tutti i partecipanti al punto definito nel tempo (p.e. sopravvivenza a un anno). Non bisogna tener conto dei censurati META-ANALISI: RAPPRESENTAZIONE GRAFICA PESO Forest plot Stima dell’effetto I.C. 95% Deaths/Patients Treatment Control O-E variance O-E 52/97 69/101 -11.3 27.6 693/927 720/915 -35.0 315.6 Stima cumulativa 0.0 0.5 Treatment better 1.0 1.5 2.0 Treatment worse De Berardis Meta-analisi Lab. Epidemiologia Clinica del Diabete e delle Malattia Croniche Istituto Mario Negri. Ai diversi studi viene attribuito un peso differente a seconda della numerosità del campione studiato. più è grande uno studio e più esso influenzerà il risultato globale della meta-analisi Karen Spithof Synthesizing the evidence 28/12/2012 Presentazione META-ANALISI ETEROGENEITÀ Variabilità negli effetti del trattamento tra gli studi Il principale presupposto di una meta analisi è che gli studi siano sufficientemente simili per poter combinare i risultati. CIOE’ Non siano eterogenei STATISTICA: sono stati utilizzati metodi statistici differenti nei vari studi PERCHÈ È IMPORTANTE ETEROGENEITÀ: IDENTIFICAZIONE Se gli studi sono eterogenei i risultati potrebbero non essere significativi CLINICA: differenze relative ai pazienti, metodologie di somministrazione dei trattamenti o dei controlli, valutazione degli esiti. 1) Ispezione visiva dei dati Accordo tra gli studi 2) Valutazione della eterogeneità Se la differenza tra gli studi non è dovuta solo al caso, la combinazione dei trial potrebbe non essere la risposta giusta al quesito che ci siamo posti. Cochran’s chi square (X2) o Q test Ci dice se esiste eterogeneità Criterio comune per un’eterogeneità significativa: p<0.10 I2 (Inconsistenza) Ci dice quanta eterogeneità c’è (% della variabilità che è dovuta alla eterogeneità piuttosto che al caso) Criterio comune per una eterogeneità significativa (>50%) ISPEZIONE VISIVA ISPEZIONE VISIVA Guardare come sono distribuite le linee. Le stime dovrebbero essere sullo stesso lato Gli intervalli di confidenza dovrebbero sovrapporsi. Funnel plot Se si sovrappongono il caso rimane una spiegazioni plausibile delle differenze nella stima puntuale. Se non si sovrappongono il caso è una spiegazione improbabile. Intervalli di confidenza molto separati fanno pensare alla presenza di un’importante variabilità che richiede una spiegazione. ISPEZIONE VISUALE TEST Q DI COCHRANE Il test valuta se le differenze tra i risultati degli studi sono compatibili solo con il caso o sono dovute a eterogeneità reale. VALUTAZIONE DELLA ETEROGENEITÀ TEST Q DI COCHRAN χ2 INCONSISTENZA I2 TEST Q DI COCHRAN Per prima cosa bisogna calcolare i gradi di libertà (df) che corrispondono al numero degli studi inclusi nella meta-analisi – 1. Se il test è superiore ai gradi di libertà risulta respinta l’ipotesi nulla (c’è eterogeneità). Se il test è inferiore ai gradi di libertà risulta accettata l’ipotesi nulla (non c’è eterogeneità). TEST Q DI COCHRAN NO ETEROGENEITÀ SIGNIFICATIVA (SIGNIFICATIVITÀ STATISTICA) Confrontare i gradi di libertà e il valore del test nelle tavole di distribuzione χ2 χ2 è statisticamente significativo (generalmente p<0,1) c’è eterogeneità in modo certo. Se il test Cochran ETEROGENITÀ SIGNIFICATIVA Il livello di significatività per χ2 è spesso stabilito a 0,1 per il basso potere che questo test ha di individuare l’eterogeneità Karen Spithoff Syntesizing the evidence November 28 2012 TEST DI COCHRAN Come test per valutare l’eterogeneità ha un basso potere soprattutto se il numero di studi e piccolo Ha invece troppo potere quando il numero INCONSISTENZA Valuta il grado di influenza della eterogeneità sulle conclusioni della meta analisi. I2 = 100x(Q-df)/Q degli studi è alto. Q è la Q di Cochran, il test di eterogeneità, e df i suoi gradi di libertà Julian P T Higgins, Simon G Thompson, Jonathan J Deeks, Douglas G Altman Measuring inconsistency in meta-analyses BMJ 2003 327 557-560 INCONSISTENZA NO ETEROGENEITÀ SIGNIFICATIVA I valori vanno da 0% a 100% dove 0 indica nessuna eterogeneità osservata. 1)0 - 40 potrebbe non essere importante 2)30 - 60 può rappresentare un’eterogeneità moderata ETEROGENITÀ SIGNIFICATIVA 3)50 - 90 può rappresentare eterogeneità 4)75 - 100 considerevole eterogeneità Karen Spithoff Syntesizing the evidence November 28 2012 CHE COSA FARE QUANDO C’È ETEROGENEITÀ QUATTRO APPROCCI MODELLI DI META-ANALISI Due modelli principali per la sintesi dei risultati degli studi Ignorarla e usare il modello a effetti fissi Fare un test e non procedere alla meta-analisi se c’è eterogeneità Incorporarla e usare il modello a effetti random Spiegarla facendo analisi per sottogruppi o meta regressioni Modello a effetti fissi Modello a effetti random Gli approcci differiscono su come combinano e pesano gli studi MODELLO A EFFETTI FISSI MODELLO A EFFETTI RANDOM Si ipotizza che ci sia un vero valore generale uguale per ogni studio. La variabilità dei risultati fornita dalla meta-analisi è influenzata solo dal caso. Si ipotizza che ogni singolo studio abbia il proprio vero effetto e permette di analizzare le differenze tra gli studi. Karen Spithoff Syntesizing the evidence November 28 2012 QUALE MODELLO USARE I risultati sono simili quando vi sono piccole differenze nei risultati degli studi I risultati possono essere molto differenti quando ci sono pochi studi e/o le dimensioni degli studi sono molto diverse Spesso i risultati sono simili ma quelli del modello a effetti random hanno degli intervalli di confidenza più ampi. Karen Spithoff Syntesizing the evidence November 28 2012 QUALE MODELLO USARE Alcuni ritengono che la eterogeneità sia inevitabile per cui dovrebbe sempre essere usato un modello a effetti random Altri dicono che solo il modello a effetti fissi abbia senso e se non si può dare una spiegazione all’eterogeneità, non bisognerebbe fare la metaanalisi Se non si è sicuri può valer la pena fare tutti e due Bisognerebbe prendere la decisione a priori ANALISI PER SOTTOGRUPPI Vengono condotte meta-analisi separate su sottogruppi Caratteristiche dei partecipanti Caratteristiche del trattamento e dell’intervento Modalità di conduzione dello studio Qualità metodologica dello studio L’analisi per sottogruppi dovrebbe essere pianificata in anticipo per evitare I bias Da: Pingitore Giuseppe 2011 Come si legge una meta-analisi ESEMPIO Karen Spithof Syntesizing the evidence November 28 2012 ANALISI DI SENSIBILITÀ Misura la forza dei risultati in rapporto a problemi fondamentali contenuti negli studi Ricalcolare la stima globale di effetto escludendo i fattori che potrebbero avere un’influenza particolare sul risultato della meta-analisi Uno studio di grosse dimensioni Studi di bassa qualità (non c’è randomizzazione, alto rischio di bias) Uno studio con risultati molto diversi dagli altri Sottogruppi di pazienti Risultati coerenti tra loro rafforzano l'evidenza e la generalizzabilità dei risultati osservati Da: Pingitore Giuseppe 2011 Come si legge una meta-analisi BIAS DI PUBBLICAZIONE • Diversa probabilità di pubblicazione di risultati positivi rispetto a quelli negativi Se non c’è il bias il funnel avrà un aspetto simmetrico Se c’è il bias il funnel sarà asimmetrico o distorto Una meta-analisi può individuare ma non correggere bias di pubblicazione FUNNEL PLOT 1) Simmetrico: assenza di bias 2) Asimmetrico: bias di pubblicazione, mancano gli studi a basso campione (cerchietto bianco) (stima spostata verso sinistra) 3) Asimmetrico: presenza di bias dovuto a scarsa qualità degli studi a basso campione Cipriani Andrea, Barbui Corrado Dalle revisioni narrative a quelle sistematiche e alle metanalisi, per un approccio moderno alla valutazione dei trattamenti farmacologici in psichiatria NÓOς