Presentazione di PowerPoint

AREA CRITICAL APPRAISAL
INTRODUZIONE ALLE MISURE DI EFFICACIA
© dott. Alessandro Battaggia
Tre steps
a) Misurare l' outcome in ciascuno dei due bracci
b) Confrontare matematicamente i due bracci
(stima puntuale del Risultato di Efficacia)
c) Quantificare la precisione della stima
(stima intervallare del Risultato di Efficacia)
Popolazione
Campione
Farmaco
Placebo
Popolazione
Campione
Farmaco
Placebo
Farmaco
Placebo
Popolazione
Campione
Farmaco
Placebo
Risultato reale
Farmaco
Popolazione
Placebo
Stima puntuale
Campione
Inferenza statistica
'stima puntuale'
= risultato calcolato nel campione
'stima intervallare
= grado di confidenza con cui la
stima puntuale è
del valore
rappresentativa
reale (precisione della
stima)
'valore reale'
generato il
(PARAMETRO)
= risultato che avremmo calcolato
coinvolgendo la intera
popolazione che ha
campione
TUTTI GLI ESEMPI SARANNO
TARATI SU UNO STUDIO CON
TROLLATO IN CUI UN
INTERVENTO DOVREBBE
RIDURRE LA FREQUENZA DI
UN EVENTO AVVERSO
stai studiando il Killeran R
un nuovo antibiotico contro le gravi setticemie da G-
vuoi sapere se il farmaco riduce la mortalità a 20 giorni
nei pazienti affetti da coma setticemico da gram negativi e
come obiettivo secondario, se è in grado di normalizzare
la temperatura corporea al 5° giorno di terapia
Primo outcome: temperatura al 5° giorno
KILLERAN
37°
R
(media nel braccio)
Mean difference = 39 -37
(confronto tra i bracci)
AB USUALE
39°
(media nel braccio
Cosa ho misurato in ciascun braccio e come posso confrontare i due bracci?
Quando i valori sono in scala intervallare
unità di misura dell’ outcome
= media
confronto tra i bracci
= differenza tra medie
Secondo outcome: mortalità al 20° giorno
KILLERAN
10 morti
R
1) R.Assoluto
2) Odds
ARR RR RRR OR
AB USUALE
20 morti
1) R.Assoluto
2) Odds
Cosa misuro in ciascun braccio e come posso confrontare i due bracci?
Quando i valori sono in scala dicotomica
Unità di misura dell’ outcome = a) Rischio Assoluto
b) Odds
Confronto tra i bracci
a) Differenza tra Rischi Assoluti
b) Rapporto tra Rischi Assoluti
c) Differenza tra Odds
d) Rapporto tra Odds
psst..non
si usa!
Rischi assoluti
percentuali
Risk Difference
differenze tra percentuali
con cosa avremo
a che fare?
Odds
Rapporti tra
eventi e non
eventi
Odds Ratio
rapporti di rapporti
Rischio relativo
percentuali di percentuali
…prima di farci prendere
dal panico vediamo cosa
varia usando differenze
o rapporti...
A
A
20%
2%
<---..com' è B rispetto ad A? --->
B
B
10%
1%
B contiene il 50% di grasso
B contiene il 50% di grasso
rapporti tra percentuali: (0.10/0.20)=0.50 (0.01/0.02)=0.50
B contiene 10 punti di grasso in meno
B contiene 1 punto di grasso in meno
differenze tra percentuali: (0.20-0.10)=0.10
(0.02-0.01)= 0.01
come faccio a misurare
l' outcome in uno studio
di eventi??
CI SONO DUE SISTEMI PER MISURARE L' OUTCOME
A) Rischio Assoluto (AR)
B) Odds
..attraverso una tabella di contingenza
Evento
Non evento
Intervento
a
b
a+b
Controlli
c
d
c+d
Esempio: immaginiamo di misurare la 'mortalità' nei due bracci
Morti
Non morti
Tot.
Killeran
10
90
100
Controlli
20
80
100
Primo metodo: RISCHIO ASSOLUTO DI MORTE (AR)
Morte si
Morte no
Killeran
ARi = 10 / 100
10
90
100
Controlli
ARc = 20 / 100
20
80
100
= (n. morti) / (n. pazienti) nel braccio
Secondo metodo: ODDS DI MORTE
Morte si
Morte no
Killeran
Odds i = 10 / 90
10
90
100
Controlli
Odds c = 20 / 80
20
80
100
= (n. morti) / (n. non morti) nel braccio
…adesso lasciamo da parte
L' Odds e parliamo solo del
Rischio Assoluto..
A) Rischio Assoluto
(AR)
Indica la frequenza dell' evento in un braccio
num erod i eventi
num erod i pazi enti
ARi = 10 / 100 = 0,10
Morti
Non successo
Morti
ci dice quello che
sarebbe
senza l' intervento
Farmaco si
10
90
100
Farmaco no
20
80
100
ARc = 20 / 100 = 0,20
RISCHIO BASALE
Rischio dei Controlli (Arc)
o Rischio Basale o
• fornisce informazioni su ciò che capiterebbe in assenza
dell' intervento studiato
•permette il confronto delle caratteristiche dei soggetti
arruolati in trial diversi
.. Facciamo due esempi: studio Hope e studio HPS-->
Studio HOPE - ramipril vs placebo
Studio HOPE - Rischio Basale di morte
Studio HPS - Simvastatina vs placebo
Studio HPS - Simvastatina vs placebo
Studio HPS - Rischio Basale di morte
Va bene, ma come
faccio a confrontare i
risultati (Rischi assoluti)
rilevati nei due bracci??
Ci sono due sistemi principali..
1) Riduzione Assoluta di Rischio
(ARR)
2) Rischio Relativo
(RR)
.. e due accessori
3) Number Needed To Treat
(NNT)
2) Riduzione relativa di
Rischio (RRR)
Riduzione Assoluta di Rischio
(ARR)
AR controlli- AR intervento
ARR POSITIVO
ARi = 10 / 100 = 0,10
ARc = 20 / 100 = 0,20
Morti
Non successo
Morti
ci dice quello che
sarebbe
senza l' intervento
Farmaco si
10
90
100
Farmaco no
20
80
100
ARR = (ARc - ARi) = (0,20-0,10) =0,10
= LA FREQUENZA DELL' EVENTO E'
MINORE NEL GRUPPO DI INTERVENTO
ARR NEGATIVO
ARi = 20 / 100 = 0,20
ARc = 10 / 100 = 0,10
Morti
Non successo
Morti
ci dice quello che
sarebbe
senza l' intervento
Farmaco si
20
80
100
Farmaco no
10
90
100
ARR = (ARc - ARi) = (0,10-0,20) = -0,10
= LA FREQUENZA DELL' EVENTO E'
MAGGIORE NEL GRUPPO DI INTERVENTO
ARR ZERO
ARi = 10 / 100 = 0,10
ARc = 10 / 100 = 0,10
Morti
Non successo
Morti
ci dice quello che
sarebbe
senza l' intervento
Farmaco si
10
90
100
Farmaco no
10
90
100
ARR = (ARc - ARi) = (0,10-0,10) = 0
= LA FREQUENZA DELL' EVENTO E' UGUALE NEI DUE BRACCI
(IPOTESI NULLA SODDISFATTA)
CALCOLATE VOI LA RIDUZIONE ASSOLUTA DI RISCHIO (ARR)
Studio HOPE
ARc = 569/4652 = 0,122
ARi = 482/4645 = 0,103
ARR = ARc-ARi = 0,019
Riduzione assoluta di rischio (ARR)
Meglio con
il trattamento
0.10
0.05
Peggio con
il trattamento
0
-0.05
-0.10
ipotesi nulla ARR
Riduzione assoluta di rischio (ARR)
Meglio con
il trattamento
Peggio con
il trattamento
C
B
A
0.10
0.05
0
-0.05
-0.10
Intervalli di confidenza al 95%
Stima puntuale
(CAMPIONE)
Stima intervallare
(INTERVALLO DI CONFIDENZA)
range entro cui si trova il vero valore
(quello della popolazione) con una attendibilità del 95 %
Riduzione assoluta di rischio (ARR)
Meglio con
il trattamento
Peggio con
il trattamento
C
B
SIGNIFICATIVO
A NON SIGNIFICATIVO
SIGNIFICATIVO
0.10
0.05
0
-0.05
-0.10
Sintesi ARR
0,10
0,20
RCT A
ARR = 0.10
0,01
RCT B
0,02
ARR = 0.01
Morti intervento
Morti controllo
Vantaggi di Risk Difference (ARR)
•descrive il fenomeno in modo realistico
•è ben correlato al significato clinico
•consente il calcolo del NNT (vedi)
Svantaggi
•quando ha molti decimali è poco intuibile
AR i = 182/3164
ARc = 200/3157
ARR= -0,0058
…rilassiamoci un po’ con
Il calcolo del Number
Needed to Treat (NNT)..
Number Needed To Treat
(NNT)
1
AR R
indica il numero di pazienti che occorre trattare
per ottenere il risultato in un paziente
CALCOLATE VOI IL NUMBER NEEDED TO TREAT (NNT)
Studio
Studio
HOPE
HOPE
ARc = 569/4652 = 0,122
ARR = ARc-ARi = 0,019
ARi = 482/4645 = 0,103
NNT = 1/ARR = 1/0,019 = 52
(NNT) -1
indica il numero di pazienti che occorre trattare
inutilmente per ottenere il risultato in un paziente
Esiste un valore ideale di NNT?
NNT 1
Quali sono i valori accettabili di NNT?
•NNT dipende da ARR
•piu' piccola è ARR, più grande è NNT
•se consideriamo 'accettabile' ARR, è 'accettabile' anche NNT
Quale valore di NNT soddisfa l' ipotesi nulla?
NNT  
Number Needed to Treat
Malattia
Angina
EmicranIa
Stroke
prevenzione
primaria
Stroke
prevenzione
Secondaria
Intervento
controlli outcome NNT IC 95%
Isosorbide
dinitrato
Placebo
Prevenzione
angor da sf.
5
2,0-21
Sumatriptan
Placebo
Risoluzione
entro due ore
2
1,8-2,2
Placebo
Prevenzione
di uno stroke
ad un anno
43
27-95
Placebo
Prevenzione
di uno stroke
ad un anno
65
38-224
Clortalidone+ate
nololo
Sinvastatina
…adesso facciamoci coraggio
e affrontiamo il Rischio
Relativo..
Le faccio
uno sconto
del 75% !
Di quanto è stato abbattuto
il prezzo iniziale ?
0.75
RRR = riduzione relativa di
rischio
Dopo lo sconto quanto
resta del prezzo iniziale ?
0.25
RR = rischio relativo
Qual' era il prezzo iniziale ?
Arc = Rischio basale
Non lo so (Rischio assoluto dei
controlli)
Questo farmaco abbassa
la mortalità del 50%
PRESCRIVERESTI QUESTO FARMACO?
Le faccio
uno sconto
del 50% !
Di quanto è stato abbattuto
il prezzo iniziale ?
0.50
RRR = riduzione relativa di
rischio
Dopo lo sconto quanto
resta del prezzo iniziale ?
0.50
RR = rischio relativo
Qual' era il prezzo iniziale ?
Arc = Rischio basale
Non lo so (Rischio assoluto dei
controlli)
Rischio Relativo
(RR)
AR i
AR c
Indica la frazione di rischio basale rimasta
dopo l' intervento
CALCOLATE VOI IL RISCHIO RELATIVO (RR)
Studio HOPE
ARc = 569/4652 = 0,122
RR = Ari/ARc = 0,844
ARi = 482/4645 = 0,103
Riduzione Relativa di Rischio
(RRR)
RRR  (1RR)
Indica la frazione di rischio basale abbattuta
dall' intervento
CALCOLATE VOI LA RIDUZIONE RELATIVA DI RISCHIO (RRR)
Studio HOPE
ARc = 569/4652 = 0,122
RR = Ari/ARc = 0,844
ARi = 482/4645 = 0,103
RRR = 1-RR = 1-0,844 = 0,156
Il ramipril
abbatte la
mortalità
basale del
15,6%!
Di quanto è stato abbattuto
il rischio iniziale ?
0,156
RRR = riduzione relativa di
rischio
Dopo l'intervento quanto
resta del rischio iniziale ?
0,844
RR = rischio relativo
Qual' era il rischio iniziale ?
0,122
Arc = Rischio basale
(Rischio assoluto dei
controlli)
RR < 1
ARi = 10 / 100 = 0,10
ARc = 20 / 100 = 0,20
Morti
Non successo
Morti
ci dice quello che
sarebbe
senza l' intervento
Farmaco si
10
90
100
Farmaco no
20
80
100
RR = (ARi / ARc) = (0,10/0,20) =0,50
= LA FREQUENZA DELL' EVENTO E'
MINORE NEL GRUPPO DI INTERVENTO
RR > 1
ARi = 20 / 100 = 0,20
ARc = 10 / 100 = 0,10
Morti
Non successo
Morti
ci dice quello che
sarebbe
senza l' intervento
Farmaco si
20
80
100
Farmaco no
10
90
100
RR = (ARi / ARc) = (0,20/0,10) =2,00
= LA FREQUENZA DELL' EVENTO E'
MAGGIORE NEL GRUPPO DI INTERVENTO
RR = 1
ARi = 10 / 100 = 0,10
ARc = 10 / 100 = 0,10
Morti
Non successo
Morti
ci dice quello che
sarebbe
senza l' intervento
Farmaco si
10
90
100
Farmaco no
10
90
100
RR = (ARi / ARc) = (0,10/0,10) =1,00
= LA FREQUENZA DELL' EVENTO E' UGUALE NEI DUE BRACCI
(IPOTESI NULLA SODDISFATTA)
Rischio Relativo (RR)
Meglio con
il trattamento
0.25
0.75
Peggio con
il trattamento
1
1.25
1.50
ipotesi nulla RR
Rischio Relativo (RR)
Meglio con
il trattamento
Peggio con
il trattamento
C
B
A
0.25
0.75
1
1.25
1.50
Rischio Relativo (RR)
Meglio con
il trattamento
Peggio con
il trattamento
C
B
SIGNIFICATIVO
A NON SIGNIFICATIVO
SIGNIFICATIVO
0.25
0.75
1
1.25
1.50
Sintesi RR
0,10
0,20
RCT A
RR = 0.50
0,01
RCT B
0,02
RR = 0.50
Morti intervento
Morti controllo
Vantaggi del Rischio Relativo (RR)
• fornisce una buona impressione 'di primo impatto'
Svantaggi
• non è correlato al significato clinico
• non serve a niente se non conosciamo il rischio basale
Stesse considerazioni per il suo complementare a uno
(RRR) che però non è un rapporto ma una differenza..
DOMANDATE SEMPRE QUAL'E' IL RISCHIO BASALE!
MA NON AVEVAMO
PARLATO ANCHE DI
ODDS?
Odds Ratio
(OR)
Od d si
Od d s c
Ha un significato simile al rischio relativo
Odds i = 10 / 90 = 0,11
Morti
Non successo
Morti
ci dice quello che
sarebbe
senza l' intervento
Farmaco si
10
90
100
Farmaco no
20
80
100
Odds c = 20 / 80 = 0,25
Odds ratio = 0,11/0,25 = 0,44
Cosa è un odds
• rapporto (eventi)/(non eventi)
• misura ereditata dal mondo delle scommesse
• familiare agli anglosassoni, che odiano il sistema metrico
decimale
• la misura più odiata dagli italiani
Cosa è un Odds ratio
• misura ereditata dagli studi osservazionali
• va interpretato come un rischio relativo ma con cautela
• tende a sopravvalutare la dimensione dell' effetto
• eccezione: studi di eventi rari e con piccoli valori di ARR
Perché su usa ancora l' Odds ratio ??
• straordinarie proprietà matematiche
• esprime più di ogni altra misura la forza di associazione
tra due variabili
• utilissimo nelle metanalisi
OR < 1
Odds i = 10 / 90 = 0,11
Odds c = 20 / 80 = 0,25
Morti
Non successo
Morti
ci dice quello che
sarebbe
senza l' intervento
Farmaco si
10
90
100
Farmaco no
20
80
100
Odds Ratio = (Odds i / Odds c) = (0,11/0,25) =0,44
= LA FREQUENZA DELL' EVENTO E'
MINORE NEL GRUPPO DI INTERVENTO
OR > 1
Odds i = 20 / 80 = 0,25
Odds c = 10 / 90 = 0,11
Morti
Non successo
Morti
ci dice quello che
sarebbe
senza l' intervento
Farmaco si
20
80
100
Farmaco no
10
90
100
Odds Ratio = (Odds i / Odds c) = (0,25/0,11) =2,27
= LA FREQUENZA DELL' EVENTO E'
MAGGIORE NEL GRUPPO DI INTERVENTO
OR = 1
Odds i = 10 / 90 = 0,11
Odds c = 10 / 90 = 0,11
Morti
Non successo
Morti
ci dice quello che
sarebbe
senza l' intervento
Farmaco si
10
90
100
Farmaco no
10
90
100
Odds Ratio = (Odds i / Odds c) = (0,11/0,11) =1,00
= LA FREQUENZA DELL' EVENTO E' UGUALE NEI DUE BRACCI
(IPOTESI NULLA SODDISFATTA)
Esempio di metanalisi
Odds Ratio (OR)
Meglio con
il trattamento
0.25
0.75
Peggio con
il trattamento
1
1.25
1.50
ipotesi nulla OR
Odds Ratio (OR)
Meglio con
il trattamento
Peggio con
il trattamento
C
B
A
0.25
0.75
1
1.25
1.50
Odds Ratio (OR)
Meglio con
il trattamento
Peggio con
il trattamento
C
B
SIGNIFICATIVO
A NON SIGNIFICATIVO
SIGNIFICATIVO
0.25
0.75
1
1.25
1.50
CONSIGLIO PRATICO PER IL CALCOLO DEGLI ODDS DAI DATI
DI UN ARTICOLO
Morti
Non Morti
ci dice quello che
sarebbe
successo
senza l' intervento
Farmaco si
10
(100 - 10)
100
Farmaco no
20
(100 - 20)
100
CALCOLATE VOI L' ODDS RATIO (RR)
Studio
Studio
HOPE
HOPE
Odds i = 482/(4645-482) = 0,115
Odds c = 569/(4652-569) = 0,139
Odds Ratio = 0,115/0,139 = 0,827
Abbiamo finito????
Purtroppo no..
TUTTI GLI ESEMPI ERANO
TARATI SU UNO STUDIO CON
TROLLATO IN CUI UN
INTERVENTO DOVREBBE
RIDURRE LA FREQUENZA DI
UN EVENTO INDESIDERATO
PER GLI STUDI IN CUI L'
INTERVENTO DOVREBBE
AUMENTARE LA FREQUENZA
DI UN EVENTO DESIDERATO
IL SIGNIFICATO CLINICO DI
TUTTE LE MISURE SI
CAPOVOLGE
Outcome = raggiungimento
di un buon calo ponderale
ARR negativo= = efficacia
RR > 1 = efficacia
OR > 1 = efficacia
.. I valori di queste misure
indicano che l' evento (in
questo caso: desiderato) ha
un Rischio Assoluto
maggiore nel braccio di
intervento
Intervalli di confidenza
sintesi finale
Intervalli di confidenza al 95%
Prevedono il grado di imprecisione con cui viene
stimato il risultato di un trial , in qualsiasi modo
questo venga espresso
Intervalli di confidenza al 95%
Stima puntuale
(CAMPIONE)
Stima intervallare
(INTERVALLO DI CONFIDENZA)
range entro cui si trova il vero valore
(quello della popolazione) con una attendibilità del 95 %
Come usare gli IC 95%
1. come espressione di significatività statistica per
ricusare o confermare l’ ipotesi nulla
2.
come espressione di significatività clinica: il
risultato è applicabile alla pratica clinica?
1. Il risultato è significativo?
Meglio con
il trattamento
Peggio con
il trattamento
Significativo
C
A
B
Non Significativo
Significativo
OSSERVA SE L' INTERVALLO COMPRENDE IL VALORE 'CUT OFF'
CHE SODDISFA L' IPOTESI NULLA
Uno
Rapporti
Differenze
NNT
OR
X
RR
X
Zero
RD
X
RRR
X
MD
X
Infinito
X
1. Il risultato è utile?
Come giudicheresti questo farmaco antiipertensivo?
MEAN DIFFERENCE
Meglio con
il trattamento
Peggio con
il trattamento
- 15 mmHg
- 25 mmHg
- 1 mmHg
regola pratica 1: osserva l' ampiezza dell' intervallo
largo
scarsa riproducibilità dei risultati di efficacia
(scarsa precisione della stima)
regola pratica 1: osserva l' ampiezza dell' intervallo
stretto
buona riproducibilità dei risultati di efficacia
(buona precisione della stima)
regola pratica 2: osserva la lontananza dal 'cut off'
Meglio con
il trattamento
Peggio con
il trattamento
Lontano dal cut off = grande dimensione dell' effetto
regola pratica 2: osserva la lontananza dal 'cut off'
Meglio con
il trattamento
Peggio con
il trattamento
Vicino al cut off = piccola dimensione dell' effetto
Riassunto del significato degli intervalli di confidenza
nell' interpretazione clinica di un risultato di efficacia
Meglio con
il trattamento
Peggio con
il trattamento
utile e preciso
utile ma poco preciso
poco utile ma preciso
poco utile e poco preciso
TUTTI I RISULTATI SONO SIGNIFICATIVI
Alcuni esempi tratti dalla letteratura
a) Studio di Fahey su 182 Amministratori SSN
Quale programma di prevenzione del K mammario
sarebbe disposto a finanziare ?
(lo stesso risultato è stato
espresso con
tre misure diverse)
 un intervento caratterizzatro da una riduzione
di Rischio Assoluto pari a 0.06%
 un intervento caratterizzato da una riduzione
di Rischio Relativo pari a 34%
 un intervento che comporta la
necessità di sottoporre a screening
1592 donne per ogni K diagnosticato
BMJ 1995
Fahey et al. BMJ 1995
% disponibilità
80
79
51
60
40
20
0
RRR
NNT
38
RD
b) Studio di Naylor sui medici Ospedalieri
Quale famaco in grado di prevenire l’ infarto sceglieresti in
base a questi risultati di efficacia?
score assegnato (da -5 a +5)
(lo stesso risultato è stato
espresso con
tre misure diverse)
RRR
RD
NNT
0
1
2
3
4
Ann Int Med 1992
c) Studio di Bobbio su 148 MMG Simg
Quale famaco ipocolesterolemizzante sceglieresti in base
a questi risultati di efficacia?
score assegnato (da 0 a 100)
(un outcome dello studio di
Helsinky è stato presentato
con tre misure diverse)
77
RRR
RD
34
NNT 24
0
20
40
60
80
100
Lancet 1994