B-A Plot and Runs Test

BLAND-ALTMAN PLOT
Il metodo di J. M. Bland e D. G. Altman è finalizzato alla verifica se due tecniche di misura sono
comparabili. Resta da comprendere cosa si intenda con il termine metodi comparabili e quale sia la
definizione di differenze accettabili tra i due metodi. Ad esempio, nelle analisi cliniche potrebbe
significare che la diagnosi e la prescrizione non cambiano, se l’analisi biologica effettuata al
paziente è stata condotta in laboratorio con un metodo oppure con un altro.
Il Bland-Altman plot serve per confrontare due misure della stessa natura; è un diagramma di
dispersione in cui sulle ordinate viene riportata la differenza delle due misure e sulle ascisse la misura di
riferimento, ottenuta come media aritmetica delle due misure. Le linee orizzontali rappresentano la
media delle differenze, e la media delle differenze ± 1.96×SD. La media delle differenze permette di
stimare se una delle due metodiche sottostima o sovrastima l’indice rispetto all’altra, mentre le altre due
righe costituiscono l’intervallo di confidenza. Se i punti del grafico sono all’interno delle due linee si
considera che le due metodiche forniscano risultati congruenti, mentre i punti fuori dalle due linee sono
casi in cui i due metodi non sono congruenti tra loro. In particolare, si può verificare che se la
distribuzione delle differenze è gaussiana il 95% dei dati cade nell’area indicata.
Si supponga di aver misurato n campioni, ottenendo per ognuno due set di dati quantitativi:
•
la misura con il sistema 1 (X1 );
•
la misura con il sistema 2 (X2 ).
Da queste n coppie di misure è possibile ottenere altre due quantità:
•
la media ( X ) delle due misure per ognuno degli n campioni:
Xi =
•
X1i + X 2i
2
la differenza ( d ) tra le due misure per ognuno degli n campioni;
€
di = X1i − X 2i
Il plot di Bland-Altman è un grafico a dispersione dei punti identificati da queste nuove coppie di
€
valori, nel quale sull’asse delle ascisse è riportata la media X i di ogni coppia e sull’asse delle
ordinate la differenza di tra i valori della stessa coppia.
Questo metodo risulta appropriato quando le differenze restano costanti, ma spesso non lo sono.
€
Questa proposta è stata quindi integrata da altre due varianti, che cambiano il valore da riportare
sull’asse delle ordinate:
•
le differenze di trasformate in percentuale pi delle medie:
pi =
€
di
⋅100
Xi
• il rapporto ri tra le due misure, trasformato in log:
X 
ri = log 1i 
 X 2i 
Questa ultima formula richiede che non siano presenti valori uguali a zero, in nessuno dei due
sistemi di misurazione. Se sono presenti, è necessario che nella trasformazione sia aggiunta una
€
costante. La figura 1 rappresenta un esempio con n = 46.
Figura 1: Diagramma di BLAND-ALTMAN del caso 1
Nel diagramma sull’asse delle ascisse è riportata la media X i , mentre sull’asse delle ordinate è
riportata la differenza di. L’analisi descrittiva dei dati richiede che per le differenze di siano
calcolate:
€
•
il numero : n = 46;
•
la media aritmetica delle n differenze: X d = 1,565;
•
la deviazione standard: s = 8,661;
•
l’errore standard: = s/√n =1,277 ;
€
l’intervallo di confidenza al 95% delle differenze1 :
•
ICd = X d ± 1,96 ⋅ s
•
l’intervallo di confidenza al 95% della media delle differenze2:
€
ICmd = X d ± 1,96 ⋅
s
n
Con i dati della figura, l’intervallo di confidenza ICd vale:
ICd = 1,565 ± 1,96 ⋅ 8,661
€
quindi il limite inferiore (lower limit) vale -15,411, mentre il limite superiore (upper limit) 18,541.
L’intervallo di confidenza della media delle differenze è:
€
ICmd = 1,565 ± 1,96 ⋅1,277
1
Se i due metodiche sono equivalenti, la loro differenza seguirà una distribuzione gaussiana.
Dato il numero di campioni (n=46), il teorema del limite centrale assicura che la media segue, con ottima
approssimazione, una distribuzione
€ gaussiana. Un numero elevato di misure inoltre consente di evitare i fattori correttivi
della distribuzione di Student.
2
quindi come limite inferiore (lower limit) ha -0,938 e come limite superiore (upper limit) +4,068.
L’informazione più importante del grafico è fornita congiuntamente dal valore medio 1,6 e
dall’intervallo di confidenza delle differenze al 95% che varia tra + 18,5 e –15,4.
Il test di Bland-Altman consiste nel giudizio del ricercatore: se la variazione della media entro
l’intervallo di confidenza non è clinicamente importante, i due metodi possono essere considerati
intercambiabili. Nel test di Bland-Altman la significatività non è fornita da calcoli statistici, ma
consiste essenzialmente nel confronto (effettuato da un esperto della disciplina) dei due limiti
(superiore ed inferiore) con la differenza clinicamente accettabile tra due metodi. Tuttavia, su molte
riviste, in aggiunta al metodo di Bland-Altman, sono riportate l’analisi della correlazione, l’analisi
della regressione con la motivazione che il plot delle differenze è complementare, non sostitutivo.
Altre informazioni importanti sulla corrispondenza tra i due metodi di misurazione sono fornite
inoltre dalla disposizione dei punti intorno alla media ed entro i limiti dell’intervallo di confidenza.
Le quattro figure riportate nel paragrafo sono rappresentative di altrettanti casi tipici.
Nel caso di fig.1, la disposizione dei punti è casuale, i due metodi possono essere ritenuti
equivalenti, se l’analisi precedente sull’intervallo di variazione della media è positivo.
In fig. 2, i punti presentano un alternarsi periodico sopra e sotto la media quindi gli errori hanno una
distribuzione non casuale, ma sistematica in valore assoluto, per cui i due metodi forniscono misure
differenti.
Figura 2: Diagramma di BLAND-ALTMAN con trend periodico delle differenze
Nel caso di fig. 3 si ha un errore proporzionale in quanto le differenze sono negative per valori
piccoli, e positive per valori grandi.
Figura-3: Diagramma di BLAND-ALTMAN, con errore proporzionale
In fig. 4, le differenze tra i due metodi non sono costanti, ma dipendono dal valore. Quest’ultimo è
un caso classico di non uniformità della varianza (heteroscedasticity). Ne consegue che l’errore
standard è una misura inadeguata o errata (bias) della variabilità, poiché è un valore medio di tutti
gli errori e quindi sovrastima la variabilità quando i valori sono piccoli e la sottostima quando i
valori sono grandi. In questa situazione, è conveniente verificare sperimentalmente se si ottengono
risultati migliori con le varianti del test precedentemente descritte.
Figura-4: Diagramma di BLAND-ALTMAN, con non uniformità della varianza.
Runs Test
Una assunzione di base nella maggior parte delle analisi dei dati è che un set di dati costituisce un
campione casuale di una popolazione. Comunque, alcune volte il set dei dati non è in realtà
campione casuale proveniente da una popolazione ma può presentare qualche pattern interno. Per
esempio i dati potrebbero avere un trend crescente o decrescente nel tempo, oppure ciclico. In
questa sezione verrà sviluppato un test delle ipotesi che consente di valutare se il dato dataset
rappresenti un campione casuale.
Per testare l’ipotesi che un determinato dataset rappresenti un campione casuale, si supponga che
ciascun dato posa assumere solo due possibili valori, 0 oppure 1. Qualsiasi sequenza consecutiva di
0 o di 1 viene denominata run. Per esempio il dataset:
0, 1, 1, 1, 0, 0, 1, 0, 0, 1, 1, 1, 1, 0, 1, 0, 0
contiene un totale di 9 run: cinque run di 0, e quattro run di 1. Il primo run consiste nel singolo
valore 0, il run successivo da una sequenza di tre 1, e così via.
Si supponga che il dataset sia costituito da un totale di n + m valori, dei quali n sono uguali a 1 e m
uguali a 0. Con R viene indicato il numero totale di run nel dataset.
Ora se il dataset era un campione random proveniente da una qualche popolazione, allora tutti i
possibili ordinamenti di n + m valori saranno ugualmente probabili. Utilizzando questa
considerazione è possibile determinare la distribuzione di probabilità di R e quindi testare l’ipotesi
che il campione sia random (ipotesi nulla H0), cioè rifiutando H0 se il valore di R è troppo piccolo o
troppo grande per poter essere spiegato dal caso.
Per ottenere il valore di probabilità desiderato si sfrutta il fatto che quando l’ipotesi nulla è vera ed
il dataset è anche di moderate dimensioni (n + m > 20), R avrà approssimativamente una
distribuzione di tipo normale, con media e varianza date rispettivamente da:
E [ R] = µ =
2nm
+1
n+m
e
[
2
]
2
€E ( R − µ) = σ =
2nm(2nm − n − m)
(n + m) 2 (n + m −1)
Combinando queste variabili per ottenere una variabile casuale standard Z:
€
Z=
R−µ
σ
e considerando un coefficiente di confidenza del 95%, l'ipotesi del test e' falsa se:
Z > 1,96
€
E’ possibile utilizzare il test dei run per valutare la casualità di una sequenza di valori che non
comprendono solo valori di 0 o 1, attraverso il seguente procedimento.
€
Data la sequenza di dati X1, X2,…, Xn, si calcola la mediana di questo dataset (M), e si pongono
uguali a 0 tutti i valori minori di M, e uguali a 1 tutti quelli maggiori di M. Si ottiene quindi un
dataset “binario” che può essere valutato attraverso il test precedentemente descritto.