Validare definizioni di caso di patologia cronica
da database ammministrativi italiani:
risultati del progetto MATRICE
Rosa Gini
Agenzia regionale di sanità della Toscana
Firenze, 29 luglio 2014
Contenuti
Identificazione di soggetti con una patologia da database esistenti
I database amministrativi italiani
Classificazioni e misure di validità
Studio di validazione del progetto MATRICE
Contesto
Obbiettivo e razionale
Metodi
Risultati
Wrap up
Contenuti
Identificazione di soggetti con una patologia da database esistenti
I database amministrativi italiani
Classificazioni e misure di validità
Studio di validazione del progetto MATRICE
Wrap up
Osservazioni
Sistema sanitario
Ambiente
Fattori socioeconomici
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Fattori socioeconomici
Stile di vita
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Problema di salute
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Problema di salute
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Problema di salute
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
Misurazione
BMI
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
MisurazioneTitolo di
BMI
studio
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
MisurazioneTitolo di
BMI
studio
Visita
MMG
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
MisurazioneTitolo di
BMI
studio
Visita
MMG
Fattori socioeconomici
Stile di vita
Sintomi
Test
diagnostici
Diagnosi
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
MisurazioneTitolo di
BMI
studio
Visita
MMG
Fattori socioeconomici
Stile di vita
Sintomi
Test
Pronto
diagnostici soccorso
Diagnosi
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
MisurazioneTitolo di
BMI
studio
Visita
MMG
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Test
Pronto
Cambio
diagnostici soccorso residenza
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
MisurazioneTitolo di
BMI
studio
Visita
MMG
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Test
Pronto
Cambio
diagnostici soccorso residenza Ricovero
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
MisurazioneTitolo di
BMI
studio
Visita
MMG
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Test
Pronto
Cambio
diagnostici soccorso residenza Ricovero Farmaco
Cura
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
MisurazioneTitolo di
BMI
studio
Visita
MMG
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Test
Pronto
Cambio
diagnostici soccorso residenza Ricovero Farmaco
Cura
Morte
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
MisurazioneTitolo di
BMI
studio
DB1
Visita
MMG
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Test
Pronto
Cambio
diagnostici soccorso residenza Ricovero Farmaco
Cura
Morte
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Nascita
Vaccino
Problema di salute
MisurazioneTitolo di
BMI
studio
DB1
Visita
MMG
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Test
Pronto
Cambio
diagnostici soccorso residenza Ricovero Farmaco
DB2
Cura
Morte
Osservazioni
Sistema sanitario
Ambiente
Geni
Istruzione
Prevenzione
Problema di salute
Fattori socioeconomici
Stile di vita
Sintomi
Diagnosi
Cura
Quali dati vengono raccolti
MisurazioneTitolo di
Vaccino
BMI
studio
completezza
e qualità
Nascita
Visita
MMG
Test
Pronto
Cambio
diagnostici soccorso residenza Ricovero Farmaco
disponibilità per la ricerca
possibilità di eseguire record linkage
tutto varia a seconda di circostanze nazionali/locali
DB1
DB2
Morte
Identificare condizioni da database osservazionali
Diagnosi
Identificare condizioni da database osservazionali
Assistenza ospedaliera
Assistenza secondaria
Causa di morte
Altre sorgenti
Assistenza primaria
Diagnosi
Identificare condizioni da database osservazionali
Valori di laboratorio
Evidenza
diagnostica
Bioimaging
Altre sorgenti
Diagnosi
Identificare condizioni da database osservazionali
Utilizzo dei
servizi
Altri servizi
Evidenza
diagnostica
Visite specialistiche
Esami diagnostici
Procedure
Farmaci
Diagnosi
Identificare condizioni da database osservazionali
Utilizzo dei
servizi
Evidenza
diagnostica
Criteri di
raffinamento e/o
esclusione
Diagnosi
Validazione
Contenuti
Identificazione di soggetti con una patologia da database esistenti
I database amministrativi italiani
Classificazioni e misure di validità
Studio di validazione del progetto MATRICE
Wrap up
Database amministrativi italiani (IAD)
DDRUG
PERSON ID
DRUG DISPENSING DATE
ATC
DURATION
EXE
PERSON ID
EXEMPTION CODE
EXE START DATE
DRUGS
PERSON ID
DRUG DISPENSING DATE
ATC
DURATION
PERSONS
PERSON ID
GENDER CONCEPT ID
DATE OF BIRTH
STARTDATE
ENDDATE
GP ID
OUTPAT
PERSON ID
PROC CODE
PROC START DATE
GROUP CODE
HOSP
PERSON ID
START DATE
MAIN DIAGNOSIS
SECONDARY DIAGNOSIS 1-5
PROCEDURE CODE 1-6
PROCEDURE DATE 1-6
Quali dati sono disponibili nei database amministrativi
italiani?
Utilizzo dei
servizi
Evidenza
diagnostica
Diagnosi
Quali dati sono disponibili nei database amministrativi
italiani?
×
Evidenza
diagnostica
Utilizzo dei
servizi
Altri servizi
?
Visite specialistiche
Esami diagnostici
Procedure
Farmaci
Assistenza ospedaliera
×
Assistenza secondaria
×
Causa di morte
×
Altre sorgenti
Assistenza primaria
Diagnosi
Quali dati sono disponibili nei database amministrativi
italiani?
In assenza di
registrazione delle
diagnosi dall’assistenza
primaria esecondaria, le
Evidenza
malattie croniche
diagnostica
devono essere
identificate tramite
pattern di utilizzo dei
servizi
×
Utilizzo dei
servizi
Altri servizi
?
Visite specialistiche
Esami diagnostici
Procedure
Farmaci
Assistenza ospedaliera
×
Assistenza secondaria
×
Causa di morte
×
Altre sorgenti
Assistenza primaria
Diagnosi
Contenuti
Identificazione di soggetti con una patologia da database esistenti
I database amministrativi italiani
Classificazioni e misure di validità
Studio di validazione del progetto MATRICE
Wrap up
Regola di classificazione
Malati
Regola di classificazione
In una popolazione che contiene dei malati una classificazione (ALG)
individua
ALG
Malati
Regola di classificazione
In una popolazione che contiene dei malati una classificazione (ALG)
individua
ALG
FP
VP
VN
FN
Malati
Regola di classificazione
In una popolazione che contiene dei malati una classificazione (ALG)
individua
ALG
Malati (GS)
Una classificazione che individua perfettamente i malati è un
algoritmo speciale chiamato gold standard (GS)
Indici di validità
Se in una popolazione è disponibile un GS è possibile calcolare gli
indici di validità di ogni algoritmo: sensibilità, specificità, PPV,
NPV
Sensibilità
Denominatore
ALG
Numeratore
GS
ALG
Probabilità che una persona malata sia individuata da ALG
GS
Potere predittivo positivo (PPV)
Denominatore
ALG
Numeratore
GS
ALG
Probabilità che una persona individuata da ALG sia malata
GS
Specificità
Denominatore
ALG
Numeratore
GS
ALG
GS
Probabilità che una persona sana sia correttamente individuata
come tale da ALG
Potere predittivo negativo (NPV)
Denominatore
ALG
Numeratore
GS
ALG
GS
Probabilità che una persona individuata come sana da ALG lo sia
realmente
Se GS non è gold standard: concordanza
Denominatore
Numeratore
ALG
κ: concordanza aggiustata
GS
Contenuti
Identificazione di soggetti con una patologia da database esistenti
I database amministrativi italiani
Classificazioni e misure di validità
Studio di validazione del progetto MATRICE
Contesto
Obbiettivo e razionale
Metodi
Risultati
Wrap up
Contenuti
Identificazione di soggetti con una patologia da database esistenti
I database amministrativi italiani
Classificazioni e misure di validità
Studio di validazione del progetto MATRICE
Contesto
Obbiettivo e razionale
Metodi
Risultati
Wrap up
Agenzia Nazionale per i Servizi Sanitari Regionali (Agenas)
AgeNaS supporta il
Ministero della salute e le
Regioni conducendo studi
e progetti
Immagine della XXXV conferenza dell’AIE
Agenzia Nazionale per i Servizi Sanitari Regionali (Agenas)
AgeNaS ha lanciao nel
2011 il progetto
MATRICE, che contiene
uno studio di validazione
Immagine della XXXV conferenza dell’AIE
Società Italiana di Medicina Generale
Società scientifica di MMG
Società Italiana di Medicina Generale
Alcuni mebri partecipano al network
Health Search, che raccoglie dati
clinici per svolgere studi
epidemiologici
Società scientifica di MMG
Società Italiana di Medicina Generale
Usano lo stesso software
Alcuni mebri partecipano al network
Health Search, che raccoglie dati
clinici per svolgere studi
epidemiologici
Società scientifica di MMG
Società Italiana di Medicina Generale
Usano lo stesso software
Alcuni mebri partecipano al network
Health Search, che raccoglie dati
clinici per svolgere studi
epidemiologici
I MMG che partecipano al network sono selezionati
in base alla loro accuratezza nel registrare i dati
Società scientifica di MMG
Società Italiana di Medicina Generale
Usano lo stesso software
Tra i MMG di questo network si
possono trovare le diagnosi che IAD
non raccoglie!Alcuni mebri partecipano al network
Health Search, che raccoglie dati
clinici per svolgere studi
epidemiologici
I MMG che partecipano al network sono selezionati
in base alla loro accuratezza nel registrare i dati
Società scientifica di MMG
Contenuti
Identificazione di soggetti con una patologia da database esistenti
I database amministrativi italiani
Classificazioni e misure di validità
Studio di validazione del progetto MATRICE
Contesto
Obbiettivo e razionale
Metodi
Risultati
Wrap up
Obbiettivo dello studio di validazione MATRICE
Identificare strategie ottimali per individuare soggetti con diabete,
ipertensione, cardiopatia ischemica, insufficienza cardiaca e loro
stadi nei database amministrativi italiani
Razionale del disegno di studio
GLI MMG sono gatekeeper per l’accesso ai servizi
Razionale del disegno di studio
Quindi sono a conoscenza della diagnosi di
patologia cronica di un loro paziente
Razionale del disegno di studio
Gli MMG selezionati da SIMG hanno una buona qualità
della registrazione
Quindi sono a conoscenza della diagnosi di
patologia cronica di un loro paziente
Razionale del disegno di studio
Gli MMG selezionati da SIMG hanno una buona qualità
della registrazione
Una uqery automatica sul DB clinico del MMG dà
lo stesso risoltato di una richiesta diretta al MMG
Quindi sono a conoscenza della diagnosi di
patologia cronica di un loro paziente
Razionale del disegno di studio
Gli MMG selezionati da SIMG hanno una buona qualità
della registrazione
Una uqery automatica sul DB clinico del MMG dà
lo stesso risoltato di una richiesta diretta al MMG
Quindi sono a conoscenza della diagnosi di
patologia cronica di un loro paziente
I pazienti dei MMG selezionati hanno pattern simili
ai pazienti degli altri MMG
Razionale del disegno di studio
Gli MMG selezionati da SIMG hanno una buona qualità
della registrazione
Una uqery automatica sul DB clinico del MMG dà
lo stesso risoltato di una richiesta diretta al MMG
Quindi sono a conoscenza della diagnosi di
patologia cronica di un loro paziente
I pazienti dei MMG selezionati hanno pattern simili
ai pazienti degli altri MMG
verrà testata
Studio preparatorio: validazione del Gold Standard
Cardopatia ischemica
Insufficienza cardiaca
Ipertensione
Stadi
Diabete
Studio preparatorio: validazione del Gold Standard
Cardopatia ischemica
×
Insufficienza cardiaca
Ipertensione
×
Stadi
Diabete
Studi preliminari su dati aggregati
Contenuti
Identificazione di soggetti con una patologia da database esistenti
I database amministrativi italiani
Classificazioni e misure di validità
Studio di validazione del progetto MATRICE
Contesto
Obbiettivo e razionale
Metodi
Risultati
Wrap up
Setting
Aziende sanitarie locali 5 ASL (2 del Nord, 2 del centro, 1 del sud)
MMG 5 MMG per ogni ASL
Popolazione Tutti i pazienti dei 25 MMG nel 2009 o nel 2012, età
16+
Raccolta dati
Ministry of Health
encryption
key
ARS
Local Health Unit
encryption
key
TheMatrix
ID
ABC
CBA
BAC
CAB
V1
1
1
0
0
...
...
...
...
...
V1
1
1
0
0
...
...
...
...
...
Morpheus
encryption
key
ID
ABC
CBA
BAC
CAB
VN
1
0
0
0
A 7→ X
B 7→ Y
C 7→ W
Merovingio
ID
XYW
WYX
YXW
WXY
GP
1
0
1
0
A 7→ X
B 7→ Y
C 7→ W
Morpheus
ID
XYW
WYX
YXW
WXY
VN
1
0
0
0
Merovingio
ID
XYW
WYX
YXW
WXY
National Research
Council
ID
ARS
GS
P1
P2
P3
P4
V1
1
1
0
0
Morpheus
V1
...
...
...
...
...
...
...
...
...
...
Vn
1
1
0
0
GS
1
0
1
0
1
0
0
0
...
...
...
...
...
GS
1
0
1
0
VN
1
0
0
0
GS
1
0
1
0
Raccolta dati
Ministry of Health
sono stati sviluppati dei software
per eseguire la raccolta dati in
modo automatico e sicuro
encryption
key
ARS
Local Health Unit
GP
il processo è trasparente e ripetibile
encryption
key
TheMatrix
ID
ABC
CBA
BAC
CAB
V1
1
1
0
0
...
...
...
...
...
ID
XYW
WYX
YXW
WXY
V1
1
1
0
0
ID
ABC
CBA
BAC
CAB
VN
1
0
0
0
A 7→ X
B 7→ Y
C 7→ W
Merovingio
...
...
...
...
...
Morpheus
encryption
key
Morpheus
ID
XYW
WYX
YXW
WXY
1
0
0
0
Merovingio
ID
XYW
WYX
YXW
WXY
National Research
Council
ID
ARS
1
0
1
0
A 7→ X
B 7→ Y
C 7→ W
VN
P1
P2
P3
P4
V1
1
1
0
0
GS
1
0
1
0
Morpheus
V1
...
...
...
...
...
...
...
...
...
...
Vn
1
1
0
0
il permesso per eseguire il record
linkage tra dati ASL e dati MMG è
stato richiesto e ottenuto
dall’Autorità per la Privacy
GS
1
0
0
0
...
...
...
...
...
GS
1
0
1
0
VN
1
0
0
0
GS
1
0
1
0
faremo richiesta di rendere pubblici
i dataset dei dati integrati, anche
se aggregati (per sesso, età,
MMG. . . ) in modo da consentire
studi studi di approfondimento
Analisi statistica: l’unità di ossevazione è l’algoritmo
Indici di validità Per ASL, pooled grezzi, pooled con effetto
casuale sul MMG
Eterogeneità Wald test della ASL
Contenuti
Identificazione di soggetti con una patologia da database esistenti
I database amministrativi italiani
Classificazioni e misure di validità
Studio di validazione del progetto MATRICE
Contesto
Obbiettivo e razionale
Metodi
Risultati
Wrap up
Popolazione
16-44
45-64
65-84
85+
1
2
3
4
5
A
6951
3443 (49.5)
2836 (40.8)
2515 (36.2)
1424 (20.5)
176 (2.5)
1464 (21.1)
1444 (20.8)
1408 (20.3)
1373 (19.8)
1262 (18.2)
B
6839
3522 (51.5)
2626 (38.4)
2254 (33.0)
1648 (24.1)
311 (4.5)
1528 (22.3)
1522 (22.3)
1502 (22.0)
1271 (18.6)
1016 (14.9)
C
8038
4305 (53.6)
2916 (36.3)
2623 (32.6)
2082 (25.9)
417 (5.2)
1754 (21.8)
1682 (20.9)
1664 (20.7)
1619 (20.1)
1319 (16.4)
D
5764
3023 (52.4)
2130 (37.0)
1817 (31.5)
1459 (25.3)
358 (6.2)
1415 (24.5)
1154 (20.0)
1139 (19.8)
1096 (19.0)
960 (16.7)
E
6403
3281 (51.2)
2817 (44.0)
2201 (34.4)
1171 (18.3)
214 (3.3)
1416 (22.1)
1372 (21.4)
1323 (20.7)
1290 (20.1)
1002 (15.6)
Tot
33995
17574 (51.7)
13325 (39.2)
11410 (33.6)
7784 (22.9)
1476 (4.3)
7577 (22.3)
7174 (21.1)
7036 (20.7)
6649 (19.6)
5559 (16.4)
Algoritmi
Hypertension
1.0
0.9
0.9
0.8
4
7
0.8
4
3
0.7
0.6
0.5
0.4
0.5
1
0.4
6
11
0.6
0.5
8
0.4
1
0.3
0.2
0.8
0.7
9
1
0.3
0.9
7
5
0.7
0.6
Sensitivity
5
3
2
1.0
3
Sensitivity
6
Ischaemic heart disease
1.0
10
0.3
0.2
0.2
2
0.1
0.1
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
4
0.1
2
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
Sensitivity
Diabetes
Algoritmi
Hypertension
1.0
0.9
0.9
0.8
4
7
0.8
4
3
0.7
0.6
0.5
0.4
0.6
0.8
0.5
0.4
0.7
9
0.3
11
0.6
0.5
0.4
1
0.3
0.2
6
8
1
1
0.9
7
5
0.7
Sensitivity
5
3
2
1.0
3
Sensitivity
6
Ischaemic heart disease
1.0
Sensitivity
Diabetes
10
0.3
0.2
0.2
2
0.1
0.1
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
4
0.1
2
((HOSP SEC UNSPEC OR
HOSP MAIN UNSPEC OR
EXE OR DRUGS INSULIN
OR DRUGS ORAL)) OR
((Hba1c))
Sensitivity
Specificity
PPV
NPV
κ
0.96
0.96
0.69
1.00
0.78
0.92
0.97
0.76
0.99
0.82
0.87
0.95
0.60
0.99
0.68
0.97
0.86
0.38
1.00
0.49
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.69
1.00
0.96
0.97
0.79
0.87
0.95
0.62
0.99
0.70
0.87
.
0.63
.
.
(0.86-0.89)
(0.60-0.67)
< .001
.
< .001
.
Algoritmi
Hypertension
1.0
0.9
0.9
0.8
4
7
0.8
4
3
0.7
0.6
0.5
0.4
0.6
0.8
0.5
0.4
0.7
9
0.3
11
0.6
0.5
0.4
1
0.3
0.2
6
8
1
1
0.9
7
5
0.7
Sensitivity
5
3
2
1.0
3
Sensitivity
6
Ischaemic heart disease
1.0
Sensitivity
Diabetes
10
0.3
0.2
0.2
2
0.1
0.1
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
4
0.1
2
((HOSP SEC UNSPEC OR
HOSP MAIN UNSPEC OR
EXE OR DRUGS INSULIN
OR DRUGS ORAL))
Sensitivity
Specificity
PPV
NPV
κ
0.79
0.99
0.92
0.98
0.84
0.83
0.99
0.90
0.98
0.85
0.73
0.99
0.90
0.98
0.79
0.75
0.96
0.65
0.98
0.66
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.69
1.00
0.96
0.97
0.79
0.76
0.99
0.86
0.98
0.79
0.76
.
0.86
.
.
(0.73-0.79)
(0.84-0.88)
< .05
.
< .001
.
Algoritmi
Hypertension
1.0
0.9
0.9
0.8
4
7
0.8
4
3
0.7
0.6
0.5
0.4
0.6
0.8
0.5
0.4
0.7
9
0.3
11
0.6
0.5
0.4
1
0.3
0.2
6
8
1
1
0.9
7
5
0.7
Sensitivity
5
3
2
1.0
3
Sensitivity
6
Ischaemic heart disease
1.0
Sensitivity
Diabetes
10
0.3
0.2
0.2
2
0.1
0.1
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
4
0.1
2
((DRUGS INSDDDlastyear
OR DRUGS ORDDDlastyear
OR HOSP MAIN UNSPEC
OR EXE OR HOSP DRG))
Sensitivity
Specificity
PPV
NPV
κ
0.71
1.00
0.94
0.97
0.79
0.77
1.00
0.94
0.98
0.84
0.56
1.00
0.93
0.97
0.68
0.55
0.99
0.89
0.96
0.66
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.39
1.00
0.97
0.94
0.53
0.59
1.00
0.94
0.96
0.71
0.60
.
0.94
.
.
(0.56-0.65)
(0.92-0.95)
< .001
.
0.068
.
Algoritmi
Hypertension
1.0
0.9
0.9
0.8
4
7
0.8
4
3
0.7
0.6
0.5
0.4
0.6
0.8
0.5
0.4
0.7
9
0.3
11
0.6
0.5
0.4
1
0.3
0.2
6
8
1
1
0.9
7
5
0.7
Sensitivity
5
3
2
1.0
3
Sensitivity
6
Ischaemic heart disease
1.0
Sensitivity
Diabetes
10
0.3
0.2
0.2
2
0.1
0.1
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
4
0.1
2
(ARENIN OR BETABL OR
EXE OR
HOSP MAIN UNSP OR
HOSP SEC UNSP)
Sensitivity
Specificity
PPV
NPV
κ
0.68
0.97
0.93
0.85
0.70
0.80
0.92
0.85
0.90
0.73
0.77
0.93
0.85
0.89
0.72
0.86
0.82
0.68
0.93
0.63
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.50
0.98
0.91
0.81
0.54
0.72
0.93
0.83
0.87
0.67
0.73
.
0.83
.
.
(0.70-0.76)
(0.81-0.86)
< .001
.
< .001
.
Algoritmi
Hypertension
1.0
0.9
0.9
0.8
4
7
0.8
4
3
0.7
0.6
0.5
0.4
0.6
0.8
0.5
0.4
0.7
9
0.3
11
0.6
0.5
0.4
1
0.3
0.2
6
8
1
1
0.9
7
5
0.7
Sensitivity
5
3
2
1.0
3
Sensitivity
6
Ischaemic heart disease
1.0
Sensitivity
Diabetes
10
0.3
0.2
0.2
2
0.1
0.1
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
4
0.1
2
((HOSP MAIN OR
HOSP SEC OR NITRATES
OR EXE))
Sensitivity
Specificity
PPV
NPV
κ
0.72
0.99
0.81
0.99
0.76
0.76
1.00
0.89
0.99
0.81
0.47
0.99
0.80
0.97
0.58
0.60
0.99
0.69
0.98
0.63
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.63
0.99
0.70
0.98
0.65
0.62
0.99
0.79
0.98
0.68
0.63
.
0.79
.
.
(0.58-0.67)
(0.76-0.83)
< .001
.
< .05
.
Algoritmi
Hypertension
1.0
0.9
0.9
0.8
4
7
0.8
4
3
0.7
0.6
0.5
0.4
0.6
0.8
0.5
0.4
0.7
9
0.3
11
0.6
0.5
0.4
1
0.3
0.2
6
8
1
1
0.9
7
5
0.7
Sensitivity
5
3
2
1.0
3
Sensitivity
6
Ischaemic heart disease
1.0
Sensitivity
Diabetes
10
0.3
0.2
0.2
2
0.1
0.1
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
4
0.1
2
((HOSP MAIN OR
HOSP SEC OR NITRATES
OR PAI))
Sensitivity
Specificity
PPV
NPV
κ
0.87
0.92
0.29
0.99
0.40
0.87
0.91
0.29
0.99
0.40
0.82
0.90
0.33
0.99
0.43
0.91
0.84
0.20
1.00
0.28
0.0
0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0
1-PPV
0.61
0.96
0.38
0.98
0.44
0.84
0.90
0.28
0.99
0.38
0.84
.
0.28
.
.
(0.82-0.87)
(0.26-0.31)
< .001
.
< .001
.
Contenuti
Identificazione di soggetti con una patologia da database esistenti
I database amministrativi italiani
Classificazioni e misure di validità
Studio di validazione del progetto MATRICE
Wrap up
Context
Observations Observational data is a great opportunity, but
validation is needed
IAD Italian Administrative Databases lack important
information to detect chronic diseases
Results from validation study
Algorithms Many algorithms are available with different
characteristics in terms of sensitivity, PPV and
heterogeneity
Tools The study can be repeated
Diabetes Good algorithms available
Hypertension Better than expected!
Ischaemic heart disease To be improved
Questions
