risultati del progetto MATRICE
annuncio pubblicitario
Validare definizioni di caso di patologia cronica da database ammministrativi italiani: risultati del progetto MATRICE Rosa Gini Agenzia regionale di sanità della Toscana Firenze, 29 luglio 2014 Contenuti Identificazione di soggetti con una patologia da database esistenti I database amministrativi italiani Classificazioni e misure di validità Studio di validazione del progetto MATRICE Contesto Obbiettivo e razionale Metodi Risultati Wrap up Contenuti Identificazione di soggetti con una patologia da database esistenti I database amministrativi italiani Classificazioni e misure di validità Studio di validazione del progetto MATRICE Wrap up Osservazioni Sistema sanitario Ambiente Fattori socioeconomici Osservazioni Sistema sanitario Ambiente Geni Istruzione Fattori socioeconomici Stile di vita Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Problema di salute Fattori socioeconomici Stile di vita Sintomi Diagnosi Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Problema di salute Fattori socioeconomici Stile di vita Sintomi Diagnosi Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Problema di salute Fattori socioeconomici Stile di vita Sintomi Diagnosi Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute Fattori socioeconomici Stile di vita Sintomi Diagnosi Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute Misurazione BMI Fattori socioeconomici Stile di vita Sintomi Diagnosi Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute MisurazioneTitolo di BMI studio Fattori socioeconomici Stile di vita Sintomi Diagnosi Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute MisurazioneTitolo di BMI studio Visita MMG Fattori socioeconomici Stile di vita Sintomi Diagnosi Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute MisurazioneTitolo di BMI studio Visita MMG Fattori socioeconomici Stile di vita Sintomi Test diagnostici Diagnosi Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute MisurazioneTitolo di BMI studio Visita MMG Fattori socioeconomici Stile di vita Sintomi Test Pronto diagnostici soccorso Diagnosi Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute MisurazioneTitolo di BMI studio Visita MMG Fattori socioeconomici Stile di vita Sintomi Diagnosi Test Pronto Cambio diagnostici soccorso residenza Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute MisurazioneTitolo di BMI studio Visita MMG Fattori socioeconomici Stile di vita Sintomi Diagnosi Test Pronto Cambio diagnostici soccorso residenza Ricovero Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute MisurazioneTitolo di BMI studio Visita MMG Fattori socioeconomici Stile di vita Sintomi Diagnosi Test Pronto Cambio diagnostici soccorso residenza Ricovero Farmaco Cura Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute MisurazioneTitolo di BMI studio Visita MMG Fattori socioeconomici Stile di vita Sintomi Diagnosi Test Pronto Cambio diagnostici soccorso residenza Ricovero Farmaco Cura Morte Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute MisurazioneTitolo di BMI studio DB1 Visita MMG Fattori socioeconomici Stile di vita Sintomi Diagnosi Test Pronto Cambio diagnostici soccorso residenza Ricovero Farmaco Cura Morte Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Nascita Vaccino Problema di salute MisurazioneTitolo di BMI studio DB1 Visita MMG Fattori socioeconomici Stile di vita Sintomi Diagnosi Test Pronto Cambio diagnostici soccorso residenza Ricovero Farmaco DB2 Cura Morte Osservazioni Sistema sanitario Ambiente Geni Istruzione Prevenzione Problema di salute Fattori socioeconomici Stile di vita Sintomi Diagnosi Cura Quali dati vengono raccolti MisurazioneTitolo di Vaccino BMI studio completezza e qualità Nascita Visita MMG Test Pronto Cambio diagnostici soccorso residenza Ricovero Farmaco disponibilità per la ricerca possibilità di eseguire record linkage tutto varia a seconda di circostanze nazionali/locali DB1 DB2 Morte Identificare condizioni da database osservazionali Diagnosi Identificare condizioni da database osservazionali Assistenza ospedaliera Assistenza secondaria Causa di morte Altre sorgenti Assistenza primaria Diagnosi Identificare condizioni da database osservazionali Valori di laboratorio Evidenza diagnostica Bioimaging Altre sorgenti Diagnosi Identificare condizioni da database osservazionali Utilizzo dei servizi Altri servizi Evidenza diagnostica Visite specialistiche Esami diagnostici Procedure Farmaci Diagnosi Identificare condizioni da database osservazionali Utilizzo dei servizi Evidenza diagnostica Criteri di raffinamento e/o esclusione Diagnosi Validazione Contenuti Identificazione di soggetti con una patologia da database esistenti I database amministrativi italiani Classificazioni e misure di validità Studio di validazione del progetto MATRICE Wrap up Database amministrativi italiani (IAD) DDRUG PERSON ID DRUG DISPENSING DATE ATC DURATION EXE PERSON ID EXEMPTION CODE EXE START DATE DRUGS PERSON ID DRUG DISPENSING DATE ATC DURATION PERSONS PERSON ID GENDER CONCEPT ID DATE OF BIRTH STARTDATE ENDDATE GP ID OUTPAT PERSON ID PROC CODE PROC START DATE GROUP CODE HOSP PERSON ID START DATE MAIN DIAGNOSIS SECONDARY DIAGNOSIS 1-5 PROCEDURE CODE 1-6 PROCEDURE DATE 1-6 Quali dati sono disponibili nei database amministrativi italiani? Utilizzo dei servizi Evidenza diagnostica Diagnosi Quali dati sono disponibili nei database amministrativi italiani? × Evidenza diagnostica Utilizzo dei servizi Altri servizi ? Visite specialistiche Esami diagnostici Procedure Farmaci Assistenza ospedaliera × Assistenza secondaria × Causa di morte × Altre sorgenti Assistenza primaria Diagnosi Quali dati sono disponibili nei database amministrativi italiani? In assenza di registrazione delle diagnosi dall’assistenza primaria esecondaria, le Evidenza malattie croniche diagnostica devono essere identificate tramite pattern di utilizzo dei servizi × Utilizzo dei servizi Altri servizi ? Visite specialistiche Esami diagnostici Procedure Farmaci Assistenza ospedaliera × Assistenza secondaria × Causa di morte × Altre sorgenti Assistenza primaria Diagnosi Contenuti Identificazione di soggetti con una patologia da database esistenti I database amministrativi italiani Classificazioni e misure di validità Studio di validazione del progetto MATRICE Wrap up Regola di classificazione Malati Regola di classificazione In una popolazione che contiene dei malati una classificazione (ALG) individua ALG Malati Regola di classificazione In una popolazione che contiene dei malati una classificazione (ALG) individua ALG FP VP VN FN Malati Regola di classificazione In una popolazione che contiene dei malati una classificazione (ALG) individua ALG Malati (GS) Una classificazione che individua perfettamente i malati è un algoritmo speciale chiamato gold standard (GS) Indici di validità Se in una popolazione è disponibile un GS è possibile calcolare gli indici di validità di ogni algoritmo: sensibilità, specificità, PPV, NPV Sensibilità Denominatore ALG Numeratore GS ALG Probabilità che una persona malata sia individuata da ALG GS Potere predittivo positivo (PPV) Denominatore ALG Numeratore GS ALG Probabilità che una persona individuata da ALG sia malata GS Specificità Denominatore ALG Numeratore GS ALG GS Probabilità che una persona sana sia correttamente individuata come tale da ALG Potere predittivo negativo (NPV) Denominatore ALG Numeratore GS ALG GS Probabilità che una persona individuata come sana da ALG lo sia realmente Se GS non è gold standard: concordanza Denominatore Numeratore ALG κ: concordanza aggiustata GS Contenuti Identificazione di soggetti con una patologia da database esistenti I database amministrativi italiani Classificazioni e misure di validità Studio di validazione del progetto MATRICE Contesto Obbiettivo e razionale Metodi Risultati Wrap up Contenuti Identificazione di soggetti con una patologia da database esistenti I database amministrativi italiani Classificazioni e misure di validità Studio di validazione del progetto MATRICE Contesto Obbiettivo e razionale Metodi Risultati Wrap up Agenzia Nazionale per i Servizi Sanitari Regionali (Agenas) AgeNaS supporta il Ministero della salute e le Regioni conducendo studi e progetti Immagine della XXXV conferenza dell’AIE Agenzia Nazionale per i Servizi Sanitari Regionali (Agenas) AgeNaS ha lanciao nel 2011 il progetto MATRICE, che contiene uno studio di validazione Immagine della XXXV conferenza dell’AIE Società Italiana di Medicina Generale Società scientifica di MMG Società Italiana di Medicina Generale Alcuni mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici Società scientifica di MMG Società Italiana di Medicina Generale Usano lo stesso software Alcuni mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici Società scientifica di MMG Società Italiana di Medicina Generale Usano lo stesso software Alcuni mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici I MMG che partecipano al network sono selezionati in base alla loro accuratezza nel registrare i dati Società scientifica di MMG Società Italiana di Medicina Generale Usano lo stesso software Tra i MMG di questo network si possono trovare le diagnosi che IAD non raccoglie!Alcuni mebri partecipano al network Health Search, che raccoglie dati clinici per svolgere studi epidemiologici I MMG che partecipano al network sono selezionati in base alla loro accuratezza nel registrare i dati Società scientifica di MMG Contenuti Identificazione di soggetti con una patologia da database esistenti I database amministrativi italiani Classificazioni e misure di validità Studio di validazione del progetto MATRICE Contesto Obbiettivo e razionale Metodi Risultati Wrap up Obbiettivo dello studio di validazione MATRICE Identificare strategie ottimali per individuare soggetti con diabete, ipertensione, cardiopatia ischemica, insufficienza cardiaca e loro stadi nei database amministrativi italiani Razionale del disegno di studio GLI MMG sono gatekeeper per l’accesso ai servizi Razionale del disegno di studio Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Una uqery automatica sul DB clinico del MMG dà lo stesso risoltato di una richiesta diretta al MMG Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Una uqery automatica sul DB clinico del MMG dà lo stesso risoltato di una richiesta diretta al MMG Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente I pazienti dei MMG selezionati hanno pattern simili ai pazienti degli altri MMG Razionale del disegno di studio Gli MMG selezionati da SIMG hanno una buona qualità della registrazione Una uqery automatica sul DB clinico del MMG dà lo stesso risoltato di una richiesta diretta al MMG Quindi sono a conoscenza della diagnosi di patologia cronica di un loro paziente I pazienti dei MMG selezionati hanno pattern simili ai pazienti degli altri MMG verrà testata Studio preparatorio: validazione del Gold Standard Cardopatia ischemica Insufficienza cardiaca Ipertensione Stadi Diabete Studio preparatorio: validazione del Gold Standard Cardopatia ischemica × Insufficienza cardiaca Ipertensione × Stadi Diabete Studi preliminari su dati aggregati Contenuti Identificazione di soggetti con una patologia da database esistenti I database amministrativi italiani Classificazioni e misure di validità Studio di validazione del progetto MATRICE Contesto Obbiettivo e razionale Metodi Risultati Wrap up Setting Aziende sanitarie locali 5 ASL (2 del Nord, 2 del centro, 1 del sud) MMG 5 MMG per ogni ASL Popolazione Tutti i pazienti dei 25 MMG nel 2009 o nel 2012, età 16+ Raccolta dati Ministry of Health encryption key ARS Local Health Unit encryption key TheMatrix ID ABC CBA BAC CAB V1 1 1 0 0 ... ... ... ... ... V1 1 1 0 0 ... ... ... ... ... Morpheus encryption key ID ABC CBA BAC CAB VN 1 0 0 0 A 7→ X B 7→ Y C 7→ W Merovingio ID XYW WYX YXW WXY GP 1 0 1 0 A 7→ X B 7→ Y C 7→ W Morpheus ID XYW WYX YXW WXY VN 1 0 0 0 Merovingio ID XYW WYX YXW WXY National Research Council ID ARS GS P1 P2 P3 P4 V1 1 1 0 0 Morpheus V1 ... ... ... ... ... ... ... ... ... ... Vn 1 1 0 0 GS 1 0 1 0 1 0 0 0 ... ... ... ... ... GS 1 0 1 0 VN 1 0 0 0 GS 1 0 1 0 Raccolta dati Ministry of Health sono stati sviluppati dei software per eseguire la raccolta dati in modo automatico e sicuro encryption key ARS Local Health Unit GP il processo è trasparente e ripetibile encryption key TheMatrix ID ABC CBA BAC CAB V1 1 1 0 0 ... ... ... ... ... ID XYW WYX YXW WXY V1 1 1 0 0 ID ABC CBA BAC CAB VN 1 0 0 0 A 7→ X B 7→ Y C 7→ W Merovingio ... ... ... ... ... Morpheus encryption key Morpheus ID XYW WYX YXW WXY 1 0 0 0 Merovingio ID XYW WYX YXW WXY National Research Council ID ARS 1 0 1 0 A 7→ X B 7→ Y C 7→ W VN P1 P2 P3 P4 V1 1 1 0 0 GS 1 0 1 0 Morpheus V1 ... ... ... ... ... ... ... ... ... ... Vn 1 1 0 0 il permesso per eseguire il record linkage tra dati ASL e dati MMG è stato richiesto e ottenuto dall’Autorità per la Privacy GS 1 0 0 0 ... ... ... ... ... GS 1 0 1 0 VN 1 0 0 0 GS 1 0 1 0 faremo richiesta di rendere pubblici i dataset dei dati integrati, anche se aggregati (per sesso, età, MMG. . . ) in modo da consentire studi studi di approfondimento Analisi statistica: l’unità di ossevazione è l’algoritmo Indici di validità Per ASL, pooled grezzi, pooled con effetto casuale sul MMG Eterogeneità Wald test della ASL Contenuti Identificazione di soggetti con una patologia da database esistenti I database amministrativi italiani Classificazioni e misure di validità Studio di validazione del progetto MATRICE Contesto Obbiettivo e razionale Metodi Risultati Wrap up Popolazione 16-44 45-64 65-84 85+ 1 2 3 4 5 A 6951 3443 (49.5) 2836 (40.8) 2515 (36.2) 1424 (20.5) 176 (2.5) 1464 (21.1) 1444 (20.8) 1408 (20.3) 1373 (19.8) 1262 (18.2) B 6839 3522 (51.5) 2626 (38.4) 2254 (33.0) 1648 (24.1) 311 (4.5) 1528 (22.3) 1522 (22.3) 1502 (22.0) 1271 (18.6) 1016 (14.9) C 8038 4305 (53.6) 2916 (36.3) 2623 (32.6) 2082 (25.9) 417 (5.2) 1754 (21.8) 1682 (20.9) 1664 (20.7) 1619 (20.1) 1319 (16.4) D 5764 3023 (52.4) 2130 (37.0) 1817 (31.5) 1459 (25.3) 358 (6.2) 1415 (24.5) 1154 (20.0) 1139 (19.8) 1096 (19.0) 960 (16.7) E 6403 3281 (51.2) 2817 (44.0) 2201 (34.4) 1171 (18.3) 214 (3.3) 1416 (22.1) 1372 (21.4) 1323 (20.7) 1290 (20.1) 1002 (15.6) Tot 33995 17574 (51.7) 13325 (39.2) 11410 (33.6) 7784 (22.9) 1476 (4.3) 7577 (22.3) 7174 (21.1) 7036 (20.7) 6649 (19.6) 5559 (16.4) Algoritmi Hypertension 1.0 0.9 0.9 0.8 4 7 0.8 4 3 0.7 0.6 0.5 0.4 0.5 1 0.4 6 11 0.6 0.5 8 0.4 1 0.3 0.2 0.8 0.7 9 1 0.3 0.9 7 5 0.7 0.6 Sensitivity 5 3 2 1.0 3 Sensitivity 6 Ischaemic heart disease 1.0 10 0.3 0.2 0.2 2 0.1 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 4 0.1 2 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV Sensitivity Diabetes Algoritmi Hypertension 1.0 0.9 0.9 0.8 4 7 0.8 4 3 0.7 0.6 0.5 0.4 0.6 0.8 0.5 0.4 0.7 9 0.3 11 0.6 0.5 0.4 1 0.3 0.2 6 8 1 1 0.9 7 5 0.7 Sensitivity 5 3 2 1.0 3 Sensitivity 6 Ischaemic heart disease 1.0 Sensitivity Diabetes 10 0.3 0.2 0.2 2 0.1 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 4 0.1 2 ((HOSP SEC UNSPEC OR HOSP MAIN UNSPEC OR EXE OR DRUGS INSULIN OR DRUGS ORAL)) OR ((Hba1c)) Sensitivity Specificity PPV NPV κ 0.96 0.96 0.69 1.00 0.78 0.92 0.97 0.76 0.99 0.82 0.87 0.95 0.60 0.99 0.68 0.97 0.86 0.38 1.00 0.49 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.69 1.00 0.96 0.97 0.79 0.87 0.95 0.62 0.99 0.70 0.87 . 0.63 . . (0.86-0.89) (0.60-0.67) < .001 . < .001 . Algoritmi Hypertension 1.0 0.9 0.9 0.8 4 7 0.8 4 3 0.7 0.6 0.5 0.4 0.6 0.8 0.5 0.4 0.7 9 0.3 11 0.6 0.5 0.4 1 0.3 0.2 6 8 1 1 0.9 7 5 0.7 Sensitivity 5 3 2 1.0 3 Sensitivity 6 Ischaemic heart disease 1.0 Sensitivity Diabetes 10 0.3 0.2 0.2 2 0.1 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 4 0.1 2 ((HOSP SEC UNSPEC OR HOSP MAIN UNSPEC OR EXE OR DRUGS INSULIN OR DRUGS ORAL)) Sensitivity Specificity PPV NPV κ 0.79 0.99 0.92 0.98 0.84 0.83 0.99 0.90 0.98 0.85 0.73 0.99 0.90 0.98 0.79 0.75 0.96 0.65 0.98 0.66 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.69 1.00 0.96 0.97 0.79 0.76 0.99 0.86 0.98 0.79 0.76 . 0.86 . . (0.73-0.79) (0.84-0.88) < .05 . < .001 . Algoritmi Hypertension 1.0 0.9 0.9 0.8 4 7 0.8 4 3 0.7 0.6 0.5 0.4 0.6 0.8 0.5 0.4 0.7 9 0.3 11 0.6 0.5 0.4 1 0.3 0.2 6 8 1 1 0.9 7 5 0.7 Sensitivity 5 3 2 1.0 3 Sensitivity 6 Ischaemic heart disease 1.0 Sensitivity Diabetes 10 0.3 0.2 0.2 2 0.1 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 4 0.1 2 ((DRUGS INSDDDlastyear OR DRUGS ORDDDlastyear OR HOSP MAIN UNSPEC OR EXE OR HOSP DRG)) Sensitivity Specificity PPV NPV κ 0.71 1.00 0.94 0.97 0.79 0.77 1.00 0.94 0.98 0.84 0.56 1.00 0.93 0.97 0.68 0.55 0.99 0.89 0.96 0.66 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.39 1.00 0.97 0.94 0.53 0.59 1.00 0.94 0.96 0.71 0.60 . 0.94 . . (0.56-0.65) (0.92-0.95) < .001 . 0.068 . Algoritmi Hypertension 1.0 0.9 0.9 0.8 4 7 0.8 4 3 0.7 0.6 0.5 0.4 0.6 0.8 0.5 0.4 0.7 9 0.3 11 0.6 0.5 0.4 1 0.3 0.2 6 8 1 1 0.9 7 5 0.7 Sensitivity 5 3 2 1.0 3 Sensitivity 6 Ischaemic heart disease 1.0 Sensitivity Diabetes 10 0.3 0.2 0.2 2 0.1 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 4 0.1 2 (ARENIN OR BETABL OR EXE OR HOSP MAIN UNSP OR HOSP SEC UNSP) Sensitivity Specificity PPV NPV κ 0.68 0.97 0.93 0.85 0.70 0.80 0.92 0.85 0.90 0.73 0.77 0.93 0.85 0.89 0.72 0.86 0.82 0.68 0.93 0.63 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.50 0.98 0.91 0.81 0.54 0.72 0.93 0.83 0.87 0.67 0.73 . 0.83 . . (0.70-0.76) (0.81-0.86) < .001 . < .001 . Algoritmi Hypertension 1.0 0.9 0.9 0.8 4 7 0.8 4 3 0.7 0.6 0.5 0.4 0.6 0.8 0.5 0.4 0.7 9 0.3 11 0.6 0.5 0.4 1 0.3 0.2 6 8 1 1 0.9 7 5 0.7 Sensitivity 5 3 2 1.0 3 Sensitivity 6 Ischaemic heart disease 1.0 Sensitivity Diabetes 10 0.3 0.2 0.2 2 0.1 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 4 0.1 2 ((HOSP MAIN OR HOSP SEC OR NITRATES OR EXE)) Sensitivity Specificity PPV NPV κ 0.72 0.99 0.81 0.99 0.76 0.76 1.00 0.89 0.99 0.81 0.47 0.99 0.80 0.97 0.58 0.60 0.99 0.69 0.98 0.63 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.63 0.99 0.70 0.98 0.65 0.62 0.99 0.79 0.98 0.68 0.63 . 0.79 . . (0.58-0.67) (0.76-0.83) < .001 . < .05 . Algoritmi Hypertension 1.0 0.9 0.9 0.8 4 7 0.8 4 3 0.7 0.6 0.5 0.4 0.6 0.8 0.5 0.4 0.7 9 0.3 11 0.6 0.5 0.4 1 0.3 0.2 6 8 1 1 0.9 7 5 0.7 Sensitivity 5 3 2 1.0 3 Sensitivity 6 Ischaemic heart disease 1.0 Sensitivity Diabetes 10 0.3 0.2 0.2 2 0.1 0.1 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 4 0.1 2 ((HOSP MAIN OR HOSP SEC OR NITRATES OR PAI)) Sensitivity Specificity PPV NPV κ 0.87 0.92 0.29 0.99 0.40 0.87 0.91 0.29 0.99 0.40 0.82 0.90 0.33 0.99 0.43 0.91 0.84 0.20 1.00 0.28 0.0 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1-PPV 0.61 0.96 0.38 0.98 0.44 0.84 0.90 0.28 0.99 0.38 0.84 . 0.28 . . (0.82-0.87) (0.26-0.31) < .001 . < .001 . Contenuti Identificazione di soggetti con una patologia da database esistenti I database amministrativi italiani Classificazioni e misure di validità Studio di validazione del progetto MATRICE Wrap up Context Observations Observational data is a great opportunity, but validation is needed IAD Italian Administrative Databases lack important information to detect chronic diseases Results from validation study Algorithms Many algorithms are available with different characteristics in terms of sensitivity, PPV and heterogeneity Tools The study can be repeated Diabetes Good algorithms available Hypertension Better than expected! Ischaemic heart disease To be improved Questions
