qualità, verifica e validazione del dato

QUALITÀ, VERIFICA E
VALIDAZIONE DEL DATO
Eleonora Beccaloni
Reparto Suolo e Rifiuti
Istituto Superiore di Sanità – Roma
[email protected]
Qualità del dato
Le risultanze ottenute da analisi chimiche sono spesso la
base per decisioni in merito a:
Problematiche ambientali.
Problematiche di salute pubblica.
Valutazione del Rischio igienico-sanitario.
Problematiche di sicurezza alimentare.
Problematiche d’interesse legale.
Quindi perché i dati siano accettati come validi è
necessario dimostrare l’adeguatezza delle metodiche
analitiche scelte nonché l’attendibilità dei risultati.
GLI OBIETTIVI DI QUALITÀ
‰
‰
Definire l’errore accettabile e quindi un piano di
qualità (requisiti legislativi)
Definire gli Obiettivi della Qualità dei Dati –
DQOS (Data Quality Objectives)
Obiettivi di qualità del dato
(DQOs)
Misure degli obiettivi di qualità(MQOs)
Sono dichiarazioni numeriche di performance
degli obiettivi della qualità dei Dati
Si riferiscono specificatamente ai requisiti
analitici desiderati da un particolare metodo
analitico
Sono test di verifica di accettazione per gli
Attributi della qualità dei Dati, misurati
solitamente mediante i DQIs
Indicatori della Qualità dei
Dati (DQIs)
‰
PARCCS
- Precisione
- Accuratezza (deviazione della misura o esattezza)
- Rappresentatività
- Completezza
- Comparabilità
- Sensibilità
Indicatori di Qualità dei
Dati
Gli DQIs sono misure quantitative e
qualitative degli attributi principali della
qualità
Indicatori Quantitativi
- precisione, deviazione della misura e sensibilità
¾
Indicatori Qualitativi
- rappresentatività, comparabilità, e completezza
INDICATORI
Quantitativi
PRECISIONE
¾ La precisione è la misura di accordo fra misure
ripetute della stessa proprietà nelle identiche
circostanze o in circostanze sostanzialmente
simili
è un componente dell’incertezza di misura
Si esprime come range, %RPD o come deviazione
standard dei risultati ottenuti
Determinazione
„
Repliche di CRM possono essere utilizzate per la
determinazione della precisione di un metodo analitico
Deviazione della misura
(BIAS)
Bias è la distorsione sistematica o persistente di un
processo di misura che causa l'errore in un‘unica
direzione
Il Bias è un indicatore quantitativo della grandezza
dell'errore sistematico derivante da diverse cause
Si esprime come % di recupero
Verifica del bias
Calibrazione strumentale
Bianchi
Campioni
Materiale di riferimento
Calibrazione strumentale
Punti richiesti – almeno 3
Bianco del punto zero – possibilmente quello di
trattamento del campione
Concentrazione del campione ove possibile deve essere
a circa metà della retta di calibrazione
Linearità della taratura
Coefficiente di correlazione più vicino a 1
Controllo dei bianchi
Il controllo dei bianchi può aiutare a definire il
bias
Bianco strumentale
Bianco dell’intera procedura analitica
Bianco di calibrazione
Bianchi di Strumento
‰
Servono a verificare gli eventuali errori sistematici
dovuti all’ effetto memoria strumentale
- (freq. su esigenza, dopo campioni inquinanti)
‰
Consiste nell’analizzare un bianco del solvente
usato per l’analisi
‰
I Bianchi strumentali sono sotto controllo
quando:
- il loro valore è inferiore al limite di
quantificazione
Bianchi del Metodo
‰
Servono a verificare gli eventuali errori sistematici dovuti a
vetreria, reagenti e laboratorio
- ogni 20 campioni
‰
Consiste nell’analizzare un bianco del solvente usato per
l’analisi sottoposto a tutte le operazioni del metodo
‰
I Bianchi del metodo sono sotto controllo quando:
- il loro valore è inferiore al limite di quantificazione
Bianchi di Calibrazione
‰
Servono a verificare gli eventuali errori sistematici
dovuti all’ effetto memoria strumentale riscontrati
dopo il controllo della calibrazione
‰
Consiste nell’analizzare un bianco del solvente
usato per l’analisi
‰
I Bianchi di calibrazione sono sotto controllo
quando:
- Il loro valore è inferiore al limite di
quantificazione
Controllo dei Campioni
Sui campioni va eseguito un controllo
iniziale per definire:
eventuali diluizioni;
verifica delle interferenze;
verifica delle scelte
dei
strumentali;
parametri
Materiale di riferimento
Usato in tutte le procedure che caratterizzano
l’attività del QA e QC.
Nel caso specifico i materiali di riferimento servono
a verificare gli eventuali errori sistematici dovuti
al metodo eseguito su una matrice reale seppur
omogenea.
I MCR sono sotto controllo quando il loro valore
trovato è nei limiti definiti
ACCURATEZZA
È una misura complessiva della precisione (errori
statistici) e del bias (errori sistematici) durante
l’esecuzione del metodo
L‘accuratezza si compone di precisione e di bias
L’influenza del Bias e della precisione
sull’accuratezza generale
Imprecisi
e
deviati
poco preisi
e
poco deviati
Precisi e
deviati
Precisi e
non
deviati
QUALITA’ DEL DATO
MATERIALI DI RIFERIMENTO
La funzione dei materiali di riferimento è rivolte
alla:
- calibrazione della strumentazione;
- sviluppo e valutazione dei metodi;
- qualificazione della riferibilità della misura;
- ed a tutte quelle funzioni che caratterizzano
l'attività di Quality Assurance (QA) e Quality
Control (QC).
CASO STUDIO
Nel Laboratorio di Igiene Ambientale
dell’Istituto Superiore di Sanità è stato
condotto uno studio approfondito sulla
determinazione del contenuto totale di
arsenico in una matrice solida.
Per lo studio in questione è stato utilizzato
un materiale di riferimento del tipo BCR n.
141R rappresentato da un suolo calcareo.
SCHEMA OPERATIVO
Prove di Recupero
„
„
Mineralizzazione di due soluzioni standard con
concentrazione di As pari a 50 e 100 µg/L
rispettivamente
Letture strumentali mediante ICP-AES, ETAAS
con correttori di fondo Zeeman e lampada al
Deuterio
Prova sul materiale di riferimento
„
„
Mineralizzazione del campione in sei vessels
Lettura strumentale in triplo per ogni vessel con gli stessi
strumenti sopra elencati
PROVE DI RECUPERO RISULTATI
Le prove di recupero non hanno evidenziato
particolari problemi né durante il processo di
mineralizzazione né, tantomeno, durante l'analisi
strumentale in entrambe le tecniche saggiate.
I risultati sono stati soddisfacenti poiché il recupero
è stato del 95% nella soluzione standard da 100
µg/L e del 108% nella soluzione standard da 50
µg/L per entrambe le due diverse tecniche
strumentali.
PROVE DI RECUPERO LETTURA
ICP-AES
PROVE SUL BCR
RISULTATI
Sulla matrice suolo sono stati riscontrati
interferenze di riga durante le determinazioni in
ICP-AES e di matrice durante le analisi in ETAAS
(con correttore di fondo con lampada al Deuterio).
Per entrambe le tecniche strumentali è stato
necessario cambiare la lunghezza d’onda,
passando da una più sensibile (193.696 nm) ma
con interferenti, ad una meno sensibile (188.979
nm) priva di interferenze.
LETTURA ICP-AES
193,696 nm As line
LETTURA ICP-AES
188,979 nm As line
LETTURA ETAAS (Deuterium)
193,696 nm As line
LETTURA ETAAS (Deuterium)
188,979 nm As line
LETTURA ETAAS (Zeeman)
193,696 nm As line
RING TEST
Lo stesso materiale di riferimento è stato
utilizzato per uno studio di intercalibrazione.
I partecipanti alla prova hanno usato, oltre
alle tecniche strumentali precedentemente
descritte, altre due tecniche spettroscopiche,
in particolare spettroscopia in assorbimento
atomico con sviluppo d’idruri e spettroscopia
in ICP-MS.
Valori trovati nel materiale di riferimento BCR
141 R determinati con le due lunghezze d’onda
con le diverse tecniche di assorbimento
atomico (mg/kg s.s.)
ETAAS Deuterio
ETAAS Zeeman
HAAS
188,98 nm 193,70 nm 188,98 nm 193,70 nm 188,98 nm 193,70 m
9,13
42,1
n.d.
10,7
n.d.
7,33
8,45
37,2
n.d.
8,89
n.d.
7,68
8,14
35,4
n.d.
9,00
n.d.
14,9
8,07
40,4
n.d.
10,5
n.d.
8,45
9,38
36,7
n.d.
10,3
n.d.
6,60
8,01
37,8
n.d.
8,87
n.d.
8,88
VESSEL 1
VESSEL 2
VESSEL 3
VESSEL 4
VESSEL 5
VESSEL 6
Valore
8,53 ± 0,53 38,3 ± 2,5
9,71 ± 0,80
trovato
Valore
8,84 ± 0,43
certificato
n.d. = non determinato perché non necessario
-
8,97 ± 2,75
Valori trovati nel materiale di riferimento BCR
141 R determinati mediante ICP-AES e ICP-MS
(mg/kg s.s.)
ICP-AES
VESSEL 1
VESSEL 2
VESSEL 3
VESSEL 4
VESSEL 5
VESSEL 6
Valore trovato
Valore
certificato
188,98 nm
10,5
11,6
10,2
11,4
10,9
10,3
10,8 ± 0,56
193,70 nm
n.d.
n.d.
n.d.
n.d.
n.d.
n.d.
8,84 ± 0,43
ICP-MS
8,6
11,2
11,6
13,1
13,3
10,3
11,6 ± 1,90
Grafico comparativo dei valori medi e deviazioni
standard dei risultati di As ottenuti mediante
diverse tecniche di spettroscopia (mg/kg ss)
16
Valori trovati
Valore di riferimento
14
mg/kg ss
12
10
8
6
4
2
0
ETAAS
Deuterium
188,98 nm
ETAAS
Zeeman
193,70 nm
HAAS
193,70 nm
ICP-AES
188,98 nm
ICP-MS
CONCLUSIONI
Non è del tutto semplice determinare i microinquinanti inorganici,
soprattutto in matrici ambientali complesse ed eterogenee.
L’uso routinario del materiale di riferimento permette di risolvere
problemi che non sarebbero neanche evidenziati, garantendo la qualità
del dato finale.
La partecipazione a studi di intercalibrazione o ring-test si rivela molto
utile, in alcuni casi risolutiva, poiché permette di valutare, mediante
elaborazione statistica dei risultati, alcune criticità legate alle metodiche
stesse di analisi e non ad errori dell’operatore.
La possibilità di scelta della tecnica strumentale più idonea è molto
ampia, purché si prenda coscienza dei pregi e dei difetti di ogni tecnica
strumentale.
SENSIBILITÀ
La sensibilità è la possibilità di un metodo o di uno
strumento di discriminare fra le risposte di misura
La sensibilità può essere considerata come il limite di
rivelabilità
ma questo termine è usato spesso senza definire che cosa
si intende (rivelazione o quantificazione minima)
DQI la sensibilità descrive la possibilità di misurazione del
costituente ai bassi livelli
- un livello pratico di quantificazione descrive la capacità
di misurare un costituente con la certezza conosciuta
Limiti di rivelabilità
‰
9
9
9
9
‰
9
9
‰
9
9
9
Limite di rivelabilità strumentale
E’ la minima concentrazione misurata da cui si possa dedurre con ragionevole
certezza statistica la presenza dell’analita.
E’ numericamente uguale a tre volte la deviazione standards del valore medio della
soluzione standards dell’analita più prossima al bianco, sottratto del bianco stesso.
Il calcolo deve essere effettuato su almeno dieci repliche di soluzione standards e
dieci repliche di bianco.
Il bianco è definito come il procedimento analitico completo, con omissione del
campione di prova.
Limite di rivelabilità del metodo
E’ la minima concentrazione misurata da cui si possa dedurre con ragionevole
certezza statistica la presenza dell’analita tenendo conto dell’intera procedura
analitica.
E’ numericamente uguale al limite di rivelabilità strumentale per il fattore di
diluizione.
Limite di quantificazione
E’ il più basso tenore di analita misurabile con ragionevole certezza statistica.
Qualora sia l’accuratezza che la precisione siano costanti in un campo di
concentrazione intorno al limite di rivelazione.
Il limite di qualificazione sarà numericamente uguale a dieci volte la deviazione
standards del valore medio della soluzione standards dell’analita più prossima al
bianco, sottratto del bianco stesso.
Il bianco è definito come il procedimento analitico completo, con omissione del
campione di prova.
Quality Associated
with Calibration Regions
Approximate
MDL Level
Zero Analyte
Concentration
Approximate PQL
Level
Region of high uncertainty
Region of certain detection
Region of less certain quantification
Matrix/method blank
LOD
3σ
Instrument signal, standard deviation units
LOD = limit of detection
LOQ = limit of quantitation
σ = population standard deviation
Region of certain
quantification
LOQ
10 σ
VERIFICA
‰ La verifica di dati si riferisce alle procedure
necessarie per accertarsi se un insieme di dati sia
una riflessione fedele di tutti i processi e le
procedure seguite per generare i dati
‰ la verifica è un processo di valutazione che richiede
l'esame obiettivo della complessità, correttezza e
conformità di uno specifico set di dati, rispetto ai metodi,
alle procedure e alle condizioni progettuali
precedentemente definite
Attività tipiche di verifica
- Confermare che le pratiche richieste dal metodo,
dalla procedura o dai requisiti del progetto, siano
state realmente impiegate
- Effettuare indipendentemente il doppio controllo
dei calcoli
- Confermare che le note del laboratorio o di campo
siano costanti con i rapporti convenzionali
- Valutazione analitica e incertezza del campo
- Controllare le operazioni sistema di gestione
informativo del laboratorio
INDICATORI
Quantitativi
DQIs da considerare nelle verifica
yCompletezza:
Abbiamo ottenuto il numero
voluto di punti di riferimenti dei campioni, con i
metà dati corrispondenti?
yComparabilità:
Possiamo confermare che
tutti i campioni sono stati analizzati usando i
metodi paragonabili?
yRappresentatività:
campionamento
giustamente?
Lo
previsto
è
schema
di
stato
seguito
COMPLETEZZA
‰ La completezza è una misura della quantità di dati
validi ottenuti da un sistema di misura, espresso
come percentuale del numero di misure valide che
dovrebbero essere raccolte
„
il DQI per la completezza è spesso espresso come
percentuale
„
Completezza % = numero di risultati validi/numero di
possibili risultati
COMPARABILITÀ
La comparabilità è la confidenza con la quale un set di
dati può essere comparato con un altro set di dati.
„
„
„
„
„
„
„
I set di dati da confrontare devono avere la stessa seguenza di
analiti/varibili da ricercare
Le unità di misura usate devono essere le stesse
Le procedure analitiche usate devono essere equiparabili ed
avere lo stesso tipo di performance: Precisione, Bias, Limiti di
Rivelabilità, Standard utilizzati
I protocolli di assicurazione della qualità dei dati devono essere
gli stessi (stessi QC)
Le regole per escludere certi dati dai set devono essere uguali
Il campionamento deve essere fatto in modo ed in tempistiche
paragonabili e in posti uguali (dove possibile)
Le variabili macroscopiche dei set devono essere paragonabili
RAPPRESENTATIVITÀ
La rappresentatività è la misura del grado con cui i dati
adeguatamente rappresentano una caratteristica di una
popolazione di campioni o di una matrice d’interesse
Si misura mediante un appropriato programma di prelievo dei
campioni (tecniche e procedure definite)
Si valuta mediante la valutazione dei dati relativi ai QC di campo
Influenze:
„
„
„
„
l’omogeneità del sito
l’omogeneità del campione rispetto ad un punto preciso dell’area
campionata
Carenza di informazioni nel piano di campionamento.
L’utilizzo di metodiche analitiche non omogenee o con diversi DQO
VALIDAZIONE
E’ la conferma che deriva da un controllo
dove si evidenzia il raggiungimento di
obiettivi specifici richiesti, per un uso
predefinito.
DQIs da considerare nella validazione
ySensibilità: I limiti di rivelabilità voluti sono stati
realizzati?
yAccuratezza: Sono stati raggiunti I recuperi
prefissati?
yPrecisione: Sono stati raggiunti gli obiettivi delle
prestazioni
stabiliti
nel
programma
dell’assicurazione della qualità?
INTEGRITÀ
yLa mancanza di integrità interessa tutte le funzioni
dell'interpretazione di dati.
yLa mancanza di integrità include :
– manipolazione delle misure di QC
– la falsificazione dei dati
– manipolazione dei risultati durante l'analisi
– omissione di condurre i punti analitici richiesti
– alterazione delle analisi dei risultati
RIFERIMENTI US-EPA
Sito: www.epa.gov/quality
QA/G-4 Guidance for the Data Quality Objectives Process
QA/G-5 EPA Guidance for Quality Assurance Project Plans
QA/G-5I Guidance for the Data Quality Indicators
QA/G-8 Guidance on Environmental Data Verification and
Validation
SUGGERIMENTI ISS
Si ritiene che sussista una difformità non accettabile nel
confronto tra i dati analitici dei laboratori a vario titolo
coinvolti quando si verificano i seguenti casi:
¾
¾
Parametri inorganici: (metalli e non metalli): intervallo di
variabilità tra i dati > ± 20%
Parametri organici: intervallo di variabilità tra i dati
>±50%
Se si è in presenza di un caso del genere, si ritiene che si
debba procedere nel seguente modo
SCENARIO A
Si procede ad una intercalibrazione, dalle risultanze di
tale intercalibrazione si possono prospettare alcune
situazioni:
1)
entrambi i laboratori determinano correttamente i
valori di concentrazione relativi al materiale di
riferimento, e quindi dimostrano di lavorare con
procedure idonee. In tal caso ripetere di nuovo le
analisi dei due campioni, uniformando, ove necessario,
i protocolli operativi adottati. Eventualmente operare
uno scambio dei campioni al fine di verificare
l’omogeneità degli stessi.
SCENARIO A
2)
uno dei due laboratori non determina correttamente i
valori certificati. In tal caso sarebbe opportuno per
ulteriore conferma ripetere l’analisi da parte dell’altro
laboratorio coinvolto, in presenza di un rappresentante
del primo laboratorio. I valori determinati e confermati in
questa fase saranno quelli da prendere per “validi”.
3)
entrambi i laboratori non determinano correttamente i
valori di concentrazione certificati. In tal caso
prioritariamente andranno verificate le procedure
analitiche adottate, al fine di produrre un protocollo
condivisibile da entrambi i laboratori e ripetere le analisi.
Qualora l’esito sia ancora negativo, si dovranno
analizzare soluzioni “ad hoc” caso per caso in funzione
delle procedure analitiche adottate, sia di preparazione
del campione sia di tecnica strumentale.
SCENARIO B
Nel caso in cui sia impossibile reperire in
commercio un materiale di riferimento in matrice
suolo per lo specifico analita/i in questione, si può
ipotizzare di produrne uno “ad hoc”, in cui
l’analita/i è presente a concentrazione nota solo
dall’Ente supervisore. Dopodiché si avranno gli
stessi scenari ipotizzati al punto A).
SCENARIO C
Nel caso in cui non sia possibile reperire o produrre un
materiale che presenta le stesse caratteristiche di
matrice e concentrazioni confrontabili di analita, si
possono fare le seguenti ipotesi:
1. →
prioritariamente procedere ad uno scambio dei
2 campioni originali e ripetere le analisi. Ciò permetterà
una prima valutazione sulla omogeneità dei due
campioni.
Nel caso di esito ancora discorde si dovrà utilizzare il
terzo campione di suolo, fermo restando che il “terzo
campione” sia da considerarsi rappresentativo della
massa di suolo campionato, e facente parte dello stesso
campione primario. Tale 3° campione andrà suddiviso in
tre aliquote, di cui una conservata ancora come
testimone da utilizzare eventualmente per una ulteriore
indagine di dettaglio, e ripetere le analisi sulle aliquote
del terzo campione
SCENARIO C
y come ultima soluzione nell’ipotesi in cui si hanno anche
sulle due aliquote del terzo campione di suolo dati
discordanti, si propone di utilizzare la terza aliquota
(qualora sufficiente in termini quantitativi per una analisi
esaustiva) da analizzare congiuntamente, da parte di tutti i
tecnici dei due laboratori interessati, dopo aver messo a
punto concordemente un preciso protocollo operativo. I
risultati ottenuti saranno considerati validi ai fini della
caratterizzazione.