01/07/2014
Laboratorio di Modellistica SanitarioSanitario-Ambientale
Analisi di sensitività, calibrazione e
valutazione dell ’ incertezza degli
input di un modello matematico:
matematico:
fondamenti e metodologie
Giorgio Mannina
[email protected]
Sommario
Definizioni
Generalità sull’analisi di sensitività
Analisi di sensitività di tipo locale
Analisi di sensitività di tipo globale
Classificazione
matematico
dell ’ incertezza
di
un
modello
Il metodo Monte Carlo
Tecniche di campionamento casuale: Latin Hypercube
sampling, Simple random Sample (SRS)
Calibrazione di un modello matematico
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
1
01/07/2014
Definizioni
Analisi di sensitività
L’analisi di sensitività (AS) di un modello matematico è quel
processo attraverso il quale è possibile studiare la variazione
della risposta del modello (output del modello) al variare di uno o
più fattori di input (parametri e/o variabili) e discriminare tra fattori
influenti e non influenti.
Incertezza
L’incertezza è un indicatore del livello di ignoranza/conoscenza di
un sistema o processo
Analisi di incertezza
L’analisi dell’incertezza (AI) di un modello matematico è quel
processo attraverso il quale è possibile individuare, in funzione
della sorgente di incertezza, il grado di incertezza degli output del
modello
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Definizioni
Calibrazione
La calibrazione di un modello è il processo di “aggiustamento” del
valore dei parametri finalizzato al miglioramento del fitting tra i
valori delle variabili simulate ed i dati misurati per le stesse
variabili.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
2
01/07/2014
Calibrazione
outliers!!
y
E2
E4
En
E1
E3
outliers!!
x
F.O. = MIN [f(Somma(E1…En)]
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Generalità sull’
sull’analisi di sensitività
L’analisi di sensitività
I valori dei fattori di input del modello vengono perturbati
(singolarmente, a gruppi o contemporaneamente) all’interno
di un fissato campo di variazione (per fissata distribuzione) al
fine di identificare la sensitività per ogni fattore del modello.
Il processo di AS permette di determinare, all’interno di limiti
ragionevoli, quali parametri o variabili di input hanno
sull’output del modello un effetto che può essere considerato
trascurabile, significativo, lineare o non lineare
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
3
01/07/2014
Nomenclatura
Alta
Interazione
Fattori “interacting”
Fattori importanti
Fattori non
influenti
Bassa
Bassa
Sensitività
Soglia per la misura di sensitività
Fattori “interacting”
Alta
Soglia per la misura di interazione
Fattori influenti
Prof. G. Mannina - Laboratorio di Modellistica Sanitario
Sanitario--Ambientale
Generalità sull’
sull’analisi di sensitività
I parametri di un modello non sono sensibili e/o insensibili
Un modello (intendendo l ’ output) risulta sensibile e/o
insensibile ai parametri del modello stesso!!
Prof. G. Mannina - Laboratorio di Modellistica Sanitario
Sanitario--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
4
01/07/2014
Generalità sull’
sull’analisi di sensitività
Perché effettuare una AS?
Le motivazioni per le quali si esegue una AS sono molteplici e
dipendono dall ’ obiettivo prefissato dal modellatore. Il
modellatore può condurre l’AS per determinare:
se il modello descrive in modo appropriato il sistema o il
processo modellato. Un modello non descrive in modo
appropriato i processi coinvolti se esso è fortemente
dipendente dai fattori supposti non influenti o se il range di
predizione del modello è fisicamente improbabile. In tal caso,
l’AS evidenzia la necessità di rivedere la struttura del modello
stesso;
se esiste una regione nello spazio dei fattori di input per cui la
variazione del modello risulta massima;
le regioni ottimali all’interno dello spazio dei fattori da utilizzare
in un successivo studio di calibrazione;
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Generalità sull’
sull’analisi di sensitività
Perché effettuare una AS?
Si rende possibile valutare se e quali fattori o gruppi di essi
interagiscono tra di loro. Infatti, nella maggior parte dei modelli
ambientali gli effetti combinati dei fattori non possono essere
espressi dalla somma dei singoli effetti. Ciò implica una
interazione tra i fattori che può avere implicazioni importanti in uno
studio modellistico;
È possibile valutare quali siano i fattori di input che contribuiscono
maggiormente alla variazione dell ’ output e quali, invece,
richiedono ulteriori studi al fine di migliorarne la conoscenza di
base. L’individuazione di tali fattori agevola la fase preliminare di
pianificazione del processo sperimentale consentendo di
pianificare un piano sperimentale ad hoc finalizzato a trarre più
informazioni dai dati che si intende rilevare. In tal modo è
possibile minimizzare l’incertezza dei risultati del modello legata
agli errori di misura;
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
5
01/07/2014
Generalità sull’
sull’analisi di sensitività
Perché effettuare una AS?
si rende possibile valutare individuare i parametri poco
significativi del modello. Sono poco significativi quei parametri
la cui variazione non produce cambiamenti rilevanti nell’output
del modello. Nel caso in cui il modello risultasse più
complesso rispetto alle necessità del modellatore tutti quei
fattori, processi e quindi parametri che risultano poco
significativi per l’oggetto dello studio possono essere trascurati.
La conoscenza di tutti i parametri che influenzano invece in
modo significativo la risposta del modello favorisce/migliora la
fase di calibrazione di un modello.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Generalità sull’
sull’analisi di sensitività
Le tipologie di AS
I metodi di AS possono essere suddivisi, sulla base dello spazio
fattoriale di interesse, in due grandi classi: metodi di analisi di
sensitività locale (ASL) e metodi di analisi di sensitività globale
(ASG).
Tipo locale
Analisi di sensitività
Tipo globale
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
6
01/07/2014
Generalità sull’
sull’analisi di sensitività
Le tipologie di AS
I metodi di ASL focalizzano l’attenzione sull’impatto locale che i
fattori di input hanno sull’output di un modello. In tale contesto,
interessa valutare l ’ effetto sull ’ output del modello di piccole
variazioni dei fattori di input rispetto a predefiniti valori nominali,
generalmente considerate singolarmente.
I metodi di ASG valutano l ’ effetto che la variazione
contemporanea, in ampi range di variazione, dei fattori di input
ha sull’output del modello.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività locale
Introduzione
La ASL viene condotta mediante il calcolo di derivate parziali delle
funzioni di output rispetto alle variabili di input; i metodi di ASL
vengono infatti anche chiamati “metodi basati sulle derivate”. Al fine
di valutare tali derivate numericamente, ogni parametro xi di input
viene fatto variare nell ’ intorno di un valore nominale (xinom) e
valutata la risposta del modello per ogni output y.
(
∆y = ∑ yi − yin om
x2
i
x2nom
)
2
∆y
MODELLO
MODELLO
x1nom
perturbazioni
parametriche
x1
simulazioni
x2nom
x1nom
valutazione della
variazione di uscita
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
7
01/07/2014
Analisi di sensitività locale
Peculiarità dell’
dell’ASL
L’ASL può essere vista come un particolare caso di approccio
one factor at a time (OAT), poiché durante la variazione del
singolo fattore tutti gli altri vengono mantenuti costanti.
L’approccio locale è applicabile quando la variazione attorno
al valore nominale, di ognuno dei fattori di input, risulta essere
talmente piccola da potere assumere verosimilmente lineare
la relazione che intercorre tra input e output.
I metodi di ASL risultano poco utili laddove l ’ obiettivo
dell’analisi è quello di confrontare l’effetto della variazione dei
diversi fattori di input sugli output del modello, poiché in tal
caso l’incertezza relativa di ogni fattore di input dovrebbe
essere pesata.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività locale
Peculiarità dell’
dell’ASL
I metodi di ASL presenti in letteratura hanno la caratteristica
di essere molto efficienti in termini computazionali, in quanto
richiedono un numero di perturbazioni sufficientemente basso
per singolo fattore da analizzare. Tuttavia, i metodi ASL sono
inefficienti in termini di tempo di programmazione. Essi
richiedono, ad esempio, al fine di eseguire le operazioni di
analisi OAT, l’intervento da parte del modellatore sul codice
aumentando così l ’ incertezza legata agli errori di
programmazione.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
8
01/07/2014
Analisi di sensitività locale
Le funzioni di sensitività
La variazione del fattore xi determina una variazione dell’output y.
La sensitività del generico parametro xi sull ’ output y viene
quantificata mediante una “funzione di sensitività”.
Particolare attenzione, nell’applicazione dell’ASL ricopre la scelta
della funzione di sensitività adottata per quantificare l’influenza
che il fattore xi ha sull’output y.
L’esito dell’ASL, ad esempio, di un modello per la simulazione di
un impianto di depurazione, può essere fortemente influenzato
dalle condizioni operative, dalla caratterizzazione del refluo
influente e dalla natura dell’indice e/o coefficiente di sensitività
utilizzato.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività locale
Le funzioni di sensitività
La misura della sensitività locale, si,j, del parametro xi rispetto
alla variabile yj è in genere rappresentata dalla pendenza della
funzione che descrive il valore di yj al variare di xi come segue:
si , j =
∂y j
∂ xi
Tale misura di sensitività descrive la variazione assoluta di una
variabile di output del modello per variazione unitaria (assoluta)
del valore del parametro, essa dipende tanto dall’ordine di
grandezza della variabile di output quanto da quello del
parametro. Tale circostanza ha l ’ inconveniente di rendere
impossibile il confronto tra le misure di sensitività di diverse
variabili di output o di una stessa variabile ma calcolate rispetto
a diversi parametri
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
9
01/07/2014
Analisi di sensitività locale
Le funzioni di sensitività
Per ovviare all ’ inconveniente sopra citato la funzione di
sensitività viene normalizzata. Tale normalizzazione può essere
seguita rispetto al valore della variabile corrispondente al valore
nominale del parametro e rispetto al valore del parametro
nominale stesso :
si , j
nom
∂y j
xi
=
y j nom ∂ x i
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività globale
Peculiarità dell’
dell’ASG
La ASG consente di quantificare l’impatto che l’intero spazio
parametrico ha sull ’ output del modello comportando la
variazione contemporanea di tutti i fattori di input.
Nella ASG l’incertezza dell’output del modello viene associata
all’incertezza dei fattori di input e descritta, tipicamente, da
funzioni di distribuzione di probabilità che coprono i range di
variazione dei fattori.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
10
01/07/2014
Analisi di sensitività globale
Peculiarità dell’
dell’ASG
Le proprietà fondamentali dell’analisi di sensitività di tipo globale
sono:
L ’ influenza del fattore di scala e della forma
distribuzione: in particolare si tiene conto dell’effetto
range di variazione del singolo fattore e la rispettiva
della funzione di densità di probabilità hanno sulla
della sensitività dello stesso.
della
che il
forma
stima
Media multidimensionale: la stima della sensitività di ogni
fattore viene effettuata variando contemporaneamente tutti i
fattori di input e facendo riferimento dunque al
contemporaneo effetto su tutte le variabili del modello
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività globale
Peculiarità dell’
dell’ASG
L’adozione di un metodo ASG ha l’inconveniente di richiedere
tempi computazionali >> rispetto a quelli necessari per la ASL
in quanto la variazione contemporanea di tutti i parametri
determina un incremento del numero di simulazioni
necessarie.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
11
01/07/2014
Analisi di sensitività globale
Classificazione dei metodi di ASG
I metodi di analisi ASG vengono generalmente suddivisi in tre
grandi categorie:
Metodi basati sulla decomposizione della varianza: Sobol ’ ,
Fourier Amplitude Sensitivity Test (FAST), Extended-FAST,
etc…
Metodi di screening: Morris screening, Latin Hypercube-OAT,
etc…
Metodi basati sulla regressione lineare: analisi della regressione
lineare standardizzata (SRC), analisi di regressione a step,
etc…
Di seguito vengono presentate le caratteristiche peculiari di ognuna
delle categorie elencate entrando nel dettaglio dei metodi SRC,
Morris screening e Extended-FAST
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività globale
Metodi basati sulla decomposizione della
varianza: il metodo ExtendedExtended-FAST
Il metodo Extended-FAST è basato sul teorema di
decomposizione della varianza. A tal proposito si riportano di
seguito alcune utili definizioni:
Valore atteso:
atteso: il valore atteso (chiamato anche media, speranza
o speranza matematica) di una variabile casuale X, indicato
con E[X], è un parametro di sintesi del valore medio di un
fenomeno aleatorio. Nel caso in cui la variabile casuale sia
discreta (la variabile casuale assume un numero finito o una
infinità numerabile di valori) il valore atteso della variabile X è
dato dalla somma dei possibili valori di tale variabile, ciascuno
moltiplicato per la probabilità di essere assunto (ossia di
verificarsi), cioè è la media ponderata dei possibili risultati.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
12
01/07/2014
Analisi di sensitività globale
Metodi basati sulla decomposizione della
varianza: il metodo ExtendedExtended-FAST
Varianza: la varianza di una variabile casuale x fornisce la
Varianza:
misura di quanto siano dispersi i valori assunti dalla variabile,
ovvero di quanto si discostino dal valore atteso. La varianza
della variabile casuale x viene indicata con σ2(x) o Var(x) ed è
espressa come il valore atteso del quadrato della variabile xE[x]:
σ 2 ( x ) = Var ( x ) = E [( x − E [ x ])2 ]
La formula per la varianza di un'intera popolazione è:
σ 2 ( x ) = Var ( x) =
)
(
2
1 N
∑ xi − x
N i =1
dove N rappresenta la dimensione della popolazione e x la media
aritmetica della popolazione.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività globale
Metodi basati sulla decomposizione della
varianza: il metodo ExtendedExtended-FAST
In sintesi, il teorema della decomposizione della varianza
afferma che la varianza dell’output Y di un modello, indicata con
Var(Y), può essere partizionata nel seguente modo:
Var ( Y ) =
n
n
∑D + ∑D
i
i =1
i≤ j ≤n
ij
+ ... +
n
∑D
1...n
(1)
i ≤ ... n
dove Di rappresenta l’effetto del primo ordine del fattore i-esimo:
[
]
Di = Varxi E x−i (Y xi )
Il pedice xi indica che viene assunta la variazione del solo fattore iesimo mentre x-i indica che viene assunta la variazione per tutti i
fattori tranne l’i-esimo (tutti i fattori sono noti tranne l’i-esimo)
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
13
01/07/2014
Analisi di sensitività globale
Metodi basati sulla decomposizione della
varianza: il metodo ExtendedExtended-FAST
n
Mentre
∑D
i ≤ j ≤n
ij
+ ... +
n
∑D
rappresenta l’interazione tra gli n fattori
1...n
i ≤...n
coinvolti o somma degli effetti di ordine superiore al primo.
Nello specifico l’interazione tra i parametri i e j viene calcolata
come segue:
[(
[
)]
[ ( )]
]
Di j = Var E Y xi , x j − Varxi Ex−i (Y xi ) − Varx j Ex− j Y x j
varianza
del
valore
atteso di Y noti tutti i
fattori tranne xi e xj
varianza del valore
atteso di Y noti tutti i
fattori tranne xj
varianza del valore
atteso di Y noti tutti i
fattori tranne xi
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività globale
Metodi basati sulla decomposizione della
varianza: il metodo ExtendedExtended-FAST
Dividendo tutti i membri della (1) per Var(Y) si ottiene
n
n
1=
∑
i =1
∑D
Di
i≤ j ≤n
ij
n
∑D
1...n
+ ... + i≤...n
Var ( Y ) Var ( Y )
Var ( Y )
+
somma degli indici del
primo ordine di tutti gli n
fattori
somma degli indici di ordine
superiore al primo.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
14
01/07/2014
Analisi di sensitività globale
Metodi basati sulla decomposizione della
varianza: il metodo ExtendedExtended-FAST
Pertanto la somma tra gli effetti di ordine totale relativamente a
tutti i fattori coinvolti è pari ad 1. Dunque nel caso in cui si voglia
calcolare l’effetto dell’ordine totale di un fattore bisogna sottrarre
ad 1 il valore della varianza del modello associata alla
interazione tra il fattore in esame e gli altri coinvolti.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività globale
Metodi basati sulla decomposizione della
varianza: il metodo ExtendedExtended-FAST
L ’ applicazione del metodo Extended-FAST non richiede
alcuna assunzione sulla struttura del modello (lineare,
monotono, etc.). Per ogni fattore il metodo Extended-FAST
fornisce due misure di sensitività:
Si =
(
)
Varxi E x−i (Y xi )
Var (Y )
Indice dell’effetto del primo ordine
Si rappresenta il contributo alla varianza del modello,Var(Y),
dovuto al solo fattore i, senza considerare l’interazione dell’ isimo fattore. In particolare Si rappresenta la percentuale di
riduzione della varianza (in media) che si avrebbe se il fattore isimo fosse noto.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
15
01/07/2014
Analisi di sensitività globale
Metodi basati sulla decomposizione della
varianza: il metodo ExtendedExtended-FAST
ST i = 1 −
(
)
Varx−i E xi (Y x −i )
Var (Y )
Indice dell’effetto totale
STi rappresenta il contributo alla varianza del modello,Var(Y),
dovuto al solo fattore i, considerando pure le interazione tra i
fattori. In particolare, rappresenta la percentuale di riduzione
della varianza (in media) che si avrebbe se tutti i fattori tranne i
fossero noti.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Di
Analisi di sensitività globale
Metodi di screening: il metodo Morris screening
Il metodo Morris screening si basa sulla quantificazione degli
effetti elementari (EE) che la variazione dei fattori di input
producono sugli output del modello.
In particolare l’effetto elementare dell’i-esimo fattore (EEi)
conseguente ad una perturbazione ∆ del fattore rappresenta
la differenza relativa tra l’output del modello ottenuto con e
senza perturbazione:
EE i ( x1 ,..., x n , ∆ ) =
y ( x1 ,..., x i −1 , x i + ∆, x i +1 ,..., x n ) − y ( x1 ,..., x n )
∆
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
16
01/07/2014
Di
Analisi di sensitività globale
Metodi di screening: il metodo Morris screening
Per ogni fattore i la misura della sensitività è espressa dalla
media (µ) e dalla deviazione standard (σ) della funzione degli
effetti elementari; µ quantifica l ’ importanza del fattore e σ
l’interazione
Il metodo Morris screening richiede un numero di simulazioni
che è pari a r(N+1), dove N è il numero di fattori ed r il
numero di ripetizioni nel campionamento OAT del fattore
(varia da 5-70)
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività globale
Metodi basati sulla regressione lineare: il metodo
Standardized Regression Coefficients - SRC
Il metodo SRC è basato sulla esemplificazione mediante
regressione lineare multipla degli output del modello:
n
y j = bo + ∑ bi ⋅ xi + ε
i =1
dove yj reppresenta l’output j-esimo del modello, xi l’i-esimo
fattore, n il numero di fattori, bi le pendenze della regressione
e ε l’errore random del modello di regressione.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
17
01/07/2014
Analisi di sensitività globale
Metodi basati sulla regressione lineare: il metodo
Standardized Regression Coefficients - SRC
Le pendenze della regressione standardizzata rappresentano
la misura di sensitività espressa dal coefficiente di
regressione (SRC).
Tale pendenza è esplicitabile come segue:
SRC ( x i ) = β i = bi ⋅ σ xi σ y
Dove σxi e σy rappresentano rispettivamente la deviazione
standard del fattore e dell’output
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività globale
Metodi basati sulla regressione lineare: il metodo
Standardized Regression Coefficients - SRC
Il metodo SRC è applicabile qualora il coefficiente di
determinazione R2, che è la porzione della varianza totale
rappresentata dal modello di regressione, sia maggiore di 0.7.
Il segno di βi indica se l’effetto della variazione del fattore sulla
variazione dell’output è positivo o negativo (effetto positivo:
aumentando xi aumenta y; effetto negativo aumentando xi
diminuisce y)
Il valore assoluto di β i da il grado di influenza del fattore.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
18
01/07/2014
Analisi di sensitività globale:SRC
1
Quantità
Sensitivity [βi]
(a)
Threshold
0.5
0
-0.5
-0.5
-1
1
2
3
4
5
6
1
7 8 9 10 11 12 13 14 15 16 17
Parameter No.
(b)
Qualità
0.5
0
-0.5
-1
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Analisi di sensitività globale: Morris
1
(a)
Treshold
*
µ i=+2SEMi
0.8
Parameter
0.6
σ
Quantità
0.4
2
3
0.2
4
5
0
0
0.2
0.4
1
µ*
0.6
0.8
1
0.6
0.8
1
(b)
0.8
Qualità
0.6
8
2
16
3
9 6
0.4
15
0.2
0
1
0
0.2
0.4
µ*
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
19
01/07/2014
Analisi di sensitività globale: EE-Fast
1
(a)
Si
Interaction
Quantità
Sensitivity [Si, STi]
0.8
0.6
0.4
0.2
0
1
2
3
4
5
6 7 8 9 10 11 12 13 14 15 16 17
Parameter No.
2
3
4
5
6 7 8 9 10 11 12 13 14 15 16 17
Parameter No.
1
(b)
0.8
Qualità
0.6
0.4
0.2
0
1
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Classificazione dell’
dell’incertezza
Fonti di incertezza
Qualunque sia il modello in analisi le fonti di incertezza delle
predizioni del modello possono essere classificate in 4 grandi
categorie:
Input del modello. A questa categoria appartengono tutti i
dati necessari per eseguire le simulazioni (nel caso di un
modello di un impianto di depurazione: portate in ingresso,
caratteristiche del refluo da trattare…)
Struttura del modello
Parametri del modello
Metodo di implementazione e/o risoluzione adottato
(software, linguaggio di programmazione)
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
20
01/07/2014
Classificazione dell’
dell’incertezza
Fonti di incertezza
Schematizzazione delle fonti di incertezza nel caso di un
modello ASM:
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Valutazione dell’
dell’incertezza
La valutazione dell ’ incertezza di un modello matematico
considera in primo luogo la definizione dello scopo del modello
che include la identificazione delle sorgenti rilevanti di
incertezza.
Identificata ogni singola fonte di incertezza e selezionate le
fonti significative, è possibile valutare l’incertezza.
Esistono diversi metodi per quantificare l’incertezza, tra i quali:
Metodi usati per caratterizzare e classificare (in funzione
della significatività) le incertezze:
Valutazione della qualità dei dati
Stima dei parametri
Analisi di sensitività
…
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
21
01/07/2014
Valutazione dell’
dell’incertezza
Metodi
finalizzati
ad
incrementare
dell’’informazione:
Controllo di qualità
Coinvolgimento dei portatori di interesse
…
la
qualità
Metodi usati per quantificare e propagare l’’incertezza di
modelli di calcolo finalizzati a quantificare l’’ incertezza
dell’’output del modello:
Propagazione Gaussiana dell’errore
Simulazioni di Monte Carlo
Analisi di scenari
…
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
I metodi Monte Carlo
Generalità
Il metodo Monte Carlo è un procedimento matematico
basato sull'utilizzazione di numeri casuali. La definizione
più utilizzata è la seguente:
Il metodo di Monte Carlo consiste nel cercare la
soluzione di un problema, rappresentandola quale
parametro di una ipotetica popolazione e nello stimare
tale parametro tramite l'esame di un campione della
popolazione ottenuto mediante sequenze di numeri
casuali..
casuali
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
22
01/07/2014
I metodi Monte Carlo
Gli step del metodo
Si effettua un numero elevato di simulazioni
deterministiche variando uno o più parametri in modo
casuale secondo una statistica predefinita
Si analizzano i risultati delle simulazioni su base
statistica
Si cerca un legame fra la statistica del parametro e
quella dell’uscita del modello
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
I metodi Monte Carlo
Esempio di metodo Monte Carlo
Variazioni casuali del rateo
di crescita di una
popolazione
Es. Sviluppo di una popolazione
in funzione del rateo di crescita
120
Si considera media e
varianza delle simulazioni
100
P opul ti
Popolazione
80
Si correla la distribuzione
del rateo di crescita alla
distribuzione della
popolazione
60
40
r
20
0
0
20
40
60
Tempo
pop
80
100
120
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
23
01/07/2014
I metodi Monte Carlo
Particolare interesse nei metodi di tipo Monte Carlo
ricopre la forma della distribuzione di probabilità della
popolazione che può essere di vario tipo a seconda del
caso
in
esame
(Poisson,
normale,
uniforme
esponenziale…)
Un altro elemento chiave dei metodi Monte Carlo è
rappresentato dal metodo adottato per il campionamento
casuale (Latin hypercube sample, simple random
sample…) che caratterizza il metodo stesso
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Tecniche di campionamento casuale
Simple random sample
Il Simple random sample (SRS) (campionamento casuale
semplice) rappresenta il naturale punto di partenza per lo
studio di tutti gli altri disegni campionari.
L’SRS è un campionamento di tipo equiprobabilistico
Si consideri una popolazione di N unità dalla quale si
debba estrarre un campione di n unità distinte. L’SRS è la
tecnica che attribuisce la stessa probabilità di selezione
ad ogni insieme di n unità distinte della popolazione.
Consegue dalla precedente definizione che anche ogni
singola unità della popolazione ha la stessa probabilità di
entrare a far parte del campione.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
24
01/07/2014
Tecniche di campionamento casuale
Simple random sample
Nella selezione di un campione casuale è possibile
scegliere se ogni unità possa entrare più di una volta nel
campione. Se questa possibilità non è ammessa il
campionamento è detto senza ripetizione,
ripetizione altrimenti con
ripetizione.
ripetizione
Nella pratica, l'estrazione con ripetizione viene adottata
raramente. E' intuitivo che, fissata la dimensione del
campione, l'osservazione ripetuta di una o più unità
rappresenta una perdita di informazione. E' tuttavia anche
evidente che la distinzione tra estrazione con e senza
ripetizione
perde
gradualmente
di
importanza
all'aumentare della dimensione della popolazione di
rilevazione.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Tecniche di campionamento casuale
Simple random sample
Seppure il metodo SRS sia tra i più semplici metodi di
campionamento casuale esso è anche il meno efficiente
qualora sia necessario ridurre il campionamenti e quindi le
simulazioni da effettuare. Ciò è dovuto al fatto che al
diminuire della dimensione campionaria diminuisce la
probabilità di coprire l’ intero range di variazione della
variabile aleatoria, ottenendo così un campione falsato.
Al fine di ovviare a tale problema si preferiscono, nel caso
si voglia ridurre il numero di simulazioni, i metodi di
campionamento stratificati.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
25
01/07/2014
Tecniche di campionamento casuale
Latin Hypercube sampling (LHS)
La Latin Hypercube Sampling (LHS) (campionamento ad
ipercubo latino) è un metodo di campionamento casuale
di tipo stratificato. Ciò implica che il metodo LHS è basato
sulla suddivisione del campo di esistenza delle variabili
aleatorie (ad esempio parametri) in N regioni a cui
competa la stessa probabilità.
Il campionamento casuale è limitato ad un numero pari ad
N campioni: si estrae infatti per ogni variabile un singolo
campione per regione.
Si generano in seguito N combinazioni casuali di questi
campioni in modo che ogni campione venga utilizzato una
sola volta e che tutti i campioni vengano utilizzati
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Tecniche di campionamento casuale
Latin Hypercube sampling (LHS)
Esempio di LHS nel caso in cui le variabili aleatorie sono
due (parametri φ1 e φ2) il cui campo di esistenza è
suddiviso in N=10 parti.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
26
01/07/2014
Calibrazione di un modello matematico
Introduzione
Il processo di calibrazione e/o di stima dei parametri di un
modello è definito come:
la determinazione dei valori ottimali dei parametri ottenuta
mediante l’ausilio di dati sperimentali nell’ipotesi che la
struttura del modello (relazioni tra variabili e parametri) sia
esplicitamente nota.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Calibrazione di un modello matematico
Le fasi
Le fasi del processo di calibrazione prevedono:
Scelta del data set
set di dati da adottare in fase di stima;
set di dati da adottare in fase di validazione
del modello con i valori dei parametri stimati
Identificazione dei parametri da calibrare
Analisi di identificabilità strutturale: se un
parametro è combinazione di altri e tale
combinazione è esplicitata da una legge,
noti i valori misurati di tutti i parametri della
legge tranne uno, il valore del parametro
incognito è bene calcolarlo a partire dalla
legge ed escluderlo tra i parametri da
calibrare
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
27
01/07/2014
Calibrazione di un modello matematico
Le fasi
Analisi di identificabilità pratica: consente di
individuare quali parametri possono essere
calibrati a partire dai dati disponibili.
Analisi di sensitività
Differenziazione tra parametri lineari e non
Il legame tra parametri del modello e
variabili può essere di tipo lineare o meno,
poiché la non linearità complica il processo
di stima dei parametri è importante
discriminare tra parametri lineari e non.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Calibrazione di un modello matematico
Le fasi
Linearizzazione del modello
E’ pratica abbastanza frequente quella di
rendere lineari modelli che nella loro forma
originale sono non-lineari. Un esempio è il
modello della cinetica di Monod linearizzata
come segue:
1
µ
=
Ks
µ max
⋅
1
1
+
S µ max
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
28
01/07/2014
Calibrazione di un modello matematico
Le fasi
Scelta della funzione obiettivo per la stima dei
parametri
Questa fase consiste nella individuazione della
funzione obiettivo (funzione dei valori simulati
e misurati) da minimizzare e/o massimizzare
(a seconda della sua espressione) da adottare
per la scelta dei valori calibrati dei parametri
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Calibrazione di un modello matematico
Le fasi
Valutazione della qualità dei parametri stimati
Quando i parametri di un modello vengono calibrati
sulla base di un set di dati è essenziale, ancor prima
della fase di validazione, valutare la bontà della
risposta del modello calibrato. E’ necessario valutare
due aspetti fondamentali:
Se i dati simulati presentano un buon fitting
con quelli misurati;
Quantificare l ’ accuratezza della risposta del
modello. Nel caso in cui l ’ accuratezza sia
sufficiente il processo di calibrazione è
concluso viceversa sono richiesti ulteriori dati
misurata per migliorare tale accuratezza.
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
29
01/07/2014
Calibrazione di un modello matematico
Scelta della funzione obiettivo per la stima dei
parametri
La più nota funzione obiettivo per la stima dei parametri
di un modello è la funzione somma degli scarti quadratici
J(θ ) =
∑ ( yi − ŷi ( θ ))
N
2
i =1
Dove yi sono le osservazioni (in totale sono disponibili N
osservazioni) e ŷi ( θ ) sono le predizioni del modello per un
dato set di parametri θ
La condizione per cui J risulta minimo è quella alla quale
corrisponde il set di parametri ottimale
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Calibrazione di un modello matematico
Scelta della funzione obiettivo per la stima dei
parametri
Nel caso in cui gli errori delle misure dei dati adottati si
considerano indipendenti (non correlati) ed originati da
una distribuzione normale è possibile adottare le funzioni
di massima verosimiglianza che esprimono qual ’ è la
probabilità che un dato set di dati misurati si adatti ai
valori simulati dal modello (assumendo che il modello sia
corretto).
Tra le funzioni di verosimiglianza si ha la funzione che
2
tiene conto dello stimatore χ
L( y | θ ) =
N
∏
i =1
1
1 1
exp −
2
2π σ i
yi − ŷi ( θ
σi
i =1
N
∑
)
2
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
30
01/07/2014
Calibrazione di un modello matematico
Scelta della funzione obiettivo per la stima dei
parametri
dove y è il set di n osservazioni e σ i è la deviazione
standard delle misure yi . Per ogni set di dati y il set
di parametri ottimale è quello per cui
L( y | θ ) =
N
∏
i =1
1
1 1
exp −
2
2π σ i
yi − ŷi ( θ
σi
i =1
N
∑
)
2
è massima . Il che è equivalente a dire che è minimo
il valore della funzione:
J (θ ) = χ 2(θ ) =
N
1
∑ σ ( y − ŷ ( θ ))
2
i =1
2
i
i
i
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
Calibrazione di un modello matematico
Scelta della funzione obiettivo per la stima dei
parametri
Nel caso in cui la deviazione standard delle misure è
costante quanto detto sopra risulta equivalente alla
minimizzazione della seguente funzione:
J(θ ) =
∑ ( yi − ŷi ( θ ))
N
2
i =1
Prof. G. Mannina - Laboratorio di Modellistica Sanitaria
Sanitaria--Ambientale
PhD Course Cassino 2014 - Prof.
Mannina - Università di Palermo
31
