CATENE DI MARKOV

Corso di Laurea Triennale in INGEGNERIA GESTIONALE
Anno Accademico 2012/13
MODELLI E METODI PER L’AUTOMAZIONE
Prof. Davide GIGLIO
CATENE DI MARKOV
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
1
INDICE
I PROCESSI DI POISSON
★ I processi di Poisson
★ La distribuzione esponenziale
★ Sovrapposizione di processi di Poisson
CATENE DI MARKOV A TEMPO DISCRETO (DTMC)
★ Definizioni e proprietà
★ Classificazione degli stati in una DTMC
★ Analisi a regime di una DTMC omogenea
★ Il processo “birth-death” a tempo discreto (DTMC-BD)
CATENE DI MARKOV A TEMPO CONTINUO (CTMC)
★ Definizioni e proprietà
★ Analisi di transitorio e a regime di una CTMC omogenea
★ Il processo “birth-death” a tempo continuo (CTMC-BD)
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
2
PROCESSI STOCASTICI
✹ DEFINIZIONE ✹
Un processo stocastico {X(t)} è una collezione di variabili aleatorie
indicizzate dalla variabile tempo t 2 T
★ In un processo stocastico, le variabili aleatorie X(t) soddisfano, per ogni
t 2 T una certa distribuzione di probabilità
★ Una realizzazione del processo stocastico (“sample path”) è una
specifica sequenza di variabili aleatorie X(t0 ) = x0 , X(t1 ) = x1 , ... ,
X(t
XXXn ) = xn
• Si noti che è stata indicata con una lettera maiuscola la variabile aleatoria e con una
lettera minuscola il valore che la variabile aleatoria assume
★ Se il processo stocastico è utilizzato per descrivere lo stato di un
sistema in un certo intervallo di tempo, un sample path può essere
inteso come la sequenza di stati del sistema durante un particolare
esperimento, mentre una variabile aleatoria rappresenta lo stato del
sistema in uno specifico istante di tempo
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
3
PROCESSI STOCASTICI
PROCESSI STOCASTICI A STATO DISCRETO E A STATO CONTINUO
La tipologia dello spazio degli stati ammissibili (valori che possono essere
assunti dalle variabili aleatorie X(t), t 2 T ) classifica un processo stocastico
★ Un processo stocastico è a stato discreto (“discrete-state process”) se
{X(t)} è definito su un insieme finito o enumerabile di valori
• Un insieme finito di valori è, ad esempio, l’insieme {ON, OFF} (riferito per esempio
allo stato di funzionamento di una macchina) mentre un insieme enumerabile di
valori è l’insieme dei numeri naturali non negativi {0, 1, 2, . . .} (riferito per esempio
allo stato di occupazione di un buffer)
• I sistemi ad eventi discreti sono caratterizzati da uno spazio degli stati discreto
★ Altrimenti il processo stocastico è a stato continuo (“continuous-state
process”)
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
4
PROCESSI STOCASTICI
PROCESSI STOCASTICI A TEMPO DISCRETO E A TEMPO CONTINUO
Anche la tipologia dei valori che possono essere assunti dalla variabile
tempo t (ovvero l’insieme T ) classifica un processo stocastico
★ Un processo stocastico è a tempo discreto (“discrete-time process”) se
l’insieme T è finito o enumerabile
• Nei processi stocastici a tempo discreto T è generalmente costituito dall’insieme
dei numeri naturali non negativi {0, 1, 2, . . .}
• Si usa spesso indicare un processo stocastico a tempo discreto con il nome
“sequenza stocastica” e con la notazione {Xk } , k = 0, 1, 2, . . .
★ Altrimenti il processo stocastico è a tempo continuo (“continuous-time
process”)
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
5
I PROCESSI DI POISSON
★ Si consideri una sequenza di eventi tutti dello stesso tipo
★ Sia {N (t)} il processo stocastico che conta il numero di eventi che sono
occorsi nell’intervallo (0, t] (“counting process”)
★ Lo spazio degli stati di un tale processo è l’insieme dei numeri naturali
non negativi {0, 1, 2, . . .}
7
6
5
4
3
2
1
t
★ E’ evidente che N (0)  N (t1 )  . . .  N (tk ) per ogni
0  t1  . . .  tk
XXX
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
6
I PROCESSI DI POISSON
★ Si consideri l’asse dei tempi come partizionato in intervalli di tempo di
lunghezza arbitraria (tk 1 , tk ] , k = 1, 2, . . .
t
0
N (0)
t1
tk
t2
N (t1 ) N (t2 )
N (tk
tk
1
1)
N (tk )
}
N (tk
1 , tk )
★ Supponendo t0 = 0 e N (0) = 0 il numero di eventi che occorrono
nell’intervallo (tk 1 , tk ] è dato da
N (tk
1 , tk )
= N (tk )
N (tk
1)
★ Un processo di Poisson è un counting process in cui vengono fatte tre
specifiche assunzioni
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
7
I PROCESSI DI POISSON
ASSUNZIONI FONDAMENTALI
1. In ogni istante può verificarsi al massimo un evento
• Non è possibile avere eventi contemporanei
2. Presi due intervalli arbitrari (tk 1 , tk ] e (th 1 , th ] , con tk  th
variabili aleatorie N (tk 1 , tk ) e N (th 1 , th ) sono indipendenti
1
, le
• Questa assunzione implica che gli eventi futuri (numero di occorrenze in un certo
intervallo futuro) non sono influenzati da quello che è avvenuto nel passato
(numero di eventi occorsi in un certo intervallo già passato)
3. La probabilità Pr{N (tk 1 , tk ) = n} che in un certo intervallo (tk 1 , tk ]
si verifichino n occorrenze dell’evento in questione dipende solamente
dalla lunghezza dell’intervallo, ovvero da tk tk 1 (oltre che ovviamente
da n )
• Essendo tale probabilità indipendente dai valori tk
un processo stazionario
CATENE DI MARKOV
1
e tk , il processo di Poisson è
MODELLI E METODI
PER L’AUTOMAZIONE
8
I PROCESSI DI POISSON
✹ RISULTATO ✹
In riferimento ad un processo di Poisson, la variabile aleatoria N (t) ha una
distribuzione data da
Pn (t) = Pr{N (t) = n} =
essendo
( t)n
n!
e
t
t
0 n = 0, 1, 2, . . .
un parametro che caratterizza la distribuzione considerata
★ Si può provare che E[N (t)] = t e Var[N (t)] = t
★ Il parametro
può essere quindi interpretato come la frequenza delle
occorrenze dell’evento
★ 1/
è il tempo medio tra due occorrenze dell’evento successive
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
9
LA DISTRIBUZIONE ESPONENZIALE
✹ RISULTATO ✹
I tempi di interevento in un processo di Poisson costituiscono una
sequenza di variabili aleatorie indipendenti e identicamente distribuite (i.i.d.)
in modo esponenziale, ovvero caratterizzate dalla seguente cdf (cumulative
distribution function)
G(t) = Pr{Vk  t} =
⇢
1
0
e
t
t
0
t<0
essendo il parametro caratteristico del processo di Poisson considerato e
Vk la variabile aleatoria relativa al k -esimo tempo di interevento (ovvero
quello relativo all’intervallo (tk 1 , tk ] )
La pdf (probability density function) è
g(t) =
CATENE DI MARKOV
⇢
e
0
t
t
0
t<0
MODELLI E METODI
PER L’AUTOMAZIONE
10
LA DISTRIBUZIONE ESPONENZIALE
1
1
e
t
e
t
t
t
★ Nella distribuzione esponenziale la media e la varianza sono 1/
e 1/
2
★ In maniera duale, una sequenza di realizzazioni di una v.a. distribuita in
modo esponenziale può essere vista come una sequenza di realizzazioni
di v.a. i.i.d. corrispondenti ai tempi di interevento di un processo di Poisson
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
11
LA DISTRIBUZIONE ESPONENZIALE
✹ RISULTATO ✹
Si consideri il generico tempo di interevento Vk . Si ha
Pr{Vk  z + t | Vk > z} = 1
e
t
= Pr{Vk  t}
ovvero la variabile aleatoria “tempo residuo di interevento” ha la stessa
distribuzione della variabile aleatoria “tempo di interevento”
★ Il condizionamento Vk > z non ha pertanto contenuto informativo
(memoryless property)
• Non importa quanto tempo sia passato dall’ultima occorrenza dell’evento per
determinare la probabilità di occorrenza della prossima occorrenza dell’evento
★ Si può dimostrare che la distribuzione esponenziale è l’unica
distribuzione per la quale valga tale proprietà
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
12
SOVRAPPOSIZIONE DI PROCESSI DI POISSON
★ Si consideri il processo stocastico costituito dalla sovrapposizione di m
processi di Poisson mutuamente indipendenti (cioè una sequenza di
eventi di m tipi differenti) caratterizzati rispettivamente dai parametri
HHH
1, 2, . . . , m
★ Il processo stocastico così ottenuto è ancora un processo di Poisson,
con valore del parametro che lo caratterizza pari a
⇤=
m
X
i
i=1
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
13
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Evoluzione di una DTMC
Una catena di Markov a tempo discreto (DTMC) è un sistema a
stato discreto e tempo discreto in cui l’evoluzione della variabile di
stato Xk è caratterizzata dalla proprietà Markoviana
⇥
Pr Xk+1 = xk+1 | Xk = xk, . . . , X0 = x0 = Pr Xk+1 = xk+1 | Xk = xk
⇥
I possibili valori dello stato sono elementi di un insieme discreto S
(finito o numerabile)
L’evoluzione di una DTMC è governata dall’insieme delle probabilità di
transizione
pi,j (k) = Pr Xk+1
Catene di Markov
CATENE DI MARKOV
⇥
= j | Xk = i ⇥ i, j
S
⇥ k = 0, 1, 2, . . .
2
MODELLI E METODI
PER L’AUTOMAZIONE
14
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Analisi del transitorio di una DTMC omogenea
Quando le proprietà di transizione pi,j (k) sono indipendenti da k,
⇥ i, j S la DTMC si dice omogenea (tempo invariante)
Se la DTMC è omogenea, anche pi,j (k, k + n) è indipendente da k, e si
può indicare semplicemente con pn
i,j
⇥
n
Inoltre, si indica con H(n) la matrice pi,j
Dall’equazione di Chapman-Kolmogorov, si ottiene, allora
H (n) = H (n
⇥
1) · H (1)
H(1) = pi,j si indica con P . Si ha quindi
H (2) = H (1) · H (1) = P · P = P
2
2
H (3) = H (2) · H (1) = P · P = P
H (n) = P
Catene di Markov
CATENE DI MARKOV
n
1
·P =P
3
n
5
MODELLI E METODI
PER L’AUTOMAZIONE
15
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Analisi del transitorio di una DTMC omogenea
Le probabilità di stato sono definite come
j (k)
= Pr Xk = j
Il vettore della probabilità di stato è
(k ) =
ˆ
0 (k ),
1 (k ),
⇥
2 (k ),
...
˜
e può avere dimensione infinita. Dal teorema della probabilità totale, si ottiene
j (k
+ 1) =
X
i⇥S
ˆ
Pr Xk+1
che in forma matriciale diventa
X
˜
ˆ
˜
= j | Xk = i · Pr Xk = i =
pi,j ·
i⇥S
(k + 1) =
da cui si ottiene
(k ) =
Catene di Markov
CATENE DI MARKOV
i (k )
(k ) · P
(0) · P
k
6
MODELLI E METODI
PER L’AUTOMAZIONE
16
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Classificazione degli stati
STATI
i
TRANSIENTI
=1
RICORRENTI
Mi <
RICORRENTI NULLI
RICORRENTI POSITIVI
di = 1
PERIODICI
Catene di Markov
CATENE DI MARKOV
APERIODICI
21
MODELLI E METODI
PER L’AUTOMAZIONE
17
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Classificazione degli stati
0.5
0
0.5
0.5
0.5
1
1
2
Gli stati 0 e 1 sono transienti. Lo stato 2 è ricorrente.
1
0
1
11/12
11/12
1/12
1/12
1/12
1/12
2
3
4
5
11/12
11/12
11/12
...
11/12
Lo stato 0 è ricorrente. Tutti gli altri stati 2, 3, . . . sono transienti.
Catene di Markov
CATENE DI MARKOV
13
MODELLI E METODI
PER L’AUTOMAZIONE
18
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Classificazione degli stati
0.5
0
1
1
0.5
1
2
Stati periodici con periodo di = 2, i = 0, 1, 2.
0.5
0
1
1
0.5
0.5
0.5
2
0.5
Stati aperiodici (di = 1, i = 0, 1, 2).
Catene di Markov
CATENE DI MARKOV
19
MODELLI E METODI
PER L’AUTOMAZIONE
19
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Analisi a regime di una DTMC omogenea
Domanda: Qual’è la probabilità che, a regime, la DTMC sia nello stato i?
Nell’analisi a regime di una DTMC, ci si pone il problema dell’esistenza
⇥
dei limiti j = limk ⇥ j (k) (essendo j (k) = Pr Xk = j ) e del
loro significato.
Più in dettaglio si vuole dare risposta ai seguenti quesiti:
condizioni i limiti limk
indipendenti da (0))?
a) sotto quali
⇥
j (k)
esistono (e sono
b) se tali limiti esistono,
⇤essi costituiscono effettivamente una distribuzione
di probabilità, cioè,
j
j
= 1?
c) come si possono calcolare tali limiti?
Catene di Markov
CATENE DI MARKOV
22
MODELLI E METODI
PER L’AUTOMAZIONE
20
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Analisi a regime di una DTMC omogenea
L’esistenza dei limiti è connessa con l’esistenza dei punti di equilibrio dell’equazione
(k + 1) = (k) · P
(k + 1) ⇤
Si vuole infatti che a regime sia
cioè
(k) ⌅
(k)
quando k ⌅ ⇧
Una volta constata l’esistenza di un regime,
si può ipotizzare di calcolare il
vettore di probabilità di stato stazionario
risolvendo il sistema lineare di equazioni algebriche
=
con
Catene di Markov
CATENE DI MARKOV
j
⇥0e
·P
j
j
=1
23
MODELLI E METODI
PER L’AUTOMAZIONE
21
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Analisi a regime di una DTMC omogenea
Teorema
In una DTMC irriducibile aperiodica (cioè in cui tutti gli stati sono
aperiodici), esistono i limiti
j
= lim
k
⇥
j (k)
⇥j
S
e sono indipendenti dal vettore di probabilità di stato iniziale
(0)
Teorema
In una DTMC irriducibile aperiodica in cui tutti gli stati sono transienti o
ricorrenti nulli, risulta
j
Catene di Markov
CATENE DI MARKOV
= lim
k
⇥
j (k)
=0
⇥j
S
24
MODELLI E METODI
PER L’AUTOMAZIONE
22
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Analisi a regime di una DTMC omogenea
Teorema
In una DTMC irriducibile aperiodica in cui tutti gli stati sono ricorrenti
positivi, i limiti j , j ⇥ S, sono tutti positivi e rappresentano la
distribuzione stazionaria di probabilità degli stati a regime. Inoltre
risulta
j
= lim
k
⇥
j (k)
=
1
Mj
essendo Mj il tempo medio di ritorno allo stato j.
Il vettore di probabilità di stato stazionario
si determina risolvendo il sistema lineare di equazioni algebriche
=
⇥
j
Catene di Markov
CATENE DI MARKOV
·P
j
=1
25
MODELLI E METODI
PER L’AUTOMAZIONE
23
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Analisi a regime di una DTMC omogenea
Una DTMC irriducibile aperiodica
in cui tutti gli stati sono ricorrenti positivi
si dice anche ergodica
Sulla base deiper
precedenti
teoremi...
Condizioni sufficienti
l’ergodicità
di una DTMC
con spazio degli stati finito
★ Lo spazioOgni
degliDTMC
stati è irriducibile
finito
e con stati(mutuamente
tutti aperiodici
★ Tutti gli stati sono comunicanti
raggiungibili)
è certamente una DTMC ergodica
★ Esistono probabilità pi,i non nulle
Catene di Markov
CATENE DI MARKOV
26
MODELLI E METODI
PER L’AUTOMAZIONE
24
IL PROCESSO BIRTH-DEATH A TEMPO DISCRETO
★ E’ una catena di Markov a tempo discreto
• Lo stato del sistema è infinito ma enumerabile ( i = 0, 1, 2, . . . )
• Si ha ha una “morte” con probabilità p (lo stato diminuisce di 1 unità, se i > 0 , o
rimane nullo, se i = 0 )
• Si ha una “nascita” con probabilità 1
1−p
p
0
1−p
1
p
MATRICE DELLE
PROBABILITÀ DI
TRANSIZIONE
CATENE DI MARKOV
p (lo stato aumenta di 1 unità)
1−p
2
p
···
1−p
i
i−1
p
i+1
···
p
2
p 1 p
0
0
0
6p
0
1 p
0
0
6
6
p
0
1 p
0
P = 60
60
0
p
0
1 p
4
..
..
..
..
..
.
.
.
.
.
3
···
· · ·7
7
· · ·7
7
· · ·7
5
..
.
MODELLI E METODI
PER L’AUTOMAZIONE
25
IL PROCESSO BIRTH-DEATH A TEMPO DISCRETO
★ Supponendo 0 < p < 1 , la DTMC risulta irriducibile e aperiodica
• La DTMC è irriducibile in quanto l’intero spazio di stato è un sottoinsieme chiuso in
cui tutti gli stati sono comunicanti
• La DTMC è aperiodica in quanto d0 = 1
★ Esistono le probabilità di stato a regime?
• Gli stati sono tutti ricorrenti positivi? Oppure sono ricorrenti nulli o transienti?
★ Intuitivamente:
• Se p < 1/2 , la DTMC tenderà verso stati sempre più grandi (è infatti più probabile
avere una nascita che avere una morte) e quindi si può ipotizzare che gli stati siano
transienti
• Se p > 1/2 , la DTMC tenderà ad andare verso lo stato 0 (è infatti più probabile
avere una morte che avere una nascita) e quindi si può ipotizzare che lo stato 0 sia
ricorrente positivo (ma essendo la DTMC irriducibile allora lo sono tutti)
• Se p = 1/2 (stessa probabilità di avere una nascita e di avere una morte), la
DTMC potrebbe tendere a ritornare nei vari stati ma potrebbe metterci un tempo
lunghissimo; si può quindi ipotizzare che tutti gli stati siano ricorrenti nulli
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
26
IL PROCESSO BIRTH-DEATH A TEMPO DISCRETO
★ Risolvendo il sistema che fornisce le probabilità di stato a regime
{
⇡0 = p⇡0 + p⇡1
⇡j = (1 p)⇡j
X
⇡j = 1
1
+ p⇡j+1
j = 1, 2, . . .
j2S
si ottiene
⇡0 =
1
X
i=0
✓
1
1
p
p
◆i
✓
1
p
⇡j = 1 ✓
X 1
i=0
p
◆j
p
p
◆i
j = 1, 2, . . .
★ Queste probabilità rappresentano o non rappresentano delle probabilità di
stato a regime a seconda del valore di p
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
27
IL PROCESSO BIRTH-DEATH A TEMPO DISCRETO
★ Se p > 1/2
•
1 ✓
X
1
i=0
◆i
p
p
è convergente e vale
p
2p
1
1
✓
• la DTMC è ergodica
• Le probabilità
⇡0 =
2p
1
⇡j =
p
2p
p
·
1
p
p
◆j
j = 1, 2, . . .
rappresentano quindi la distribuzione stazionaria di probabilità degli stati a regime
★ Se p > 1/2
P1 ⇣ 1
• La somma i=0
sono transienti)
★ Se p = 1/2
p
p
⌘i
non è convergente (si può dimostrare che tutti gli stati
P1 ⇣ 1
p
⌘i
• Anche in questo caso la somma
non è convergente (si può
i=0
p
dimostrare che tutti gli stati sono ricorrenti nulli)
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
28
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
Evoluzione di una CTMC
Una catena di Markov a tempo continuo (CTMC) è
un sistema a stato discreto e tempo continuo
in cui l’evoluzione della variabile di stato X(t)
è caratterizzata dalla proprietà Markoviana
⇥
Pr X(tk+1) = xk+1 | X(tk) = xk, . . . , X(t0) = x0 =
= Pr X(tk+1) = xk+1 | X(tk) = xk
per ogni scelta di t0, t1, . . . , tk+1 tale che t0
t1
...
tk+1 .
⇥
“no state memory”: Il valore che assumerà lo stato (xk+1) dipende
esclusivamente dal valore dello stato corrente (xk) e non da quelli passati
“no age memory”: Il tempo trascorso nello stato corrente è irrilevante
ai fini della determinazione del prossimo stato
Catene di Markov
CATENE DI MARKOV
27
MODELLI E METODI
PER L’AUTOMAZIONE
29
CATENE
DI
MARKOV
A
TEMPO
CONTINUO
CATENE DI MARKOV A TEMPO CONTINUO
Evoluzione di una CTMC
CATENE DI MARKOV A TEMPO CONTINUO
di unaA
DTMC
è governata
CATENEL’evoluzione
DI MARKOV
TEMPO
CONTINUO
CATENE DI dalle
MARKOV
TEMPO CONTINUO
funzioni A
di transizione
Evoluzione di una CTMC
⇥
Evoluzione
di
una
CTMC
pi,j (s, t) = Pr X(t) = j | X(s) = i ⇤ i, j ⇥ S ⇤ s t
Evoluzione di una CTMC
Si definisca la matrice
Si
matrice
⇥
Perdefinisca
il teorema la
della
probabilità totale,
si ha, ⇤per s
u
t
t) = ⇥pi,j equazione
(s, t)⇤ i, j è=la
2,
La parte sinistra
precedente
derivata
parziale di P ˜(s, t)
X della
ˆ P (s,
˜0, 1,
ˆ ...
pi,j (s,att) =
Pr X
t) =
u)(s,
= r,
Pr2,X
P((s,
t)j=| Xp(i,j
t) X (si,)j==i0,·1,
. .(.u) = r | X (s) = i
rispetto
r⇥S
ˆ
˜P (s,ˆ t)
˜
E’ ovvio che deveX
essere
P
(s,
t
+
t)
⇥P
(s,
t)
=
Pr lim
X (t) = j | X (u) = r · Pr X (u
) = r | X (s ) = i
=
E’ ovvio che dever⇥S
esseret 0
t
⇥t
P (s, s) = 1 e
pi,j (s, t) = 1 ⇥ s t
da cui si ottiene
X
P (s, p
s) =
1
e
t
j S pi,j (s, t) = 1 ⇥ s
(s, t) =
p (s, u) · p (u, t)
i,j
i,r
j S
r⇥S
r,j
Si definisce inoltre la matrice dei rate di transizione (o, generatore
L’equazione
di come
Chapman-Kolmogorov
a tempo
continuo
diventa
infinitesimale)
Equazione
di Chapman-Kolmogorov
a tempo
continuo
L’equazione di Chapman-Kolmogorov a tempo continuo diventa
Catene di Markov
CATENE DI MARKOV
P(s,
(t,u)
t+
t) t) I
P
(s,
t)
=
P
·
P
(u,
Q(t) = lim
P (s, t) t= 0P (s, u) · Pt(u, t)
28
MODELLI E METODI
PER L’AUTOMAZIONE
30
CATENE
DI MARKOV
A
TEMPO
CONTINUO
CATENE
DI CTMC
MARKOVomogenee
A TEMPO
CONTINUO
Il significato della matrice Q(t) e delle equazioni differenziali di Chapman-Kolmogorov
CTMC
risulta chiaro nel caso
di CTMComogenee
omogenee, cioè tempo-invarianti
Una
CTMCdella
omogenea
è una
CTMC
in cui
le funzioni
di transizione sono
Il significato
matrice Q(t)
e delle
equazioni
differenziali
di Chapman-Kolmogorov
indipendenti
daichiaro
valorinelassoluti
s e t, eomogenee,
dipendono
risulta
caso di CTMC
cioèesclusivamente
tempo-invarianti dalla
differenza = t s
Una CTMC omogenea è una CTMC in cui le funzioni di transizione sono
In
altre parole,
casoassoluti
di CTMC
le funzioni
di transizione
indipendenti
dainel
valori
s e omogenee,
t, e dipendono
esclusivamente
dalla
differenza = t s
⇥
pi,j (s, s + ) = pi,j ( ) = Pr X(s + ) = j | X(s) = i
⇥ i, j
S
pi,j (s, s + ) = pi,j ( ) = Pr X(s + ) = j | X(s) = i
P (s, t) = P (s, s + ) ⇥ P ( )
⇥ i, j
S
In altre parole, nel caso di CTMC omogenee, le funzioni di transizione
sono indipendenti da s
⇥
sono indipendenti da s
Q(t) ⇥ Q
P (s, t) = P (s, s + ) ⇥ P ( )
Catene di Markov
Catene di Markov
CATENE DI MARKOV
Q(t)
⇥Q
33
33
MODELLI E METODI
PER L’AUTOMAZIONE
31
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
CTMC omogenee
L’equazione differenziale forward di Chapman-Kolmogorov diventa
dP ( )
d
= P( ) · Q
che deve essere integrata dalle seguenti condizioni iniziali
pi,j (0) =
1 se j = i
0 se j ⇥= i
La soluzione di tale equazione è
P ( ) = eQ
essendo eQ = I + Q +
Catene di Markov
CATENE DI MARKOV
Q2
2!
s
+ ...
34
MODELLI E METODI
PER L’AUTOMAZIONE
32
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
CTMC omogenee
Sia v(i) il tempo di permanenza nello stato i, quando tale stato viene
raggiunto
Teorema
La variabile aleatoria v(i) è distribuita in modo esponenziale
⇥
Pr v(i) ⇥ t =
⇤
1
0
e
(i)t
t⇤0
t<0
Si immagini di identificare, nell’evoluzione della CTMC,
gli intervalli di tempo nei quali il sistema si trova nello stato i
Gli estremi a destra di tali intervalli corrispondono al verificarsi di eventi del tipo
“la CTMC esce dallo stato i”
Tali intervalli rappresentano realizzazioni successive della variabile v(i)
distribuita in modo esponenziale
Catene di Markov
CATENE DI MARKOV
35
MODELLI E METODI
PER L’AUTOMAZIONE
33
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
CTMC omogenee
Gli intervalli possono essere pensati come la sequenza
dei tempi di inter-evento di un processo di Poisson con parametro
⇤
⇥
(i) ha il significato di rate di uscita dallo stato i E v(i) =
1
(i)
(i)
⌅
Questo processo di Poisson può essere considerato come la
sovrapposizione di processi di Poisson indipendenti,
ciascuno corrispondente alla sequenza di eventi
“transizione dallo stato i allo stato j” (j = i)
Sia i,j il parametro caratterizzante il generico processo di Poisson di tale
tipo (ovviamente, se lo stato j non può essere raggiunto dallo stato i risulta i,j = 0)
(i) =
⇧
i,j
j S
j⇥=i
Catene di Markov
CATENE DI MARKOV
36
MODELLI E METODI
PER L’AUTOMAZIONE
34
˛
dpi,i( ) ˛˛
˛
d
(⇤⇤)CONTINUO
CATENE
DI MARKOV=A
AqTEMPO
i,i
CATENE
DI MARKOV
TEMPO
CONTINUO
=0
che può essere riscritta come
˛
CTMC
omogenee
˜˛
d ˆ
qi,i =
d
pi,i( ) ˛˛
1
=0
CATENE
DI MARKOV
A TEMPO
CONTINUO
A questo punto
è possibile fornire
una interpretazione
fisica
⇥
1 pi,i( ) rappresentadei
la probabilità
la CTMC
lasci
coe⇥cientichedella
matrice
Q lo stato i in un
intervallo di lunghezza . Ne CTMC
consegue che
omogenee
Si consideri la generica equazione scalare relativa all’equazione differenziale forward di
( ora
qi,i
puòi =
essere
come
la frequenza
Si consideri
il )
caso
j. In interpretato
maniera analoga
a quanto
già visto, si (rate)
ottiene
Chapman-Kolmogorov
˛
con cui si verifica la transizione
dpi,j (⇥ ) ˛“uscita dallo stato i”
X˛
dpi,j ( )
qi,j =
˛pi,r ( )qr,j
= pi,j ( )qj,j +
d⇥
⇥ =0
d
r =j
(⇤)
Catene di Markov
Quindi il parametro qi,j può essere interpretato come
Si consideri prima
il caso i =(rate)
j. L’equazione
diventa la transizione
la frequenza
con cui (si) verifica
38
dpi,i( ) dallo stato X
“passaggio
i allo
stato j”
= p ( )q +
p ( )q
i,i
d
i,i
i,r
r =i
In modo analogo a quanto già espresso dalla (
qi,j =
Inoltre, tenendo presente che
Catene di Markov
= 0, si ha
CATENE DI MARKOV
X
j
r,i
), risulta
i,j
pi,j ( ) = 1, ⇥ > 0, e derivando rispetto a
X
in
37
MODELLI E METODI
PER L’AUTOMAZIONE
35
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
CTMC omogenee
Probabilità di transizione
p̃i,j = Pr Xk+1
Ovviamente risulta
⇥
= j | Xk = i =
⇤
i,j
(i)
=
qi,j
qi,i
p̃i,j = 1
j =i
La DTMC definita dalle probabilità di transizione di una CTMC si chiama
“DTMC embedded nella CTMC”
Tale DTMC rappresenta solo le probabilità di transizione da uno stato all’altro e trascura
l’informazione relativa alla frequenza di transizioni, ai tempi medi di permanenza negli
stati, ecc. Si noti che la DTMC cosı̀ definita ha sempre una matrice delle probabilità di
transizione in cui la diagonale principale è composta da zeri
Catene di Markov
CATENE DI MARKOV
41
MODELLI E METODI
PER L’AUTOMAZIONE
36
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
Analisi a transitorio e a regime di una CTMC omogenea
Le probabilità di stato di una CTMC sono definite come
j (t)
= Pr X(t) = j
Il vettore della probabilità di stato è
(t) =
Catene di Markov
CATENE DI MARKOV
0 (t),
1 (t),
⇥
2 (t), . . .
⇥
42
MODELLI E METODI
PER L’AUTOMAZIONE
37
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
Analisi a transitorio e a regime di una CTMC omogenea
Dal teorema della probabilità totale, si ottiene
j ( t)
=
X
i⇤S
X
˜
ˆ
˜
Pr X (t) = j | X (0) = i · Pr X (0) = i =
pi,j (t) ·
ˆ
i⇤S
i (0)
t⇥0
che in forma matriciale diventa
( t) =
(0) · P (t) =
(0)e
Qt
Differenziando rispetto a t si ottiene
d ( t)
=
dt
( t) Q
che scritta in forma scalare diventa
d
j ( t)
dt
Catene di Markov
CATENE DI MARKOV
= qj,j
j ( t)
+
X
qi,j
i ( t)
j = 0, 1, 2, . . .
i⌅=j
43
MODELLI E METODI
PER L’AUTOMAZIONE
38
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
Analisi a transitorio e a regime di una CTMC omogenea
Nell’analisi a regime di una CTMC, in modo analogo a quanto visto per
le DTMC, ci si interroga sull’esistenza e sulla determinazione dei limiti
j
= lim
t
⇥
j (t)
In particolare:
a) sotto quali condizioni i limiti limt
⇥
j (t)
esistono?
b) se tali limiti esistono, essi costituiscono effettivamente una distribuzione
di probabilità, cioè,
j
j
= 1?
c) come si possono calcolare tali limiti?
Catene di Markov
CATENE DI MARKOV
44
MODELLI E METODI
PER L’AUTOMAZIONE
39
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
Analisi a transitorio e a regime di una CTMC omogenea
Teorema
In una CTMC irriducibile in cui tutti gli stati sono ricorrenti positivi
(e quindi in ogni CTMC irriducibile con spazio degli stati finito), esiste
un’unica distribuzione di probabilità a regime dello stato tale che i
limiti limt ⇥ j (t) sono positivi, ⇥ j S.
(0).
Tale distribuzione è indipendente da
Il vettore si determina in maniera univoca risolvendo il sistema di
equazioni lineari
⇥Q = 0
j⇤S
j
=1
La prima delle due equazioni rappresenta le condizioni di equilibrio stocastico
⇤
qj,j j +
qi,j i = 0
j S
i⌅=j
Catene di Markov
CATENE DI MARKOV
45
MODELLI E METODI
PER L’AUTOMAZIONE
40
IL PROCESSO BIRTH-DEATH A TEMPO CONTINUO
★ E’ una catena di Markov a tempo continuo
• Lo stato del sistema è infinito ma enumerabile ( j = 0, 1, 2, . . . )
• qi,j = 0 per j < i
•
j
1 e j >i+1
= qj,j+1 > 0 è la “birth rate” nello stato j
• µj = qj,j
1
> 0 è la “death rate” nello stato j
λ0
λ1
1
0
µ1
MATRICE DEI
RATE DI
TRANSIZIONE
CATENE DI MARKOV
λj−1
2
j
j−1
···
µ2
λj
j+1
µj
2
0
6 µ1
6
Q=6 0
4
..
.
(
µj+1
0
0
+ µ1 )
µ2
..
.
1
···
(
1
2
+ µ2 )
..
.
0
0
2
..
.
3
···
· · ·7
7
· · ·7
5
..
.
MODELLI E METODI
PER L’AUTOMAZIONE
41
IL PROCESSO BIRTH-DEATH A TEMPO CONTINUO
★ Risolvendo il sistema che fornisce le probabilità di stato a regime
{
+ µ1 ⇡1 = 0
+ µj )⇡j + j
0 ⇡0
(
+1
X
j
1 ⇡j
1
+ µj+1 ⇡j+1 = 0
j = 1, 2, . . .
⇡j = 1
j=0
si ottiene
1
⇡0 =
1+
+1
X✓
j=1
⇡j =
✓
0
1
...
j
µ1 µ2 . . . µj
1
◆
0
1
...
µ1 µ2 . . . µj
✓
⇡0 =
1+
0
1...
j
µ1 µ2 . . . µj
+1
X ✓ 0 1...
j=1
CATENE DI MARKOV
1
j
◆
1
◆
j
µ1 µ2 . . . µj
1
◆
MODELLI E METODI
PER L’AUTOMAZIONE
42
IL PROCESSO BIRTH-DEATH A TEMPO CONTINUO
★ Le probabilità appena vista hanno il significato di probabilità di stato a
regime se
9 j̄ :
j
µj
<1
j
j̄
• In questo caso infatti si può dimostrare che tutti gli stati sono ricorrenti positivi e
pertanto esiste una distribuzione di probabilità a regime dello stato
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
43