05S4 - Catene di Markov

INDICE
Corso di Laurea Triennale in INGEGNERIA GESTIONALE
Anno Accademico 2012/13
MODELLI E METODI PER L’AUTOMAZIONE
I PROCESSI DI POISSON
Prof. Davide GIGLIO
★ I processi di Poisson
★ La distribuzione esponenziale
★ Sovrapposizione di processi di Poisson
CATENE DI MARKOV A TEMPO DISCRETO (DTMC)
★ Definizioni e proprietà
★ Classificazione degli stati in una DTMC
★ Analisi a regime di una DTMC omogenea
★ Il processo “birth-death” a tempo discreto (DTMC-BD)
CATENE DI MARKOV
CATENE DI MARKOV A TEMPO CONTINUO (CTMC)
★ Definizioni e proprietà
★ Analisi di transitorio e a regime di una CTMC omogenea
★ Il processo “birth-death” a tempo continuo (CTMC-BD)
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
1
CATENE DI MARKOV
PROCESSI STOCASTICI
2
PROCESSI STOCASTICI
PROCESSI STOCASTICI A STATO DISCRETO E A STATO CONTINUO
DEFINIZIONE
Un processo stocastico {X(t)} è una collezione di variabili aleatorie
indicizzate dalla variabile tempo t 2 T
La tipologia dello spazio degli stati ammissibili (valori che possono essere
assunti dalle variabili aleatorie X(t), t 2 T ) classifica un processo stocastico
★ Un processo stocastico è a stato discreto (“discrete-state process”) se
{X(t)} è definito su un insieme finito o enumerabile di valori
★ In un processo stocastico, le variabili aleatorie X(t) soddisfano, per ogni
t 2 T una certa distribuzione di probabilità
• Un insieme finito di valori è, ad esempio, l’insieme {ON, OFF} (riferito per esempio
allo stato di funzionamento di una macchina) mentre un insieme enumerabile di
valori è l’insieme dei numeri naturali non negativi {0, 1, 2, . . .} (riferito per esempio
allo stato di occupazione di un buffer)
★ Una realizzazione del processo stocastico (“sample path”) è una
specifica sequenza di variabili aleatorie X(t0 ) = x0 , X(t1 ) = x1 , ... ,
X(t
XXXn ) = xn
• Si noti che è stata indicata con una lettera maiuscola la variabile aleatoria e con una
lettera minuscola il valore che la variabile aleatoria assume
• I sistemi ad eventi discreti sono caratterizzati da uno spazio degli stati discreto
★ Altrimenti il processo stocastico è a stato continuo (“continuous-state
process”)
★ Se il processo stocastico è utilizzato per descrivere lo stato di un
sistema in un certo intervallo di tempo, un sample path può essere
inteso come la sequenza di stati del sistema durante un particolare
esperimento, mentre una variabile aleatoria rappresenta lo stato del
sistema in uno specifico istante di tempo
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
MODELLI E METODI
PER L’AUTOMAZIONE
3
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
4
PROCESSI STOCASTICI
I PROCESSI DI POISSON
PROCESSI STOCASTICI A TEMPO DISCRETO E A TEMPO CONTINUO
★ Si consideri una sequenza di eventi tutti dello stesso tipo
Anche la tipologia dei valori che possono essere assunti dalla variabile
tempo t (ovvero l’insieme T ) classifica un processo stocastico
★ Sia {N (t)} il processo stocastico che conta il numero di eventi che sono
occorsi nell’intervallo (0, t] (“counting process”)
★ Un processo stocastico è a tempo discreto (“discrete-time process”) se
l’insieme T è finito o enumerabile
★ Lo spazio degli stati di un tale processo è l’insieme dei numeri naturali
non negativi {0, 1, 2, . . .}
• Nei processi stocastici a tempo discreto T è generalmente costituito dall’insieme
dei numeri naturali non negativi {0, 1, 2, . . .}
7
6
• Si usa spesso indicare un processo stocastico a tempo discreto con il nome
“sequenza stocastica” e con la notazione {Xk } , k = 0, 1, 2, . . .
5
4
3
★ Altrimenti il processo stocastico è a tempo continuo (“continuous-time
process”)
2
1
t
★ E’ evidente che N (0)  N (t1 )  . . .  N (tk ) per ogni
0  t1  . . .  tk
XXX
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
5
CATENE DI MARKOV
I PROCESSI DI POISSON
MODELLI E METODI
PER L’AUTOMAZIONE
6
I PROCESSI DI POISSON
★ Si consideri l’asse dei tempi come partizionato in intervalli di tempo di
lunghezza arbitraria (tk 1 , tk ] , k = 1, 2, . . .
ASSUNZIONI FONDAMENTALI
1. In ogni istante può verificarsi al massimo un evento
• Non è possibile avere eventi contemporanei
t
0
N (0)
t1
tk
t2
N (t1 ) N (t2 )
N (tk
2. Presi due intervalli arbitrari (tk 1 , tk ] e (th 1 , th ] , con tk  th
variabili aleatorie N (tk 1 , tk ) e N (th 1 , th ) sono indipendenti
tk
1
1)
1 , tk )
3. La probabilità Pr{N (tk 1 , tk ) = n} che in un certo intervallo (tk 1 , tk ]
si verifichino n occorrenze dell’evento in questione dipende solamente
dalla lunghezza dell’intervallo, ovvero da tk tk 1 (oltre che ovviamente
da n )
★ Supponendo t0 = 0 e N (0) = 0 il numero di eventi che occorrono
nell’intervallo (tk 1 , tk ] è dato da
N (tk
1 , tk )
= N (tk )
N (tk
1)
• Essendo tale probabilità indipendente dai valori tk
un processo stazionario
★ Un processo di Poisson è un counting process in cui vengono fatte tre
specifiche assunzioni
CATENE DI MARKOV
, le
• Questa assunzione implica che gli eventi futuri (numero di occorrenze in un certo
intervallo futuro) non sono influenzati da quello che è avvenuto nel passato
(numero di eventi occorsi in un certo intervallo già passato)
N (tk )
}
N (tk
1
MODELLI E METODI
PER L’AUTOMAZIONE
7
CATENE DI MARKOV
1
e tk , il processo di Poisson è
MODELLI E METODI
PER L’AUTOMAZIONE
8
I PROCESSI DI POISSON
LA DISTRIBUZIONE ESPONENZIALE
RISULTATO
RISULTATO
I tempi di interevento in un processo di Poisson costituiscono una
sequenza di variabili aleatorie indipendenti e identicamente distribuite (i.i.d.)
in modo esponenziale, ovvero caratterizzate dalla seguente cdf (cumulative
distribution function)
In riferimento ad un processo di Poisson, la variabile aleatoria N (t) ha una
distribuzione data da
Pn (t) = Pr{N (t) = n} =
essendo
( t)n
n!
e
t
0 n = 0, 1, 2, . . .
t
G(t) = Pr{Vk  t} =
un parametro che caratterizza la distribuzione considerata
★ Il parametro
può essere quindi interpretato come la frequenza delle
occorrenze dell’evento
e
t
t
0
t<0
La pdf (probability density function) è
è il tempo medio tra due occorrenze dell’evento successive
g(t) =
CATENE DI MARKOV
1
0
essendo il parametro caratteristico del processo di Poisson considerato e
Vk la variabile aleatoria relativa al k -esimo tempo di interevento (ovvero
quello relativo all’intervallo (tk 1 , tk ] )
★ Si può provare che E[N (t)] = t e Var[N (t)] = t
★ 1/
⇢
MODELLI E METODI
PER L’AUTOMAZIONE
9
⇢
e
0
t
t
0
t<0
CATENE DI MARKOV
LA DISTRIBUZIONE ESPONENZIALE
MODELLI E METODI
PER L’AUTOMAZIONE
10
LA DISTRIBUZIONE ESPONENZIALE
RISULTATO
Si consideri il generico tempo di interevento Vk . Si ha
1
1
e
Pr{Vk  z + t | Vk > z} = 1
t
e
e
t
= Pr{Vk  t}
ovvero la variabile aleatoria “tempo residuo di interevento” ha la stessa
distribuzione della variabile aleatoria “tempo di interevento”
t
t
t
★ Il condizionamento Vk > z non ha pertanto contenuto informativo
(memoryless property)
★ Nella distribuzione esponenziale la media e la varianza sono 1/
e 1/
• Non importa quanto tempo sia passato dall’ultima occorrenza dell’evento per
determinare la probabilità di occorrenza della prossima occorrenza dell’evento
2
★ In maniera duale, una sequenza di realizzazioni di una v.a. distribuita in
modo esponenziale può essere vista come una sequenza di realizzazioni
di v.a. i.i.d. corrispondenti ai tempi di interevento di un processo di Poisson
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
11
★ Si può dimostrare che la distribuzione esponenziale è l’unica
distribuzione per la quale valga tale proprietà
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
12
SOVRAPPOSIZIONE DI PROCESSI DI POISSON
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
★ Si consideri il processo stocastico costituito dalla sovrapposizione di m
processi di Poisson mutuamente indipendenti (cioè una sequenza di
eventi di m tipi differenti) caratterizzati rispettivamente dai parametri
HHH
1, 2, . . . , m
Evoluzione di una DTMC
Una catena di Markov a tempo discreto (DTMC) è un sistema a
stato discreto e tempo discreto in cui l’evoluzione della variabile di
stato Xk è caratterizzata dalla proprietà Markoviana
★ Il processo stocastico così ottenuto è ancora un processo di Poisson,
con valore del parametro che lo caratterizza pari a
⇤=
m
X
⇥
⇥
Pr Xk+1 = xk+1 | Xk = xk, . . . , X0 = x0 = Pr Xk+1 = xk+1 | Xk = xk
i
I possibili valori dello stato sono elementi di un insieme discreto S
(finito o numerabile)
i=1
L’evoluzione di una DTMC è governata dall’insieme delle probabilità di
transizione
⇥
pi,j (k) = Pr Xk+1 = j | Xk = i ⇥ i, j
⇥ k = 0, 1, 2, . . .
S
2
Catene di Markov
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
13
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Analisi del transitorio di una DTMC omogenea
Analisi del transitorio di una DTMC omogenea
Quando le proprietà di transizione pi,j (k) sono indipendenti da k,
⇥ i, j S la DTMC si dice omogenea (tempo invariante)
Le probabilità di stato sono definite come
j (k)
Se la DTMC è omogenea, anche pi,j (k, k + n) è indipendente da k, e si
può indicare semplicemente con pn
i,j
⇥
Inoltre, si indica con H(n) la matrice pn
i,j
Il vettore della probabilità di stato è
(k ) =
⇥
j (k
1) · H (1)
CATENE DI MARKOV
0 (k ),
1 (k ),
2 (k ),
...
˜
X
ˆ
˜
ˆ
˜
Pr Xk+1 = j | Xk = i · Pr Xk = i =
pi,j ·
i (k )
i⇥S
che in forma matriciale diventa
H (2) = H (1) · H (1) = P · P = P
2
Catene di Markov
X
1
·P =P
(k + 1) =
2
H (3) = H (2) · H (1) = P · P = P
n
+ 1) =
i⇥S
H(1) = pi,j si indica con P . Si ha quindi
H (n) = P
ˆ
⇥
e può avere dimensione infinita. Dal teorema della probabilità totale, si ottiene
Dall’equazione di Chapman-Kolmogorov, si ottiene, allora
H (n) = H (n
= Pr Xk = j
14
3
da cui si ottiene
(k ) =
n
5
MODELLI E METODI
PER L’AUTOMAZIONE
Catene di Markov
15
CATENE DI MARKOV
(k ) · P
(0) · P
k
6
MODELLI E METODI
PER L’AUTOMAZIONE
16
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Classificazione degli stati
Classificazione degli stati
0.5
STATI
0
i
TRANSIENTI
=1
Gli stati 0 e 1 sono transienti. Lo stato 2 è ricorrente.
Mi <
1/12
RICORRENTI POSITIVI
1
11/12
1/12
3
11/12
1/12
4
11/12
5
11/12
...
11/12
Lo stato 0 è ricorrente. Tutti gli altri stati 2, 3, . . . sono transienti.
21
Catene di Markov
1/12
2
11/12
APERIODICI
CATENE DI MARKOV
0
1
di = 1
PERIODICI
0.5
2
1
RICORRENTI
RICORRENTI NULLI
1
0.5
0.5
MODELLI E METODI
PER L’AUTOMAZIONE
13
Catene di Markov
17
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Classificazione degli stati
Analisi a regime di una DTMC omogenea
0.5
0
Domanda: Qual’è la probabilità che, a regime, la DTMC sia nello stato i?
1
1
0.5
1
Nell’analisi a regime di una DTMC, ci si pone il problema dell’esistenza
⇥
dei limiti j = limk ⇥ j (k) (essendo j (k) = Pr Xk = j ) e del
loro significato.
2
Stati periodici con periodo di = 2, i = 0, 1, 2.
Più in dettaglio si vuole dare risposta ai seguenti quesiti:
0.5
0
1
1
0.5
condizioni i limiti limk
indipendenti da (0))?
a) sotto quali
0.5
0.5
di probabilità, cioè,
0.5
j (k)
esistono (e sono
j
j
= 1?
c) come si possono calcolare tali limiti?
Stati aperiodici (di = 1, i = 0, 1, 2).
CATENE DI MARKOV
⇥
b) se tali limiti esistono,
⇤essi costituiscono effettivamente una distribuzione
2
Catene di Markov
18
19
MODELLI E METODI
PER L’AUTOMAZIONE
Catene di Markov
19
CATENE DI MARKOV
22
MODELLI E METODI
PER L’AUTOMAZIONE
20
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Analisi a regime di una DTMC omogenea
Analisi a regime di una DTMC omogenea
L’esistenza dei limiti è connessa con l’esistenza dei punti di equilibrio dell’equazione
(k + 1) = (k) · P
(k + 1) ⇤
Si vuole infatti che a regime sia
(k) ⌅
cioè
Teorema
In una DTMC irriducibile aperiodica (cioè in cui tutti gli stati sono
aperiodici), esistono i limiti
(k)
quando k ⌅ ⇧
j
con
j
=1
23
Catene di Markov
CATENE DI MARKOV
j (k)
⇥j
S
(0)
In una DTMC irriducibile aperiodica in cui tutti gli stati sono transienti o
ricorrenti nulli, risulta
j
j
j
⇥
Teorema
·P
⇥0e
k
e sono indipendenti dal vettore di probabilità di stato iniziale
Una volta constata l’esistenza di un regime,
si può ipotizzare di calcolare il
vettore di probabilità di stato stazionario
risolvendo il sistema lineare di equazioni algebriche
=
= lim
MODELLI E METODI
PER L’AUTOMAZIONE
= lim
k
⇥
j (k)
=0
⇥j
S
24
Catene di Markov
21
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
CATENE
DI MARKOV AATEMPO
DISCRETO
CATENE
DI MARKOV
TEMPO
DISCRETO
Analisi a regime di una DTMC omogenea
Analisi a regime di una DTMC omogenea
22
Teorema
Una DTMC irriducibile aperiodica
in cui tutti gli stati sono ricorrenti positivi
si dice anche ergodica
In una DTMC irriducibile aperiodica in cui tutti gli stati sono ricorrenti
positivi, i limiti j , j ⇥ S, sono tutti positivi e rappresentano la
distribuzione stazionaria di probabilità degli stati a regime. Inoltre
risulta
j
= lim
k
⇥
j (k)
=
1
Mj
Sulla base deiper
precedenti
teoremi...
Condizioni sufficienti
l’ergodicità
di una DTMC
essendo Mj il tempo medio di ritorno allo stato j.
con spazio degli stati finito
★ Lo spazioOgni
degliDTMC
stati è irriducibile
finito
Il vettore di probabilità di stato stazionario
si determina risolvendo il sistema lineare di equazioni algebriche
=
⇥
j
Catene di Markov
CATENE DI MARKOV
e con stati(mutuamente
tutti aperiodici
★ Tutti gli stati sono comunicanti
raggiungibili)
è certamente una DTMC ergodica
★ Esistono probabilità pi,i non nulle
·P
j
=1
25
MODELLI E METODI
PER L’AUTOMAZIONE
Catene di Markov
23
CATENE DI MARKOV
26
MODELLI E METODI
PER L’AUTOMAZIONE
24
IL PROCESSO BIRTH-DEATH A TEMPO DISCRETO
IL PROCESSO BIRTH-DEATH A TEMPO DISCRETO
★ Supponendo 0 < p < 1 , la DTMC risulta irriducibile e aperiodica
★ E’ una catena di Markov a tempo discreto
• Lo stato del sistema è infinito ma enumerabile ( i = 0, 1, 2, . . . )
• La DTMC è irriducibile in quanto l’intero spazio di stato è un sottoinsieme chiuso in
cui tutti gli stati sono comunicanti
• Si ha ha una “morte” con probabilità p (lo stato diminuisce di 1 unità, se i > 0 , o
rimane nullo, se i = 0 )
• Si ha una “nascita” con probabilità 1
• La DTMC è aperiodica in quanto d0 = 1
p (lo stato aumenta di 1 unità)
★ Esistono le probabilità di stato a regime?
• Gli stati sono tutti ricorrenti positivi? Oppure sono ricorrenti nulli o transienti?
1−p
p
1−p
0
1
1−p
2
p
1−p
i
i−1
···
p
p
···
• Se p < 1/2 , la DTMC tenderà verso stati sempre più grandi (è infatti più probabile
avere una nascita che avere una morte) e quindi si può ipotizzare che gli stati siano
transienti
p
2
p 1 p
0
0
0
6p
0
1 p
0
0
6
6
p
0
1 p
0
P = 60
60
0
p
0
1 p
4
..
..
..
..
..
.
.
.
.
.
MATRICE DELLE
PROBABILITÀ DI
TRANSIZIONE
★ Intuitivamente:
i+1
CATENE DI MARKOV
• Se p > 1/2 , la DTMC tenderà ad andare verso lo stato 0 (è infatti più probabile
avere una morte che avere una nascita) e quindi si può ipotizzare che lo stato 0 sia
ricorrente positivo (ma essendo la DTMC irriducibile allora lo sono tutti)
3
···
· · ·7
7
· · ·7
7
· · ·7
5
..
.
MODELLI E METODI
PER L’AUTOMAZIONE
• Se p = 1/2 (stessa probabilità di avere una nascita e di avere una morte), la
DTMC potrebbe tendere a ritornare nei vari stati ma potrebbe metterci un tempo
lunghissimo; si può quindi ipotizzare che tutti gli stati siano ricorrenti nulli
25
CATENE DI MARKOV
IL PROCESSO BIRTH-DEATH A TEMPO DISCRETO
{
1
+ p⇡j+1
★ Se p > 1/2
•
j = 1, 2, . . .
1 ✓
X
1
i=0
p
p
◆i
⇡0 =
i=0
✓
1
1
p
p
◆i
✓
1
p
⇡j = 1 ✓
X 1
i=0
p
◆j
p
p
◆i
1
2p
1
p
⇡j =
2p
1
p
·
✓
1
p
p
◆j
j = 1, 2, . . .
rappresentano quindi la distribuzione stazionaria di probabilità degli stati a regime
j = 1, 2, . . .
★ Se p > 1/2
P1 ⇣ 1 p ⌘i
• La somma i=0
non è convergente (si può dimostrare che tutti gli stati
p
sono transienti)
★ Se p = 1/2
P1 ⇣ 1 p ⌘i
• Anche in questo caso la somma
non è convergente (si può
i=0
p
dimostrare che tutti gli stati sono ricorrenti nulli)
★ Queste probabilità rappresentano o non rappresentano delle probabilità di
stato a regime a seconda del valore di p
CATENE DI MARKOV
p
2p
• Le probabilità
si ottiene
1
X
è convergente e vale
• la DTMC è ergodica
j2S
⇡0 =
26
IL PROCESSO BIRTH-DEATH A TEMPO DISCRETO
★ Risolvendo il sistema che fornisce le probabilità di stato a regime
⇡0 = p⇡0 + p⇡1
⇡j = (1 p)⇡j
X
⇡j = 1
MODELLI E METODI
PER L’AUTOMAZIONE
MODELLI E METODI
PER L’AUTOMAZIONE
27
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
28
CATENE
DI MARKOV
TEMPO
CONTINUO
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
Evoluzione di una CTMC
CATENE DI MARKOV A TEMPO CONTINUO
di unaA
DTMC
è governata
CATENEL’evoluzione
DI MARKOV
TEMPO
CONTINUO
CATENE DI dalle
MARKOV
TEMPO CONTINUO
funzioni A
di transizione
Evoluzione di una CTMC
⇥
una
pi,j (s, t) = Evoluzione
Pr X(t) = j | di
X(s)
= iCTMC
⇤ i, j ⇥ S ⇤ s t
Evoluzione
di
una
CTMC
Evoluzione di una CTMC
Una catena di Markov a tempo continuo (CTMC) è
un sistema a stato discreto e tempo continuo
in cui l’evoluzione della variabile di stato X(t)
è caratterizzata dalla proprietà Markoviana
⇥
Pr X(tk+1) = xk+1 | X(tk) = xk, . . . , X(t0) = x0 =
= Pr X(tk+1) = xk+1 | X(tk) = xk
per ogni scelta di t0, t1, . . . , tk+1 tale che t0
t1
...
tk+1 .
Si definisca la matrice
Si
matrice
⇥
Perdefinisca
il teorema la
della
probabilità totale,
si ha, ⇤per s
u
t
t) = ⇥pi,j equazione
(s, t)⇤ i, j è=la
2,
La parte sinistra
precedente
derivata
parziale di P ˜(s, t)
X della
ˆ P (s,
˜0, 1,
ˆ ...
p
(
s,
t
)
=
Pr
X
(
t
)
=
j
|
X
(
u
)
=
r,
X
(
s
)
=
i
·
Pr
i,j a t
P (s, t) = pi,j (s, t) i, j = 0, 1, 2,X
. .(.u) = r | X (s) = i
rispetto
⇥
r⇥S
ˆ
˜
E’ ovvio che deveX
essere
P (s, t + t) ˜P (s,ˆ t) ) =
⇥P (s, t)
=
Pr lim
X (t) = j | X (u) = r · Pr X (u
= r | X (s ) = i
E’ ovvio che dever⇥S
essere
t 0
t
⇥t
P (s, s) = 1 e
pi,j (s, t) = 1 ⇥ s t
da cui si ottiene
P (s, p
s) =
1 eX
t
j S pi,j (s, t) = 1 ⇥ s
(s, t) =
p (s, u) · p (u, t)
“no state memory”: Il valore che assumerà lo stato (xk+1) dipende
esclusivamente dal valore dello stato corrente (xk) e non da quelli passati
i,j
“no age memory”: Il tempo trascorso nello stato corrente è irrilevante
ai fini della determinazione del prossimo stato
Catene di Markov
27
Catene di Markov
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
i,r
j S
r⇥S
r,j
Si definisce inoltre la matrice dei rate di transizione (o, generatore
L’equazione
di come
Chapman-Kolmogorov
a tempo
continuo
diventa
infinitesimale)
Equazione
di Chapman-Kolmogorov
a tempo
continuo
L’equazione di Chapman-Kolmogorov a tempo continuo diventa
29
(t,u)
t+
t) t) I
P (s,
= PP(s,
· P (u,
Q(t)
=t)lim
P (s, t) t= 0P (s, u) · Pt(u, t)
CATENE DI MARKOV
28
MODELLI E METODI
PER L’AUTOMAZIONE
29
29
31
Catene di Markov
Catene di Markov
Catene di Markov
CATENE DI MARKOV A TEMPO CONTINUO
CATENE
DI MARKOV
A
TEMPO
CONTINUO
CATENE
DI CTMC
MARKOVomogenee
A TEMPO
CONTINUO
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
Il significato della matrice Q(t) e delle equazioni differenziali di Chapman-Kolmogorov
CTMC
risulta chiaro nel caso
di CTMComogenee
omogenee, cioè tempo-invarianti
CTMC omogenee
Una
CTMCdella
omogenea
è una
CTMC
in cui
le funzioni
di transizione sono
Il significato
matrice Q(t)
e delle
equazioni
differenziali
di Chapman-Kolmogorov
indipendenti
daichiaro
valorinelassoluti
s e t, eomogenee,
dipendono
risulta
caso di CTMC
cioèesclusivamente
tempo-invarianti dalla
differenza = t s
Una CTMC omogenea è una CTMC in cui le funzioni di transizione sono
In
altre parole,
casoassoluti
di CTMC
le funzioni
di transizione
indipendenti
dainel
valori
s e omogenee,
t, e dipendono
esclusivamente
dalla
differenza = t s
⇥
pi,j (s, s + ) = pi,j ( ) = Pr X(s + ) = j | X(s) = i
⇥ i, j
S
pi,j (s, s + ) = pi,j ( ) = Pr X(s + ) = j | X(s) = i
P (s, t) = P (s, s + ) ⇥ P ( )
⇥ i, j
S
L’equazione differenziale forward di Chapman-Kolmogorov diventa
dP ( )
d
pi,j (0) =
Q(t) ⇥ Q
P (s, t) = P (s, s + ) ⇥ P ( )
Catene di Markov
CATENE DI MARKOV
⇥Q
1 se j = i
0 se j ⇥= i
La soluzione di tale equazione è
sono indipendenti da s
Q(t)
= P( ) · Q
che deve essere integrata dalle seguenti condizioni iniziali
In altre parole, nel caso di CTMC omogenee, le funzioni di transizione
sono indipendenti da s
⇥
Catene di Markov
30
P ( ) = eQ
essendo eQ = I + Q +
33
33
MODELLI E METODI
PER L’AUTOMAZIONE
Catene di Markov
31
CATENE DI MARKOV
Q2
2!
s
+ ...
34
MODELLI E METODI
PER L’AUTOMAZIONE
32
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
CTMC omogenee
CTMC omogenee
Sia v(i) il tempo di permanenza nello stato i, quando tale stato viene
raggiunto
Gli intervalli possono essere pensati come la sequenza
dei tempi di inter-evento di un processo di Poisson con parametro
⇤
Teorema
⇥
Pr v(i) ⇥ t =
⇤
1
0
(i)t
e
1
(i)
Questo processo di Poisson può essere considerato come la
sovrapposizione di processi di Poisson indipendenti,
ciascuno corrispondente alla sequenza di eventi
“transizione dallo stato i allo stato j” (j = i)
t⇤0
t<0
Si immagini di identificare, nell’evoluzione della CTMC,
gli intervalli di tempo nei quali il sistema si trova nello stato i
Sia i,j il parametro caratterizzante il generico processo di Poisson di tale
tipo (ovviamente, se lo stato j non può essere raggiunto dallo stato i risulta i,j = 0)
Gli estremi a destra di tali intervalli corrispondono al verificarsi di eventi del tipo
“la CTMC esce dallo stato i”
(i) =
Tali intervalli rappresentano realizzazioni successive della variabile v(i)
distribuita in modo esponenziale
⇧
i,j
j S
j⇥=i
CateneCATENE
di Markov
35
DI MARKOV A TEMPO CONTINUO
MODELLI E METODI
CATENE DI MARKOV
PER L’AUTOMAZIONE 33
CTMC omogenee
Ponendo
ottiene
⇥
(i) ha il significato di rate di uscita dallo stato i E v(i) =
La variabile aleatoria v(i) è distribuita in modo esponenziale
(i)
⌅
36
Catene di Markov
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
34
= 0 e usando le condizioni iniziali pi,i(0) = 1, pi,r (0) = 0, r ⇥= i, si
˛
˛
pi,i( ) ˛
=
(⇤⇤)CONTINUO
CATENE
DI dMARKOV
AqTEMPO
i,i
˛
CATENE
DI MARKOV
A
TEMPO
CONTINUO
d
=0
che può essere riscritta come
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
˛
CTMC
omogenee
˜˛
d ˆ
qi,i =
d
pi,i( ) ˛˛
1
CTMC omogenee
=0
Probabilità di transizione
CATENE
DI MARKOV
A TEMPO
CONTINUO
A questo punto
è possibile fornire
una interpretazione
fisica
⇥
⇥
p̃i,j = Pr Xk+1 = j | Xk = i =
1 pi,i( ) rappresentadei
la probabilità
la CTMC
lasci
coe⇥cientichedella
matrice
Q lo stato i in un
intervallo di lunghezza . Ne CTMC
consegue che
omogenee
Si consideri la generica equazione scalare relativa all’equazione differenziale forward di
( ora
qi,i
puòi =
essere
come
la frequenza
Si consideri
il )
caso
j. In interpretato
maniera analoga
a quanto
già visto, si (rate)
ottiene
Chapman-Kolmogorov
˛
⇤
i,i
i,i
i,r
qi,j =
Inoltre, tenendo presente che
Catene di Markov
= 0, si ha
CATENE DI MARKOV
X
j⇥S
Catene di Markov
), risulta
i,j
j pi,j ( ) = 1, ⇥ > 0, e derivando rispetto a
qi,j = 0
ovvero
qi,i =
X
qi,j
p̃i,j = 1
Tale DTMC rappresenta solo le probabilità di transizione da uno stato all’altro e trascura
l’informazione relativa alla frequenza di transizioni, ai tempi medi di permanenza negli
stati, ecc. Si noti che la DTMC cosı̀ definita ha sempre una matrice delle probabilità di
transizione in cui la diagonale principale è composta da zeri
r,i
r =i
In modo analogo a quanto già espresso dalla (
qi,i
La DTMC definita dalle probabilità di transizione di una CTMC si chiama
“DTMC embedded nella CTMC”
38
dpi,i( ) dallo stato X
“passaggio
i allo
stato j”
= p ( )q +
p ( )q
d
qi,j
j =i
(⇤)
Catene di Markov
Quindi il parametro qi,j può essere interpretato come
Si consideri prima
il caso i =(rate)
j. L’equazione
diventa la transizione
la frequenza
con cui (si) verifica
=
Ovviamente risulta
con cui si verifica la transizione
dpi,j (⇥ ) ˛“uscita dallo stato i”
X˛
dpi,j ( )
qi,j =
˛pi,r ( )qr,j
= pi,j ( )qj,j +
d⇥
⇥ =0
d
r =j
i,j
(i)
in
37
MODELLI E METODI
PER L’AUTOMAZIONE
j⇤=i
40
Catene di Markov
35
CATENE DI MARKOV
41
MODELLI E METODI
PER L’AUTOMAZIONE
36
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
Analisi a transitorio e a regime di una CTMC omogenea
Analisi a transitorio e a regime di una CTMC omogenea
Dal teorema della probabilità totale, si ottiene
Le probabilità di stato di una CTMC sono definite come
j (t) = Pr X(t) = j
Il vettore della probabilità di stato è
(t) =
0 (t),
j ( t)
⇥
=
X
i⇤S
X
ˆ
˜
ˆ
˜
Pr X (t) = j | X (0) = i · Pr X (0) = i =
pi,j (t) ·
i⇤S
t⇥0
che in forma matriciale diventa
( t) =
1 (t),
i (0)
2 (t), . . .
⇥
(0) · P (t) =
(0)e
Qt
Differenziando rispetto a t si ottiene
d ( t)
=
dt
( t) Q
che scritta in forma scalare diventa
d
42
Catene di Markov
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
j ( t)
= qj,j
dt
j ( t)
+
X
qi,j
i ( t)
j = 0, 1, 2, . . .
i⌅=j
43
Catene di Markov
37
CATENE DI MARKOV
MODELLI E METODI
PER L’AUTOMAZIONE
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
CATENE
DI MARKOV A
A TEMPO
CONTINUO
CATENE
DI MARKOV
TEMPO
CONTINUO
Analisi a transitorio e a regime di una CTMC omogenea
Analisi a transitorio e a regime di una CTMC omogenea
Teorema
Nell’analisi a regime di una CTMC, in modo analogo a quanto visto per
le DTMC, ci si interroga sull’esistenza e sulla determinazione dei limiti
j
= lim
t
⇥
In una CTMC irriducibile in cui tutti gli stati sono ricorrenti positivi
(e quindi in ogni CTMC irriducibile con spazio degli stati finito), esiste
un’unica distribuzione di probabilità a regime dello stato tale che i
limiti limt ⇥ j (t) sono positivi, ⇥ j S.
j (t)
⇥
j (t)
Il vettore si determina in maniera univoca risolvendo il sistema di
equazioni lineari
esistono?
⇥Q = 0
b) se tali limiti esistono, essi costituiscono effettivamente una distribuzione
di probabilità, cioè,
j
j
(0).
Tale distribuzione è indipendente da
In particolare:
a) sotto quali condizioni i limiti limt
38
j⇤S
= 1?
j
=1
La prima delle due equazioni rappresenta le condizioni di equilibrio stocastico
⇤
qj,j j +
qi,j i = 0
j S
c) come si possono calcolare tali limiti?
i⌅=j
Catene di Markov
CATENE DI MARKOV
44
MODELLI E METODI
PER L’AUTOMAZIONE
Catene di Markov
39
CATENE DI MARKOV
45
MODELLI E METODI
PER L’AUTOMAZIONE
40
IL PROCESSO BIRTH-DEATH A TEMPO CONTINUO
IL PROCESSO BIRTH-DEATH A TEMPO CONTINUO
★ E’ una catena di Markov a tempo continuo
★ Risolvendo il sistema che fornisce le probabilità di stato a regime
• Lo stato del sistema è infinito ma enumerabile ( j = 0, 1, 2, . . . )
• qi,j = 0 per j < i
•
j
{
1 e j >i+1
= qj,j+1 > 0 è la “birth rate” nello stato j
• µj = qj,j
1
> 0 è la “death rate” nello stato j
λ0
λ1
1
0
µ1
MATRICE DEI
RATE DI
TRANSIZIONE
λj−1
2
µ2
j+1
µj
2
0
6 µ1
6
Q=6 0
4
..
.
(
0
+ µ1 )
µ2
..
.
(
1
2
CATENE DI MARKOV
+ µ2 )
..
.
<1
j
0
0
2
..
.
3
···
· · ·7
7
· · ·7
5
..
.
1
⇡0 =
⇡j =
+1
X✓
41
j̄
MODELLI E METODI
PER L’AUTOMAZIONE
✓
0
1
...
j
µ1 µ2 . . . µj
1
◆
0
1
...
43
CATENE DI MARKOV
1
j
µ1 µ2 . . . µj
✓
⇡0 =
1+
0
1
◆
...
j
µ1 µ2 . . . µj
+1
X ✓ 0 1...
j=1
• In questo caso infatti si può dimostrare che tutti gli stati sono ricorrenti positivi e
pertanto esiste una distribuzione di probabilità a regime dello stato
CATENE DI MARKOV
j = 1, 2, . . .
⇡j = 1
j=1
★ Le probabilità appena vista hanno il significato di probabilità di stato a
regime se
j
+ µj+1 ⇡j+1 = 0
1+
IL PROCESSO BIRTH-DEATH A TEMPO CONTINUO
µj
1
j=0
···
MODELLI E METODI
PER L’AUTOMAZIONE
9 j̄ :
1 ⇡j
µj+1
0
1
+1
X
j
si ottiene
λj
j
j−1
···
+ µ1 ⇡1 = 0
+ µj )⇡j + j
0 ⇡0
(
1
◆
j
µ1 µ2 . . . µj
1
◆
MODELLI E METODI
PER L’AUTOMAZIONE
42