Corso di Automazione Industriale 1 Capitolo 6 Catene di Markov

Corso di
Automazione Industriale 1
Capitolo 6
Catene di Markov
1
Simona Sacone - DIST
Catene di Markov a tempo discreto
Una catena di Markov a tempo discreto (DTMC) è un sistema a stato e
tempo discreti in cui l’evoluzione della variabile di stato Xk è
caratterizzata dalla proprietà markoviana
Pr{Xk+1= xk+1| Xk= xk,…, X0= x0}=Pr {Xk+1= xk+1| Xk= xk}
I possibili valori dello stato sono elementi di un insieme discreto S (finito
o numerabile).
L’evoluzione di una DTMC è governata dall’insieme delle probabilità di
transizione
pi,j(k) = Pr {Xk+1= j | Xk= i}, ∀i,j ∈S, k=0,1,...
2
Simona Sacone - DIST
Esempio 1
Si consideri un sistema produttivo costituito da un’unica macchina soggetta a
guasti. Lo stato della macchina può assumere due valori: operativa (x1) o in
riparazione (x0).
La probabilità che la macchina si guasti mentre sta lavorando è p, mentre la
probabilità che sia riparata quando è guasta è r. La macchina impiega un’unità
di tempo per eseguire la lavorazione.
La DTMC che modella il sistema è la seguente:
r
1-r
x0
x1
1-p
p
3
Simona Sacone - DIST
Catene di Markov a tempo discreto
Si possono definire anche le probabilità di transizione ad n passi
pi,j(k,k+n) = Pr {Xk+n= j | Xk= i},
n≥1
Per il Teorema della probabilità totale, si ha, se k<h<k+n
pi,j(k,k+n) = S r∈S Pr {Xk+n= j | Xh= r, Xk= i} Pr {Xh= r | Xk= i}
per definizione di DTMC
Pr {Xk+n= j | Xh= r, Xk= i} =Pr {Xk+n= j | Xh= r}= pr,j(h,k+n)
da cui si ottiene
pi,j(k,k+n)= S r∈S pi,r(k,h) pr,j(h,k+n) k<h<k+n
che è l’equazione di Chapman-Kolmogorov
4
Simona Sacone - DIST
Catene di Markov a tempo discreto
Definendo la matrice
H(k,k+n) = [pi,j(k,k+n)]
l’equazione di Chapman-Kolmogorov
H(k,k+n)=H(k,h)H(h,k+n)
Inoltre, scegliendo h=k+n-1, si ha
H(k,k+n)=H(k,k+n-1)H(k+n-1,k+n)
che è l’equazione forward di Chapman-Kolmogorov.
Ponendo h=k+1, si ha, invece,
H(k,k+n)=H(k,k+1)H(k+1,k+n)
che è l’equazione backward di Chapman-Kolmogorov.
5
Simona Sacone - DIST
Catene di Markov a tempo discreto
Quando le probabilità di transizione p i,j(k) sono indipendenti da k, ∀i,j ∈S,
la DTMC si dice omogenea (tempo invariante). Se la DTMC è omogenea,
anche pi,j(k,k+n) è indipendente da k e si può indicare semplicemente con
pi,j,n. Inoltre, si indica con H(n) la matrice [pi,j,n].
Dall’equazione di Chapman-Kolmogorov, si ottiene, allora
H(n)=H(n-1)H(1)
H(1) = [pi,j] si indica con P. Si ha, quindi,
H(2)=H(1)2=P2
H(3)=H(1)3=P3
H(n)=H(1)n=Pn
Nel seguito, saranno considerate solo DTMC omogenee.
6
Simona Sacone - DIST
Catene di Markov a tempo discreto
Si consideri la variabile aleatoria v(i) corrispondente al numero di istanti
di campionamento (o stadi) di permanenza nello stato i, quando tale
stato viene visitato. Vale il seguente risultato:
Risultato 1: la distribuzione di probabilità della variabile aleatoria v(i) è la
distribuzione geometrica, con parametro p i,i
Pr {v(i) = n}=(1-pi,i) (pi,i)n-1
n=1,2,3,...
7
Simona Sacone - DIST
Catene di Markov a tempo discreto
Le probabilità di stato sono definite come:
πj(k) = Pr {Xk=j}
Il vettore delle probabilità di stato è
π(k)=[π0(k), π1(k) , …]
e può avere dimensione infinita. Dal teorema della probabilità totale, si
ottiene
πj(k+1) = Si∈S Pr {Xk+1=j | Xk=i} Pr {Xk=i}= S i∈S pi,j πi(k)
che in forma matriciale diventa
π(k+1)= π(k)P
da cui si ottiene
π(k)= π(0)Pk
8
Simona Sacone - DIST
Catene di Markov a tempo discreto
Classificazione degli stati
Definizione: Uno stato j è detto raggiungibile dallo stato i (i≠j) se
pi,j,n > 0 per qualche n=1,2,…. Due stati si dicono
comunicanti se sono mutuamente raggiungibili.
Un sottoinsieme Š dello spazio degli stati S si dice chiuso se pi,j = 0, per
ogni (i,j): i ∈ Š , j ∉ Š.
0.3
0
0.5
2
1
0.3
0.5
Š={0,1,2} è un
sottoinsieme chiuso
0.9
0.7
0.3
0.1
3
0.4
9
Simona Sacone - DIST
Catene di Markov a tempo discreto
Se Š è un sottoinsieme chiuso costituito da un solo stato i, si dice che i è
uno stato assorbente (o stato trappola). In questo caso, p i,i = 1.
Se Š è un sottoinsieme chiuso in cui ogni coppia di stati è una coppia di
stati comunicanti, allora Š si dice irriducibile. Se l’intero spazio degli
stati è irriducibile, allora la DTMC stessa si dice irriducibile.
Ovviamente, se la DTMC non è irriducibile, si dice riducibile.
10
Simona Sacone - DIST
Catene di Markov a tempo discreto
Definizione: Supponendo che la DTMC si trovi nello stato i allo
stadio 0, il tempo di arrivo allo stato j è definito come
Tij=min{k>0: Xk=j| X0=i}
Tii è detto tempo di ritorno allo stato i.
La variabile Tii è ovviamente una variabile aleatoria a valori discreti. Sia
ρik= Pr{Tii=k}, k=1,2,…,∞. La probabilità che la DTMC prima o poi
ritorni nello stato i è
∞
ρ i = ∑ ρ ki
k =1
11
Simona Sacone - DIST
Catene di Markov a tempo discreto
Definizione: Uno stato i è detto ricorrente se ρi=1. Se ρi<1, lo stato i
è detto transiente.
0.5
2
1.0
0
0.5
Lo stato 2 è ricorrente, gli stati 0 e 1
sono transienti
0.5
1
0.5
12
Simona Sacone - DIST
Catene di Markov a tempo discreto
Valgono i seguenti risultati:
Risultato 2: Se una DTMC ha spazio degli stati finito, almeno uno
stato è ricorrente.
•
Risultato 3: Se i è uno stato ricorrente e j è raggiungibile da i, allora
anche j è uno stato ricorrente.
•
Risultato 4: Se Š è un sottoinsieme finito dello spazio degli stati ed è
irriducibile, allora ogni stato in Š è ricorrente.
•
13
Simona Sacone - DIST
Catene di Markov a tempo discreto
Definizione: Sia i uno stato ricorrente. Il tempo medio di ritorno allo
stato i è
∞
M i = E[Tii ] = ∑ kρik
k =1
Definizione: Uno stato ricorrente i è detto ricorrente positivo se Mi < ∞, è
detto ricorrente nullo se Mi = ∞.
Risultato 5: Se i è uno stato ricorrente positivo e j è raggiungibile da i,
allora j è uno stato ricorrente positivo.
•
14
Simona Sacone - DIST
Catene di Markov a tempo discreto
Teorema 1: Sia Š un sottoinsieme irriducibile dello spazio degli stati,
allora una e una sola delle seguenti affermazioni è vera:
a) ogni stato in Š è ricorrente positivo;
b) ogni stato in Š è ricorrente nullo;
c) ogni stato in Š è transiente.
•
Teorema 2: Sia Š un sottoinsieme finito irriducibile dello spazio
degli stati, allora ogni stato in Š è ricorrente positivo.
•
Nota: Nei due teoremi Š può anche coincidere con S.
15
Simona Sacone - DIST
Catene di Markov a tempo discreto
Si consideri l’insieme di interi {n>0: pi,i,n >0}: Sia di il massimo comune
divisore in questo insieme.
Uno stato i è detto periodico (di periodo di) se di ≥2.
Se di =1, lo stato i è detto aperiodico.
Definizione:
2
0.5
0
1.0
0.5
Tutti gli stati sono periodici con
periodo 2
1
1.0
0.5
0
0.5
0.5
2
0.5
0.5
1
Tutti gli stati sono aperiodici
(di=1, ∀i)
0.5
16
Simona Sacone - DIST
Catene di Markov a tempo discreto
Vale il seguente risultato:
Teorema 3:
In una DTMC irriducibile, o tutti gli stati sono
aperiodici, o tutti gli stati sono periodici con lo stesso
periodo.
•
17
Simona Sacone - DIST
Analisi a regime di una DTMC omogenea
Nell’analisi a regime di una DTMC, ci si pone il problema dell’esistenza
dei limiti limk→∞π j(k) e del loro significato. Più in dettaglio, si vuole
trovare risposta ai seguenti quesiti:
a) sotto quali condizioni i limiti π j= limk→∞π j(k) esistono e sono
indipendenti da π(0)?
b) se tali limiti esistono, essi costituiscono una distribuzione di
probabilità a regime ammissibile, cioè tale che Σ j∈Sπ j =1?
c) come si valutano tali limiti?
È evidente che l’esistenza di tali limiti è connessa con l’esistenza dei punti
di equilibrio dell’equazione che definisce i vettori π.
18
Simona Sacone - DIST
Analisi a regime di una DTMC omogenea
Valgono i seguenti risultati:
Teorema 4: In una DTMC irriducibile aperiodica (cioè in cui tutti gli
stati sono aperiodici), esistono i limiti πj= limk→∞πj(k),
∀ j∈S, e sono indipendenti dal vettore di probabilità di
stato iniziale π(0).
•
Teorema 5: In una DTMC irriducibile aperiodica in cui tutti gli stati
sono transienti o ricorrenti nulli, risulta
πj= limk→∞πj(k)=0, ∀ j∈S
•
19
Simona Sacone - DIST
Analisi a regime di una DTMC omogenea
Teorema 6: In una DTMC irriducibile aperiodica in cui tutti gli stati
sono ricorrenti positivi, i limiti πj, j∈S, sono tutti positivi
e rappresentano la distribuzione stazionaria di probabilità
degli stati a regime. Inoltre, risulta πj=1/Μj, ∀ j∈S,
essendo Μj il tempo medio di ritorno allo stato j. Infine,
il vettore π si determina in maniera univoca risolvendo il
sistema di equazioni lineari
π = πP
Σj∈S πj=1
•
Una DTMC irriducibile aperiodica in cui tutti gli stati sono ricorrenti
positivi si dice anche ergodica. Sulla base del teorema 2, ogni DTMC con
spazio degli stati finiti e con stati tutti aperiodici è certamente una DTMC
ergodica alla quale può essere applicato il teorema 6.
20
Simona Sacone - DIST
Catene di Markov a tempo continuo
Una catena di Markov a tempo continuo (CTMC) è un sistema a stato
discreto e tempo continuo in cui l’evoluzione della variabile di stato X(t) è
caratterizzata dalla proprietà markoviana
Pr{X(tk+1)= xk+1| X(tk)= xk,…, X(t0)= x0}=Pr {X(tk+1)= xk+1| X(tk)= xk}
per ogni scelta di t 0, t1,…, tk+1 tale che t0≤ t1 ≤ ... ≤ tk+1.
X(t) condensa, quindi, tutta l’informazione passata (per τ ≤ t) ai fini della
valutazione probabilistica dell’evoluzione della CTMC per τ > t. E’
immediato dedurre dalla definizione data che l’informazione sul tempo già
trascorso all’istante t nello stato i=X(t) (detto anche “età” dello stato i
all’istante t) è superflua ai fini della suddetta valutazione.
21
Simona Sacone - DIST
Catene di Markov a tempo continuo
L’evoluzione di una CTMC è governata dalle funzioni di transizione
pi,j(s,t) = Pr {X(t)= j | X(s)= i}, ∀i,j ∈S, s ≤t
Dal Teorema della probabilità totale, si ha, per s ≤ n ≤ t
pi,j(s,t) = S r∈S Pr {X(t)= j | X(n)= r, X(s)= i} Pr {X(n)= r | X(s)= i}=
= S r∈S Pr {X(t)= j | X(n)= r} =Pr {X(n)= r | X(s)= i}
da cui si ottiene
pi,j(s,t)= S r∈S pi,r(s,n) pr,j(n,t)
s≤n≤t
che è l’equazione di Chapman-Kolmogorov nella sua versione a tempo
continuo
22
Simona Sacone - DIST
Catene di Markov a tempo continuo
Si definisca la matrice P(s,t)=[p i,j(s,t) ]. Ovviamente risulterà P(s,s) = I e
S j∈S pi,j(s,t) =1, ∀i∈S, s ≤t. L’equazione di Chapman-Kolmogorov può
essere riscritta come
P(s,t)=P(s,n)P(n,t)
s≤n≤t
che, per s ≤ t ≤ t+∆t, può essere espressa come
P(s, t+∆t)=P(s,t)P(t, t+∆t)
sottraendo P(s,t) ad ambo i membri
P(s, t+∆t)- P(s,t) =P(s,t)[P(t, t+∆t) - I]
dividendo per ∆t e passando al limite, si ha
P(s, t + ? t) - P(s, t)
P(t, t + ? t) - I
= P(s, t) lim
∆t
∆t
∆t →0
∆t →0
lim
23
Simona Sacone - DIST
Catene di Markov a tempo continuo
La matrice
P(t, t + ? t) - I
∆t
∆t →0
È detta matrice dei rate di transizione, o generatore infinitesimale.
L’ultima equazione ottenuta può quindi riscriversi come:
Q (t) = lim
∂P(s, t)
= P(s, t)Q(t)
s≤t
∂t
che è detta equazione differenziale forward di Chapman-Kolmogorov.
In maniera analoga può essere ottenuta l’equazione differenziale
backward di Chapman -Kolmogorov
∂P(s, t)
= −Q(s) P(s, t)
∂t
s≤t
24
Simona Sacone - DIST
Catene di Markov a tempo continuo
Il significato della matrice Q(t) e delle equazioni differenziali di C.K.
risulta chiaro nel caso di CTMC omogenee (cioè tempo-invarianti). Una
CTMC omogenea è una CTMC in cui le funzioni di transizione sono
dipendenti da s e da t esclusivamente attraverso la differenza τ=t-s. In altre
parole, nel caso di CTMC omogenee, le funzioni di transizione
pi,j(s,s+τ) = pi,j(τ) Pr {X(s+τ)= j | X(s)= i},
∀i,j ∈S
sono indipendenti da s. P(s, s+τ) verrà ora indicata con P(τ). Nel seguito ci
si riferirà esclusivamente a CTMC omogenee.
Nel caso di CTMC omogenee, ovviamente Q(t) risulta indipendente da t e
verrà quindi indicata semplicemente con Q.
25
Simona Sacone - DIST
Catene di Markov a tempo continuo
Per una CTMC omogenea si può scrivere
∂P( τ)
= P( τ)Q
∂τ
che deve essere integrata con condizioni iniziali pij(0)=0, i≠j, pii(0)=1,
∀i∈S. La soluzione di tale equazione è
P(τ) = eQτ
essendo eQτ = I+Qτ+ Q2τ2/2! + ….
26
Simona Sacone - DIST
Catene di Markov a tempo continuo
Si consideri la variabile aleatoria v(i) corrispondente al tempo di
permanenza nello stato i, quando tale stato viene raggiunto. Vale il
seguente risultato:
Risultato 6: la variabile aleatoria v(i) è distribuita in modo esponenziale,
1 - e -Λ(i)t
t≥0
Pr{v(i) ≤ t} = 
0
t<0
Si immagini di identificare, nell’evoluzione temporale della CTMC, gli
intervalli di tempo nei quali il sistema si trova nello stato i. Gli estremi a
destra di tali intervalli corrispondono al verificarsi di eventi del tipo “ la
CTMC esce dallo stato i”. Tali intervalli rappresentano realizzazioni
successive della variabile v(i), distribuita in modo esponenziale e possono
quindi essere pensati come la sequenza dei tempi di interevento di un
processo di Poisson con parametro Λ(i) (ovviamente E[v(i)]=1/ Λ(i)). Λ(i)
ha quindi il significato di rate di uscita dallo stato i.
27
Simona Sacone - DIST
Catene di Markov a tempo continuo
Il processo di Poisson menzionato può, inoltre, essere considerato come la
sovrapposizione di processi di Poisson indipendenti, ciascuno
corrispondente alla sequenza di eventi “transizione dallo stato i allo
stato j” (j≠i). Sia λ ij il parametro caratterizzante il generico processo di
Poisson di tale tipo (ovviamente, se lo stato j non può essere raggiunto
dallo stato i risulta λij =0).
In base, ad una nota proprietà dei processi di Poisson, risulta
Λ(i) = ∑ λ ij
j∈S
j≠i
28
Simona Sacone - DIST
Catene di Markov a tempo continuo
A questo punto, è possibile fornire una interpretazione fisica dei
coefficienti della matrice Q. Si consideri la generica equazione scalare
relativa all’equazione differenziale forward di C.K.
dpij ( τ)
dτ
= pij (τ)q jj + ∑ pir ( τ) q rj
r≠ j
(*)
Si consideri prima il caso i=j. L’equazione (*) diventa
dpii ( τ)
= p ii (τ)q ii + ∑ p ir (τ)q ri
dτ
r ≠i
Ponendo τ=0 ed usando le condizioni iniziali pii(0)=1, pir(0) =0, r≠i, si
ottiene
dpii ( τ)
= q ii
d τ τ= 0
(**)
29
Simona Sacone - DIST
Catene di Markov a tempo continuo
che può essere riscritta come:
− q ii =
d
[1 − pii (τ)] = lim [1 − pii ( τ)] − [1 − pii ( 0)]
dτ
τ
τ= 0 τ=0
[1-pii(τ)] rappresenta la probabilità che la CTMC lasci lo stato i in un
intervallo di lunghezza τ. La precedente equazione ci consente di
affermare che tale probabilità, quando τ tende a 0, è data da (- qii) τ + θ(τ),
essendo θ(τ) un infinitesimo di ordine superiore a τ.
Ne consegue che (- qii) può essere interpretato come la frequenza (rate)
con cui si verifica la transizione “uscita dallo stato i”.
30
Simona Sacone - DIST
Catene di Markov a tempo continuo
Inoltre:
p ii (τ) = Pr{v(i) > τ} = e -Λ (i) τ
e quindi:
dpii ( τ)
= − Λ(i)e − Λ(i) τ
dτ
Per τ=0, tenendo presente l’equazione (**), si ha
-qii=Λ(i)
(***)
che conferma l’interpretazione fisica data per -qii (si noti che qii è sempre
negativo).
31
Simona Sacone - DIST
Catene di Markov a tempo continuo
Si consideri ora il caso i≠j. In maniera analoga a quanto già visto, si
ottiene
q ij =
dpij ( τ)
dτ
= lim
τ= 0
τ= 0
p ij ( τ) − pij (0)
τ
Quindi, il parametro qij può essere interpretato come la frequenza (rate)
con cui si verifica la transizione “passaggio dallo stato i allo stato j”.
Risulterà, allora, in modo analogo a quanto espresso dalla (***)
qij=λij
Inoltre, tenendo presente che Σj∈S pij(τ)=1, ∀i∈S, ∀τ≥0, e derivando
rispetto a τ in τ =0, si ha
∑ q ij = 0,
j∈S
ovvero −qii = ∑ qij
j≠i
32
Simona Sacone - DIST
Catene di Markov a tempo continuo
Infine, si definiscono per una CTMC, le probabilità di transizione
λ ij
q ij
~
p ij = Pr{X k +1 = j X k = i} =
=−
Λ (i)
q ii
Ovviamente risulta
pij = 1
∑~
j≠i
La DTMC definita dalle probabilità di transizione di una CTMC si chiama
“DTMC embedded nella CTMC”. Tale DTMC rappresenta solo le
probabilità di transizione da uno stato all’altro e trascura l’informazione
relativa alla frequenza delle transizioni, ai tempi medi di permanenza negli
stati, ecc. Si noti che la DTMC così definita ha sempre una matrice delle
probabilità di transizione in cui la diagonale principale è composta di zeri.
33
Simona Sacone - DIST
Analisi di transitorio e a regime di una CTMC omogenea
In modo analogo a quanto visto per le DTMC, si definiscono le
probabilità di stato di una CTMC come:
πj(t) = Pr {X(t)=j}
Il vettore delle probabilità di stato è π(t)=[π0(t), π1(t) , …]
Dal teorema della probabilità totale, si ottiene
πj(t) = S i∈S Pr {X(t)=j | X(0)=i} Pr {X(0)=i}= S i∈S pi,j(t) πi(0) t≥0
che in forma matriciale diventa
π(t)= π(0)P(t)= π(0)eQt
che, differenziando rispetto a t, diventa:
d π(t)
= π(t)Q
dt
(i)
34
Simona Sacone - DIST
Analisi di transitorio e a regime di una CTMC omogenea
L’equazione (i) in forma scalare diventa:
dπ j (t)
dt
= q jj π j (t) + ∑ q ij πi (t)
i≠ j
j = 0,1,2,...
che risulta più facilmente interpretabile riscritta come:
(
)
(
)
dπ j (t) = q jj dt π j (t) + ∑ q ijdt π i (t)
i≠ j
j = 0,1,2,...
Il termine -(qjjdt) rappresenta la probabilità che la CTMC lasci lo stato j in
un intervallo di tempo di lunghezza dt. Simile interpretazione vale per la
quantità -(qijdt).
35
Simona Sacone - DIST
Analisi di transitorio e a regime di una CTMC omogenea
Nell’analisi a regime di una CTMC, in modo analogo a quanto visto per le
DTMC, ci si chiede se i limiti limt→∞π j(t) esistono e se ad essi è possibile
attribuire il significato di distribuzione di probabilità a regime dello stato.
A tal fine, esiste un importante risultato riportato nel seguito. Per la
comprensione di tale risultato, occorre premettere che, per quanto riguarda
una CTMC, gli stati possono essere classificati facendo riferimento alla
classificazione che vale per la DTMC embedded.
36
Simona Sacone - DIST
Analisi di transitorio e a regime di una CTMC omogenea
Teorema 7: In una CTMC irriducibile in cui tutti gli stati sono
ricorrenti positivi (e quindi in ogni CTMC irriducibile
con spazio degli stati finito), esiste un’unica distribuzione
di probabilità a regime dello stato tale che i limiti πj=
limt→∞πj(t) sono positivi, ∀j∈S. Tale distribuzione è
indipendente da π(0). Infine, il vettore π si determina in
maniera univoca risolvendo il sistema di equazioni lineari
πQ= 0
Σj∈S πj=1
•
La prima delle due equazioni riportate nel teorema 7 rappresenta le
condizioni di equilibrio stocastico, che, scritte in forma scalare diventano
q jjπ j + ∑ q ijπ i = 0
i≠ j
j∈ S
37
Simona Sacone - DIST
Esempio 1
La matrice delle probabilità di transizione è
r 
1 − r
P=

 p 1 − p
L’insieme delle equazioni che determina le probabilità di stato è
π0(k+1) = π0(k) (1-r) + π1(k) p
π1(k+1) = π0(k) r + π1(k) (1-p)
k ∈N
Le cui soluzioni sono:
π0(k) = π0(0) (1-p-r)k +p/(p+r) [1- (1-p-r)k ]
π1(k) = π1(0) (1-p-r)k +r/(p+r) [1- (1-p-r)k ]
Nota: le probabilità di stato nel transitorio dipendono dalle probabilità di stato
iniziali
38
Simona Sacone - DIST
Esempio 1
Per quanto riguarda l’analisi a regime del sistema, verifichiamo, innanzitutto se
la DTMC è ergodica. La DTMC è certamente irriducibile (i due stati sono
comunicanti) ed, essendo finito lo spazio degli stati, in essa gli stati sono
ricorrenti positivi (teorema 2). E’ ancora necessario verificare l’aperiodicità
della DTMC.
La DTMC è aperiodica a patto che 1-p>0 e 1-r > 0, condizioni che valgono
sempre, tranne nel caso p=r=1. Tralasciamo questo caso e consideriamo p<1,
r<1. Grazie al teorema 6, i valori πj= limk→∞πj(k), ∀ j∈S, esistono e sono
indipendenti dal vettore di probabilità di stato iniziale π(0). Tali valori sono le
soluzioni del sistema
 p 0 = p 0 (1 − r) + p1p

 p1 = p 0r + p1(1 − p )
in cui la condizione Σ j=1,2 πj=1 è evidentemente soddisfatta
39
Simona Sacone - DIST
Esempio 1
Le distribuzioni delle probabilità di stato a regime valgono, quindi
p0 =
p
p+r
p1 =
r
p+ r
per le quali la condizione Σ j=0,1 πj=1 è evidentemente soddisfatta.
Nota: Se si volesse valutare la produttività della macchina a regime, la
probabilità che la macchina stia lavorando, ossia che si trovi nello
stato 1 è proprio espressione della sua produttività che, in questo caso,
a regime assume valore costante pari a π1.
Consideriamo ora il caso p=r=1. In questo caso la matrice P diventa
0 1 
P=

1 0 
40
Simona Sacone - DIST
Esempio 1
Elevando a potenza la matrice P si ottiene
P
P = 2
P
k
k dispari
k pari
da cui si ottiene
π1(0)
π 0 (k) = 
π 0 (0)
k dispari
k pari
π0 (0)
π1(k) = 
π1(0)
k dispari
k pari
Risulta, quindi, evidente che i limiti delle probabilità di stato non esistono
perché lo stato oscilla indefinitamente tra due valori. Dal punto di vista fisico,
questo caso è poco significativo in quanto rappresenta una macchina che
continua ad oscillare dallo stato operativo allo stato guasto.
41
Simona Sacone - DIST
Esempio 2
Si consideri un sistema produttivo costituito da un’unica macchina che lavora
un pezzo per volta e ha un tempo di lavorazione distribuito secondo una pdf
esponenziale con parametro p. Un tempo di setup è richiesto tra due lavorazioni
consecutive e anche tale tempo ha distribuzione esponenziale con parametro s.
La macchina è soggetta a guasti e il tempo tra due guasti è descrivibile con una
variabile distribuita secondo un esponenziale con parametro f. Infine, la
macchina guasta è immediatamente riparata e il tempo di riparazione è ancora
distribuito secondo un esponenziale con parametro r.
Lo stato del sistema assume valori nell’insieme {0,1,2}, interpretabile come
segue:
è
0: la macchina è in fase di setup
è
1: la macchina sta eseguendo una lavorazione
è
2: la macchina è in fase di riparazione
42
Simona Sacone - DIST
Esempio 2
Il sistema può essere rappresentato con una CTMC che, se i parametri s, p, f e r
sono costanti è una CTMC omogenea.
Inoltre, i tre tempi di permanenza nei tre stati sono esponenziali, quindi, se t0, t1,
t2 sono i tempi di permanenza nello stato 0, nello stato1 e nello stato 2,
rispettivamente, allora
t0=exp(s)
t2=exp(r)
t1=min{τ1, τ2}, essendo τ1 = exp(p) e τ2 = exp(f), da cui si ricava
t1=exp(p+f).
43
Simona Sacone - DIST
Esempio 2
Il sistema considerato può essere gestito, a fronte di un guasto, con due diverse
politiche: in un primo caso, la macchina riparata può riprendere la lavorazione
del pezzo che stava lavorando prima del guasto (resume policy). Nel secondo
caso, la macchina riprende la lavorazione sempre da un pezzo nuovo (discard
policy).
Nei due casi si ottengono due CTMC diverse, la cui analisi può fornire dei
criteri di valutazione delle due diverse politiche.
44
Simona Sacone - DIST
Esempio 2
Consideriamo il sistema che opera secondo la resume policy. Il diagramma
delle transizioni di stato è il seguente:
0
f
1
s
p
r
2
La matrice dei rate di transizione è:
s
0
− s
Q =  p − ( p + f ) f 
 0
r
− r 
45
Simona Sacone - DIST
Esempio 2
In questo caso è facile verificare che la CTMC è ergodica, in quanto essa è
irriducibile con spazio degli stati finito e, quindi, con tutti gli stati ricorrenti
positivi.
Allora è possibile trovare il vettore delle probabilità di stato a regime risolvendo
il sistema seguente
p0 s = p1 p
p (p + f) = p s + p r
 1
0
2

p2 r = p1 f
p0 + p1 + p2 = 1
46
Simona Sacone - DIST
Esempio 2
Le distribuzioni delle probabilità di stato a regime valgono, quindi
p0 =
pr
pr + rs + fs
p1 =
rs
pr + rs + fs
p2 =
fs
pr + rs + fs
Assumendo i seguenti valori dei parametri:
s = 20 /ora
p= 4/ora
f=0.05/ora
r=1/ora
si ottiene:
π 0=0.16
π 1=0.8
π 2=0.04
47
Simona Sacone - DIST
Esempio 2
Note le probabilità di stato a regime, è possibile calcolare il throughput medio
del sistema (ossia il numero di pezzi prodotti nell’unità di tempo), come
X = π1 p =
rsp
1
=
pr + rs + fs 1 + 1 + f  1


s 
rp
L’espressione del throughput evidenzia alcune dipendenze “classiche”
nell’ambito dei sistemi di produzione. Innanzitutto, il throughput aumenta
diminuendo i tempi di setup. Inoltre, il secondo termine del denominatore
(1+f/r)1/p è generalmente indicato come tempo totale medio di processing di un
prodotto da parte della macchina. Infatti, il reciproco di (1+f/r) è indicato come
steady-state availability del sistema, ossia come la probabilità che il sistema stia
lavorando in modo produttivo.
48
Simona Sacone - DIST
Esempio 2
Consideriamo il sistema che opera secondo la discard policy. Il diagramma
delle transizioni di stato è il seguente:
1
s
0
f
2
p
r
La matrice dei rate di transizione è:
s
0
− s
~
Q =  p −(p + f ) f 


 r
0
− r 
49
Simona Sacone - DIST
Esempio 2
Anche in questo caso la CTMC è ergodica ed è quindi possibile trovare il
vettore delle probabilità di stato a regime risolvendo il sistema seguente
p~0s = p~1 p + p~2r
p~ (p + f) = p~ s
 1
0
~
~ f
p
r
=
p
2
1

p~0 + p~1 + p~2 = 1
Le distribuzioni delle probabilità di stato a regime valgono, quindi
~p =
0
pr + rf
pr + rf + rs + fs
~p =
1
rs
pr + rf + rs + fs
~p =
2
fs
pr + rf + rs + fs
50
Simona Sacone - DIST
Esempio 2
Assumendo gli stessi valori dei parametri utilizzati con la resume policy, ossia:
s = 20 /ora
p= 4/ora
f=0.05/ora
r=1/ora
si ottiene, in generale:
π~0 > π 0 π~1 < π1
π~2 < π 2
ed, in particolare:
π~0 = 0.1617
π~1 = 0.7984
π~2 = 0.0399
51
Simona Sacone - DIST
Esempio 2
Anche in questo caso è possibile calcolare il throughput medio del sistema
come
X = π1 p =
rsp
1
=
pr + rf + rs + fs 1 + 1 + f + f  1


s 
s rp
Nota: L’espressione del throughput evidenzia come la politica di resume
consenta di ottenere un throughput migliore, come poteva essere anche
facilmente intuito.
52
Simona Sacone - DIST