Appendice 2 – Catene di Markov
La trattazione delle code Markoviane a tempo continuo è stata condotta senza ricorrere alla teoria
generale dei processi Markoviani. Tuttavia, si è detto che i sistemi birth-death appartengono alla
classe delle catene di Markov. Poiché numerosi modelli nelle reti di telecomunicazioni, sia a tempo
discreto che a tempo continuo, ricadono in questa categoria di sistemi dinamici, se ne riportano le
definizioni e i risultati principali. Tutti i teoremi che enunciamo nel seguito sono senza
dimostrazione.
Le catene di Markov sono processi stocastici le cui variabli aleatorie dipendenti dal tempo (lo stato
della catena) possono assumere valori in un insieme discreto (lo spazio degli stati), finito o infinito
numerabile. La proprietà di Markovianità consiste essenzialmente nell’indipendenza condizionata
dell’evoluzione futura rispetto a tutto il passato (l’intera storia del processo è “condensata” nel
valore più recente dello stato). La catena può essere pensata come il modello della posizione di un
oggetto nel tempo in un insieme discreto di possibili locazioni, in cui la locazione successiva è
scelta a caso da una distribuzione di probabilità che dipende soltanto dalla locazione corrente.
A2.1. Catene di Markov a tempo discreto
Definizione A2.1.1: un processo stocastico
{X 0 ,X1,...,X n ,...}
in punti consecutivi di osservazione 0,1,2, …, n,… è una catena di Markov a tempo discreto
(Discrete Time Markov Chain – DTMC) se, per ogni n ∈ N 0 , x n ∈ S , con N 0 = {0,1,2,...} e S
spazio degli stati,
€
Pr{X n +1 = x n +1 X n = x n ,X n−1 = x n−1,...,X o = x o€
}=
€
= Pr{X n +1 = x n +1 X n = x n }
€
(A2.1)
Sia S = {0,1,2,...}. Le quantità
€
p ij = Pr{X n +1 = j X n = i} = Pr{X1 = j X o = i}
€
(A2.2)
sono dette probabilità di transizione a 1 passo di una catena omogenea (la cui distribuzione di
probabilità condizionata non dipende dal tempo).
∇
€
La matrice stocastica (ovvero, tale che p ij ≥ 0,
∑p
ij
= 1) P = {p ij, i, j ∈ S } è detta matrice di
j∈S
probabilità di transizione (Transition Probability Matrix – TPM) della DTMC. Sia
{π i (n) = Pr{X n = i},
€
i ∈ S}
€
€
la distribuzione di probabilità non condizionata al tempo n e sia
(A2.3)
π(n) = [π 0 (n),π1 (n),...,π n (n),...]
(A2.4)
il corrispondente vettore riga.
€
63
Per n=1,
π i (1) = ∑ Pr{X 0 = j,X1 = i} = ∑ π j (0)p ji
j∈S
(A2.5)
j∈S
e
π(1) = π(0)P
€
€
(A2.6)
Ripetendo il ragionamento
(A2.7)
π(n + 1) = π(n)P, n ≥ 0
e, di conseguenza,
€
(A2.8)
π(n) = π(0)P n
Una distribuzione di probabilità π è detta invariante (o stazionaria) per la matrice di probabilità di
transizione P se
€
(A2.9)
π = πP
(ricordiamo che, essendo π una distribuzione di probabilità, è anche sempre vero che
€
i
= 1). A
i∈S
seconda della struttura di P, può esistere più di una distribuzione stazionaria. D’altra parte,
possiamo definire le probabilità limite di stato:
€
π˜ = lim π(n) = lim π(0)P n = π(0) lim P n = π(0)P˜
n →∞
€
∑π
n →∞
(A2.10)
n →∞
Siamo particolarmente interessati ai casi in cui, al tendere di n ad infinito, sia la matrice di
probabilità di transizione a n passi Pn sia il vettore delle probabilità di stato convergono
indipendentemente dalla distribuzione iniziale π(0) e, inoltre, π˜ i > 0, ∀i ∈ S, e ∑ π˜ i = 1 (ovvero,
i∈S
€
π˜ è una distribuzione di probabilità su S ). In tal caso, π˜ coinciderebbe con l’unica soluzione
dell’equazione stazionaria (A2.9) e sarebbe l’unico vettore di probabilità a regime (steady-state
probability vector) della DTMC. La figura A2.1 riporta alcuni esempi relativi a diverse possibili
€
situazioni.
€
€
Irriducibilità
Definizione A2.1.2: una matrice di probabilità di transizione P sullo spazio degli stati S si dice
irriducibile se è possibile per una DTMC con matrice di probabilità di transizione P passare da uno
stato qualunque i ad un altro stato qualunque j in tempo finito (ovvero, esiste un percorso tra due
stati qualunque nel corrispondente diagramma di transizione). La catena è irriducibile se la sua
€
matrice P è irriducibile.
∇
Teorema A.2.1.1: una DTMC irriducibile ha al più una distribuzione invariante (ne ha certamente
una se è a stato finito). Una DTMC con un’unica distribuzione invariante è detta ricorrente positiva
(la distribuzione invariante misura le frazioni di tempo che la catena passa nei vari stati).
∇
64
Fig. A2.1. Esempi di esistenza o meno della distribuzione stazionaria di regime [Triv].
Periodicità
Sia:
{
}
d i = GCD n ≥ 1(P n ) i,i > 0
(A2.11)
il massimo comun divisore del numero di passi n in cui la DTMC può tornare dallo stato i indietro
allo stato i stesso (se la catena è irriducibile, di = d, ∀i, ovvero d è lo stesso per tutti gli stati).
€
Definizione A2.1.3: sia P una matrice di probabilità di transizione irriducibile su S . Se d > 1, si
dice che P è periodica con periodo d. Se d = 1, si dice che P è aperiodica.
∇
Teorema A.2.1.2: per una DTMC irriducibile e aperiodica, con distribuzione invariante π, il limite
€
π˜ esiste, è indipendente dallo stato iniziale e coincide con l’unico vettore stazionario
π.
∇
€
Una catena discreta irriducibile e aperiodica, con tutti gli stati ricorrenti positivi è detta ergodica.
Il vettore π della distribuzione stazionaria si trova risolvendo la (A2.9), con la condizione
aggiuntiva ∑ π i = 1.
i∈S
A2.1.1. Esempi
€
A2.1.1.1 [J.R. Norris, Markov Chains, Cambridge University Press, Cambridge, UK, 1997]
Si consideri la catena di Markov discreta rappresentata in Fig. A.2.2.
65
3
2/3
1
2
1/3
6
1
1
3/5
1
1/5
1/5
0
4
1
1
5
1/5
Fig. A2.2. Una catena di Markov discreta a 7 stati.
a) Si trovino le classi di stati comunicanti in cui la catena può essere partizionata, e si indichi
se sono chiuse, transienti o ricorrenti, periodiche o aperiodiche.
Ci sono 3 classi comunicanti: {0}, {1, 2, 3} e {4, 5, 6}. La classe {0} è transiente, mentre
{1, 2, 3} e {4, 5, 6} sono chiuse e ricorrenti. {4, 5, 6} è periodica.
Si mostrino le proprietà seguenti.
b) Partendo da 0, la probabilità di arrivare a 6 è 1/4.
Partendo da 0, lo stato 6 sarà raggiunto con probabilità 1 dopo aver raggiunto 4. Ora,
Pr{x1 = 4 x 0 = 0} = p 04 = 1/5
€
€
Pr{x 2 = 4 x 0 = 0} = p 00 ⋅ p 04 = (1/5)
…
n
Pr{x n = 4 x 0 = 0} = (1/5)
2
∞
n
1
1
5
1
−1 = −1 = .
Perciò, Pr{raggiungere 6 x 0 = 0} = ∑ =
1−1/5
4
4
n=1 5
€
c) Partendo da 1, la probabilità di raggiungere 3 è 1.
1 k−1 2
€ In generale, p132k +1 = 0 , k = 0,1,..., mentre p132k = ⋅ , k = 1,2,...
3
3
j
1 k−1 2 2 ∞ 1 2
1
2 3
Pr
raggiungere
3x
=
1
=
= ⋅ =1 .
Perciò, {
} ∑ ⋅ = ∑ = ⋅
0
3 3 j= 0 3
3 1−1/3 3 2
k=1 3
€
€
d) Partendo da 1, ci vogliono in media 3 passi per raggiungere 3.
∞
€ Come conseguenza della seconda riga al punto c), il numero medio di passi per raggiungere
3 partendo da 1 è
k−1
∞
1
2
1
3
2 ⋅ ∑ k ⋅ = 2 ⋅
= 2⋅ = 3 .
3
3
1−1/3
2
k=1
€
66
e) Partendo da 1, la porzione asintotica di tempo speso in 2 è 3/8.
Partendo da 1, la catena rimane nella classe chiusa {1, 2, 3}, la cui matrice di probabilità di
transizione è data da
0 1 0
P = 1/3 0 2 /3
1 0 0
Perciò, il sistema di equazioni
€
π = πP
π1 + π 2 + π 3 = 1
fornisce π 2 = 3/8 .
€
f) lim p n01 = 9 /32 .
n →∞
k−1
€ n n−1 k n−k n−1 n−k 1
3
p 01 = ∑ p 01 ⋅ p11 = ∑ p11 ⋅ ⋅
5
5
k=1
k=1
k−1
k−1
n−1
∞
1
1 k−1 3 3
3 3
3 ∞
1
3 3 5 9
∞ 1
lim p n01 = lim ∑ p11n−k ⋅ ⋅ = ∑ p11
⋅ = ∑ π1 ⋅ = ⋅ ⋅
= ⋅ ⋅ =
n →∞
n →∞
5
5
5 5 k=1
5 k=1 5
5 8 1−1/5 5 8 4 32
k=1
€
€
g) p n04 non converge con n → ∞ .
€
n−1
k
p n04 = ∑ p n−k
44 ⋅ p 04
€
k=1
1 , n − k = 3j , j = 1,2,...
Ora, p n−k
.
44 =
altrimenti
0 ,
€
€
€
€
Sia n − k = 3j ⇔ n − k ≡ 0 (mod 3) . Allora, l’ultimo termine non nullo nella somma sopra
riportata si ha per j=1, i.e., k = n − 3, ∀n > 3 . Per k=1, se n −1 ≡ 0 (mod 3) → j = (n −1) 3 è
il massimo indice j nella somma. Se invece n − 2 ≡ 0 (mod 3) → j = (n − 2) 3 è il massimo
indice. Infine, se n − 3 ≡ 0 (mod 3), i.e., n ≡ 0 (mod 3), → j = (n − 3) 3 è il massimo
indice. Pertanto, €
€
€
(n−1)/ 3 1 n−3 j (n−1)/ 3 1 n−3 j
3
j
∑€p 44 ⋅
= ∑
, n ≡ 1 (mod 3)
5
5
j=1
j=1
(n−2)/ 3 1 n−3 j (n−2)/ 3 1 n−3 j
p n04 = ∑ p 344j ⋅
= ∑
, n ≡ 2 (mod 3)
5
5
j=1
j=1
(n−3)/ 3 1 n−3 j (n−3)/ 3 1 n−3 j
= ∑
, n ≡ 0 (mod 3)
∑ p 344j ⋅
5
5
j=1
j=1
€
A seconda del valore di n, la somma contiene un diverso numero di elementi, cosicché
lim p n04 non esiste.
n →∞
67
€
, ∀n > 3
h) lim p 3n
04 = 1/124 .
n →∞
i)
Se n=3m,
€
( 3m−3) / 3
p
3m
04
=
∑
j=1
1
5
3m−3 j
m−1
1
= ∑
5
j=1
3(m− j)
Sia m − j = l ; j = 1 → l = m −1 ; j = m −1 → l = 1 (m ≥ 2) . Allora,
€
p
€
€
3l
l
m
m
m−1
1
1 1− (1/125)
1
125 1 1
1
= ∑ = ∑
⋅
=
⋅ 1−
m
→
=
⋅
→∞
1− (1/125) 125 124 125 125
124
l=1 5
l=1 125
m−1
3m
04
A2.1.1.2. Catena di Markov e stabilità dello Slotted-ALOHA
Si consideri un sistema Slotted-ALOHA con popolazione finita di M stazioni di traffico, in cui ogni
stazione ha un buffer unitario e in ogni slot può generare un pacchetto con probabilità p a (se il
buffer è vuoto) e può tentare la ritrasmissione con probabilità p r (se ha un pacchetto nel buffer); gli
eventi di generazione e ritrasmissione in una slot sono indipendenti tra loro e indipendenti dalle
altre slot. Sia n t il numero di pacchetti (in attesa di ritrasmissione) nel sistema nella slot t. Le
€
probabilità di transizione di n t dipendono soltanto dal numero di pacchetti presenti e la dinamica
€
del sistema è descritta da una catena di Markov. Lo spazio degli stati è {0,1,...,M} .
€
Si può ricavare subito che:
€
€ per slot)
p i,i−k = 0 , k = 2,...,M, i > k (non può uscire più di 1 pacchetto
i
[
p ii = (1− p r ) (1− p a )
i
M−i
+ (M − i)p a (1− p a )
= (1− p r ) (M − i)p a (1− p a )
€
p i,i−1 = (1− p a )
M−i
M−i−1
ip r (1− p r )
[
i
i−1
+ (1− p a )
M−i
M−i
a
i
r
i−1
r
r
i−1
r
r
, i ≥1
]
p i,i+1 = 1− (1− p r ) (M − i)p a (1− p a )
€
] + (1− p ) [1− (1− p ) − ip (1− p ) ] =
[1− ip (1− p ) ]
M−i−1
M−i−1
M − i k
M−i− k
p i,i+k =
p a (1− p a
) , 2 ≤k ≤M−i
k
€
€
Si può notare che la matrice P è quasi-triangolare superiore. Si mostri come questo facilita la
risoluzione del sistema
€
π = πP
π1T = 1
con 1 = [1,1,...,1] .
€
Stabilità
€
La probabilità di successo in una slot con n t = n è data da
68
€
Psucc (n) = (M − n)p a (1− p a )
= (1− p a )
M−n
(1− p r )
n
M−n−1
(1− p r )
n
+ np r (1− p r )
n−1
(1− p a )
M−n
=
(M − n)p a
np r
−[ ( M−n ) p a +np r ]
+
≡ G(n)e−G( n )
≅ [(M − n)p a + np r ]e
1−
p
1−
p
a
r
(A2.12)
y
€
avendo usato p a << 1, p r << 1, e−xy ≅ (1− x) per xy << 1 , e avendo definito G(n) = (M − n)p a + np r
(carico totale, dovuto a ritrasmissioni e nuove generazioni). D’altra parte, si può definire il carico
medio in ingresso
€
€ = (M − n)p
Sin (n)
a
(A2.13)
Poiché la probabilità di successo rappresenta il throughput medio (condizionato a n) in uscita
€
€
Sout (n) = Psucc (n) = G(n)e−G( n )
(A2.14)
le intersezioni tra le curve (A2.13) e (A2.14) rappresentano punti di equilibrio (stabile o instabile)
del sistema al variare di n. Si possono verificare due situazioni: le curve si intersecano in 1 o 3
punti. Nel primo caso, l’intersezione avviene a valori di throughput relativamente elevati
(relativamente vicini al massimo 1/e ≈ 0.36) e il punto di equilibrio è stabile ( Sin (n) > Sout (n) a
sinistra del punto di intersezione e Sin (n) < Sout (n) a destra, così che l’evoluzione di nt è tale che il
sistema tende a ritornare nel punto); nel secondo caso, si ha una intersezione in un punto di
equilibrio stabile ancora più vicino al massimo, una in un punto instabile e un’altra in un punto di
€ in questo caso che il
equilibrio stabile, ma a throughput molto basso (per n elevato). Si dice
comportamento del canale€è bi-stabile. La Fig. A2.3 riporta l’andamento qualitativo con 3 punti di
intersezione.
Sin(n),
Sout(n)
1/e
Mpa
0
n=M
n, G(n)
Fig. A2.3. Stabiltà dello Slotted-ALOHA.
La curva del throughput condizionato, per un dato valore di pa, tende ad “alzarsi” e “allargarsi”
maggiormente per pr decrescente. Si può quindi tornare ad un unico punto di equilibrio stabile con
un opportuno back-off, al prezzo di un throughput un po’ minore. Si noti che, quando M→∞, la
retta diviene orizzontale, e si hanno 2 soli punti di intersezione; essendo il secondo instabile, una
volta raggiunto, il sistema tenderà invariabilmente a un numero infinito di pacchetti (ovvero, il
modello con popolazione di utenti infinita è sempre instabile, con qualunque valore di pa ).
69
Si può ancora notare che, una volta calcolata la distribuzione stazionaria, si possono ricavare il
throughput medio, il numero medio di pacchetti nel sistema e il ritardo medio, come
M
M
S = ∑Sout (i)π i ; n = ∑ iπ i ; T =
i= 0
€
i= 0
n
S
Il modello fin qui considerato prevede che, in caso di arrivo dall’esterno che viene trasmesso con
successo, lo stato non cambi. Si provi a ricavare il modello corrispondente alla situazione in cui ad
ogni pacchetto, sia esso in attesa di ritrasmissione o generato nella slot precedente, si applichi la
probabilità di trasmissione pr. Si mostri che in tal caso la probabilità di successo sarebbe
1
massimizzata se, ad ogni slot, si potesse scegliere dinamicamente p r (t ) = min , 1 .
nt
A2.2. Catene di Markov a tempo continuo
€
Le catene di Markov a tempo continuo (Continuous Time Markov Chains – CTMC) possono essere
ricavate a partire dalle catene di Markov a tempo discreto, con unità di tempo infinitesima. Tuttavia,
si può usare una definizione più diretta.
Definizione A2.2.1: Sia S un insieme numerabile. Una matrice di tassi di transizione (o generatore
infinitesimale) Q su S è una collezione Q = {q ij, i, j ∈ S} di numeri reali, tali che:
0 ≤ q ij < ∞, ∀i ≠
€ j ∈ S , e − q ii = q i ≡ ∑ q ij < ∞, ∀i ∈ S
j≠i
€
€
€
(A2.15)
∇
Definizione A2.2.2: Dato un insieme numerabile S , una matrice di tassi di transizione Q su S e
una distribuzione iniziale π, la CTMC X = {X t , t ≥ 0} è definita come segue:
• si scelga x 0 con distribuzione iniziale π;
€
€
• se x 0 = i, si scelga un tempo τ da una distribuzione esponenziale con tasso qi; si definisca X
€
tale che X t = i per 0 ≤ t < τ ;
• al tempo t=τ, il processo salta dal valore iniziale i ad un nuovo valore j, scelto
€
indipendentemente da τ e tale che Pr{X τ = j X 0 = i, τ} = Γij ≡ q ij q i , j ≠ i ;
€
• €la costruzione riprende da questo punto, indipendentemente dal processo prima di τ.
∇
Nuovamente, l’unica informazione sulla traiettoria di X fino al tempo t che è utile a predire la
€ corrente X . Si noti, come già osservato al § 2.4, che in processi
traiettoria dopo il tempo t è il valore
t
con tempi di permanenza non esponenziali, ma ancora con salti consecutivi condizionatamente
indipendenti (ovvero, semi-Markov, come i sistemi M/G/1), può essere utile studiare la catena
discreta negli istanti di transizione (embedded Markov chain). Come inoltre già osservato in 2.4.6,
è notevole che la distribuzione stazionaria di tale catena nel caso M/G/1 sia la stessa di quella del
processo originario non Markoviano (Poisson Arrivals See Time Averages – PASTA).
Una possibile traiettoria della catena a tempo continuo è rappresentata in Fig. A2.4.
70
Pr{ξ 0 = i0 ,ξ1 = i1,...,ξ n = in } = π i 0 Γi 0 i1 Γi1 i 2 ⋅ ⋅ ⋅ Γi n−1 i n
Fig. A2.4. Evoluzione della catena a tempo continuo. Γij è come definito in (A2.16).
€ Una matrice di tassi di transizione Q su S è irriducibile se q > 0, ∀i ∈ S e se è
Definizione A2.2.3:
i
irriducibile la matrice di probabilità di transizione Γ (della catena discreta embedded) definita da
q q , i ≠ j ∈ S
Γij = ij i
0, i = j ∈ S
€
€
(A2.16)
Una CTMC si dice irriducibile se lo è la sua matrice Q. Come nel caso discreto, l’irriducibilità
implica la possibilità di andare da ogni stato ad ogni altro in tempo finito.
∇
€
Teorema A2.2.1: Sia X una catena di Markov a tempo continuo con matrice Q su S e distribuzione
iniziale π. Allora,
• La distribuzione π è invariante se e solo se soddisfa le equazioni di equilibrio
(A2.17)
∑ π iqij = 0, ∀j ∈ S (πQ = 0)
€
i∈S
• La CTMC è stazionaria se e solo se la sua distribuzione iniziale è invariante.
• La CTMC ha una sola o nessuna distribuzione invariante; ha sicuramente una distribuzione
invariante se è a stato finito.
• Se la catena ha una distribuzione invariante π, il limite della distribuzione delle probabilità
di stato esiste ed è uguale a π; la componente πi rappresenta la frazione di tempo che la
catena passa nello stato i.
• Se non esiste la distribuzione invariante, le probabilità limite sono 0 per tutti gli stati e la
frazione di tempo passata in ogni stato è trascurabile.
∇
€
Le equazioni di equilibrio possono essere scritte in una forma più significativa come:
∑q π
ij i
i≠ j
= π j ∑ q ji , ∀j ∈ S
(A2.18)
i≠ j
71
€
dove il primo membro rappresenta il “flusso” totale da ogni altro stato nello stato j e il secondo
membro rappresenta il “flusso” totale dallo stato j verso ogni altro stato (il che rende conto del
termine “equazioni di equilibrio”). Naturalmente la soluzione può essere trovata aggiungendo la
condizione di normalizzazione sulle componenti del vettore π ( ∑ π i = 1).
i
Uniformizzazione
Data una catena ergodica a tempo continuo, si può €
sempre costruire una catena ergodica a tempo
discreto con le stesse probabilità stazionarie di stato e viceversa. In particolare, dato il generatore
infinitesimale Q, si può definire
P = Q /q + I
(A2.19)
dove q (finito) può essere scelto come
€
q > sup q i
(A2.20)
i∈S
€
Questo procedimento è detto di uniformizzazione, e la matrice P risultante può essere usata per
determinare la distribuzione stazionaria. Di fatto, questa operazione subordina la catena ad un
processo di Poisson a tasso q, ed introduce eventi “fittizi” (ovvero, in cui lo stato non cambia), ma
consente di lavorare con tempi di permanenza esponenziali con parametro indipendente dal valore
dello stato, il che è spesso utile.
72
Bibliografia
[Klein]
[Schw]
L. Kleinrock, Queueing Systems, Vol. I, Wiley, New York, 1975.
M. Schwartz, Telecommunication Networks: Protocols, Modeling, and Analysis,
Addison-Wesley, Reading, MA, 1987.
[Berts, Gall] D. Bertsekas, R. Gallager, Data Networks, 2nd Ed., Prentice-Hall, Englewood Cliffs,
NJ, 1992.
[Ross]
K. W. Ross, Multiservice Loss Models for Broadband Telecommunication Networks,
Springer Verlag, London, 1995.
[Zuk]
M. Zukerman, Introduction to Queueing Theory and Stochastic Teletraffic Models,
2000-2008; available online: http://www.ee.unimelb.edu.au/staff/mzu/classnotes.pdf
[Triv]
G. Bolch, S. Greiner, H. de Meer, K.S. Trivedi, Queueing Networks and Markov
Chains, Wiley, New York, NY, 1998.
73
