Foglio di esercizi n. 8 - e-Learning

Calcolo delle Probabilità 2016/17 – Foglio di esercizi 8†
Catene di Markov
Esercizio 1 (Baldi, Esempio 5.21). Si consideri il grafo costituito dal centro di un quadrato,
indicato col numero 1, e dai suoi vertici, numerati da 2 a 5.
3
2
1
5
4
Consideriamo la passeggiata aleatoria semplice e simmetrica X = {Xn }n∈N0 su tale grafo,
ossia la catena di Markov che dal centro del quadrato può saltare in uno dei quattro vertici,
mentre da ciascuno dei quattro vertici può saltare o in uno dei due vertici a esso connessi
da un lato, oppure nel centro del quadrato (le probabilità di salto sono uniformi sulle scelte
possibili, vale a dire 14 a partire dal centro e 13 a partire da un vertice).
Si mostri che la catena di Markov è irriducibile, ricorrente positiva, aperiodica. Si determini
la probabilità invariante. Si calcoli quindi limn→∞ P2 (Xn = 2)/P2 (Xn = 3).
Esercizio 2 (V appello 2013/14). Marco ha un capitale in euro, che evolve a ogni istante
secondo il gioco seguente. Se a un certo istante il capitale è di 0 euro, Marco lancia una moneta
equilibrata: se esce testa, il suo capitale all’istante successivo diventa 1 euro, altrimenti
resta 0 euro. Se invece il capitale è di k ∈ N = {1, 2, 3, . . .} euro, Marco lancia k + 1 monete
equilibrate: se escono tutte teste, il suo capitale all’istante successivo diventa k + 1 euro, in
caso contrario il capitale diventa 0 euro. Marco ha inizialmente 0 euro.
(a) Si descriva l’evoluzione del suo capitale mediante un’opportuna catena di Markov
X = (Xn )n≥0 con spazio degli stati N0 = {0, 1, 2, . . .}, scrivendone la matrice di
transizione e mostrando che è irriducibile. La catena è aperiodica?
(b) Si mostri che
lim P(Xn = 0) =
n→∞
1
1+
P∞
1
j=1 2j(j+1)/2
.
Esercizio 3 (IV appello 2014/15). Giovanni salta su tre piastrelle, numerate da 1 a 3.
Inizialmente si trova sulla piastrella 1. A ogni istante lancia una moneta che dà testa con
probabilità fissata q ∈ (0, 1): se esce testa salta sulla piastrella successiva, se esce croce salta
su quella precedente (intendendo che il successivo di 3 è 1 e, analogamente, il precedente
di 1 è 3). Si rappresenti il moto aleatorio di Giovanni mediante una catena di Markov
X = (Xn )n≥0 .
(a) Si scriva la matrice di transizione, se ne disegni il grafo, si determinino le classi di
comunicazione, se ne determini il periodo.
(b) Si mostri che µ1 = µ2 = µ3 = 1 definisce una misura invariante. Quali sono le
probabilità invarianti della catena? Sono anche reversibili?
†
Ultima modifica: 11 gennaio 2017.
2
(c) Si calcolino limn→∞ P(Xn = 2) e limn→∞ P(Xn = 2, Xn+1 = 3).
Esercizio 4 (III appello 2014/15). Sia X = (Xn )n≥0 una catena di Markov con spazio degli
stati N0 = {1, 2, . . .} con matrice di transizione

3


se i = j = 1


4




5


1 − i+1 se i = j ≥ 2
2
pi,j =
.

1


se |j − i| = 1



2j





0
se |j − i| ≥ 2
(a) Si verifichi che quella assegnata è effettivamente una matrice di transizione e si disegni il
grafo relativo (ristretto agli stati {1, 2, 3, 4, 5}). La catena è irriducibile? È aperiodica?
(b) Si mostri che esiste un’unica probabilità reversibile (µi )i∈N . Per tempi lunghi, qual è
lo stato in cui è più probabile trovare la catena?
Esercizio 5 (II appello 2014/15). Sia X = (Xn )n≥0 una catena di Markov con spazio degli
stati E = N = {1, 2, 3, . . .} e con matrice di transizione
3
se i = j = 1

4


 1 (1 − 1 ) se j = i + 1
2i
.
pij = 21
1

(1
+

2
2i ) se i ≥ 2, j = i − 1


0
altrimenti
(a) Si determinino le classi di comunicazione e se ne calcoli il periodo.
(b) Si mostri che µ = (µi =
ricorrente positiva?
i
)
i2 − 41 i∈E
è una misura invariante. La catena di Markov è
Esercizio 6 (Norris, Exercise 1.2.1). Si consideri la seguente matrice di transizione per una
catena di Markov con spazio degli stati E = {1, 2, 3, 4, 5}:
1

1
0
0
0
2
2


 0 12 0 12 0 


.
p=
0
0
1
0
0




 0 14 14 41 14 
1
1
2 0 0 0 2
(a) Si determino le classi di irriducibilità, gli stati ricorrenti e transitori, le probabilità
invarianti. Si mostri che gli stati 1 e 5 sono aperiodici.
(b) Partendo dallo stato 2, qual è la probabilità di raggiungere lo stato 1?