Approfondimento
Il modello di Ehrenfest è uno dei più semplici processi stocastici (tecnicamente una catena di
Markov) di cui si possono studiare in dettaglio le proprietà statistiche. Il modello consiste in due
urne, diciamo L (left) e R (right) in cui vengono inizialmente disposte in modo arbitrario N oggetti,
di cui non interessa la natura, identificati con un numero n = 1, 2, …, N. Ad ogni secondo viene
estratto un numero a caso compreso tra 1 e N; l’oggetto che porta il numero estratto viene spostato
dall’urna in cui si trova all’altra.
Il problema consiste nel determinare la probabilità P
n, k , t di trovare N L (t ) n oggetti nell’urna
left dopo t secondi, sapendo che inizialmente N L (0) k , oppure stabilire se il processo tende
all’equilibrio, ovvero se esiste la distribuzione limite di probabilità P
n, k ,
.
In questa sezione si vuole riproporre il processo in modo non ingenuo, fornendone una
dimostrazione rigorosa che vada oltre la giustificazione intuitiva esposta mediante l’applicazione
con visual basic. A tale scopo diventa indispensabile riprendere concetti come variabili casuali,
distribuzioni di probabilità, e soprattutto catene di Markov, comunemente non previsti dalla
programmazione delle scuole superiori.
Catene di Markov
Cominciamo con l’introdurre i concetti di vettori delle probabilità e matrici stocastiche.
DEF: un vettore u
u1 , u 2 ,..., u n , con n intero positivo, si dice vettore delle probabilità se sono
soddisfatte le seguenti due condizioni:
i) u i 0,
i n (le sue componenti sono non negative)
ii)
n
u
i
1,
n N (la somma delle sue componenti è 1)
i1
DEF: un matrice quadrata P
p ij , con i e j interi positivi, è detta matrice stocastica se ciascuna
delle sue righe è un vettore di probabilità.
TEOREMA: se A e B sono due matrici stocastiche allora il prodotto AB è una matrice stocastica.
OSS: dal teorema segue che se A è una matrice stocastica, allora le potenze An, con n intero
positivo, sono matrici stocastiche.
Analizziamo di seguito alcune proprietà delle matrici stocastiche:
DEF: si dice che una matrice stocastica P
pij è regolare se esiste m N tale che tutti gli
m
elementi di P sono positivi.
TEOREMA: sia P
pij una matrice stocastica regolare; allora:
i) P ha un unico vettore delle probabilità fisso1 t, e le componenti di t sono tutte positive;
ii) la successione P, P2, P3… di potenze di P approssima la matrice T, ciascuna delle cui
righe è costituita dal vettore fisso t;
iii) se p è un qualsiasi vettore delle probabilità, allora la successione di vettori pP, pP2,
pP3 … approssima il vettore t.
1
Data una matrice A, diremo che il vettore u ≠0 è un punto fisso (o vettore fisso) di A se u rimane fisso allorché lo si
moltiplica per A; in simboli uA = u
N.B.: dire che “Pn approssima T” significa che ogni elemento di Pn approssima il corrispondente
elemento di T e “pPn approssima t” significa che ogni elemento di pPn approssima il corrispondente
elemento di t.
Aggiungiamo alcune considerazioni sull’esistenza e l’unicità del vettore di probabilità fisso.
Possiamo ora dare la definizione di catena markoviana.
DEF: si definisce catena markoviana (finita) un processo stocastico costituito da una serie di prove
i cui esiti, X 1 , X 2 , ... , soddisfano le seguenti proprietà:
i)
ciascun esito appartiene ad un insieme finito di esiti
a1 , a2 ,...am , detto spazio degli
stati del sistema; se l’esito della prova n-esima è a i , allora diciamo che il sistema è nello
stato ai nel periodo n, o alla transizione n-esima;
ii)
l’esito di qualsiasi prova dipende al massimo dall’esito della prova immediatamente
precedente e non da quello di qualsiasi altra prova precedente; riferendoci alla coppia di
stati
a i , a j è data la probabilità pij , detta probabilità di transizione, che a j si verifichi
immediatamente dopo il verificarsi di ai . I valori pij possono essere ordinati in forma di
matrice
p1m
p11 p12
p2 m
p 21 p 22
p
p
p
m1
m2
mm
detta matrice di transizione.
OSS: Per come è definita una catena markoviana è opportuno evidenziare il fatto che a ciascuno
stato ai corrisponde la riga i-esima
p i1 , pi 2 ,... pim della matrice di transizione P; se il sistema è
nello stato ai , allora questo vettore riga rappresenta la probabilità di tutti i possibili esiti della prova
successiva e dunque è un vettore delle probabilità. Ne consegue che la matrice di transizione di una
catena markoviana è una matrice stocastica.
ESEMPI
1. Un uomo si reca quotidianamente al lavoro con la propria automobile o in treno; supponiamo
che non prenda mai il treno due giorni di seguito;ma se egli si reca al lavoro in automobile,
allora il giorno dopo la probabilità che usi ancora l’automobile è uguale alla probabilità che
prenda il treno.
Lo spazio degli stati è:
t (treno ), a (automobile)
.
Questo processo è una catena markoviana perchè l’esito di ogni giorno dipende solo da quanto avvenuto il
giorno prima; la matrice di transizione della catena markoviana è:
0
1
2
1
1
2
dove la prima riga corrisponde al fatto che l’uomo non prende mai il treno due giorni consecutivi, e la
seconda riga al fatto che il giorno dopo aver usato l’automobile avrà uguali probabilità di prendere
l’automobile o il treno.
2. Tre ragazzi, A, B e C si passano una palla; A passa sempre la palla a B e B passa sempre la
palla a C; ma la probabilità che C passi la palla a B è uguale alla probabilità che la passi ad
A.
Lo spazio degli stati è:
A, B, C .
Questo processo è una catena markoviana perchè la persona che passa la palla non è influenzata dagli altri
che hanno avuto la palla in precedenza; la matrice di transizione della catena markoviana è:
0
0
1
2
1
0
1
2
0
1
0
dove la prima riga corrisponde al fatto che A passa la palla solo a B, la seconda riga al fatto che B passa la
palla solo a C e la terza riga che C passa la palla ad A e B con la stessa probabilità.
OSS: l’elemento p ij della matrice di transizione P di una catena markoviana è la probabilità che il
sistema passi dallo stato ai allo stato a j in una sola transizione; ma in quasi tutti i processi
stocastici si domanda quale sia la probabilità, designata mediante pij (n ) , che il sistema passi dallo
stato a i allo stato a j in esattamente n transizioni. Il teorema successivo fornisce la risposta: le
pij (n ) vengono disposte in una matrice
transizione.
P (n ) detta matrice di transizione relativa all’n-esima
TEOREMA: sia P la matrice di transizione di un processo markoviano; allora la matrice di
transizione relativa all’n-esima transizione è uguale alla potenza n-esima di P; in simboli P ( n ) P n .
DEF: supponiamo che, in un certo periodo arbitrario, la probabilità che il sistema sia nello stato ai
sia pi ; tali probabilità vengono designate mediante il vettore delle probabilità p p1 , p2 ,..., p m
che prende il nome di distribuzione di probabilità del sistema in quel periodo.
OSS: in particolare la distribuzione di probabilità iniziale è denotata dal vettore:
(0 )
( 0)
( 0)
p ( 0 ) p1 , p 2 ,..., pm ,
mentre la distribuzione di probabilità all’n-esima transizione è denotata dal vettore:
p ( n ) p1 ( n ) , p2 ( n ) ,..., pm ( n )
TEOREMA: sia P la matrice di transizione di un processo markoviano; se p ( pi ) è la
distribuzione di probabilità del sistema in un certo periodo arbitrario, allora il prodotto pP fornisce
la distribuzione di probabilità del sistema dopo una transizione e pP n è la distribuzione di
probabilità del sistema dopo n transizioni.
Esempi
1. Relativamente all’esempio 1, la probabilità che il sistema passi dallo stato a allo stato t in 4
4
transizioni è dato da Pta ; per determinare tale valore si calcola la quarta potenza della matrice di
transizione e si individua il corrispondente valore;
5
3
8
8
P P
P
P
P
;
11
5
16
16
Supponiamo che il primo giorno l’uomo abbia lanciato un dado e si sia recato al lavoro se e soltanto
5 1
se si sia presentato un 6 (in altri termini p ( 0 )
, è la distribuzione di probabilità iniziale);
6 6
allora la distribuzione di probabilità dopo 4 giorni è data da:
5
3
8
8 35 , 61
p (4 ) p ( 0) P 4 5 , 1
6 6 5
96
96
11
16
16
4
2. Relativamente all’esempio 2 supponiamo che inizialmente la palla sia posseduta da C (ovvero la
distribuzione di probabilità iniziale è la seguente p ( 0 )
0,0,1
); la distribuzione di probabilità
dopo tre passaggi sarà data da:
1 1 1
(3 )
( 0) 3
p p P
passaggi omessi , ,
4 4 2
ovvero dopo tre passaggi la probabilità che A abbia la palla è del 25%, la probabilità che l’abbia B è
del 25%, mentre la probabilità che l’abbia C è del 50%
OSS: se una catena markoviana è regolare (cioè la matrice di transizione P è regolare) per il
teorema precedente la successione delle matrici di transizione relative all’n-esima transizione P n
approssima la matrice T (ovvero la matrice le cui righe sono costituite dall’unico vettore delle
probabilità fisso t di P); quindi la probabilità pij (n ) che si verifichi a j per valori sufficientemente
grandi di n è indipendente da a i ed approssima la componente t j di t; in altri termini vale il
seguente teorema.
TEOREMA: sia P la matrice di transizione di un processo markoviano regolare; a lungo andare, la
probabilità che si presenti un qualche stato a j è approssimativamente uguale alla componente t j
dell’unico vettore delle probabilità fisso t di P.
N.B.: si sottolinea il fatto che l’effetto dello stato iniziale o della distribuzione di probabilità iniziale
del processo si attenua al crescere del numero di transizioni del processo. Inoltre, ogni successione
di distribuzioni di probabilità approssima il vettore di probabilità fisso t di P che prende il nome di
distribuzione stazionaria della catena markoviana.
Esempi
1. Si consideri la catena markoviana dell’esempio 1, la cui matrice di transizione è:
1
0
1
1
2
2
per stabilire come evolve il sistema bisogna determinare l’unico vettore delle probabilità fisso della suddetta
matrice, ovvero bisogna determinare le componenti del vettore t
x 0 ,1 x0 tale che:
0
1
tA t
x0 ,1 x 0
2
1
x 0 ,1 x0
1
2
1
1 x0 x 0
2
1 2
t ,
3 3
x 0 1
1
x
1
x
0
0
2
Quindi a lungo andare l’uomo si recherà al lavoro in treno con probabilità 1/3 e in macchina con
probabilità 2/3.
2. Si consideri il processo a catena markoviana dell’esempio 2, la cui matrice di transizione è:
0
1 0
0
0 1
1
1
2
2 0
per stabilire come evolve il sistema bisogna determinare il vettore delle probabilità fisso della suddetta
matrice, ovvero bisogna determinare le componenti del vettore t
x 0 , x1 ,1 x 0 x1 tale che:
0
1 0
1 2 2
0
tA t
x 0 , x1 ,1 x 0 x1
0 1
x 0 , x1 ,1 x 0 x1 t , ,
5 5 5
1
1
2
2 0
Quindi a lungo andare la palla sarà lanciata ad A il 20% delle volte, a B il 40% e a C il 40%.
Soluzione del modello di Ehrenfest
Indicato con N il numero delle palline presenti nelle due urne, il processo risulta essere una catena
di Markov con N + 1 stati (ogni stato viene identificato con la coppia (a,b) le cui componenti
indicano rispettivamente il numero delle palline nell’urna left e nell’urna right) caratterizzato dalle
seguenti probabilità di transizione:
0
se m n 1
m
pij P (n, t 1 | m, t )
se m n 1 ;
N
m
1
se m n 1
N
con P (n, t 1 | m, t ) si indica la probabilità di avere n palline nell’urna left all’istante t+1
condizionata dal fatto che all’istante precedente ce ne fossero m. la matrice di transizione sarà così
costituita:
1
0
0
...
0
0
1
N 1
0
0
...
0
N
N
2
N 2
0
0
...
0
N
N
N 1
1
0
0
0
0
N
N
0
0
0
0
1
0
Nel caso N = 12 della simulazione, i tredici stati che caratterizzano il processo sono:
12,0
,
11,1
,
10,2
,
9,3
,
8,4
,
7,5
,
6,6
,
5,7
,
4,8
,
3,9
,
2,10
,
1,11
,
0,12
,
e la matrice di probabilità di transizione è la seguente:
0
1
12
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
11
12
0
0
0
0
0
0
0
0
0
1
6
0
5
6
0
0
0
0
0
0
0
0
0
1
4
0
3
4
0
0
0
0
0
0
0
0
0
1
3
0
2
3
0
0
0
0
0
0
0
0
0
5
12
0
7
12
0
0
0
0
0
0
0
0
0
1
2
0
1
2
0
0
0
0
0
0
0
0
0
7
12
0
5
12
0
0
0
0
0
0
0
0
0
2
3
0
1
3
0
0
0
0
0
0
0
0
0
3
4
0
1
4
0
0
0
0
0
0
0
0
0
5
6
0
1
6
0
0
0
0
0
0
0
0
0
11
12
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0
0
0
0
0
1
12
0
OSS: Il processo in questione è si una catena markoviana, ma la matrice di transizione non è
regolare 2; per tale motivo non possiamo applicare il teorema precedente per determinare la
probabilità stazionaria della catena.
Tuttavia esiste un teorema ergodico per catene di Markov non regolari (ma che siano irriducibili
persistenti positive 3) che assicura l’esistenza e l’unicità della distribuzione stazionaria
La catena risulta irriducibile4 persistente positiva, quindi a lungo andare, la probabilità che si
presenti un qualche stato a j è approssimativamente uguale alla componente t j dell’unico vettore
delle probabilità fisso t di P.
Determinare tale vettore, ovvero la probabilità stazionaria, significa risolvere la seguente equazione
t A t
con t
x 0 , x1 ,..., x N
, ovvero, in modo equivalente, risolvere il sistema:
2
n
Infatti le potenze P della matrice di transizione sono tali che
caso c’è almeno un elemento della matrice non positivo.
p12
2n
0 e p11
2 n 1
0 , n N , e quindi in ogni
3
Per la trattazione di tali concetti si rimanda alla dispensa del prof. Calzolai reperibili all’indirizzo:
www.mat.uniroma2.it/~calzolar/appuntivfinaleCPinf06-07.pdf
4
Concettualmente una catena irriducibile è tale che comunque fissati due stati i e j, esiste un intero k, istante di tempo,
dopo il quale è possibile passare da i a j; intuitivamente il processo in questione ha questa particolarità per k
abbastanza grande.
x1
x0 N
N (i 1)
i 1
xi
xi 1
x
1 i N 1
N
N i 1
(*)
.
x
x N N 1
N
x0 x1 x 2 ... x N 1 (il vettor e t è un vettore di probabilità)
xi 0 i
Scelto x0 come parametro il sistema precedente è equivalente al seguente:
x1 Nx 0
N ( N 1) ...( N i 1)
N
x0
x i
i
x 0 1 i N .
(**)
i!
x 0 x1 x2 ... x N 1
x i 0 i
Possiamo giustificare l’equivalenza tra i due sistemi ricorrendo ad una dimostrazione per induzione;
osserviamo prima di tutto che dalla prima equazione del sistema (*) segue banalmente
x1 Nx 0 ;
BASE D’INDUZIONE
per i = 1, sostituiamo nella seconda equazione il valore di
N
N ( N 1)
x 0
2
x0 .
2
x1 ed otteniamo x 2
IPOTESI D’INDUZIONE
N
xi
i
x0 dimostriamolo per i+1;
dalla seconda equazione del sistema (*) possiamo scrivere x i1 al seguente modo:
N
N i 1
xi 1
xi
xi 1
i 1
i 1
per ipotesi d’induzione vale:
Supposta vera per i, cioè
N
N
N 1
... N i 2
N
N
N 1
... N i 1
xi 1
x0 e xi
x0
x0
i 1
x 0
i 1
!
i!
i
sostituendo si ottiene:
N N
N 1
... N i 1 N i 1 N
N 1
... N i 2
xi 1
x0
x0
i 1
i!
i 1
i 1!
N
N i
N 1
... N i 1 N
x 0
i 1
x 0
i 1!
Per ricavare il valore di x 0 si sostituiscono i valori ottenuti nell’ultima equazione ottenendo:
N
N
i
x
0
1
i0
1
e dalla formula del binomio di Newton 5 si ricava x0 N .
2
Possiamo allora concludere affermando che la i-esima componente del vettore di probabilità
stazionaria è data da:
1 N
ti N
i 0,....., N .
i
2
Per i = N/2 si ottengono i valori più grandi di probabilità.
5
La formula del binomio di Newton per il calcolo della potenza n-sima di un binomio è la seguente:
n
k
k0
n
a b n
a n k
bn
in cui ponendo a b 1 si ottiene
n
n
2 n
k
.
k 0
Bibliografia
Seymour Lipschutz – Calcolo delle probabilità – Collana SCHAUM
A.Calzolari – Appunti sulle catene di Markov – C.d.P, L.S. in Inf., A.A. 2007/2008
