Prof. Ing. Michele Marra –Corso di Laurea Specialistica in Ingegneria Gestionale –
Appunti delle Lezioni di Calcolo delle Probabilità e Statistica – Processi Stocastici
CAPITOLO 7
I PROCESSI STOCASTICI
7.0 – Introduzione
Frequentemente ci troviamo di fronte a problemi la cui soluzione è essenzialmente
vincolata a modelli di processi casuali che si evolvono nel tempo, la cui evoluzione non
sia però completamente prevedibile. Nella Appendice A riportiamo le definizioni e le
proprietà elementari dei vettori e delle matrici, che sono necessarie per la comprensione
di questo capitolo.
7.1 - I Processi di Markov
Una metodologia fondamentale per affrontare tali tipi di problemi fu proposta e
sviluppata, all’inizio del 1900 dal matematico russo A. A. Markov. I “Processi di
Markov” o “Processi Markoviani” costituiscono una categoria , fra tutti i processi
casuali possibili, dotata di assunzioni semplificative tali da renderne facile l’utilizzo
senza nulla perdere dei contenuti dei problemi cui vengono applicati.
Il sistema in evoluzione è rappresentato da un certo numero di configurazioni possibili,
stati significativi per un particolare problema preso in esame, e dalle probabilità di
passare da una configurazione all’altra.
Si definiscono pertanto i seguenti termini che, nel loro insieme, strutturano appunto un
Processo Markoviano:
a) “forze” = elementi in gioco, ovvero il sistema;
b) “stati” = le possibili configurazioni in cui le forze costituenti il sistema si
possono combinare;
c) “realizzazioni” = un insieme di stati osservati nell’evolversi del sistema;
d) “transizioni” = il passaggio di un elemento del sistema da uno “stato” ad un
altro, ovvero il cambiamento di “stato”;
e) “epoche” = gli istanti temporanei in corrispondenza dei quali il sistema è
osservato;
f) “probabilità di transizione”: la probabilità che un elemento del sistema ha di
migrare da uno stato all’altro.
Graficamente un generico sistema che, nel tempo, si trasferisca in diversi stati, può
essere rappresentato nella sua “realizzazione” come in fig. 7.1.
Politecnico di Bari – Riservato alla circolazione interna
113
Prof. Ing. Michele Marra –Corso di Laurea Specialistica in Ingegneria Gestionale –
Appunti delle Lezioni di Calcolo delle Probabilità e Statistica – Processi Stocastici
Figura 7.1 – La “realizzazione” di un sistema
Se invece di raccogliere le osservazioni del passato si intenda procedere a “immaginare”
il comportamento futuro del sistema in esame, le risposte potranno essere in termini di
probabilità: ovvero probabilità che il sistema passi da uno “stato” ad un altro.
Sono appunto queste le “probabilità di transizione”.
Perciò dati n stati
Si, i=1, 2,… n
è possibile rappresentare l’insieme delle probabilità di transizione da uno stato all’altro
con la seguente matrice di transizione
[n x n]:
S0
S1
...
...
SN
S 0 S1
⎡ p00 p01
⎢p
⎢ 10 p20
⎢ ...
⎢
⎢ ...
⎢ pn0 pn1
⎣
... ... S n
... ... p0n ⎤
... ... p2n ⎥⎥
⎥
⎥
⎥
... ... pnn ⎥⎦
Le precedenti probabilità pij sono vincolate secondo le relazioni:
0<=pij<=1 e ∑ pij = 1 .
j
In questo modo, fissata la condizione di partenza, è possibile prevedere il
comportamento futuro del sistema attraverso il processo di Markov.
I valori futuri che il sistema potrà assumere nei diversi stati Si ai quali si trasferirà sono
interpretabili mediante una sequenza di variabili casuali (X0, X1, …, Xn) se con X0 si
indica il suo valore allo stato S0, ovvero al presente:
L’intera successione
(X0, X1, …, Xn) = {Xn; n≥0}
di variabili casuali rappresenta un Processo Stocastico Discreto.
Graficamente, le possibili transizioni di un sistema possono essere rappresentate
mediante un semplice grafo orientato, come in figura.
Politecnico di Bari – Riservato alla circolazione interna
114
Prof. Ing. Michele Marra –Corso di Laurea Specialistica in Ingegneria Gestionale –
Appunti delle Lezioni di Calcolo delle Probabilità e Statistica – Processi Stocastici
Figura 7.2 – Rappresentazione di possibili transizioni di un sistema
Quando tutte le variabili casuali della successione {Xn; n≥0} sono discrete, ogni valore
di ciascuna di esse viene definito “Stato della Catena” o successione.
Inoltre l’insieme risultante dall’unione di tutti i possibili stati di tutte le variabili Xn è
detto “Insieme degli Stati della catena”, {S}.
7.2 – Catene di Markov
Viene definita “Catena discreta di Markov” una successione di variabili casuali {Xn;
n≥0} che, per qualunque n≥1 e per qualunque ik∈S, possiede la seguente proprietà:
P{Xn=in|X1=i1; X2=i2, …, Xn-1=in-1} = P{Xn=in|Xn-1=in-1}
dove
S= insieme degli stati della catena
Xi= è il valore del sistema nei diversi stati Si
ik = indica lo stato Sk in cui si trova il sistema allo stato k-esimo con ik∈S se e
solo se P{Xn=ik}>0 per almeno un indice n≥0.
In sostanza la probabilità che la variabile Xn si trovi nello stato in, vincolata alla
condizione che X1 si trovi nello stato i1, X2 in i2, ecc. è uguale alla probabilità che Xn sia
in in vincolata alla sola condizione che Xn-1 si trovi in in-1; ovvero che la probabilità di
Xn=in dipende solo dalla situazione Xn-1.
Inoltre, se la transizione da uno stato all’altro è legata al tempo (tempo di transizione),
verrà definito “Processo Stocastico Markoviano Discreto nel Tempo” quel processo
stocastico per il quale ciascuna variabile Xi dipende solo da quella che la precede Xi1 e “tende” unicamente a quella che segue Xn+1.
Ciò significa, in altre parole, che la probabilità di un evento futuro dipende unicamente
dall’evento presente e non dall’evoluzione precedente del sistema di variabili casuali.
Ovvero:
La conoscenza dello stato ad un certo tempo è sufficiente per prevedere il futuro del
processo in esame da questo punto in avanti (…given the present, the future is
indidendent of the past”, ovvero “…the process is forgetfull”).
Ciò vuol dire che la probabilità di un evento futuro è legato esclusivamente alla
condizione attuale presa in esame e non a quella passata.
Questa è la proprietà fondamentale della catena di Markov.
In termini metodologici, quanto appena definito può essere schematizzato come segue:
Politecnico di Bari – Riservato alla circolazione interna
115
Prof. Ing. Michele Marra –Corso di Laurea Specialistica in Ingegneria Gestionale –
Appunti delle Lezioni di Calcolo delle Probabilità e Statistica – Processi Stocastici
1) Assegnata una famiglia di variabili casuali discrete
{Xn, n=0, 1, 2, …, n} = {Xn; n≥0}
il valore di Xn in corrispondenza di una realizzazione del processo è definito
“stato” del processo al passo n-esimo.
2) Le variabili casuali sono reciprocamente dipendenti, per cui il processo può
essere descritto in termini di probabilità vincolate.
3) L’indice n è riferito al tempo per cui, nel peggiore dei casi, X dipenderà da Xn-1,
Xn-2, …, X0, ovvero dal passato, ma non da Xn+1, Xn+2, …, ovvero dal futuro del
processo.
4) Nel caso in cui per tutti gli n
P{Xn=jn| Xn-1= jn-1, Xn-2=jn-2, …,X0=j0} = P{Xn=jn| Xn-1=jn-1}
si ha una catena discreta di Markov.
La probabilità vincolata P{Xn=j| Xn-1=i} è interpretata come la probabilità di
transizione da i a j al passo n.
5) Qualora, per tutti i valori m ed n si verifichi che
P{Xn=j| Xn-1=i} = P{Xm=j| Xm-1=i}
la catena di Markov è detta “stazionaria”: in tal caso le probabilità di
transizione non dipendono esplicitamente dal numero dei passi ed è sufficiente
specificare le probabilità di transizione
pij =P{X1 = j| X0=i}
poiché le probabilità di transizione sono le stesse.
La matrice [nxn] costituita dalle pij è detta matrice di transizione.
6) Le probabilità di transizione di ordine n, ovvero pij(n) sono definite da
pij(n) = P{Xn =j | X0=i}
In sostanza, pij(n) è la probabilità che il processo è nello stato j al tempo n, dato
che esso fosse nello stato i al tempo 0.
In particolare:
pij(1)=pij; pij(0)=1 se i=j;
pij(0)=0 altrimenti.
7) Si dimostra che
pij(n)=
( n −1)
∑ pik
pkj
k
e osservano che il termine destro della relazione rappresenta la definizione del
prodotto fra matrici, si ha che, in forma matriciale
P(n)= P(n-1) * P
in cui P(n) è la matrice i cui elementi sono le probabilità di transizione al passo
ennesimo. La relazione rappresenta l’equazione di Chapman-Kolgomorov che,
applicata iterativamente, porta a
P(n)= Pn
ovvero, la matrice delle probabilità al passo ennesimo è l’ennesima potenza della
matrice di transizione di partenza.
8) Per quanto sopra esposto si può concludere che una catena di Markov è
completamente specificata se sono note la sua matrice di transizione P e le
condizioni iniziali P(0).
Un processo è denominato stazionario quando le probabilità di transizione pij sono le
stesse per ogni passo. In questo caso la matrice di transizione P resta invariata in ogni
istante.
Politecnico di Bari – Riservato alla circolazione interna
116
Prof. Ing. Michele Marra –Corso di Laurea Specialistica in Ingegneria Gestionale –
Appunti delle Lezioni di Calcolo delle Probabilità e Statistica – Processi Stocastici
Caratteristiche che distinguono i processi markoviani possono essere anche
l’irriducibilità e la ricorrenza.
Un processo è irriducibile se ogni stato può essere raggiunto da tutti gli altri stati
attraverso una serie di transizioni possibili.
Invece si dice ricorrente se può ripetersi più volte uno stato. Altrimenti è detto
transitorio.
Un processo irriducibile e ricorrente è detto ergodico. Per un processo ergodico vale il
“principio ergodico” enunciato da Boltzman, secondo il quale “l’effetto di una
qualsivoglia operazione casuale, ripetuta un elevato numero di volte, tende a rendersi
sempre più indipendente dalla situazione iniziale”; ovvero il processo ergodico ci dice
che la catena dimentica lo stato di partenza all’aumentare del tempo.
Anche il modo in cui viene effettuata una transizione tra stati influenza il tipo di
processo.
Infatti il processo è detto DAN nel caso in cui le transizioni sono tutte certe. Un
reticolo deterministico DAN è rappresentato con un’unica tipologia degli stati e con un
algoritmo di calcolo deterministico o stocastico. Esso ammette un’unica soluzione per
ogni configurazione.
Invece si parla di processo PAN quando si hanno transizioni probabilistiche. Un reticolo
stocastico PAN ha una tipologia degli stati, rappresentati con nodi, diversificata e
l’algoritmo di calcolo è probabilistico. Esso ammette diverse soluzioni in funzione della
tipologia dei nodi.
7.3 – Applicazioni
Esercizio 1
Si immagini di dover sovrintendere al rifornimento di una catena di tre supermercati A,
B, C, mediante il servizio di un autocarro di dimensioni tali da poter costituire, esso
stesso, un magazzino “ambulante”. Se ne vuole valutare la necessità di movimentazione
al fine di rispondere a tutte le richieste di rifornimento.
•
¾
¾
¾
Rilevazioni effettuate al tempo t0:
Stato SA (autocarro in A):
60
Stato SB (autocarro in B):
30
Stato SC (autocarro in C):
10
N = 100 rilevazioni.
Rappresenteremo tali rilevazioni con un vettore
( 0)
= [60; 30; 10]
N
Probabilità di trasferimento nell’unità di tempo (probabilità di transizione):
A
[P] =
B
C
A ⎡0.6 0.3 0.1⎤
B ⎢⎢0.4 0.4 0.2⎥⎥
C ⎢⎣ − 0.6 0.4⎥⎦
Politecnico di Bari – Riservato alla circolazione interna
117
Prof. Ing. Michele Marra –Corso di Laurea Specialistica in Ingegneria Gestionale –
Appunti delle Lezioni di Calcolo delle Probabilità e Statistica – Processi Stocastici
Questa applicazione è stata risolta con un processo stocastico DAN di tipo stazionario
ed ergodico. Infatti si ipotizza che la matrice P non subisca variazioni e che per ogni
stato sono ammesse più transizioni possibili.
P è la matrice di transizione e rappresenta le richieste dei consumatori.
Il vettore N indica la ripartizione del rifornimento dell’autocarro presso i tre
supermercati A, B, C.
Perciò fissata una configurazione iniziale di ripartizione questo programma è in grado di
trovare il vettore N relativo alla situazione di equilibrio del sistema.
Infatti, iterando il prodotto
N (i) * P = N (i+1)
dove N (i) rappresenta la struttura dei trasferimenti all’istante i-esimo, si ottiene una
successione di possibili trasferimenti che converge alla rilevazione di equilibrio cercata.
Torniamo all’esempio:
Applicando al vettore N
la matrice [P] si ottiene:
N
N
(0)
(1)
(0)
= [60; 30; 10]
⎡0.6 0.3 0.1⎤
* [ P ] = [60; 30; 10]⎢⎢0.4 0.4 0.2⎥⎥
⎢⎣ - 0.6 0.4⎥⎦
= N
(1)
= [48; 36; 16]
(1)
rappresenta la nuova struttura dei trasferimenti.
Nell’ipotesi in cui la matrice [P] non subisca variazioni, è possibile valutare i successivi
N
( 2)
(3)
(1)
( 2)
e così via ottenendo, man mano, le strutture
vettori N = N * [P ] ; N = N * [ P]
successive dei trasferimenti.
Si supponga ora, mantenendo invariata la matrice [P], di partire da rilevazioni diverse,
ad esempio:
(0)
N1
= [30; 30; 40]
N (0)
2 = [50;
(0)
N 3 = [30;
20; 30]
60; 10]
(0)
N 4 = [20; 70; 10]
E si calcolino i valori dei vettori successivamente a quattro transizioni ovvero
(3)
Ni
(0)
= N i * [ P ]3
Si può notare come il sistema in esame raggiunga una sua situazione di equilibrio per
cui
N = [40; 40; 20]
Politecnico di Bari – Riservato alla circolazione interna
118
Prof. Ing. Michele Marra –Corso di Laurea Specialistica in Ingegneria Gestionale –
Appunti delle Lezioni di Calcolo delle Probabilità e Statistica – Processi Stocastici
Situazione dalla quale il sistema si può scostare unicamente nel caso in cui la matrice di
transizione subisca delle modifiche: ed è per questo che la matrice [P] rappresenta lo
“specchio” della struttura del sistema in esame. Quindi, i vettori finali rappresentano
l’espressione visibile del sistema a sua volta caratterizzato dalla struttura della matrice
di transizione.
Segue l’esplicitazione dei calcoli.
N
N
N
N
( 0)
( 0)
( 0)
(0)
⎡0.6 0.3 0.1⎤
(1)
x [P] = [60; 30; 10] ⎢⎢0.4 0.4 0.2⎥⎥ = [48; 36; 16] = N
⎢⎣ - 0.6 0.4⎥⎦
⎡0.6 0.3 0.1⎤
(1)
( 2)
x [P]2 = N x P = [48; 36; 16] ⎢⎢0.4 0.4 0.2⎥⎥ = [43.2; 38.4; 18.4] = N
⎢⎣ − 0.6 0.4⎥⎦
⎡0.6 0.3 0.1⎤
(3)
x [P] = N x [P] = [43.2; 38.4; 18.4] ⎢⎢0.4 0.4 0.2⎥⎥ = [40.68; 39.36; 19.36] = N
⎢⎣ − 0.6 0.4⎥⎦
⎡0.6 0.3 0.1⎤
(3)
( 4)
4
x [P] = N x [P] = [40.68; 39.36; 19.36] ⎢⎢0.4 0.4 0.2⎥⎥ = [40.152; 39.564; 19.684] = N
⎢⎣ - 0.6 0.4⎥⎦
3
( 2)
che può essere approssimato a
N
( 4)
= [40; 40; 20] .
( 0)
( 0)
( 0)
( 0)
Si calcolino ora i valori dei vettori N 1 , N 2 , N 3 , N 4 successivamente a quattro
transizioni, ottenendo:
( 0)
a) per N 1 = [30; 30; 40]
(1)
( 0)
N 1 = N1 x [P] = [30; 45; 25]
( 2)
N1
(1)
(0)
= N1 x [P] = N 1 * P 2 = [36; 42; 22]
(3)
( 2)
(0)
N 1 = N1 x [P] = N1 * P 3 = [38.40; 40.40; 20.80]
( 4)
N1
(3)
= N1
x [P] = N 1(0) * P 4 = [39.36; 40.32; 20.35]
approssimabile a [40; 40; 20]
(0)
b) per N 2 = [50; 20; 30]
1
N 2 = N (0)
2 x [P] = [ 38; 41; 21]
( 2)
(1)
(3)
( 2)
N 2 = N 2 x [P] 2 = [39.2; 40.4; 20.4]
N 2 = N 2 x [P] 3 = [39.56; 40.04; 20.4]
( 4)
(0)
4
N 2 = N (3)
2 x [P ] = N 2 x [P ] = [39.75; 39.93; 19.99]
approssimabile a [40; 40; 20]
c) Stesso discorso vale per
Politecnico di Bari – Riservato alla circolazione interna
119
Prof. Ing. Michele Marra –Corso di Laurea Specialistica in Ingegneria Gestionale –
Appunti delle Lezioni di Calcolo delle Probabilità e Statistica – Processi Stocastici
(0)
N 3 = [30; 60; 10]
(0)
N 4 = [20; 70; 10]
per cui si può concludere che qualunque sia il vettore iniziale il sistema convergerà
verso una soluzione ottima che è rappresentata dalla soluzione di equilibrio.
Esercizio 2.
Nell’isola di Atlantide vi sono quattro città, denominate C1, C2, C3 e C4, aventi
rispettivamente 200, 600, 100 e 2000 abitanti; tali città sono state fondate sul mare in
corrispondenza dei quattro punti cardinali e sono collegate tra loro solamente tramite
una strada costiera. Ogni anno, per motivi di lavoro o familiari, il 25% degli abitanti di
queste quattro città si trasferisce in una delle due città vicine, senza alcuna preferenza
tra esse. Calcolare la popolazione delle quattro città tra un anno, tra due anni, tra 10 anni
ed a regime.
Soluzione
Si definisce la probabilità pij che un abitante della città Ci si trasferisca nella città Cj. Si
ottiene la seguente matrice di transizione:
⎡3
⎢4
⎢1
⎢
P = ⎢8
⎢0
⎢
⎢1
⎢
⎣8
1
8
3
4
1
8
0
0
1
8
3
4
1
8
1⎤
8⎥
⎥
0⎥
⎥
1⎥
8⎥
3⎥
⎥
4⎦
(k )
Sia inoltre N , con k∈N={0, 1, 2, …}, il vettore che indica il numero di abitanti delle
( 0)
quattro città; in particolare risulta N = [200, 600, 1000, 2000]T.
Il numero di abitanti tra un anno delle città Ci, i=1, 2, 3, 4, si può calcolare con la
seguente formula
(1)
(0)
N = N P = [200, 600, 1000, 2000] P = [475, 600, 1075, 1650]
In maniera analoga si calcola il numero degli abitanti delle quattro città dopo due anni,
dopo tre anni,…, dopo 10 anni.
( 2)
(1)
(0)
N = N = N P 2 = [637.5, 643.75, 1087.5, 1431.25]
……………….
(10 )
(9)
( 0)
N = N P = ... = N P (10) = [927.13, 910.92, 972.18, 989.76]
Iterando il procedimento si giunge infine al vettore di equilibrio [950, 950, 950, 950].
Esercizio 3
Una scuola elementare ha 50 bambini e cinque aule allineate lungo lo stesso corridoio.
Si propone ai bambini il seguente gioco: tutti i bambini si vanno a sedere inizialmente
nella prima aula del corridoio; allo scoccare di ogni intervallo di cinque minuti
successivi i bambini che sono nella prima aula devono spostarsi nella seconda, quelli
Politecnico di Bari – Riservato alla circolazione interna
120
Prof. Ing. Michele Marra –Corso di Laurea Specialistica in Ingegneria Gestionale –
Appunti delle Lezioni di Calcolo delle Probabilità e Statistica – Processi Stocastici
che sono nella seconda, terza e quarta aula devono trasferirsi con probabilità p nell’aula
di destra e con probabilità 1-p in quella di sinistra, i bambini che sono nell’ultima aula
possono decidere indifferentemente di stare fermi oppure tornare nella quarta aula.
Calcolare dopo un paio di ore, ovvero nel lungo periodo, il numero di bambini nelle
varie aule.
Soluzione
Siano A1, A2, A3, A4 ed A5 le aule del corridoio e si definisca la probabilità pij che un
bambino nell’aula Ai si sposti nell’aula Aj. Si ottiene la seguente matrice di transizione:
1
0
⎡ 0
⎢1 − p
0
p
⎢
1− p
0
P= ⎢ 0
⎢
0
1− p
⎢ 0
⎢ 0
0
0
⎣
Sia inoltre N
(k )
0
0
p
0
1
2
0⎤
0 ⎥⎥
0⎥
⎥
p⎥
1 ⎥
2⎦
, con k∈N = {0, 1, 2, …}, il vettore che indica il numero dei bambini
(0)
nelle 5 aule; in particolare risulta N = [50, 0, 0, 0, 0]T. Fissando per p vari valori
iniziali si calcoli il numero dei bambini presenti nelle 5 aule dopo 10 intervalli ed a
regime.
Politecnico di Bari – Riservato alla circolazione interna
121
Prof. Ing. Michele Marra –Corso di Laurea Specialistica in Ingegneria Gestionale –
Appunti delle Lezioni di Calcolo delle Probabilità e Statistica – Processi Stocastici
Bibliografia
[1] Dynkin E.B., “Markov Processes”, Sprinter, New York (U.S.A.), 1965.
[2] Norris J. R., “Markov Chains”, Cambridge Series in Statistical and probabilistic
Mathematics, Cambridge University Press, U.S.A., 1997.
[3] Parzen E., “Stochastic Processes”, Classics in Applied Mathematics, vol, 24, SIAM,
Philadelphia (U.S.A.) 1999.
[4] Taylor H.M. e S. Karlin, “An Introduction to Stochastic Modeling”, Academic
Press, 1998.
[5] Pojaga L., “Ricerca Operativa per il Management e il Project management:
Metodologie e modelli” Edizioni Unicopli Spa, Via Soperga 13, 20127 Milano,
1994.
Politecnico di Bari – Riservato alla circolazione interna
122
