Catene di Markov • Utile modello di molti processi di interesse per il settore delle telecomunicazioni. – Processo d’errore. – Affievolimento introdotto dal canale. – Evoluzione temporale sistemi a coda (reti). • Consolidata trattazione teorica. • Disponibili tecniche per approssimare un generico processo aleatorio mediante una catena di Markov. Reti wireless – Ingegneria Elettronica e Informatica 1 Catene di Markov • Si consideri una sequenza si variabili aleatorie {Xn, n=0,1,…} che assumono i loro valori in un insieme discreto SX. • Una catena di Markov tempo discreto {Xn, n=0,1,…} è una sequenza aleatoria tale che, date X0, X1, …, Xn, il valore della v.a. successiva Xn+1 dipende dal valore di Xn ma non dai valori di Xi, i<n. • La dipendenza è espressa mediante la probabilità di transizione: P[ X n +1 = j X n = i, X n −1 = in −1, K, X 0 = i0 ] = P[ X n +1 = j X n = i ] = Pi, j Reti wireless – Ingegneria Elettronica e Informatica 2 Probabilità di transizione • Valgono le: Pi , j ≥ 0, ∞ ∑ Pi, j = 1. j =0 • Se l’insieme SX ha dimensione finita, si parla di catena di Markov finita. Supponiamo che sia SX ={0,1,…,K}. • In questo caso, le probabilità di transizione sono espresse in notazione matriciale (matrice di transizione). P00 P P = 10 M P K0 P01 P11 PK1 L O L P0 K P1K M PKK Reti wireless – Ingegneria Elettronica e Informatica 3 Proprietà matrice di transizione • Le probabilità Pij soddisfano le condizioni: Pi , j ≥ 0, K ∑ Pi, j = 1, ∀i. j =0 • Teorema di Chapman-Kolmogorov. Definita la probabilità di transizione in n passi, P(n)i,j=P[X(n+m)=j|P(x(n)=i] si ha: K ( n+m) Pi , j = ∑ Pi(, nk )Pk(,mj ) , ∀i, j. k =0 • Ne consegue che la matrice di transizione in n passi è data da: P (n ) = P n . Reti wireless – Ingegneria Elettronica e Informatica 4 Vettore probabilità di stato • Un vettore riga p=[p0, p1, …, pK], dicesi v.p. di stato se valgono le: K p ≥ 0, ∑ pi = 1, ∀i. i =0 • Il vettore di stato al passo n può essere determinato nei seguenti modi: p(n ) = p(0 )P n = p(n − 1)P Reti wireless – Ingegneria Elettronica e Informatica 5 Esempio • Consideriamo, per semplicità, una macchina a due stati. La descrizione grafica comunemente adottata è la seguente: p p 1 − p P= 1-p 1-q 0 1 q 1 − q q • Gli autovalori di P (sol. di det(P-λI)=0) sono λ1=1 e λ2=1−(p+q). Gli autovettori destri di P, sol. dell’equazione siP= λisi sono s1=[q/(p+q), p/(p+q)], s2=[−1 1]. Reti wireless – Ingegneria Elettronica e Informatica 6 Esempio (continua) • P si può diagonalizzare nel seguente modo: 1 P = S DS = 1 −1 − p ( p + q ) λ1 q ( p + q ) 0 • Risulta essere: 1 q n −1 n P =S D S= p + q q 0 q ( p + q ) λ2 − 1 p ( p + q ) 1 p λn2 p + p p + q − q − p q • Se il vettore iniziale è p(0)=[p0 p1] si ha (λ2=1−(p+q)): p(n ) = [ p0 (n ) p n p0 p − p1q − p0 p + p1q q p1 (n )] = + λ2 p + q p + q p + q p + q Reti wireless – Ingegneria Elettronica e Informatica 7 Probabilità asintotiche di stato • Le probabilità asintotiche (o limite) di stato, se esistono, sono definite dalla seguente relazione: π i = lim pi (n ) = lim P[ X n = j ] n →∞ • • n →∞ Tali probabilità potrebbero dipendere dallo stato iniziale. Nell’esempio precedente distinguiamo tre casi: a) 0<p+q<2. In questo caso π=[q/(p+q) p/(p+q)]; b) p+q=0. In questo caso il sistema rimane nello stato iniziale (π π=p(0)). c) p+q=2. In questo caso il sistema oscilla tra lo stato 0 e lo stato 1 (non esiste π). Reti wireless – Ingegneria Elettronica e Informatica 8 Catene di Markov: processi di rinnovamento • Visitazione. Dato un sistema che parte nello stato i, Vi,j rappresenta l’evento corrispondente all’ingresso nello stato j. • Tempo di primo transito. Per stati i, j tali che P[Vi,j ]=1, il tempo di primo transito, Ti,j, è il numero di passi necessario per passare da i a j. • Supponiamo P[Vi,j ]=1. Il processo che porta da j a j è un processo di rinnovamento con interarrivo X2=Tj,j. Il processo che porta da i a j è un processo di rinnovamento ritardato con X1=Ti,j e span=1. Applicando il teorema di Blackwell si ha: lim Pi(, nj ) = lim P[rinnovo a n] = n →∞ n →∞ 1 . E T jj [ ] Reti wireless – Ingegneria Elettronica e Informatica 9 Processi di rinnovamento con ricompensa • Supponiamo di guadagnare un ricompensa Rn=1 ogni volta che il sistema si trova in j. • Dato che ad ogni ingresso in j (anche provenendo da j) si ha un rinnovamento, applicando la teoria dei processi di rinnovamento con ricompensa otteniamo il seguente risultato sul tempo di permanenza medio in j. R(t ) E [Rn ] 1 lim = = . E T jj E T jj t →∞ t [ ] [ ] • Riassumendo: la probabilità asintotica coincide con la frazione di tempo trascorsa nello stato. Reti wireless – Ingegneria Elettronica e Informatica 10 Classificazione degli stati • Due stati, x, y, si dicono comunicanti se nel grafo si può individuare un percorso da x a y e uno da y a x (x↔y). • Una classe comunicante è un in insieme di stati C, tale che se i∈C, allora j se e solo se i↔j. • Uno stato i può essere: – transiente, se P[Vii] <1; – ricorrente positivo se P[Vii] =1 e E[Tii]<∞; – ricorrente nullo se se P[Vii] =1 e E[Tii]=∞. Reti wireless – Ingegneria Elettronica e Informatica 11 Teoremi • Uno stato è ricorrente se e solo se (ci si ritorna un numero infinito di volte): ∞ (n ) E [numero visite a i X 0 = i ] = ∑ Pi,i = ∞. n =0 • In una catena di Markov vi è sempre un insieme di stati ricorrenti. • Se i↔j, e i è ricorrente, allora j lo è. • In una classe comunicante, tutti gli stati sono dello stesso tipo (transienti, ricorrenti positivi o ricorrenti nulli). Reti wireless – Ingegneria Elettronica e Informatica 12 Stati periodici • Stato periodico: uno stato i si dice periodico di periodo d se d è il più grande intero tale che Pii(n)=0, qualora n non sia divisibile per d. Se d=1, lo stato si dice aperiodico. • Teorema. Tutti gli stati di una classe comunicante hanno il medesimo periodo. Reti wireless – Ingegneria Elettronica e Informatica 13 Esempio (continuazione) • Consideriamo nuovamente il solito esempio. p 1-p 0 1 1-q q a) 0<p+q<2. I due stati sono ricorrenti positivi, aperiodici, e appartengono a una classe comunicante. b) p+q=0. I due stati sono ricorrenti positivi, aperiodici, e appartengono a due classi distinte. c) p+q=2. In questo caso gli stati sono ricorrenti positivi, periodici di periodo 2 e appartengono a una classe comunicante. Reti wireless – Ingegneria Elettronica e Informatica 14 Teoremi limite • Generalizzando il teorema di rinnovamento, per due stati comunicanti aperiodici i e j: [ ] n ) 1 E T jj ( lim Pi , j = n →∞ 0 [ ] [ ] P V jj = 1 . P V jj < 1 Se i due stati sono transienti, la probabilità asintotica di entrare in j è nulla. • Definizione. Una catena di Markov si dice irriducibile se include una sola classe comunicante. Reti wireless – Ingegneria Elettronica e Informatica 15 Teoremi limite (continua) • In una catena di Markov irriducibile aperiodica vale una delle seguenti condizioni. a) Gli stati sono tutti o transienti o ricorrenti nulli, limn→∞Pij(n)=0, e non esiste distribuzione stazionaria. b) Gli stati sono tutti ricorrenti positivi, e le probabilità limite di stato πj=limn→∞Pij(n)>0 sono l’unica probabilità di massa che soddisfa l’equazione: π j = ∑ π i Pij . i Reti wireless – Ingegneria Elettronica e Informatica 16 Teoremi limite (continua) • Per una catena di Markov irriducibile aperiodica, con un un numero finito di stati K+1, la matrice di transizione limite è: π π 0 π π lim P n = = 0 M M n →∞ π π 0 π1 π1 M π1 L L O L πK πK . M π K Reti wireless – Ingegneria Elettronica e Informatica 17 Teoremi limite (continua) • Per una catena di Markov irriducibile aperiodica, con un un numero finito di stati K+1, il vettore π è l’unica soluzione della seguente equazione. π = πP, K ∑ π j = 1. j =0 • Quindi, il vettore π è l’autovettore sinistro, corrispondente all’autovalore λ=1, normalizzato in modo da soddisfare i requisiti a cui deve sottostare una FDP legittima. • Nel solito esempio, nel caso in cui sia 0<p+q<2 si ha: π = [q ( p + q ) p ( p + q )]. Reti wireless – Ingegneria Elettronica e Informatica 18 Teoremi limite (continua) • Per una catena di Markov irriducibile, ricorrente positiva, periodica, il vettore delle probabilità stazionarie π è l’unica soluzione della seguente equazione. π = πP, ∑ j π j = 1. • Per una catena irriducibile di periodo d, sia Rj(t) il tempo speso nello stato j in [0,t). La frazione di tempo spesa è Pij(nd ) R(t ) 1 =π j = = lim t →∞ t E T jj n→∞ d lim [ ] Nel solito esempio, con p=q=1, è d=2, non esiste la probabilità asintotica, è Pnd=I, per cui risulta essere Pjj=1, πj=1/2, j=1,2. Reti wireless – Ingegneria Elettronica e Informatica 19 Esercizio 1-p p • Una sorgente binaria con memoria emette un bit al secondo, secondo il modello di Markov riportato in figura. • Come nell’esempio precedente, i valori emessi vengono codificati nel seguente modo. • In una prima fase si adotti la tabella di codifica indicata. 0 q 1 1-q Sequenza 1 01 001 0001 ... 00000001 00000000 Simbolo 0 1 2 3 ... 7 8 • Nella seconda fase si associ il valore 0 al simbolo 8 e i valori 1b1b2b3 ai simboli 0÷7, dove b1b2b3 rappresenta la codifica binario del simbolo. Reti wireless – Ingegneria Elettronica e Informatica 20 Soluzione (1) • Determiniamo il tasso di emissione dei simboli in uscita, la bit rate dopo la codifica e i valori di p e q per cui la codifica è conveniente. • Osserviamo che a ciascun transito per lo stato 1 della sorgente corrisponde l’emissione di un simbolo codificato con 4 bit. • La probabilità dello stato 1 è stata già determinata in precedenza ma può essere semplicemente determinata dalle: p 1 − p [π 0 π 1 ] = [π 0 π 1 ] , 1 − q q π 0 + π 1 = 1. • Si ottiene: π0 = 1− q 1− p , π1 = . 2− p−q 2− p−q Reti wireless – Ingegneria Elettronica e Informatica 21 Soluzione (2) • Consideriamo il modello dell’operazione di codifica: p p 00 p 01 1-p 1-p p 02 1-q 1-p p 03 1-p p 04 1-p p 05 1-p p 06 1-p 07 1-p 1 q • dove lo stato 0i è lo stato in cui il codificatore si trova i passi dopo aver emesso l’ultimo simbolo (e quando l’ultimo bit era uno 0). Reti wireless – Ingegneria Elettronica e Informatica 22 Soluzione (3) • Si ha π = [π 0 0 π 01 π 0 2 π 0 3 π 0 4 π 0 5 π 0 6 π 0 7 π 1 ], 0 p 0 0 0 0 0 0 P = 0 0 0 0 0 0 p 0 0 1 − q 0 p 0 0 0 0 0 0 0 0 0 p 0 0 0 0 0 0 0 0 0 p 0 0 0 0 0 0 0 0 0 p 0 0 0 0 0 0 0 0 0 p 0 0 0 0 0 0 0 0 0 p 0 0 1 − p 1 − p 1 − p 1 − p 1 − p 1 − p 1 − p 1 − p q Reti wireless – Ingegneria Elettronica e Informatica 23 Soluzione (4) • Si ottengono le: π 02 = pπ 01 π 03 = pπ 02 = p 2π 01 L π 07 = p 6π 01 π 00 = p 7π 01 • Sommando: 1 − p8 1− q i π 01 ∑ p = π 01 = π0 = 1 p 2− p−q − i =0 7 π 01 = (1 − q )(1 − p ) (1 − q ) = π1 (2 − p − q ) 1 − p 8 1 − p8 ( ) ( ) Reti wireless – Ingegneria Elettronica e Informatica 24 Soluzione (5) • Pertanto il simbolo 8 (codificato con un solo bit), corrispondente allo stato 00, viene emesso con tasso: π 07 = π 1 (1 − q ) (1 − p8 ) p7 • Il tasso di simbolo risulta essere: (1 − q ) 7 1 − p (1 − q ) 7 R = π 1 1 + p = p simboli s . 1 + 8 8 2 − p − q 1 − p 1 − p ( ) ( ) • La bit rate in uscita è: (1 − q ) 7 1 − p (1 − q ) 7 π 1 4 + p = p bit s . 4 + 8 8 1− p 1− p 2 − p − q ( ) ( ) Reti wireless – Ingegneria Elettronica e Informatica 25 La soluzione è conveniente se q < 1 − 3 ( (1 − p ) 1 − p 8 1− p7 Questa condizione può essere rispettata se p>0.674. Soluzione (6) Reti wireless – Ingegneria Elettronica e Informatica ). 26 Un modello di Markov per l’affievolimento Fulvio Babich Reti wireless – Ingegneria Elettronica e Informatica 27 Modello di Gilbert α 1-α • Supponiamo di distinguere fra due condizioni: a) p≤P0: affievolimento. b) p> P0: funzionamento normale. a 1-β b β • Gilbert [2] ha ipotizzato che nella condizione a) il sistema operi con un tasso d’errore molto alto e che nella condizione b) il sistema operi senza errori (Elliot [3] ha esteso tale modello, ipotizzando due tassi d’errore diversi nelle due condizioni). Egli ha inoltre ipotizzato che l’evoluzione tra le due condizioni sia descritta da una catena di Markov. • Detto F=P/P0 il rapporto tra valor medio e soglia (fade margin), nell’ipotesi di Clarke, la matrice di transizione è: 1 − α α 2π exp(− 1 F ) P= , β = f T , α = β . d F 1 − exp(− 1 F ) β 1− β Reti wireless – Ingegneria Elettronica e Informatica 28 Un modello più accurato • L’accuratezza del modello di Gilbert dipende dai valori di fdT e F. • L’accuratezza può essere migliorata nel seguente modo [4]: – Si ipotizzi che il valore futuro dello stato dipenda dai k precedenti (modello di Markov di ordine k; per k=1 si ottiene Gilbert): P[X n +1 = j X n = i, K, X 0 = i0 ] = P[X n +1 = j X n = in , K, X n− k +1 = in −k +1 ] – Si associ al modello di ordine k un modello del primo ordine, definendo stato la k-pla [in,…, in-k+1] (si noti che i termini ij possono assumere i valori 0 – fade, 1 – non fade). – Determinata la nuova matrice di transizione (per via numerica), è possibile determinare il tempo di permanenza in un fade, (insieme degli stati in cui in =0) nel modo illustrato nel seguito. Reti wireless – Ingegneria Elettronica e Informatica 29 Tempi di residenza in un sottoinsieme di stati di una catena di Markov • Notazione: – sk: stato al passo k. – S: insieme di tutti gli stati, S={1, 2,…, K}. – Pij: P[sk=j|sk-1=i]. – P: matrice di transizione. – π: distribuzione limite, che soddisfa la π= π P. • Sia E⊂S, l’insieme di interesse. Siamo interessati a determinare la distribuzione del tempo di permanenza in E. ζ(n)=Pr [sk+1∈E,sk+2 ∈E,…,sk+n-1∈E,sk+n∈Ec|sk∈E,sk-1∈Ec], dove E∩ Ec=∅ e E∪ Ec=S. Reti wireless – Ingegneria Elettronica e Informatica 30 • Per semplicità definiamo Ak,n= sk+1∈E,sk+2 ∈E,…,sk+n-1∈E,sk+n∈Ec. • Partizioniamo la matrice di transizione e la relativa probabilità limite secondo gli stati di E. E T P= R Ec U Q [ E , c E π = πE ] π c. E • Si ottiene: [ ζ (n ) = Pr Ak ,n sk ∈ E , sk −1 ∈ E c ] [ ][ = ∑i Pr Ak ,n sk ∈ E , s k −1 ∈ E c , s k = i Pr sk = i s k ∈ E , sk −1 ∈ E c [ ][ = ∑i∈E Pr Ak ,n sk −1 ∈ E c , sk = i Pr sk = i sk ∈ E , sk −1 ∈ E c [ ] [ ] ] ] = ∑i∈E Pr Ak ,n s k = i Pr sk = i sk ∈ E , s k −1 ∈ E c = ∑i∈E f i (n )ν (i ) Reti wireless – Ingegneria Elettronica e Informatica 31 Calcolo di fi(n) • fi(n)=Pr[Ak,n|si] è la probabilità di rimanere esattamente n passi in E partendo da si∈E. Pertanto f i (n ) = ∑ j∈E Pij f j (n − 1). • Sia f(n)=[f1(n), f2(n), …, fK(n)]. Ne risulta: f(n)T=Tf(n-1)T. • Iterando si ottiene: f(n)T=Tn-1f(1)T . • Pertanto (1 è un vettore colonna composto da “1”). [ ] f i (1) = Pr sk +1 ∈ E c sk = i = ∑ j∈E c Pi, j ; f i (1)T = U1. • Concludendo f (n )T = T n −1U1. Reti wireless – Ingegneria Elettronica e Informatica 32 Calcolo di ν(i) [ ν (i ) = Pr sk = i sk ∈ E , sk −1 ∈ E c [ ] ] [ = Pr sk = i, sk ∈ E , sk −1 ∈ E c Pr sk ∈ E , sk −1 ∈ E c = ∑m∈E c h(m, i ) ∑ m∈E c ,n∈E h(m, n ) ] def h(n, m ) = Pr[sk −i = n, sk = m]= π n Pnm • Si ottiene: ν = [ν (1),ν (2 ), Lν ( E )] = π π Ec Ec R R1 . Reti wireless – Ingegneria Elettronica e Informatica 33 Risultato • Pertanto π n −1 RT U1 c ζ (n ) = ∑i∈E f i (n )ν (i ) = νf (n )T = E π Ec R1 • In Matlab, sia e il vettore tale che ei=1 se i∈E e 0 altrimenti. Sia E=diag(e), e sia 1 la matrice colonna composta da K “1”. • EC=I-E. πR1T1n −1U11 • R1= ECPE. ζ (n ) = . πR11 • T1= EPE. • U1= EPEC. Reti wireless – Ingegneria Elettronica e Informatica 34 Esempio (1) Reti wireless – Ingegneria Elettronica e Informatica 35 Esempio (1b) Reti wireless – Ingegneria Elettronica e Informatica 36 Esempio (2) Reti wireless – Ingegneria Elettronica e Informatica 37 Esempio (3) Reti wireless – Ingegneria Elettronica e Informatica 38 Esempio (3 continua) • Nell’esempio 3, il modello è costituito da stati del tipo riportato in figura, che si distinguono proprio per il tempo di permanenza in un fade (nella figura, 1, 2, almeno 3). All’aumentare di k aumenta il numero di stati inclusi (ovviamente, la figura considera il caso k=3). 1 01 001 000 • Negli altri esempi il modello ha una struttura più complessa. Reti wireless – Ingegneria Elettronica e Informatica 39 Un modello con L livelli • Supponiamo di quantizzare rispetto a L-1 soglie Ai, i=1…L-1. Sia (Ao=0, AL=∞). • Detta pk la probabilità che il valore della potenza sia compreso fra Ak e Ak+1, le probabilità di transizione sono espresse dalle [5, 6]: t k ,k +1 ≈ N k +1T pk , k = 0, K , L − 2 t k ,k −1 ≈ N k T pk , k = 1, K , L − 1 t j ,k ≈ 0 j−k ≥ 2 t k ,k = 1 − L −1 ∑ j = 0, j ≠ k tk , j k = 0, K , L − 1 Reti wireless – Ingegneria Elettronica e Informatica 40 Un modello con L livelli • Dove: N k = f D 2π (1 + K ) Ak e − K I 0 2 K (1 + K ) Ak exp − 1 + K Ak P P P • essendo P il valor medio della potenza ricevuta. L = 2, K = 0, F = P / A; • Si noti che per K=0 (fading di Rayleigh), le p0 = 1 − exp(− 1 F ); equazioni assumono una p1 = exp(− 1 F ); semplice forma chiusa. N1 = f D 2π F exp(− 1 F ); NT exp(− 1 F ) t 0,1 = 1 = f DT 2π F =α p0 1 − exp(− 1 F ) • Anche in questo caso, il modello di Markov può N1T t = = f DT 2π F = β essere esteso a un ordine 1,0 p1 più elevato [4]. Reti wireless – Ingegneria Elettronica e Informatica 41 Coefficiente di autocorrelazione Sia s il vettore riga dei valori quantizzati (cioè degli L valori associati ai diversi livelli di quantizzazione), p il vettore delle probabilità e T la matrice di transizione; sia inoltre {x[n]} il processo quantizzato. Si ha: T m T ( m) E [xn xn + m ] = ∑i ∑ j si pi s j p j = ∑i si pi ∑ j s j ti, j = (s ∗ p )s T ) ( (dove s ∗ p = (si pi )iL=1 ) E [xn ] = sp T ρm = E [xn xn + m ] − ( E [xn ])2 [ ] E xn2 − ( E [xn ])2 Reti wireless – Ingegneria Elettronica e Informatica 42 Esempio L=8, I ordine Ideale L=8, V ordine L=8, VI ordine Fading di Rayleigh: Coefficiente di autocorrelazione Reti wireless – Ingegneria Elettronica e Informatica 43 Esempio (Rayleigh) Reti wireless – Ingegneria Elettronica e Informatica 44 Esempio Reti wireless – Ingegneria Elettronica e Informatica 45 Esempio Reti wireless – Ingegneria Elettronica e Informatica 46 Riferimenti bibliografici 1. 2. 3. 4. 5. 6. G. L. Stüber, Principles of Mobile Communication, Kluwer Academic Publishers, 2000. E. N. Gilbert, Capacity of a burst-noise channel, Bell Syst. Tech. J., vol. 39, pp. 1253–1266, Sept. 1960. E. O. Elliott, Estimates of error rates for codes on burst-noise channels, Bell Syst. Tech. J., vol. 42, pp. 1977–1997, Sept. 1963. F. Babich, O. E. Kelly, G. Lombardi, A Context-Tree Based Model for Quantized Fading, IEEE Communications Letters, Vol. 3, No. 2, pp. 46-48, February 1999. H. S. Wang and N. Moayeri, Finite-State Markov Channel: A Useful Model for Radio Communication Channel, IEEE Trans. Veh. Technol., vol. 44, no. 1, pp. 163-171, Feb. 1995. F. Babich, G. Lombardi, A Markov Model for the Mobile Propagation Channel, IEEE Trans. on Vehicular Technology, vol. 49, no. 1, January 2000. Reti wireless – Ingegneria Elettronica e Informatica 47