Ripasso segnali e processi casuali
1
Trasmissione dell’Informazione
Breve ripasso di segnali e trasformate
•
•
Dato un segnale s(t), la sua densità spettrale si calcola come G( f ) = S( f ) 2
dove S(f) è la trasformata di Fourier.
L’energia di un segnale dunque si calcola come
2
E = " S ( f ) df = " s 2 (t ) dt !
•
Un segnale che passa attraverso un filtro viene trasformato in maniera che
!S0 ( f ) = H ( f )S ( f )
•
s0 (t ) = s(t ) " h(t )
La sua densità spettrale cambia come
! G0 ( f ) = S0 ( f ) 2 = S ( f ) H ( f ) 2 = S ( f ) 2 H ( f ) 2 = G( f ) H ( f ) 2
!
2
Trasmissione dell’Informazione
Processo aleatorio
•
Un processo aleatorio è una relazione che lega al risultato (casuale) di un
esperimento una funzione nel tempo.
A
A1
A1
A1
•
Noi considereremo solo i processi aleatori tempo-continui, che si
rappresentano con la lettera maiuscola e la dipendenza dal tempo
X(" i ,t) # xi (t )
•
Attenzione: per i fissato, il segnale xi(t) NON è casuale, ma deterministico,
mentre a t fissato X(t) può assumere tutti i valori che le varie (infinite) xi(t)
assumono in t e dunque Xt= X(t) è una variabile casuale.
3
Trasmissione dell’Informazione
Caratterizzazione statistica
•
Dato che Xt = X(t) è una variabile casuale, si potrà definire una funzione
cumulativa di probabilità
FX ( x,t) = P( X (t ) " x )
•
•
Tale funzione però non è sufficiente per caratterizzare il processo: a volte, ad
esempio, serve sapere cosa succede al tempo t1 e al tempo t2: FX ( x,t) = P( X (t ) " x )
… il che a sua volta richiede la conoscenza della funzione cumulativa
congiunta (del secondo ordine):
FX ( x1,x2,t1,t2 ) = P ( X (t1) " x1 ,X (t2 ) " x2 )
•
In generale, servirà la conoscenza della funzione cumulativa di probabilità di
ordine n, per ogni possibile n!
FX ( x1,x2 ,K ,xn,t1 ,t 2 ,K tn ) = P ( X (t1) " x1 ,X (t2 ) " x2 ,K ,X (tn ) " xn )
4
Trasmissione dell’Informazione
Valor medio, potenza, varianza
•
Per semplificarci la vita, è possibile ridursi a considerare solo alcuni indici
statistici semplificati, come il valor medio:
+#
mX (t ) = E ( X (t )) = $ x f X ( x,t ) dx
"#
•
f X (x,t) =
d
FX ( x,t)
dx
…la potenza:
(
)
+#
PX (t ) = E X (t ) = $ x 2 f X ( x,t ) dx
•
"#
… e la varianza:
" 2X
•
2
2 ' +*
$
2
(t ) = E &%( X (t ) #m X (t )) )( = + ( x # m x (t )) f X ( x,t ) dx = PX (t ) # m 2X (t )
#*
Si noti che la media NON corrisponde necessariamente ad una delle possibili
realizzazioni del processo, cioè ad una xi(t).
5
Trasmissione dell’Informazione
Autocorrelazione e covarianza
•
E’ interessante considerare anche degli indici del secondo ordine, come la
autocorrelazione (correlazione tra le variabili casuali corrispondenti a due
istanti di tempo, t1 e t2):
+# +#
RX (t1,t2 ) = E ( X (t1 ) X (t 2 )) = $ $ x1 x2 f X ( x1,x2 ,t1 ,t 2 ) dx1 dx2
"# "#
•
… e la loro autocovarianza (misura indipendente dal valor medio):
+# +#
CX (t1 ,t2 ) = E (( X (t1) " m x (t1))( X (t2 ) " m x (t2 ))) = $ $ ( x1 " m x (t1))( x2 " m x (t2 )) f X ( x1 ,x2 ,t1,t2 ) dx1 dx2
"# "#
= RX (t1 ,t2 ) " m x (t1) m x (t2 )
•
Si noti che si parla di autocorrelazione e di autocovarianza perché,
nonostante si considerino due istanti di tempo diversi, il processo è lo stesso.
6
Trasmissione dell’Informazione
Processi stazionari
•
•
In un generico processo aleatorio, tutte le quantità introdotte
precedentemente sono funzione del tempo, possono cambiare al variare degli
istanti.
Se tutte le funzioni statistiche che caratterizzano un processo sono invarianti
rispetto al tempo, allora il processo si dice stazionario in senso stretto.
f X (x1,x2 ,K ,xn,t1,t2 ,K tn ) = f X (x1 ,x2 ,K ,xn,t1 + "t,t2 + "t,K tn + "t)
•
•
Si noti che l’uguaglianza deve valere per ogni Δt, il che è praticamente
impossibile da verificare.
Inoltre, la stazionarietà in senso stretto (o forte) significa che non posso
distinguere due processi che sono diversi, ma differiscono tra loro solo per
una traslazione nel tempo utilizzando misure statistiche.
7
Trasmissione dell’Informazione
Statistiche del 1° ordine per processi stazionari
•
•
Se un processo è stazionario in senso stretto, la sua funzione densità di
probabilità del primo ordine deve soddisfare f x ( x,t ) = f x ( x,t + "t ) , il che significa che deve essere indipendente dal tempo.
Di conseguenza, la media di un processo stazionario in senso stretto soddisfa
la stessa condizione, cioè è costante nel tempo.
+#
+#
"#
"#
mx (t ) = $ x f x ( x,t ) dx = $ x f x ( x) dx = m X
•
… e similmente per le altre statistiche del primo ordine, come la potenza e la
varianza:
Px (t ) = PX
" 2X (t ) = " 2X
8
Trasmissione dell’Informazione
Statistiche di ordine superiore
•
La stazionarietà di ordine due implica che
f x ( x1,x2 ,t1,t 2 ) = fx ( x1,x2 ,t1 + "t,t2 + "t )
•
… e che, di conseguenza, la funzione densità di probabilità congiunta, così
come le statistiche come la autocorrelazione e la autocovarianza, risulta
dipendente solo dalla differenza t1-t2 e non dai particolari valori di t1 e t2.
+# +#
RX (t1,t2 ) = $ $ x1 x2 f X ( x1 ,x2 ,t1 " t2 ) dx1 dx2 = RX (t1 " t2 )
"# "#
•
Generalizzando, si può affermare che, in un processo stazionario in senso
stretto, la funzione densità di probabilità di ordine n dipenderà solo dalle n-1
differenze di tempo t1-t2, t2-t3, …, tn-1-tn che ci sono tra gli n istanti di tempo
t1, t2, …, tn. Tali differenze, infatti, sono indipendenti dalla traslazione nel
tempo.
9
Trasmissione dell’Informazione
Stazionarietà in senso lato
•
Dato che la stazionarietà in senso stretto risulta praticamente impossibile da
verificare, ci riduciamo a considerare una stazionarietà in senso lato, nel
caso in cui siano valide:
mX ( t ) = m X
RX (t1,t2 ) = Rx (t1 " t2 )
•
Facciamo un esempio:
X (t ) = a cos( 2"f0t + #)
f# ($ ) =
&$ % " )
1
rect (
+
' 2" *
2"
f# ($ ) =
&$ % " /2 )
1
rect(
+
' " *
"
è stazionario in senso lato, mentre
X (t ) = a cos( 2"f0t + #)
non lo è.
10
Trasmissione dell’Informazione
Autocorrelazione di un processo stazionario
•
La autocorrelazione di un processo stazionario può essere scritta nella stessa
forma di quella di un segnale deterministico:
RX (t1,t2 ) = RX (t1 ,t1 + " ) # Rx (t1 $ t 2 ) = RX (" )
•
… e per di più soddisfa le stesse condizioni:
(
)
RX ( 0) = E X 2 (t ) = PX
RX ( " # ) = E ( X ( t ) X ( t " # ) ) = E ( X ( t + # ) X ( t ) ) = RX ( # )
RX ( 0) $ RX (# )
•
%#
In particolare, l’ultima condizione viene dall’espansione della condizione
2
E#%( X (t ) ± X (t + " )) &( ) 0
$
'
(
)
E X 2 (t ) + X 2 (t + " ) ± 2X (t ) X (t + " ) ) 0
RX ( 0) + RX ( 0) ± 2RX (" ) ) 0
Trasmissione dell’Informazione
11
Filtraggio di un processo stazionario
•
•
•
Se un processo aleatorio X(t) passa in un filtro, quanto ne esce può essere
scritto come Y (t ) = X (t ) " h(t ) , dove h(t) è la risposta impulsiva del filtro e la
convoluzione va intesa nel senso che, ad ogni funzione xi(t) si associa una
funzione yi (t ) = xi (t ) " h(t )
In generale, però, non si riesce a sapere cosa succede delle funzioni densità di
probabilità congiunte in uscita a partire da quelle in ingresso.
Limitandoci alla media, si può osservare che
+$
& +$
) +$
mY (t ) = E (Y (t)) = E ( % h(" ) X (t # ") d" + = % E (h(" ) X (t # ")) d" = % h(" ) E ( X (t # " )) d" =
' #$
* #$
#$
+$
= % h(" ) m X (t # " ) d" = h(t) & m X (t )
#$
… cioè il filtro agisce “normalmente” sulla parte “deterministica” del processo
aleatorio.
12
Trasmissione dell’Informazione
Filtraggio di … (II)
•
Per la autocorrelazione succede che
(
( ))
RY (t1,t2 ) = E (Y (t1),Y (t2 )) = E X (t1 ) " h(t1 ) # X (t2 ) " h t
+&
)+&
, +& +&
= E + ' X ($ ) h(t1 % $ ) d$ # ' X (( )h(t2 % () d( . = ' ' E ( X ($ )h(t1 % $ ) # X ( () h(t 2 % ()) d$ d( =
*%&
- %& %&
%&
+& +&
+& +&
%& %&
%& %&
= ' ' h(t1 % $ )h(t2 % ( ) E ( X ($ ) X ( ()) d$ d( = ' ' RX ($ ,() h(t1 % $ )h(t2 % () d$ d( =
= RX (t1 ,t2 ) " h(t1 ) " h(t2 )
•
Perciò, se il processo in ingresso è stazionario (in senso lato) si ottiene
dunque che la media in uscita è costante e l’autocorrelazione dipende solo
dalla differenza dei tempi, cioè il processo in uscita è pure stazionario.
13
Trasmissione dell’Informazione
Filtraggio di … (III)
•
Più precisamente, se il segnale in ingresso è stazionario si ricava che
+$
mY (t ) = h(t) " m X (t ) = h(t) " m X = m X % h(t )dt = m X H (0)
#$
•
… mentre per la autocorrelazione vale
+&
RY (t,t " # ) = RX (t,t " # )$ h(t ) $ h(t " # ) = ' h(% )[R(t " % ,t " # ) $ h(t " # )] d% =
+&
+&
"&
+&
"&
+&
"&
"&
+&
"&
= ' h(() ' h(% ) R(t " % ,t " # " () d% d( = ' h( () ' h(% ) R("% + # + ( ) d% d( =
+&
= ' h(( )[ R(( + # ) $ h(# ) ] d( = ' h(") ) [R(# " ) ) $ h(# ) ] d) = R(# ) $ h("# ) $ h(# )
"&
•
"&
… e dunque anche il segnale in uscita è stazionario in senso lato.
14
Trasmissione dell’Informazione
Densità spettrale di potenza dei segnali stazionari
•
•
I segnali aleatori stazionari non possono avere energia finita. Altrimenti,
andrebbero a zero all’infinito, con loro la media, e questa non potrebbe essere
costante come richiesto.
Essendo segnali di potenza, si definisce la loro densità di potenza come ciò
che si ottiene invertendo la loro autocorrelazione.
S X ( f ) = F ( RX (" ))
•
SX(f) soddisfa le condizioni:
! S X ( f ) è reale e pari
(
2
)
+#
+#
"#
0
PX = E X (t) = $ S X ( f ) df = 2 $ SX ( f ) df
SX ( f ) % 0
15
Trasmissione dell’Informazione
Processi ergodici
•
•
•
Per caratterizzare un processo, fosse anche stazionario, dovremmo
conoscerne tutte le funzioni campione (impossibile!).
Ci farebbe comodo invece ricavare le informazioni statistiche sul processo da
UNA SOLA funzione campione. La cosa è possibile se il processo è
ergodico.
Un processo ergodico nella media soddisfa:
1 T /2
mX (t ) = m X = X m = lim
% X (t) dt
T"# T $T /2
•
•
cioè la variabile casuale Xm, ottenuta mediando nel tempo ogni possibile
funzione campione, ha una funzione densità di probabilità con media pari a
mX e varianza nulla.
In pratica, si può calcolare la media su una finestra mobile
1 T /2
XT =
# X (t ) dt
T "T /2
X m = lim XT
t"#
16
Trasmissione dell’Informazione
Rumore
•
•
Il rumore nei sistemi digitali è spesso rappresentato mediante l’acronimo
AWGN: Rumore Bianco Additivo e Gaussiano. Si considera il rumore a
media nulla e la densità spettrale del rumore (costante perché bianco) si
indica come η/2.
Di conseguenza, la variabile causale n(t) è una variabile Gaussiana, cioè con
densità di probabilità esprimibile mediante la funzione
f (n(t )) = f (n)
1
2 "# 2
n2 (t)
$
2
e 2#
•
La varianza del rumore, indicata nella formula, è pari alla potenza del
rumore. Infatti, per un processo casuale la potenza è definita come
!
P = " n 2 f (n) dn
•
… e dunque
P = n2 = " 2 # m2 = " 2
!
Trasmissione dell’Informazione
!
17
Rumore II
•
La probabilità di avere rumore peggiore di un valore fissato K è
&
P( n " K ) =
&
' f (n) dn = '
K
•
•
K
1
2 #$ 2
n2 (t )
%
2
e 2$
( K +
1
dn = Erfc*
2
2
$
)
,
dove la la funzione Erfc è una funzione con argomento positivo, decrescente
da 1 a 0 all’aumentare dell’argomento stesso:
!
2 $ #u 2
Erfc( x ) =
% e du
" x
Ultima nota: il rumore Gaussiano in ingresso ad un filtro con funzione di
trasferimento H(f) produce un rumore pure Gaussiano in uscita, con varianza
(= potenza)
!
2
P0 = " 02 = # Gn ( f ) H ( f ) df =
$
$
2
2
H
f
df
=
# ( )
# h(t ) dt
2
2
18
Trasmissione dell’Informazione
!
