Elementi di Teoria dei Segnali

Elementi di Teoria dei Segnali
Ing. Michele Scarpiniti
[email protected]
http://ispac.ing.uniroma1.it/scarpiniti/index.htm
Master "Tecniche per la Multimedialità"
1
Il concetto di segnale
I segnali sono funzioni nel senso ordinario del
termine
Il temine segnale si riferisce all’impiego di questi enti
matematici in un contesto dove si effettua lo scambio
di messaggi informativi tra soggetti diversi,
individuabili come sorgente e destinatario, come
accade in un sistema di comunicazione
Master "Tecniche per la Multimedialità"
2
Classificazione dei segnali
Rispetto alla conoscenza a priori:
Rispetto al codominio:
Certi;
Aleatori.
Reale;
Complesso.
Rispetto alla tipologia della coppia dominiocodominio:
Continuo-continuo;
Continuo-discreto;
Discreto-continuo;
Discreto-discreto.
Master "Tecniche per la Multimedialità"
3
Classificazione dei segnali
Master "Tecniche per la Multimedialità"
4
Classificazione dei segnali
Rispetto al contenuto energetico:
Segnali di energia: energia finita e non nulla
Es =
∞
∫ s ( t ) ⋅ s ( t ) dt = ∫ s ( t )
*
−∞
∞
2
dt
−∞
Segnali di potenza: potenza finita e non nulla
2
1 ∆2T
Ps = lim
∆T s ( t ) dt
∫
∆T →∞ ∆T −
2
Un segnale di energia ha potenza nulla; un segnale di potenza ha energia
infinita. Se il segnale è periodico, la potenza è calcolata su un periodo.
Master "Tecniche per la Multimedialità"
5
Esempi di segnali
1.5
s ( t ) = A cos ( 2π f 0t + ϕ )
1
0.5
f0 =
0
1
T
A: ampiezza;
-0.5
f0: frequenza;
-1
ϕ: fase;
-1.5
0
50
100
150
200
250
300
350
400
Master "Tecniche per la Multimedialità"
T: periodo
6
Esempi di segnali
s ( t ) = rectT ( t )
x(t)
1
-T
x ( t ) = triT ( t )
T
t
Master "Tecniche per la Multimedialità"
7
Esempi di segnali
s(t)
1
s ( t ) = u−1 ( t )
t
0
x(t)
1
0
x ( t ) = u0 ( t ) = δ ( t )
t
Master "Tecniche per la Multimedialità"
8
Esempi di segnali
Un segnale molto usato nella teoria dei segnali e dei
sistemi è il seno cardinale o semplicemente sinc.
sin t
s (t ) =
= sinc ( t )
t
E’ da notare che il valore di
sinc(t) per t=0 è 1, cioè
sinc(0)=1
Master "Tecniche per la Multimedialità"
9
Il sistema
Un sistema T è una “scatola nera” che
preleva il segnale x(t) e gli fa
corrispondere un segnale in uscita y(t).
Master "Tecniche per la Multimedialità"
10
Il sistema
Un sistema T è lineare se:
x1(t)→y1(t)
x2(t)→y2(t), allora
a1x1(t)+a2x2(t) → a1y1(t)+a2y2(y)
Un sistema T è permanente se:
x(t)→y(t), allora
x(t-T)→y(t-T)
Master "Tecniche per la Multimedialità"
11
L’uscita del sistema
Si chiama risposta impulsiva di un
sistema T l’uscita corrispondente ad un
impulso di Dirac.
La risposta impulsiva caratterizza
completamente il sistema T.
Master "Tecniche per la Multimedialità"
12
L’uscita del sistema
Nota la risposta impulsiva h(t) di un
sistema T è allora nota l’uscita y(t) per un
generico ingresso x(t):
y (t ) =
∞
∫ x (τ ) ⋅ h ( t − τ ) dτ = x ( t ) * h ( t )
−∞
La formula precedente è detta integrale di
convoluzione.
Un esempio di convoluzione tra due
rettangoli è mostrata nella slide successiva.
Master "Tecniche per la Multimedialità"
13
L’uscita del sistema
Master "Tecniche per la Multimedialità"
14
L’uscita del sistema
Per la serie e il parallelo di due diversi sistemi di risposta
impulsiva h1 e h2, valgono le seguenti relazioni:
Master "Tecniche per la Multimedialità"
15
L’auto e cross-correlazione
Si definisce funzione di auto-correlazione:
Rxx ( t ) =
∞
∫
x* (τ ) ⋅ x ( t + τ ) dτ = x ( t ) ⊗ x ( t )
−∞
Si definisce funzione di cross-correlazione:
Rxy ( t ) =
∞
∫
x* (τ ) ⋅ y ( t + τ ) dτ = x ( t ) ⊗ y ( t )
−∞
Master "Tecniche per la Multimedialità"
16
L’auto e cross-correlazione
In particolare:
Ex = Rxx ( 0 )
Mentre si definisce energia incrociata:
Exy = Rxy ( 0 ) =
∞
∫
x* (τ ) ⋅ x (τ ) dτ
−∞
Si definisce coefficiente di correlazione:
Exy
ρ xy =
Ex E y
Relazioni analoghe valgono per i segnali di
potenza. Master "Tecniche per la Multimedialità"
17
Filtro
In generale la h(t) è complessa.
Se h(t) è reale allora il sistema è idealmente
realizzabile (IR).
Se il sistema è anche causale (cioè h(t)=0 per
t<0) allora il sistema è fisicamente
realizzabile (FR).
Un sistema lineare e permanente è detto
filtro.
Master "Tecniche per la Multimedialità"
18
Filtro
Un filtro è instabile se l’uscita, in
corrispondenza di ingressi limitati in
ampiezza, assume valori illimitati.
Un filtro è stabile se l’uscita rimane limitata.
Condizione necessaria e sufficiente affinché
un filtro sia stabile è che:
∞
∫ h ( t ) dt < ∞
−∞
Master "Tecniche per la Multimedialità"
19
Lo sviluppo in serie di Fourier
Se un segnale è periodico (x(t)=x(t+T))
allora è sviluppabile in serie di Fourier:
x (t ) =
∞
∑Xe
n =−∞
j 2π nf 0t
n
T
1 2
X n = ∫ x ( t ) e − j 2π nf0t dt
T −T
2
La sequenza dei coefficienti Xn è detto
spettro del segnale periodico x(t).
Master "Tecniche per la Multimedialità"
20
Lo sviluppo in serie di Fourier
Master "Tecniche per la Multimedialità"
21
Lo sviluppo in serie di Fourier
La potenza si può calcolare direttamente coi i
coefficienti dello sviluppo in serie, tramite il
teorema di Parseval:
Px =
∞
∑
n =−∞
Xn
2
Inoltre le funzioni di auto e cross-correlazione
sono periodiche di periodo T, e i relativi spettri
valgono:
*
R
=
X
Φ xyn = X nYn
xyn
nYn
Master "Tecniche per la Multimedialità"
22
La trasformata di Fourier
Un segnale non impulsivo e quindi non
di energia non può essere sviluppato in
serie di Fourier
Si può però definire un’operazione detta
trasformata di Fourier, che è un
concetto limite della serie.
Master "Tecniche per la Multimedialità"
23
La trasformata di Fourier
Si può passare dal segnale x(t) alla sua
trasformata di Fourier X(f) e viceversa
(antitrasformata di Fourier), tramite le:
X(f )=
∞
∫ x ( t )e
− j 2π ft
−∞
x (t ) =
∞
∫ X ( f )e
+ j 2π ft
dt = F { x ( t )}
df = F
−∞
Master "Tecniche per la Multimedialità"
−1
{ X ( f )}
24
La trasformata di Fourier
Un esempio: trasformata del rettangolo:
Master "Tecniche per la Multimedialità"
25
La trasformata di Fourier
In generale X(f) è complessa:
Se x(t) è reale allora X(f)=X*(-f)
X(f)=XR(f)+jXI(f)=M(f)ejΦ(f)
Cioè XR(f) e M(f) sono funzioni pari;
XI(f) e Φ(f) sono funzioni dispari.
La trasformata di Fourier è un operatore
lineare.
Master "Tecniche per la Multimedialità"
26
La trasformata di Fourier
Proprietà della traslazione nel tempo:
F { x ( t − T )} = e− j 2π fT X ( f )
Proprietà della derivazione nel tempo:
d

x ( t )  = j 2π fX ( f )
 dt

F
Proprietà del prodotto nel tempo:
F { x ( t ) ⋅ y ( t )} = X ( f ) * Y ( f )
Master "Tecniche per la Multimedialità"
27
La trasformata di Fourier
Vale il teorema di Parseval:
Ex =
∞
∫ X(f)
2
df
−∞
Teorema della convoluzione:
F { x ( t ) * y ( t )} = X ( f ) ⋅ Y ( f )
Teorema della correlazione:
F { x ( t ) ⊗ y ( t )} = X
*
( f ) ⋅Y ( f )
Master "Tecniche per la Multimedialità"
28
La trasformata di Fourier
Se l’ingresso x(t) di un filtro è un
segnale sinusoidale a frequenza f0,
allora anche l’uscita sarà un segnale
sinusoidale di frequenza f0, ma di
ampiezza e fase diversi.
Facendo variare la f0, posso ricostruire
l’uscita per ogni frequenza e disegnare
quindi, la risposta in frequenza.
Master "Tecniche per la Multimedialità"
29
I filtri
Un filtro, visto in frequenza può dividersi in tre
categorie:
Passa basso;
Passa alto;
Passa banda.
Questi filtri eliminano le alte frequenze, le basse
frequenze e le frequenze al di fuori di una certa
banda, rispettivamente.
La trasformata di Fourier del risposta impulsiva di un
filtro caratterizza completamente il funzionamento del
filtro in frequenza, ed è chiamata funzione di
trasferimento del filtro.
Master "Tecniche per la Multimedialità"
30
I filtri
H(f)
Passa Basso: passano inalterate
tutte le frequenze inferiori a fL.
1
-fL
H(f)
Passa Alto: passano inalterate tutte
le frequenze superiori a fH.
f
fL
Passa Banda: passano inalterate
tutte le frequenze comprese tra f1 e
f2 .
1
-fH
fH
f
B=f2-f1 è detta larghezza di banda.
f0=(f1+f2)/2 è detta frequenza di
centro banda.
Master "Tecniche per la Multimedialità"
31
I filtri
Consideriamo il filtro passa basso ideale,
precedentemente disegnato.
Risulta che: H(f) = rect2fL(f)
Quindi nel tempo ho una risposta nel tempo
pari a: h(t)=2fLsinc(πfLt)
E’ chiaro che h(t) risulta non nulla per t<0, e
quindi il filtro passa basso ideale non risulta
fisicamente realizzabile.
I filtri reali hanno una pendenza più dolce:
scendono verso zero più lentamente.
Master "Tecniche per la Multimedialità"
32
I filtri
Grazie al teorema della convoluzione, l’uscita
in frequenza Y(f) di un filtro è dato
semplicemente dal prodotto della trasformata
di Fourier dell’ingresso al filtro X(f) con le sua
funzione di trasferimento H(f):
X(f)
H(f)
Master "Tecniche per la Multimedialità"
Y(f)=H(f)·X(f)
33
Spettro di densità di energia
Si consideri il segnale x(t) ed il seguente filtro:
Si definisce energia del segnale x(t) nella banda
[f,f+∆f], l’energia in uscita dal filtro precedente
quando si pone x(t) in ingresso.
Tale energia si indica con: Ex,f,f+∆f.
Master "Tecniche per la Multimedialità"
34
Spettro di densità di energia
Si faccia ora l’ipotesi che la banda sia
infinitesima, ovvero che ∆f→0.
Allora al seguente rapporta si dà il nome di
spettro di densità di energia:
Ex , f , f +∆f
Ex ( f ) = lim
∆f →0
∆f
L’energia del segnale x(t) può quindi essere
calcolata con questa nuova grandezza, come:
Ex =
∞
∫ E ( f ) df
x
−∞
Master "Tecniche per la Multimedialità"
35
Spettro di densità di energia
Per i segnali di energia vale il risultato
seguente, noto come Teorema di Wiener:
Ex ( f ) = X ( f ) = F { Rxx ( t )}
2
Quindi lo spettro di densità di energia di un
segnale x(t) può essere calcolato come
trasformata di Fourier della funzione di autocorrelazione del segnale x(t).
Master "Tecniche per la Multimedialità"
36
Spettro di densità di potenza
In modo analogo si definisce la potenza del segnale x(t)
nella banda [f,f+∆f], e la si indica con: Px,f,f+∆f.
Si definisce spettro di densità di potenza Px(f):
Px ( f ) = lim
∆f → 0
Px , f , f +∆f
∆f
La potenza del segnale x(t) può quindi essere calcolata
come:
∞
Px = ∫ Px ( f ) df
−∞
Vale il teorema di Wiener, per i segnali di potenza:
Px ( f ) = F { Rxx ( t )}
Master "Tecniche per la Multimedialità"
37
Il segnale analitico
Si consideri il segnale x(t) ed il seguente
filtro, dato da un gradino in frequenza:
H(f)
1
0
f
L’uscita del segnale x(t) dal filtro precedente
è chiamato segnale analitico ed indicato con
x+(t).
In frequenza il segnale analitico ha solo un contributo a
frequenze positive
Master "Tecniche per la Multimedialità"
38
L’inviluppo complesso
Si definisce inviluppo complesso il segnale
ottenuto dalla seguente espressione:
x (t ) = 2x (t ) e
+
− j 2π f 0 t
L’ inviluppo complesso è un segnale complesso,
che quindi ha una parte reale ed una parte
immaginaria, denominate componenti analogiche
di bassa frequenza in fase e quadratura:
x ( t ) = xc ( t ) + jxs ( t )
Master "Tecniche per la Multimedialità"
39
L’inviluppo complesso
Un segnale x(t) è detto limitato in banda
[f1,f2] intorno ad una frequenza f0, se è nullo
lo spettro X(f) al di fuori di questa banda.
La banda B del segnale è B=f2-f1
f0=(f1+f2)/2
Master "Tecniche per la Multimedialità"
40
L’inviluppo complesso
Un segnale x(t) limitato in banda [f0-fB,f0+fB]
intorno a f0 può essere riportato in banda base
intorno allo zero [-fB,fB] tramite l’inviluppo
complesso.
Il segnale nella banda originale intorno a f0 può
essere riottenuto tramite le componenti analogiche
in bassa frequenza (ricavate dall’inviluppo
complesso):
x ( t ) = xc ( t ) cos ( 2π f 0t ) − xs ( t ) sin ( 2π f 0t )
Master "Tecniche per la Multimedialità"
41
L’inviluppo complesso
Quanto detto precedentemente è illustrato
nel seguente esempio:
Master "Tecniche per la Multimedialità"
42
Il campionamento
Si vuole ora passare da un segnale continuo-tempo
continuo ad un segnale continuo-tempo discreto.
Una procedura è leggere il segnale ad istanti regolari
di tempo: ogni Tc, prendo il valore del segnale (x(0),
x(Tc), x(2Tc), x(3Tc),…).
Il processo è chiamato campionamento, mentre Tc è
detto periodo di campionamento.
La sequenza …,x(0), x(Tc), x(2Tc), x(3Tc),… è detta
sequenza di campionamento, mentre il singolo x(kTc)
è detto campione di x(t) all’istante kTc.
Fc=1/Tc è detta frequenza di campionamento.
Master "Tecniche per la Multimedialità"
43
Il campionamento
Un metodo pratico per leggere un segnale x(t) ogni Tc è
quello di moltiplicare il segnale x(t) per un treno di
impulsi s(t) equispaziati di Tc.
Il segnale ottenuto (segnale campionato) viene indicato
con xc(t).
Si ricorda che la trasformata di Fourier di un treno di
impulsi è un treno di impulsi equispaziati di fc e scalati di
Tc, mentre la convoluzione in frequenza tra un segnale e
un treno di impulsi dà come risultato lo spettro del
segnale riportato sopra ogni impulso (replica).
E’ molto istruttivo vedere il processo di campionamento
contemporaneamente nel tempo che in frequenza.
Master "Tecniche per la Multimedialità"
44
Il campionamento
x(t)
X(f)
1
t
0
-4Tc -3Tc -2Tc
0
-fM
0
s(t)
S(f)
1
1/Tc
Tc 2Tc 3Tc
Tc
t
-2fc
-fc
0
xc(t)
f
fM
fc
2fC
t
fc
2fC
f
Xc(f)
1/Tc
0
t
-2fc
-fc
Master "Tecniche per la Multimedialità"
0
45
Il campionamento
Per poter ricostruire il segnale x(t), quindi devo far
passare il segnale campionato xc(t) in un filtro passa
basso ideale H(f) con frequenza di taglio fM.
In questo modo isolo la replica intorno all’origine
ottenendo il segnale y(t) che coincide con il segnale
x(t).
Master "Tecniche per la Multimedialità"
46
Il campionamento
Il segnale ricostruito y(t) può quindi essere
espresso come segue:


y ( t ) =  x ( t ) ⋅ ∑ δ ( t − kTc )  ∗ h ( t ) = ∑ x ( kTc )δ ( t − kTc ) ∗ sinc ( 2 f M t ) =
k
k


= ∑ x ( kTc )sinc ( 2 f M ( t − kTc ) )
k
Master "Tecniche per la Multimedialità"
47
Il campionamento
Se ora si diminuisce il periodo di campionamento Tc e
quindi di conseguenza si aumenta la frequenza di
campionamento fc (cioè prendo più informazione dal
segnale), le repliche in frequenza si allontanano.
Riesco allora a ricostruire il segnale anche con un
filtro meno performante di quello ideale (che non è
fisicamente realizzabile).
Master "Tecniche per la Multimedialità"
48
Il campionamento
Se viceversa si aumenta il periodo di campionamento
Tc e quindi di conseguenza si diminuisce la frequenza
di campionamento fc (cioè prendo meno informazione
dal segnale), le repliche in frequenza si avvicinano.
Riesco allora a ricostruire il segnale solo con un filtro
sempre più performante (che può non essere
fisicamente realizzabile).
Master "Tecniche per la Multimedialità"
49
Il campionamento
Se Tc aumenta troppo e quindi di conseguenza si fc
diminuisce troppo (cioè prendo troppo poca
informazione dal segnale), le repliche in frequenza si
sovrappongono.
Non riesco allora a ricostruire il segnale originale con
il filtro passa-basso, in quanto l’uscita di tale filtro
contiene anche informazione proveniente dalle
repliche adiacenti.
Master "Tecniche per la Multimedialità"
50
Il campionamento
Questo fenomeno della sovrapposizione delle repliche
è detto aliasing.
Quando ho aliasing non riesco più a ricostruire il
segnale.
La frequenza di campionamenti fc minima per cui non
ho aliasing è fc=2fM.
Per poter ricostruire il segnale devo campionare ad
una frequenza fcP2fM (fM è la massima frequenza del
segnale).
Il risultato precedente (fc P 2fM) è noto come
Teorema del Campionamento o di Nyquist, mentre
f=2fM è detta frequenza di Nyquist.
Master "Tecniche per la Multimedialità"
51
La quantizzazione
Il passo successivo è quello di trasformare un
segnale continuo-tempo discreto in un
segnale discreto-tempo discreto, ovvero
digitale.
Il segnale digitale non può assumere qualsiasi
valore, ma solo un certo numero limitato.
Risulta cioè quantizzato.
La quantizzazione, allora, è il processo che
trasforma gli infiniti valori del codominio di un
segnale tempo-continuo nei “pochi” valori del
codominio del segnale digitale.
Master "Tecniche per la Multimedialità"
52
La quantizzazione
Un metodo per effettuare la quantizzazione
consiste ne dividere la dinamica del segnale
(l’intervallo tra il minimo e massimo valore del
codominio) in un certo numero L di livelli.
Vedere la sequenza campionata all’istante k
in quale intervallo appartiene.
Associare al campione x(kTc) il valore del
livello di appartenenza.
In questo modo il segnale digitale può
assumere solamente L valori distinti.
Master "Tecniche per la Multimedialità"
53
La quantizzazione
Ovviamente quanto più il numero L di livelli è
elevato tanto più il segnale quantizzato xq(t)
sarà “simile” al segnale originale x(t).
In ogni caso sarà sempre presente un errore
pari alla differenza del valore vero del
campione ed il valore quantizzato:
eq(kTc)=x(kTc)-xq(kTc).
Tale errore viene detto errore o rumore di
quantizzazione.
L’errore di quantizzazione è tanto più piccolo
quanto più elevato è il numero di livelli L.
Master "Tecniche per la Multimedialità"
54
La quantizzazione
Vediamo un esempio con L=11 livelli di quantizzazione:
La sequenza quantizzata ottenuta è:
{…,2,2,4,4,4,5,6,9,11,10,8,5,…}
Master "Tecniche per la Multimedialità"
55
La quantizzazione
Si capisce intuitivamente che la sequenza quantizzata
non coincide completamente con il segnale originale,
come si può vedere dalla seguente figura:
xq(t)
11
10
9
8
7
6
5
4
3
2
1
0
t
Il processo di quantizzazione è quindi irreversibile.
Master "Tecniche per la Multimedialità"
56
La quantizzazione
Vista la natura binaria di molte applicazioni pratiche
(su PC), solitamente il numero di livelli L è preso
come una potenza di 2.
Così se utilizzo N bit ottengo L=2N livelli differenti.
Per esempio con N=8 ho L=256, con N=16 ho
L=65536 , con N=16 ho L=16777216 livelli.
Si noti che raddoppiando il numero di bit il numero di
livelli incrementa molto più del doppio: l’andamento è
esponenziale.
Il numero N di bit da utilizzare per rappresentare L
livelli differenti è: N=log2L.
Master "Tecniche per la Multimedialità"
57
La quantizzazione
Alcuni esempi:
CD Audio:
Fc=44100 Hz;
N=16 bit (L=65536).
PCM telefonico:
Fc=8000 Hz;
N=8 bit (L=256).
Master "Tecniche per la Multimedialità"
58
La quantizzazione
L’insieme di campionatore e quantizzatore
permette di passare da un segnale analogico
ad uno digitale, e per questo motivo prende il
nome di convertitore analogico-digitale o
ADC.
Il processo inverso, cioè il passaggio da un
segnale digitale ad uno analogico, è ottenuto
attraverso il convertitore digitale-analogico o
DAC.
Master "Tecniche per la Multimedialità"
59
I segnali aleatori
Purtroppo i segnali con cui funzionano i sistemi reali non
appartengono alla tipologia di segnali certi, altrimenti non
ci fornirebbero nessuna informazione, ma appartengono
alla classe dei segnali aleatori.
C’è un certo grado di non conoscenza dell’informazione
trasmessa dai segnali “reali”.
Se non conosciamo nulla del segnale, questo viene detto
completamente aleatorio.
Se conosciamo alcune caratteristiche ed altre no, viene
detto ad aleatorietà parametrica (ad esempio di un
oscillatore conosciamo l’ampiezza del segnale ma non la
frequenza, etc.).
Per studiare i segnali aleatori è necessaria una breve
introduzione sulle nozioni di probabilità e statistica.
Master "Tecniche per la Multimedialità"
60
La probabilità
Intuitivamente la probabilità che un evento E accada,
coincide con il numero di casi favorevoli all’evento E su
tutti i casi possibili.
E’ intuitivo supporre che la probabilità dell’evento E
coincida con la frequenza con cui questo evento si
presenta.
Così ad esempio, lanciando in aria una moneta 100
volte, ci aspettiamo che escano 50 “teste” e 50 “croci”,
da cui una probabilità del 50% di avere ad esempio
“testa”.
In ogni caso la probabilità di avere “testa” si calcola
come casi favorevoli (“testa” e quindi 1) su casi
possibili (“testa” o “croce” e quindi 2) ottenendo quindi
una probabilità di ½, cioè del 50%.
Master "Tecniche per la Multimedialità"
61
La probabilità
Matematicamente la probabilità di un evento
E è un numero compreso tra 0 ed 1.
Inoltre la probabilità dell’evento certo vale 1.
Così ad esempio la probabilità che lanciando
un dado esca un numero minore di 7 (è certo
che sia così avendo il dado solo 6 facce) è 1,
cioè del 100%.
Le variabili che descrivono l’evento aleatorio
prendono il nome di variabili aleatorie (v.a.).
Master "Tecniche per la Multimedialità"
62
La probabilità
Data la v.a. X, la probabilità che essa assuma valori minori o
uguali di x è indicata con Prob{XOx} ed è descritta dalla
seguente funzione, detta funzione di ripartizione di
probabilità (o cdf):
Prob { X ≤ x} = FX ( x )
La derivata di questa funzione è chiamata funzione di
distribuzione di probabilità (o pdf):
d
pX ( x ) =
FX ( x )
dx
Da questa funzione posso ricavare:
Prob { X ≤ x} =
x
∫ p ( x ) dx
X
−∞
Master "Tecniche per la Multimedialità"
63
La probabilità
Poiché la probabilità dell’evento certo vale 1, deve essere che
l’area al di sotto della pdf sia unitaria, cioè:
∞
∫ p ( x ) dx = 1
X
−∞
Due concetti molto importanti sono il concetto di media e
varianza.
La media mX di una v.a. X indica il valore medio della
distribuzione, quello che divide la pdf in due parti di peso
equivalente, e si calcola come:
mX = E { x} =
∞
∫ xp ( x ) dx
X
−∞
Master "Tecniche per la Multimedialità"
64
La probabilità
La varianza σ2X di una v.a. X indica lo scarto
quadratico medio della distribuzione, cioè mi dice
quanto i dati siano dispersi, cioè sparsi, intorno al
suo valore medio, e si calcola come:
σ X2 =
∞
∫ ( x − mX ) pX ( x ) dx
2
−∞
La radice quadrata della varianza σ2X di una v.a. X,
indicata con σX è detta deviazione standard.
La deviazione standard ha un significato analogo
alla varianza.
Master "Tecniche per la Multimedialità"
65
La probabilità
Un primo classico esempio di densità di probabilità è la
distribuzione uniforme, in cui ogni valore è equiprobabile.
 1
 ,
pX ( x ) =  2 A
 0,
-A≤ x≤ A
altrove
In realtà la distribuzione uniforme può anche non
essere simmetrica, ad esempio può estendersi su un
intervallo [a,b] qualsiasi.
La distribuzione disegnata ha mX=0 e σ2X =A2/3.
Master "Tecniche per la Multimedialità"
66
La probabilità
Un secondo esempio notissimo è la distribuzione Gaussiana
dalla classica forma a campana:
pX ( x ) =
1
2πσ X2
2
x − mX )
(
−
e
2σ X2
Per costruire una distribuzione Gaussiana basta
conoscere due parametri, la media mX e la varianza
σ2X .
Si dice che per la Gaussiana è sufficiente la statistica
del secondo ordine.
Master "Tecniche per la Multimedialità"
67
La probabilità
La distribuzione Gaussiana è molto importante.
Infatti molti fenomeni fisici e sociali sono modellati
come una distribuzione Gaussiana.
Inoltre se ho tanti processi, ognuno con una sua
distribuzione di probabilità, il processo somma di
questi avrà una distribuzione Gaussiana.
Questo risultato è noto come teorema del limite
centrale.
Già con un numero di processi superiori a 5/6 la
distribuzione somma risultante approssima
abbastanza bene la gaussiana.
Master "Tecniche per la Multimedialità"
68
La probabilità
Esitono fenomeni aleatori che dipendono da
più variabili aleatorie, ad esempio x1, x2,…,
xN.
Esiste quindi una funzione di distribuzione di
probabilità multi-dimensionale px(x1, x2,…,
xN), detta funzione di densità di probabilità
congiunta.
Le singole pxi(xi) vengono dette funzioni di
densità di probabilità marginali.
Master "Tecniche per la Multimedialità"
69
La probabilità
Due eventi sono detti statisticamente indipendenti,
se il verificarsi dell’uno non condiziona il verificarsi
dell’altro.
Se più eventi sono statisticamente indipendenti
allora la funzione di densità di probabilità
congiunta si fattorizza nel prodotto delle funzioni
di densità di probabilità marginali:
N
px ( x1 , x2 ,… , xN ) = ∏ pxk ( xk )
k =1
Master "Tecniche per la Multimedialità"
70
La probabilità
Oltre alla media e alla varianza, esistono tante
altre funzioni statistiche chiamate momenti.
Per v.a. multi-dimensionali, posso definire i
momenti misti, che coinvolgono diverse v.a..
In particolare si definisce il momento misto di
ordine 1:
m1,1
x1 , x2 ( x1 , x2 ) =
∞ ∞
∫ ∫ x x p ( x , x ) dx dx
1 2
x
1
2
1
2
−∞ −∞
Master "Tecniche per la Multimedialità"
71
I processi aleatori
Si definisce sorgente aleatoria Sx un qualsiasi
dispositivo fisico che genera un segnale che risulti
essere tutto o in parte non noto a priori.
Indicato con x(t) un generico segnale aleatorio
emesso dalla sorgente aleatoria Sx, prende il nome di
processo aleatorio X(t) l’insieme {x(t)} di tutti i
segnali aleatori che “a priori” la sorgente aleatoria Sx
può generare.
Si definisce realizzazione x(t) del processo aleatorio
X(t) ciascun singolo segnale “a priori” generabile
dalla sorgente aleatoria Sx.
Master "Tecniche per la Multimedialità"
72
I processi aleatori
Ai processi aleatori si possono applicare tutte le
tecniche già apprese per i segnali certi.
La descrizione del processo aleatorio è però fatta
in modo statistico.
La v.a. X1 ottenuta dal processo aleatorio X(t) al
tempo t1 è detta v.a. estratta dal processo
all’istante t1 ed è descritta dalla funzione di
densità di probabilità:
px1 ( x1 ; t1 )
Master "Tecniche per la Multimedialità"
73
I processi aleatori
La v.a. X=(X1,X2,…,XN) ottenuta dal processo
aleatorio X(t) al tempo t1, t2,…,tN è detta v.a. ndimensionale estratta dal processo all’istante t1,
t2,…,tN ed è descritta dalla funzione di densità di
probabilità:
px ( x1 , x2 ,… , xN ; t1 , t2 ,… , t N )
L’insieme di tutte le densità di probabilità del tipo
precedente fino ad uno specificato ordine n, si
chiama gerarchia di ordine n del processo
aleatorio X(t), e descrive completamente il
processo.
Master "Tecniche per la Multimedialità"
74
I processi aleatori
In questo modo posso definire la media mx(t1) del processo
aleatorio X(t):
mx ( t1 ) =
∞
∫ x p ( x ; t ) dx
1
−∞
x1
1
1
Si definisce la varianza σ2x(t1) del processo aleatorio X(t):
σ
∞
2
x
( t1 ) = ∫ ( x1 − mx ( t1 ) )
−∞
1
2
px1 ( x1 ; t1 ) dx1
Si definisce momento misto di ordine (1,1) m(1,1)x(t1,t2) del
processo aleatorio X(t):
mx(
1,1)
∞
( t1 ; t2 ) = ∫ x1 x2 px ( x1 , x2 ; t1 , t2 ) dx1dx2
−∞
1
Master "Tecniche per la Multimedialità"
75
I processi aleatori
Un processo aleatorio X(t) è detto stazionario in senso
stretto se ogni sua gerarchia di ordine n risulta invariante
rispetto ad una traslazione dell’origine dei tempi, cioè:
px ( x1 , x2 ,… , xN ; t1 , t2 ,… , t N ) = px ( x1 , x2 ,… , xN ; t1 + δ , t2 + δ ,… , t N + δ )
Un processo aleatorio X(t) è detto stazionario in senso lato
se la sua media non dipende dall’istante temporale di
estrazione e il suo momento misto di ordine (1,1) dipende
solo dalla differenza dei tempi τ=t2-t1:
mx ( t1 ) ≡ mx
mx(
1,1)
(
,
t
t
≡
m
( 1 2) x
1,1)
(τ )
Master "Tecniche per la Multimedialità"
76
I processi aleatori
Una realizzazione x(t) di un processo
aleatorio X(t) è detta tipica se da essa è
calcolabile la gerarchia di ordine n qualsiasi,
in qualunque punto e per qualsiasi n-pla di
tempi t1,t2,…,tN.
Un processo aleatorio X(t) è detto ergodico,
se tutte le realizzazioni sono tipiche.
Condizione necessaria (ma non sufficiente)
affinché un processo sia ergodico è che esso
risulti essere stazionario in senso stretto.
Master "Tecniche per la Multimedialità"
77
I processi aleatori
Se un processo aleatorio X(t) è ergodico
allora le medie temporali del primo ordine
sono uguali per tutte le realizzazioni x(t) ed
inoltre coincidono con le corrispondenti
medie d’insieme:
x ( t ) ≡ mx
Px = x 2 ( t ) ≡ mx( ) ≡ σ x2 − mx2
2
Quindi se il processo X(t) è a media nulla, la
potenza coincide con la varianza.
Master "Tecniche per la Multimedialità"
78
I processi aleatori
Analogamente se X(t) è ergodico le medie temporali del
secondo ordine (funzioni di auto-correlazione) sono tutte
uguali e coincidono con le corrispondenti medie di
insieme (momenti misti di ordine (1,1)):
Rxx (τ ) ≡ mx(1,1) (τ )
Un risultato notevole è il teorema di Wiener-Khintchine: lo
spettro di densità di potenza Px(f) coincide con la
trasformata di Fourier del momento misto di ordine (1,1):
{
Px ( f ) ≡ F mx(
1,1)
(τ )}
Master "Tecniche per la Multimedialità"
79
I processi aleatori
Un processo aleatorio X(t) limitato in banda è
detto bianco se lo spettro di densità di potenza
è costante all’interno di questa banda.
Detta quindi B=f2-f1 la larghezza di banda, la
potenza del processo X(t) bianco è pari a:
Px=2BN.
Master "Tecniche per la Multimedialità"
80
I processi aleatori
Widrow ha dimostrato che il rumore di
quantizzazione è ergodico uniforme e bianco,
cioè ha una funzione di densità di probabilità
uniforme ed uno spettro di densità di potenza
costante.
La potenza di tale rumore coincide quindi con
la varianza del processo che, ponendo q
l’intervallo tra due livelli adiacenti, vale:
σ2x=q2/12.
Master "Tecniche per la Multimedialità"
81
I processi aleatori
Ad esempio con una dinamica di ±1
Volt, utilizzando N=8 bit, cioè L=256
livelli ed esprimendo il risultato in dB,
ottengo σ2x=(2/256)2/12=-53 dB
Con N=16 bit, cioè L=65536 livelli
ottengo σ2x=(2/65536)2/12=-101 dB
Master "Tecniche per la Multimedialità"
82