Argomenti della Lezione
1)
Entropia di variabili aleatorie continue
2)
Esempi di variabili aleatorie continue
3)
Canali di comunicazione continui
4)
Canale Gaussiano
5)
Limite di Shannon
1
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Entropia di una variabile aleatoria continua
Sia X una variabile aleatoria continua che assume valori in A con d.d.p.
fX(x). La sua ENTROPIA (o entropia differenziale) è definita come:
∆
+∞
∫f
h( X ) = −
X
( x) log 2 f X ( x)dx
(1)
−∞
se tale integrale esiste.
A differenza dell’ENTROPIA definita nel caso discreto:
∆ M
M
1
H ( X ) = ∑ pi log 2
= −∑ pi log 2 pi
pi
i =1
i =1
(2)
2
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Entropia di una variabile aleatoria continua
L'unità di misura dell'entropia differenziale è il bit/campione.
La h(X) definita dalla (1) può avere qualsiasi valore in (-inf,+inf).
Infatti, mentre per le pi si ha:
per la fX(x) si ha solo:
0 ≤ pi ≤ 1,
i = 1,…,M
fX(x) ≥ 0
A differenza del caso discreto, per una variabile aleatoria continua
non si può interpretare l'entropia differenziale come una misura
dell'incertezza media o come una misura del numero minimo di bit
necessari a rappresentare ogni campione. Infatti per una variabile
aleatoria continua, ogni campione dovrebbe essere rappresentato
con un numero infinito di bit.
3
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Relazione tra entropia ed entropia differenziale
Sia X una variabile aleatoria continua che assume valori in A=[a,b]
con d.d.p. fX(x). Dividiamo l'intervallo A=[a,b] in sottointervalli di
lunghezza ∆ .
Per il teorema del valor medio, in ogni sottointervallo esiste un
valore xi tale che:
( i +1)⋅∆
∫f
f X ( xi ) ⋅ ∆ =
X
( x)dx
i ⋅∆
Si consideri la variabile aleatoria discreta X ∆ ottenuta come
quantizzazione della variabile aleatoria continua X e definita come:
X ∆ = xi
se i ⋅ ∆ ≤ X < (i + 1) ⋅ ∆
di conseguenza:
( i +1)⋅∆
P( X ∆ = xi ) = pi =
∫f
X
( x)dx = f X ( xi ) ⋅ ∆
i ⋅∆
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
4
Relazione tra entropia ed entropia differenziale
L'entropia della variabile aleatoria X ∆ è data da:
+N
H ( X ) = − ∑ pi log 2 pi =
∆
i=− N
+N
= − ∑ f X ( xi ) ⋅ ∆ ⋅ log 2 ( f X ( xi ) ⋅ ∆ ) =
i=− N
+N
= − ∑ f X ( xi ) ⋅ ∆ ⋅ log 2 f X ( xi ) −
i=− N
+N
∑f
X
( xi ) ⋅ ∆ ⋅ log 2 ∆
i =− N
Andando al limite per N→∞, al posto di ∆ possiamo sostituire dx e
se fX(x)log2 fX(x) è integrabile secondo Riemann, le sommatorie
diventano un integrale:
+∞
+∞
lim H ( X ) = − ∫ f X ( x) log 2 f X ( x)dx − lim+ log 2 ∆ ∫ f X ( x)dx =
∆
∆ →0 +
∆ →0
−∞
−∞
= h( X ) − lim+ log 2 ∆
∆ →0
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
5
Relazione tra entropia ed entropia differenziale
Di conseguenza, l'entropia differenziale della variabile aleatoria
continua X è pari all'entropia della stessa variabile aleatoria
quantizzata in diversi intervalli più il logaritmo della dimensione di
ogni intervallo, calcolati al limite per la dimensione degli intervalli
che tende a zero:
h( X ) = lim+ H ( X ∆ ) + log 2 ∆
∆ →0
6
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Esempio 1
Sia X una variabile aleatoria continua che assume valori in [a,b] e
con d.d.p. uniforme:
f X ( x) =
1
b−a
Si ha:
∆
b
h( X ) =− ∫ f X ( x) log 2 f X ( x)dx =
a
b
1
1
=−
log 2
dx =
∫
b−a
b−a a
= log 2 (b − a )
bit/campione
7
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Esempio 2
Sia X una variabile aleatoria continua Gaussiana con d.d.p.
f X ( x) =
1
2πσ X2
−
e
( x−µ X )2
2σ X2
Considerando che in generale
si ha:
8
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Massima entropia differenziale
Teorema: sia X una variabile aleatoria continua con d.d.p. fX(x) e
varianza σX2 . La sua entropia differenziale soddisfa la disuguaglianza:
h( X ) ≤
1
log 2 2πeσ X2
2
con il segno di uguaglianza se X è una variabile aleatoria Gaussiana.
Osservazione: la variabile aleatoria continua Gaussiana ha la
massima entropia differenziale tra tutte le variabili aleatorie
continue con la stessa varianza.
9
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Entropia congiunta e condizionata
Date due variabili aleatorie X e Y con funzione di densità di probabilità
congiunta fXY(x,y), e condizionate fX|Y(x|y) fYX(y|x), vengono definite le
seguenti:
Entropia congiunta:
∆
+∞ +∞
∫∫f
h( X , Y ) = −
XY
( x, y ) log 2 f XY ( x, y )dxdy
− ∞− ∞
Entropie condizionate:
∆
h( X | Y ) = −
+∞ +∞
∫∫f
XY
( x, y ) log 2 f X |Y ( x | y )dxdy
− ∞− ∞
∆
h(Y | X ) = −
+∞ +∞
∫∫f
XY
( x, y ) log 2 fY | X ( y | x)dxdy
− ∞− ∞
Mutua informazione:
∆ +∞ +∞
f XY ( x, y )
i ( X ; Y ) = ∫ ∫ f XY ( x, y ) log 2
dxdy
f X ( x) fY ( y )
− ∞− ∞
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
10
Proprietà delle entropie
Se h(X) e h(Y) sono finite, valgono le seguenti relazioni:
h(X,Y) ≤ h(X) + h(Y)
h(X,Y) = h(X) + h(Y|X) = h(Y) + h(X|Y)
h(Y|X) ≤ h(Y)
h(X|Y) ≤ h(X)
dove le disuguaglianze diventano uguaglianze nel caso in cui X e Y sono
statisticamente indipendenti.
Inoltre:
i(X;Y) ≥ 0
i(X;Y) = h(X) - h(X|Y) = h(Y) - h(Y|X) = h(X) + h(Y) - h(X,Y)
11
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Canale a valori continui
Un canale a valori continui ha come ingresso la variabile aleatoria
continua X e come uscita la variabile aleatoria continua Y.
La trasmissione può essere tempo-continua o tempo discreta. Se
la trasmissione è tempo continua il canale è detto waveform
channel.
Il comportamento di un canale continuo è definito tramite la d.d.p.
condizionata f(y|x).
La capacità di un canale a valori continui è definita come:
C = max i ( X , Y )
f X ( x)
Spesso la capacità viene calcolata ponendo un vincolo su X, per
esempio in potenza.
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
12
Canale con rumore additivo Gaussiano
L'importanza del modello Gaussiano è legata al teorema del limite
centrale secondo cui l'effetto cumulativo di un grande numero di
effetti aleatori indipendenti è distribuito in modo Gaussiano.
Il modello Gaussiano viene utilizzato per tenere conto del rumore
termico che è presente in ogni circuito elettronico.
E' un modello semplice per il quale è possibile esprimere la
capacità in forma chiusa.
13
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Canale con rumore additivo Gaussiano
Canale additivo Gaussiano discreto nel tempo, continuo in ampiezza
X
+
Y
N
X (ingresso) è una variabile aleatoria continua che assume valori
reali x con densità di probabilità fX(x)
Y (uscita) è una variabile aleatoria continua che assume valori
reali y con densità di probabilità fY(y)
N è una variabile aleatoria continua Gaussiana con media nulla e
varianza σN2 che rappresenta il rumore.
Considerare variabili aleatorie al posto di processi aleatori
corrisponde ad assumere che il canale sia senza memoria.
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
14
Canale con rumore additivo Gaussiano
Canale additivo Gaussiano discreto nel tempo, continuo in ampiezza
La variabile aleatoria Y è data da: Y = X + N
Assumiamo che le variabili aleatorie X e N siano indipendenti.
Consideriamo il caso in cui la variabile aleatoria X sia limitata in
potenza e cioè sia σX2 finita.
Calcoliamo le entropie:
h(Y | X ) = h( X + N | X ) = h( X | X ) + h( N | X ) = h( N | X ) = h( N ) =
1
log 2 2πeσ N2
2
=0
variabili
aleatorie
indipendenti
variabili
aleatorie
indipendenti
15
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Canale con rumore additivo Gaussiano
Canale additivo Gaussiano discreto nel tempo, continuo in ampiezza
Possiamo calcolare la capacità di questo canale come:
1
C = max i ( X ; Y ) = max h(Y ) − h(Y | X ) = max h(Y ) − log 2 2πeσ N2
f X ( x)
f X ( x)
f X ( x)
2
Per il Teorema sul massimo dell'entropia differenziale, il massimo di
h(Y) si ha quando Y è una variabile aleatoria continua Gaussiana e
tale massimo è 1/2 log22πeσY2
Poichè N è Gaussiana, Y è Gaussiana se anche X è Gaussiana e in
tale caso, poichè X ed N sono indipendenti, la varianza di Y è pari alla
somma delle varianze: σY2 = σX2 + σN2
La capacità risulta quindi:
σ X2
1
1
1
2
2
2
C = log 2 2πe(σ X + σ N ) − log 2 2πeσ N = log 2 1 + 2
2
2
2
σN
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
16
Canale con rumore additivo Gaussiano bianco (AWGN)
Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza
(a banda limitata)
X(t)
+
Y(t)
N(t)
X(t) (ingresso) è un processo aleatorio continuo che assume valori reali x con densità
di probabilità fX(x) e densità spettrale di potenza limitata nell'intervallo [-B,B].
Y(t) (uscita) è un processo aleatorio continuo che assume valori reali y con densità di
probabilità fY(y) e con potenza PX.
N(t) è un processo aleatorio continuo Gaussiano bianco, stazionario in senso lato,
con media nulla, varianza σN2 e densità spettrale di potenza: PN(f) = N0/2.
N(t) sia indipendente da X(t).
17
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Canale con rumore additivo Gaussiano bianco (AWGN)
Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza
(a banda limitata)
Poichè il segnale aleatorio di ingresso è strettamente limitato in
banda nell’intervallo (-B, B), esso può essere rappresentato
impiegando almeno 2B campioni al secondo (Teorema del
campionamento).
Di conseguenza, l'uscita Y(t) viene campionata ogni 1/2B secondi e in
questo modo si campiona sia il segnale di ingresso che il rumore.
Poichè il rumore è bianco, due campioni qualsiasi del rumore sono
incorrelati, essendo la funzione di autocorrelazione RNN(τ) =N0/2 δ(τ)
18
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Canale con rumore additivo Gaussiano bianco (AWGN)
Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza
(a banda limitata)
Un processo bianco ha una potenza media infinita su una banda infinita, ma
ha una potenza media finita se viene filtrato per poi essere campionato.
Se N(t) è Gaussiano ed è stazionario in senso lato allora è anche stazionario
in senso stretto. Inoltre se un processo Gaussiano viene posto in ingresso
ad un filtro lineare, l’uscita è ancora un processo Gaussiano.
Se N(t) è un processo Gaussiano e bianco, il fatto che due campioni presi in
istanti diversi siano scorrelati significa anche che i due campioni sono
variabili aleatorie statisticamente indipendenti (senza memoria).
Ogni campione di X(t) ha una varianza pari alla potenza Px mentre ogni
campione di N(t) ha una varianza pari alla potenza di rumore N0B.
19
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Canale con rumore additivo Gaussiano bianco (AWGN)
Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza
(a banda limitata)
Possiamo quindi considerare le variabili aleatorie X, Y e N ottenute dal campionamento
di Y(t) ed applicare il risultato sulla capacità valido per il canale Gaussiano tempo
discreto senza memoria.
La potenza del rumore è pari a N0B e si ottiene integrando la densità spettrale di
potenza in [-B,B].
σ X2
1
C = log 2 1 + 2
2
σN
1
P
= log 2 1 + X
2
N0 B
bit/campio ne
Poichè vengo generati 2B campioni al secondo, la capacità può anche essere espressa
come:
PX
CT = B log 2 1 +
N0 B
bit/s
20
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Canale con rumore additivo Gaussiano bianco (AWGN)
Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza
(a banda limitata)
La quantità:
SNR =
PX
N0 B
viene detto rapporto segnale rumore.
Esso rappresenta una metrica di prestazioni del sistema di
comunicazioni poichè determina la capacità del canale e la
probabilità di errore.
21
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Canale con rumore additivo Gaussiano bianco (AWGN)
Canale additivo Gaussiano continuo nel tempo, continuo in ampiezza
(a banda illimitata)
Passando al limite per B→+∞ possiamo calcolare la capacità del
canale AWGN con banda illimitata.
Poniamo:
α=
CT =
PX
,
N0 B
α → 0 per B → +∞
ln(1 + α )
PX
PX
P
lim
=
= 1.44 X
N 0 ln 2 α →0
α
N 0 ln 2
N0
bit/s
22
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Limite di Shannon
Ricordiamo la capacità in bit/s del canale AWGN continuo nel tempo,
continuo in ampiezza e a banda limitata:
P
CT = B log 2 1 + X
N0 B
bit/s
Definiamo efficienza spettrale ηB = Rb/B , la capacità di trasmettere
una certa quantità di dati al secondo Rb con una piccola quantità di
banda B.
Definiamo efficienza in potenza, la capacità di ricevere con una data
probabilità di errore utilizzando un basso rapporto segnale rumore
SNR.
Partendo dalla capacità del canale AWGN continuo nel tempo e
continuo in ampiezza con banda illimitata possiamo ricavare la
relazione tra efficienza spettrale ed efficienza in potenza.
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
23
Limite di Shannon
Per il Teorema inverso della codifica, non si può avere una
trasmissione con probabilità di errore piccola a piacere se h(X)>C o,
dividendo per il tempo di simbolo, se la frequenza di informazione è
maggiore della capacità per secondo, Rb>CT.
Sia SNR = PX/N0B = RbEb/N0B = ηEb/N0, ponendoci al limite con Rb = CT si
ha:
E
Rb = B log 2 1 + η b
N0
η = log 2 1 + η
Eb
N0
Eb 2η − 1
=
N0
η
Eb
2η − 1
lim
= lim
= ln 2 = 0.693 = −1.59 dB
η →0 + N
η →0 +
η
0
Limite ultimo di
Shannon
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
24
Limite di Shannon
Grafico di:
Eb 2η − 1
=
N0
η
25
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Limite di Shannon
Esiste un compromesso tra l’efficienza spettrale e l’efficienza in potenza.
Fissata l’efficienza spettrale esiste un valore limite dell’efficienza in potenza
e, analogamente, fissata l’efficienza in potenza esiste un valore limite
dell’efficienza spettrale.
In ogni caso (per qualsiasi valore dell’efficienza spettrale piccola a piacere) il
rapporto segnale rumore non può scendere al di sotto di -1.59 dB se si vuole
una trasmissione affidabile.
Se voglio aumentare l’efficienza spettrale devo aumentare la potenza e
quindi far diminuire l’efficienza in potenza per avere stessa probabilità di
errore.
Se voglio aumentare l’efficienza in potenza devo diminuire l’efficienza
spettrale per avere stessa probabilità di errore.
26
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
Esempio
Il progettista di un sistema di comunicazione numerico cerca di
scegliere i parametri del sistema in modo da raggiungere quanto
più possibile la capacità C con un tasso d’errore pre-assegnato
Si calcoli la capacità C di un canale Gaussiano con banda B = 2500 Hz e
rapporto segnale-rumore pari a 30 dB
Soluzione:
Con B = 2500 e P /N0B =103 dalla formula si ottiene:
C = 24.918 bit/s
27
Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata
