Codifica Audio
Corso di Elaborazione del Suono
Ingegneria del Cinema e dei Mezzi di Comunicazione
Ph.D. Ing. Antonio Servetti
Internet Media Group
Dip. di Automatica ed Informatica
Politecnico di Torino
[email protected]
http://media.polito.it
http://www.polito.it
Introduzione
La compressione ha l’obiettivo di minimizzare le
risorse per i dati audio
Attenzione rivolta alla banda:
Memoria occupata
Tempo di trasmissione
Dato un tasso di trasferimento dati occorre ottimizzare
la qualità di riproduzione
Attenzione rivolta alla qualità:
Ricerca del numero minimo di bit per rappresentare il
segnale in modo che la codifica sia trasparente cioè
che la riproduzione sia indistinguibile dall’originale
Antonio Servetti – Codifica Audio e Formati Digitali
2
Il segnale audio
Per “audio” si intende qualunque cosa sia
percepibile dal sistema uditivo umano
l’intervallo di frequenze percepibili dall’apparato uditivo
umano è 20 – 20’000 Hz
Classificazione e
codifica
Audio naturale
natural audio
coding
Audio sintetico
structured audio
coding / MIDI
Antonio Servetti – Codifica Audio e Formati Digitali
3
Motivazioni
Interesse nato con l’audio digitale (CD-ROM)
Compromesso alta fedeltà vs. bitrate
44’100 c/s * 16 b * 2 ch = 1’411 Mbps ~ 10 MB/min
Compatibile con supporti digitali ma non con trasmissione in rete (@
56 kbps ~ 24 min)
SACD, DVD-Audio, lettori mp3, broadcasting, radio digitale (DAB),
cinema digitale, DVD-Video
Compressione
Eliminazione dati
ridondanti
(codifica entropica)
Eliminazione dati
irrilevanti
(codifica percettiva)
Antonio Servetti – Codifica Audio e Formati Digitali
4
Compressione Audio
Senza perdite
Lossless (Entropy coding)
Con perdite
Lossy (Perceptual coding)
Antonio Servetti – Codifica Audio e Formati Digitali
5
Valutazione schemi di compressione
Complessità algoritmi
codifica/decodifica
Efficacia, rapporto di compressione
Qualità della riproduzione (golden
ears)
Dibattito sulla qualità
Misure di qualità percettiva
Soggettive
Oggettive (PEAQ-Perceptual Evaluation
of Audio Quality): un software ad-hoc
stimola l’orecchio umano e poi si valutano
le risposte degli utenti
Antonio Servetti – Codifica Audio e Formati Digitali
6
Modelli di compressione
Modello di produzione
è possibile elaborare un modello per la p. della voce
elaborare un modello per ogni strumento, o altro tipo
di suono è troppo complesso
Antonio Servetti – Codifica Audio e Formati Digitali
7
Modelli di compressione
Modello di produzione
è possibile elaborare un modello per la p. della voce
elaborare un modello per ogni strumento, o altro tipo
di suono è troppo complesso
Modello di percezione
Antonio Servetti – Codifica Audio e Formati Digitali
8
Modello di percezione
La soluzione è quindi porre l’attenzione non
sulla sorgente ma sulla “destinazione” dei
suoni:
la musica dovrà essere “ascoltata da un orecchio”
quindi risulta molto utile conoscere:
• quello che un uomo medio riesce a sentire
• quello che un uomo medio non riesce a sentire
Ad esempio l’orecchio umano è sensibile in misura
diversa alle diverse frequenze
Si vuole trovare un modello su come vengano
percepiti i suoni al di sopra della soglia di
udibilità
Antonio Servetti – Codifica Audio e Formati Digitali
9
Compressione di tipo percettivo
Comprimono il segnale eliminando le parti che il
nostro apparato uditivo non percepirebbe
Vantaggi
Il nostro orecchio analizza i segnali in frequenza
Posso discriminare tra bande in cui si hanno
comportamenti diversi dal punto di vista percettivo
(mascheramento, soglia di udibilità)
"If a tree falls in the forest with no one around to
hear it, does it make a sound?"
From a perceptual coding standpoint, if no one
can hear it, there is no tree.
A. Moreno - Georgia Institute of Technology
Antonio Servetti – Codifica Audio e Formati Digitali
10
Coclea e membrana basilare
Coclea\flash_flv_player\video.flv
Coclea\200057.mov
Antonio Servetti – Codifica Audio e Formati Digitali
11
Schema generale
Codifica a blocchi (frame) ordine millisecondi
Analisi psicoacustica (FFT, 512/1024)
Analisi in frequenza: trasformata (MDCT) o filtro (32)
Allocazione dei bit in fz. mascheramento (SMR)
Quantizzazione non uniforme (codifica con perdite)
Riduzione ridondanza (senza perdite)
Creazione del bitstream (formato del file)
Antonio Servetti – Codifica Audio e Formati Digitali
12
Codifica a blocchi
Il segnale viene diviso in blocchi / frame
La lunghezza dei blocchi è di pochi millisecondi
Nell’ MPEG1-L1 sono 384 campioni (8.7 ms a 44 kHz)
Assunzioni
Il segnale audio “assunto quasi stazionario” cambia
abbastanza lentamente nel dominio della frequenza.
“Assumo” che all’interno di un blocco il segnale abbia
caratteristiche uniformi.
Antonio Servetti – Codifica Audio e Formati Digitali
13
Analisi psicoacustica
Il segnale del blocco di campioni è analizzato
mediante una FFT (512/1024 punti)
Analisi percettiva per determinare
Soglia di udibilità, Mascheramento, Rapporto segnalerumore e segnale-mascheratore
QMF
FFT
Antonio Servetti – Codifica Audio e Formati Digitali
14
Analisi psicoacustica
Decisione per l’allocazione dei bit (precisione)
da utilizzare per ogni porzione di frequenza
Quantization Noise Shaping
Si scompone il segnale in bande di frequenza,
si quantizza ciascuna banda in modo tale che l’errore
di quantizzazione venga mascherato dal segnale
(non percepito dall’orecchio)
QMF
FFT
Antonio Servetti – Codifica Audio e Formati Digitali
15
Soglia di udibilità
A basse e alle alte frequenze è
necessaria maggiore intensità per
avere la stessa percezione
L’orecchio umano è maggiormente
sensibile alle frequenze comprese
fra 2 e 4 KHz.
Antonio Servetti – Codifica Audio e Formati Digitali
16
Mascheramento
Secondo il fenomeno del mascheramento un
segnale detto “mascherante” rende non
percepibile un altro detto “mascherato”
Non si riesce ad ascoltare uno che bisbiglia, quando
contemporaneamente qualcuno sta urlando.
Esistono due tipi di mascheramento
1. Mascheramento in frequenza
2. Mascheramento temporale
Antonio Servetti – Codifica Audio e Formati Digitali
17
Banda critica
Ampiezza di banda con cui lavorano i filtri uditivi della
coclea (Fletcher, 1940)
La gamma di frequenze all’interno della quale si verificano
i fenomeni di mascheramento
Suoni discriminati se in separate bande critiche
Nella stessa banda possono venire mascherati
La presenza di rumore che copre la banda maschera i toni di
quella banda.
Antonio Servetti – Codifica Audio e Formati Digitali
18
Bark Scale
The bark scale is a standardized scale of
frequency, where each “Bark” constitutes one
critical bandwidth.
This scale can be described as approximately equalbandwidth (~100Hz) up to 500Hz and approximately
20% of the central frequency above 500Hz
The subsequent band edges are (in Hz) 0, 100, 200,
300, 400, 510, 630, 770, 920, 1080, 1270, 1480,
1720, 2000, 2320, 2700, 3150, 3700, 4400, 5300,
6400, 7700, 9500, 12000, 15500.
Antonio Servetti – Codifica Audio e Formati Digitali
19
Mascheramento in frequenza
All’interno della banda critica, se si aggiungono
altre componenti del segnale queste non
vengono sentite se hanno intensità minore alla
campana di mascheramento
Altrimenti le componenti vengono sentite
il segnale si sente
non appena si supera
la campana del segnale
mascherante
è un comportamento
non lineare
Antonio Servetti – Codifica Audio e Formati Digitali
20
Mascheramento in frequenza
Soglia di mascheramento
Distinguo tra
mascheramento tonale (tono puro)
e mascheramento non-tonale (rumore a banda stretta)
Antonio Servetti – Codifica Audio e Formati Digitali
21
Asimmetria mascheramento
Noise Masking Tone
Tone Masking Noise
Antonio Servetti – Codifica Audio e Formati Digitali
22
Mascheramento in frequenza
A livello sperimentale si considera ad esempio:
Il secondo tono viene “coperto” dal primo:
un tono alla frequenza f0 (tono mascherante)
a 60 dB
un secondo tono, detto tono test a intensità variabile
nell'intorno di f0, quando il tono di test riduce la sua
intensità al di sotto di una certa soglia (di
mascheramento) non è più udibile
A.D. 9
Antonio Servetti – Codifica Audio e Formati Digitali
23
Rapporto Segnale/Mascheratore
Minima soglia di mascheramento (in banda critica)
Antonio Servetti – Codifica Audio e Formati Digitali
24
Esempio
(modello psicoacustico)
Rumore passa basso + sinusoide a 11.250 kHz
(campionamento 48kHz, FFT 512 punti)
Antonio Servetti – Codifica Audio e Formati Digitali
25
Mascheramento temporale
Si suppone di avere nuovamente due toni
un tono A di elevata intensità
un tono B , vicino in frequenza ad A, di minore
intensità
Dalle affermazioni analizzate in precedenza si sa
che il nostro orecchio sente solo il tono di
intensità più elevata (A) che si comporta come
tono mascherante:
se il tono A cessa di esistere, si impiega un po’ di
tempo per avvertire il tono B perché la membrana del
nostro timpano deve assestarsi
il tempo che impieghiamo dipende dal volume del tono
A e da quello del tono B
Antonio Servetti – Codifica Audio e Formati Digitali
26
Mascheramento temporale
Pre-masking
Avviene prima dell’inizio del segnale mascherante e dura
soltanto pochi millisecondi ~ 5 ms
Post-masking
Può persistere per più di 100 ms dopo la fine del segnale
mascherante
Antonio Servetti – Codifica Audio e Formati Digitali
27
Mascheramento (conclusioni)
È possibile mascherare dinamicamente il rumore
(prodotto dal processo di compressione) al di sotto della
soglia di mascheramento. Fare in modo cioè che le
componenti del rumore siano all’interno della campana di
mascheramento
La somma delle campane di mascheramento produce una
curva di mascheramento
Se si riesce a fare in modo che le componenti del rumore
siano al di sotto di questa curva si ottiene una codifica
percettivamente trasparente (il rumore è comunque
presente ma non si sente)
Questi sono i fenomeni psico-acustici su cui si basano i
moderni algoritmi di codifica audio percettiva come MP3,
AAC, ...
Antonio Servetti – Codifica Audio e Formati Digitali
28
Schema generale
Codifica a blocchi (frame) da 2 a 50 ms
Analisi psicoacustica (FFT, 512/1024)
Analisi in frequenza: trasformata (MDCT) o filtro (32)
Allocazione dei bit in fz. mascheramento (SMR)
Quantizzazione non uniforme (codifica con perdite)
Riduzione ridondanza (senza perdite)
Creazione del bitstream (formato del file)
Antonio Servetti – Codifica Audio e Formati Digitali
29
Codifica a sottobande
Bande in frequenza elaborate individualmente
Caso base: le bande sono di uguale larghezza
• Quadrature Mirror Filtering (QMF) – band splitting
Ogni banda può essere codificata con un diverso
numero di bit per “campione” in base ai calcoli del
modello psicoacustico (FFT)
CAMPIONAMENTO
CRITICO
Antonio Servetti – Codifica Audio e Formati Digitali
30
Subband coding e bande critiche
Bande di ugual larghezza
L’allocazione dei bit non può essere modellata in modo
fine sul mascheramento del rumore (bande critiche)
• A 48 kHz le bande sono di 750 Hz
Riduzione in efficienza
E’ la banda critica con la massima sensibilità al rumore
che determina il numero di bit per la quantizzazione
Antonio Servetti – Codifica Audio e Formati Digitali
31
Esempio
(modello psicoacustico)
SMR
Antonio Servetti – Codifica Audio e Formati Digitali
32
Allocazione dei bit
Idea di massima: allocare i bit dove servono
rispettando il limite del bit-rate
Si ha a disposizione un certo numero di bit per la
quantizzazione lineare che devono essere ripartiti per
ogni banda a seconda di quanto deve essere il
pavimento di rumore (floor noise) per quella banda
Per fare in modo cioè che il pavimento di rumore stia
al di sotto della curva di mascheramento
Antonio Servetti – Codifica Audio e Formati Digitali
33
Allocazione dei bit
Noise Shaping
Dove servono i bit?
Dove il rapporto NMR = SNR (# bit)
- SMR è minore
Dove SMR è negativo, il segnale è
mascherato
Tanto più SMR è positivo, tanto più
devo mettere bit per alzare l’NMR
Ad ogni ciclo aggiungo un bit dove
SMR è minore e rifaccio i conti
Non posso usare più bit di quanto è
il limite di bit-rate
Antonio Servetti – Codifica Audio e Formati Digitali
34
Codificatore MPEG L-1
100
Mask
Signal
Signal-to-Mask Ratio
Masking-to-Noise Ratio
Bit Allocation
80
13
12
60
40
20
0
0
5
10
15
20
Antonio Servetti – Codifica Audio e Formati Digitali
35
Quantizzazione
Con la quantizzazione delle componenti spettrali
del segnale si ha perdita di informazione
Filtro 1
0 750 Hz
x(t )
Filtro 2
750 1500 Hz
Filtro 32
23250 24000 Hz
x1[n]
QUANT V.M. (Ni bit)
x2 [n]
QUANT V.M. (Ni bit)
x32[n]
QUANT V.M. (Ni bit)
Antonio Servetti – Codifica Audio e Formati Digitali
36
Quantizzazione (caveat)
Si riesce a ottenere una quantizzazione percettivamente
trasparente se il:
Rate necessario < Rate disponibile
32
Rate R N1 R N 2 ... R N 32 R Ni
dove R=48000/32
i 1
Se il:
Rate necessario > Rate disponibile la codifica non è
percettivamente trasparente perché in una o più bande si
sarà saliti sopra la curva di mascheramento
Antonio Servetti – Codifica Audio e Formati Digitali
37
Block floating point quantization
Per segnali non stazionari ad ampia gamma
dinamica (esponente/mantissa) (26=64*2dB)
Esponente
Mantissa
Adatta il valore alla dinamica del quantizzatore
Quantizzazione
del valore diviso per
l’esponente
Errore di q. adattato
alla dinamica del
segnale
Antonio Servetti – Codifica Audio e Formati Digitali
38
Energia del segnale codificato
Antonio Servetti – Codifica Audio e Formati Digitali
40
Impacchettamento
Pattern
di sincronismo
Header
Controllo degli errori
Allocazioni di bit per le 32 sottobande
Fattori di scala (x 32)
Campioni: 12 per ogni banda (0-15 bit)
Antonio Servetti – Codifica Audio e Formati Digitali
41
Bibliografia
Vincenzo Lombardo e Andrea Valle, “Audio e
Multimedia- 2a Ed.”, Apogeo, 2005
Davis Pan, “A Tutorial on Mpeg Audio
Compression”, IEEE Multimedia, 1995
Peter Noll, “MPEG Digital Audio Coding”, IEEE
Signal Processing Magazine, 1997
T. Painter, A. Spanias, “Perceptual Coding of
Digital Audio”, Proc. IEEE, 2000
J. Herre, H. Purnhagen, “General Audio Coding”
Documenti vari linkati da Wikipedia.org
Antonio Servetti – Codifica Audio e Formati Digitali
42
