Nome dell’Insegnamento: Informazione e Trasmissione
Categoria: --Codici: F74004, F75035 Crediti: 6
Anno di Corso: 1
Condiviso dal CCL:
Docente: Astasia C. Pagnoni
Ore di didattica: 40
Ore di Esercitazione: 20 Semestre: II
Modalità d’esame: scritto; l’orale è richiesto per confermare voti maggiori di
27/30.
Obiettivi del corso: Il corso si prefigge di fornire agli studenti un’approfondita
conoscenza della teoria della informazione di Claude Shannon, insieme alle necessarie
nozioni di teoria dei codici correttori e compressori. Il programma coincide con quello
della parte (a) del corso di Teoria della Trasmissione (Codice …).
Prerequisiti: L’acquisizione delle seguenti conoscenze di base è requisito indispensabile per la
comprensione degli argomenti trattati nel corso.
(1) Matematica discreta: teoria (ingenua) degli insiemi, applicazioni, gruppi finiti, campi finiti,
relazione di equivalenza, gruppo quoziente, anelli di polinomi, classi di resti, spazi vettoriali,
matrici, determinanti.
(2) Analisi matematica: conoscenza di base del calcolo differenziale in Rn
(3) Elementi di calcolo combinatorio: distribuzioni, permutazioni, combinazioni.
(4) Elementi di calcolo delle probabilità e statistica: distribuzioni di probabilità discrete e loro
proprietà, elementi di statistica descrittiva.
URL del corso: www.unimi.dico/homes/pagnoni
Programma del corso:
La misura della informazione: funzioni di misura additive e non-additive, la misura
dell’informazione secondo Shannon; entropia di una sorgente discreta e sue
proprietà, I codici sorgente e le loro proprietà; l’ algoritmo di Sardinas-Patterson; i
teoremi di Kraft e di McMillan; i codici di Huffman; i codici di Shannon-Fano.
L’entropia come limite inferiore della lunghezza media di un codice istantaneo.
Estensione n-esima di una sorgente e sua entropia. Il primo teorema di Shannon.
I codici canale e le loro proprietà; i codici lineari e le loro proprietà; codici
equivalenti, codici sistematici. Vincoli imposti alla capacità di correzione dalla
lunghezza di un messaggio. Codici perfetti: i codici di Hamming (binari e non,
derivati, a parole).
Il modello di canale di Shannon: equazioni di canale, le cinque entropie associate al
canale informazione mutua, capacità di un canale. Irrilevanza, equivocazione,
diagramma di Berger. Il canale binario simmetrico, canali uniformi in ingresso e/o
in uscita. Il secondo teorema di Shannon e le sue implicazioni.
L’esame:
L’esame verterà sul contenuto dei manuali di riferimento. Più precisamente,
sull’intero Hamming, e sui capitoli 6, 7, 12 e 15 del Cover-Thomas (di questi
quattro capitoli non verranno chieste le dimostrazioni).
L’esame consisterà di una prova scritta, comprendente sia di domande teoriche, che
semplici problemi da risolvere. Voti maggiori di 27/30 dovranno essere confermati
mediante un ulteriore esame orale, da effettuarsi nella stessa sessione d’esame. In
alternativa, lo Studente potrà registrare l’esame con il voto di 27/30.
Le prove d’esame che non siano state registrate entro la sessione d’esame in cui
sono state sostenute dovranno essere ripetute.
Manuali di riferimento:
Richard Hamming, Coding and Information Theory, Prentice-Hall, 1986
Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, John Wiley &
Sons, New York, 1991
