By prof. Camuso Misura del grado di incertezza (medio) dei messaggi emessi da una sorgente By prof. Camuso Dobbiamo prima definire il logaritmo in base 2 di un numero By prof. Camuso Dobbiamo prima definire il logaritmo in base 2 di un numero N, N>0 log2N è l’esponente da dare alla base 2 per ottenere quel numero By prof. Camuso log20 = ??? IMPOSSIBILE! By prof. Camuso log21 = ??? 0, infatti 20=1 By prof. Camuso log22 = ??? 1, infatti 21=2 By prof. Camuso log28 = ??? 3, infatti 23=8 By prof. Camuso log219 = ??? 4,25 infatti 24,25=19 Ma sulla calcolatrice non c’è il logaritmo in base 2… come si fa? By prof. Camuso Sulla calcolatrice trovate infatti un log e un ln; ln ve lo condono perché è impossibile capire … By prof. Camuso ma log, facendo qualche prova ci si può arrivare! By prof. Camuso By prof. Camuso Che esponente bisogna dare al 7 per ottenere 125 ??? By prof. Camuso By prof. Camuso Immaginiamo che tutti i possibili mesaggi che possono essere emessi da una sorgente siano rappresentati dall’insieme ϗ = {x1, x2, x3, …, xn}. (dado) ϗ = {1, 2, 3, 4, 5, 6} By prof. Camuso Chiamiamo X la variabile che rappresenta il verificarsi di uno degli eventi (dado) ϗ = {1, 2, 3, 4, 5, 6} X=3 significa che è uscito il 3 By prof. Camuso By prof. Camuso Definiamo (Hartley) poi Entropia della variabile X su un insieme discreto e con eventi equiprobabili H(X) = log2N H(X) indica il numero minimo di bit necessari a codificare tutti i possibili stati (messaggi) By prof. Camuso L’Entropia misura il grado di incertezza medio dei messaggi emessi da una sorgente. Quindi rappresenta una stima del numero medio di bit necessari a codificare un messaggio proveniente da quella sorgente (è dimostrato che di meglio non si può fare) By prof. Camuso E se la moneta è truccata ? E se il dado è truccato? E se non tutte le lettere in un testo hanno la stessa probabilità di essere usate ? By prof. Camuso E se alcuni valori rilevati da un sensore hanno più probabilità di verificarsi di altri ? E se scopro che in una immagine un pixel si ripete molto più di altri? By prof. Camuso By prof. Camuso By prof. Camuso By prof. Camuso OTTIMALE (dimezzamento incertezza) NON OTTIMALE Messaggio Valor 0 = risposta no e del 1 = risposta sì dado Messaggio 0 = risposta no 1 = risposta sì 1 2 3 4 5 6 D1 D2 D3 D1 D2 D3 D4 D5 D6 0 0 0 1 1 1 0 0 1 0 0 1 0 1 1 0 0 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 1 0 1 0 1 (3+3+2+3+3+2)/6 = 2,66bit By prof. Camuso (1+2+3+4+5+6)/6 = 3,5bit By prof. Camuso By prof. Camuso Codici INTERNI (complemento a 2, IEEE 754 ecc.) Codici ESTERNI (ASCII, BCD, Hamming e molti altri) By prof. Camuso