I Sistemi Biometrici: riconoscimento del volto

I Sistemi Biometrici:
riconoscimento del volto
Michele Nappi,
Nappi, Ph.D
Università degli Studi di Salerno
13/05/2014
[email protected]
biplab unisa it
biplab.unisa.it
089--963334
089
Riconoscimento facciale
1
Perché il volto
• I due più importanti fattori che sanciscono il successo di
una biometria sono Affidabilità e Accettabilità
• Il riconoscimento dell’iride è il sistema ppiù affidabile,, ma è
anche quello più intrusivo. Le impronte digitali sono più
facilmente accettate, ma non applicabili a soggetti non
consenzienti.
consenzienti
• Il volto ha un
un’accettabilità
accettabilità molto elevata,
elevata mentre
l’affidabilità deve essere ancora migliorata
13/05/2014
Riconoscimento facciale
2
Ulteriori Vantaggi
Keystroke Scan
0.3%
%
Facial Scan
11.4%
Hand Scan
10.0%
10 0%
Tasso di riconoscimento elevato in
condizioni controllate
Dispositivi di acquisizione facili da
di l
dislocare
nell’ambiente
ll’ bi t
Middleware
12.4%
Finger Scan
52.1%
Signature Scan
2.4%
Voice Scan
4.1%
Iris Scan
7.3%
Permette ll’interazione
interazione con
l’operatore umano
E poissibile integrarlo in sistemi di
controllo di ambiente da remoto
13/05/2014
Riconoscimento facciale
3
Verifica e Riconoscimento
• Verifica: Confronto Uno a Uno.
Uno. Conferma l’identità
dichiarata da un individuo
– Dichiarata mediante: carta di identità, codice utente, ...
• Riconoscimento: Confronto Uno a Molti.
Molti. Stabilisce
l’identità di un soggetto a partire da un insieme di persone
registrate
Ok
13/05/2014
Riconoscimento facciale
4
Struttura di un Riconoscitore Facciale (2)
Face Detector
• Il primo step di un sistema
automatico è un face
detector.
• Infine la regione estratta
viene segmentata,
associando
i d un significato
i ifi
semantico a ciascuna zona
del volto.
13/05/2014
Riconoscimento facciale
Face
Segmentattion
S
• A partire dall’immagine
dall immagine, si
estrae la regione contenente
unicamente il volto.
Occhio
Sinistro
Occhio
Destro
Naso
Bocca
5
Struttura di un Riconoscitore Facciale (1)
•
Si associa un insieme di caratteristiche
all’identità di un soggetto
– Raccolta dei dati ed estrazione delle
caratteristiche
•
Si estrae il template
p
dal volto del soggetto
gg
che richiede di essere autenticato
– Raccolta dei dati ed estrazione delle
caratteristiche
•
Il modello estratto (template) è
memorizzato in un database o su un
supporto portatile (smart card)
•
Il modello estratto (template) è cercato
all’interno di in un database o su un
supporto portatile (smart card)
•
Questo processo può essere effettuato
singolarmente o in blocco (batch
enrollment)
•
Un criterio di matching stabilisce se il
soggetto deve essere autorizzato o no.
Enrollment
13/05/2014
Riconoscimento facciale
Testing
6
Sistemi esistenti in Letteratura
Image Based
3D
•ICA
•3D Morphable Models
•Neural Networks
•Eigenfaces
Feature Based
•Elastic Graph Matching
Hybrid
•Fractals
•Wavelets
W
l t
13/05/2014
Riconoscimento facciale
7
Cos
Cos’èè la PCA
• Tecnica statistica che trasforma in modo lineare un
insieme di variabili in un insieme più piccolo di
nuove variabili incorrelate tra loro
• Spesso,
Spesso in presenza di un numero elevato di
variabili correlate, è diffcile capire l’importanza
delle variabili e le relazioni che tra esse intercorrono
• L’analisi delle componenti principali consente di
sintetizzare l’informazione a disposizione
p
in un
insieme ridotto di variabili
13/05/2014
Riconoscimento facciale
9
13/05/2014
Riconoscimento facciale
10
13/05/2014
Riconoscimento facciale
11
13/05/2014
Riconoscimento facciale
12
13/05/2014
Riconoscimento facciale
13
13/05/2014
Riconoscimento facciale
14
13/05/2014
Riconoscimento facciale
15
13/05/2014
Riconoscimento facciale
16
13/05/2014
Riconoscimento facciale
17
Passi della PCA
• Individuazione della matrice di covarianza
–
–
rappresenta la variazione di ogni variabile rispetto alle altre (inclusa se stessa)
Ogni elemento sulla diagonale è la varianza del carattere, gli altri rappresentano la covarianza .
Nel caso in cui questo valore sia positivo, significa che al crescere di una carattere, cresce
anche ll'altro
altro. Nel caso in cui questo valore sia negativo,
negativo accade il contrario.
contrario Se i caratteri sono
statisticamente indipendenti, questo valore è 0 (l'implicazione inversa non è necessariamente
verificata).
• Estrazione delle Componenti Principali Yi :
– Y = WPCAX
WPCA =
Calcolo Eigenfaces
• Poche “tipologie di facce” descrivibili
p
relativamente piccolo;
p
;
mediante un sottospazio
• Utilizzo di tecniche di PCA(
PCA(Karhunen
Karhunen--Loève)
Loève)
per la definizione degli elementi caratterizzanti
la distribuzione delle facce;
• Si risolve un problema di Pattern Recognition
su oggetti indicati come “Eigenfaces”;
Eigenfaces ;
Eigenfaces – sistemi lineari
Immagini in Input
Media su tutte i volti A ciascun vettore togliamo la media
Li
Linearizzazione
i
i
Risolvendo un particolare sistema lineare
estraiamo
i
un insieme
i i
di volti
l i di riferimento.
if i
13/05/2014
Ciascun volto viene rappresentato come una combinazione
dei volti di riferimento. I coefficienti utilizzati per la
rappresentazione costituiscono il vettore di caratteristiche
Riconoscimento facciale
20
Vantaggi e Svantaggi
• La fase di identificazione
è veloce.
veloce
• Se si conservano ggli
autovettori è possibile
ricostruire l’informazione
originaria
originaria.
• La fase di training è lenta.
• Se si aggiunge un numero
consistente di nuovi
soggetti è necessario il
retraining del sistema.
• Elevata sensibilità a
variazioni di
illuminazione, posa,
occlusioni, …
13/05/2014
Riconoscimento facciale
21
Sistemi basati su Grafi
•
Att
Attraverso
filt
filtrii e funzioni
f i i di localizzazione
l li
i
vengono localizzati
l li ti sull
volto un insieme di punti di riferimento.
•
Questi punti vengono collegati da archi pesati e si ottiene un grafo.
•
Ad ogni volto è associato un grafo, per cui confrontare due volti
significa confrontare due grafi.
13/05/2014
Riconoscimento facciale
22
Vantaggi e Svantaggi
• Sono robusti rispetto
alle variazioni di posa
• Sono
S
robusti
b i rispetto
i
alle variazioni di
illuminazione
• Il processo di testing è
molto lento perché
richiede il confronto
fra grafi (NP
(NP--Hard).
Hard)
• Non
N richiedono
i hi d
il
retraining del sistema
13/05/2014
Riconoscimento facciale
23
Termogramma
• L’immagine del volto viene acquisita mediante un
sensore termico.
• Il sensore rileva le variazione di temperatura
dell’epidermide
p
del volto.
• L’immagine viene segmentata e indicizzata.
13/05/2014
Riconoscimento facciale
24
Vantaggi e Svantaggi
•
Sono robusti rispetto alle
variazioni di illuminazione
•
Richiedono dispositivi di
acquisizione costosi
•
Sono robusti rispetto alle
variazioni di tempo
•
•
Sono efficienti anche in caso di
ambienti esterni
I dispositivi di acquisizione
sono troppo sensibili ai
i
ti del
d l soggetto
tt e
movimenti
offrono limitate risoluzioni
•
Di d
Dipendono
dallo
d ll stato
t t emotivo
ti
del soggetto
•
La presenza
presen a di unn vetro
etro fra il
soggetto e il dispositivo rende
inefficace l’acquisizione.
13/05/2014
Riconoscimento facciale
25
Problemi aperti
• Il face recognition è un caso specifico di «Pattern
«Pattern Recognition».
Recognition».
• Questo problema è reso particolarmente difficile dai fattori che
possono influenzare l’aspetto dell’oggetto in questione: il volto.
volto.
•
Illuminazione e Posa sono i problemi più ampiamente affrontati.
• Le Occlusioni degradano in maniera significativa le prestazioni di
quasi tutti i classificatori, tuttavia poco è stato fatto per ovviare a
questo problema.
• Le varizioni di tempo e l’età
l’età possono modificare profondamente
l’aspetto di un volto facendo fallire il riconoscimento del soggetto.
13/05/2014
Riconoscimento facciale
26
Illuminazione (1)
• Le condizioni di illuminazione di un ambiente cambiano
molto durante la ggiornata,, tra giorni
g
diversi,, all’interno o
all’esterno.
• Le luci dirette proiettate sul volto producono ombre e zone
iperilluminate..
iperilluminate
• I classificatori falliscono perché a causa di tali variazioni il
vettore di caratteristiche associato ad un soggetto
diversamente illuminato può risultare più vicino ad un
soggetto diverso con la stessa illuminazione, piuttosto che
allo stesso soggetto con una diversa illuminazione.
13/05/2014
Riconoscimento facciale
27
Illuminazione (2)
• Esistono tre tipologie di algoritmi che cercano di gestire le
variazioni di illuminazione nel FR:
– Shape from Shading
Shading:: a partire dai toni di grigio di una o più immagini si
estrae la forma 3D del volto.
– Representation Based Methods
Methods:: si utilizzano classificatori che per la loro
natura intrinseca risultano essere robusti rispetto alle variazioni di
illuminazione.
– Generative
i Methods:
Methods
h d : a partire
i da
d un modello
d ll 3D del
d l volto
l sii genera un
ampio set di immagini con il maggior numero possibile di variazioni di
illuminazione, successivamente utilizzate per l’enrollment del soggetto.
13/05/2014
Riconoscimento facciale
28
Posa
• In diverse applicazioni la posa del soggetto durante il
testing può essere diversa da quella fissata
nell’enrollment.
• I sistemi che affrontano il problema della posa sono
divisi in due categorie:
– Sistemi MultiMulti-View:
View: le immagini nella gallery rappresentano il
soggetto in tutte le pose possibili.
– Sistemi a correzione della posa:
posa: a partire dall’immagine di testing
il sistema deduce la posa del soggetto, cercando di correggerla.
13/05/2014
Riconoscimento facciale
29
Occlusioni
Ci sono diversi tipi di
occlusioni che possono
coprire
i parzialmente
i l
il volto
l
•Occhiali da sole
•Sciarpe
•Trucco
•Errori di acquisizione
•Rumore
Gli algoritmi di riconoscimento
devono essere tolleranti a tali occlusioni
13/05/2014
Riconoscimento facciale
30
Occlusioni
•
Le possibili occlusioni che
possono interessare la zona del
volto
lt sono diverse:
di
occhiali
occhiali,
hi li,
sciarpe,, capelli
sciarpe
capelli,, trucco
trucco,, …
•
Il numero di contributi
t ib ti
significativi in letteratura è
molto ridotto, non più di
e/qua o pubblicazioni.
pubb ca o .
tre/quattro
•
L’idea di base consiste nel
rendere l’informazione locale,,
cosicché occlusioni su una zona
del volto non influenzano il
classificatore delle altre zone.
13/05/2014
Riconoscimento facciale
31
Variazioni di tempo ed Età
•
Variazioni di tempo anche di una
sola settimana fra due immagini di
uno stesso soggetto
soggetto, riducono le
prestazioni del sistema.
•
Tecniche come il termogramma
g
sono più robusti rispetto a queste
variazioni.
•
Le variazioni di età incidono in
maniera ancora maggiore.
•
Un sistema robusto alle variazioni
di età è utile in applicazioni del
tipo: identificazione di ricercati
ricercati,,
ricerca di persone scomparse.
scomparse.
13/05/2014
Riconoscimento facciale
32