Università Politecnica delle Marche
Facoltà di Ingegneria
Sistema ibrido per l'apprendimento
continuo
di reti neurali
Relatore:
Prof. Aldo Franco Dragoni
Correlatore:
Ing. Germano Vallesi
Candidato:
Pasquale Sconciafurno
• AMBITO: biometria, belief revision, reti
neurali
• MOTIVAZIONI: gestione del
riconoscimento facciale in presenza di
cambiamenti delle caratteristiche degli
individui
• OBIETTIVI: esplorare la possibilità di
utilizzare sistemi ibridi (simbolico e
neuronale)
• RISULTATI: definizione di un sistema ibrido
basato su reti neurali multiple,
supervisionate da uno strato simbolico
Motivazione
Rete Neurale
SISTEMA RICONOSCIMENTO
FACCIALE OLISTICO
Motivazione
Rete Neurale
SISTEMA RICONOSCIMENTO
FACCIALE OLISTICO
Motivazione
Fronte
Belief
Revision
SISTEMA
RICONOSCIMENTO
Occhio S
FACCIALE
MODULARE
Naso
Bocca
Sintesi
Soluzioni
Occhio D
Obiettivi
• Sistema ibrido di riconoscimento facciale:
– basato su reti neurali multiple
– condizionamento Bayesiano per la risoluzione dei
conflitti
– risposta del sistema basata sulle risposte delle
singole reti
– auto aggiornamento della conoscenza sulla base
delle convinzioni del gruppo
Obiettivi
Fronte
Belief
Revision
SISTEMA
RICONOSCIMENTO
Occhio S
FACCIALE
MODULARE
Naso
Bocca
Sintesi
Soluzioni
Occhio D
Estrazione Caratteristiche
Learning Vector Quantization
M
• Classificatori Multinomiali di tipo
probabilistico con algoritmo di
apprendimento
competitivo
e
supervisionato
• Ad ogni classe vengono assegnati
alcuni vettori chiamati codebook
• Tramite la regola K-nearestneighbor si assegna la classe a un
vettore in ingresso alla rete
X1
…
X2
N
XN
LVQ: addestramento
• addestramento supervisionato:
<pattern_ingresso,uscite_desiderate>
• si cerca il nodo vincente, confrontando il
vettore di ingresso con i codebook di ogni
nodo per cercare il nodo che ha il
codebook più vicino all’input.
• si, modificano i pesi del nodo:
knew kold ( x p kold ) se T Ck
knew kold ( x p kold ) se T Ck
Belief Revision
Nogoods
Bocca: G|L
Fronte: B|P
Bocca: G|L
OcchioD: B|M
Estrazione
Feature
Naso: B|G
Bocca: G|L
Fronte: B|P
OcchioD: B|M
OcchioS: B|O
Bocca: G|L
OcchioS: B|O
Goods
Naso: B
Fronte B
OcchioD: B
OcchioS: B
Knowledge Base
Naso: G
Bocca: G
Source
A-priori Reliability
Naso
0.9
Bocca
0.9
Fronte
0.9
OcchioD
0.9
OcchioS
0.9
Bayesian
Conditioning
Condizionamento Bayesiano 1/2
• Se S’ S, la probabilità che le fonti in S’ siano
affidabili è:
R(S') R(s) ( 1 R(s))
sS'
sS'
Questa probabilità può essere calcolata per ogni S’,
col vincolo:
R( S ' ) 1
S '2 S
Condizionamento Bayesiano 2/2
Nogoods
Bocca: G|L
Fronte: B|P
Bocca: G|L
OcchioD: B|M
Estrazione
Feature
Naso: B|G
Bocca: G|L
Fronte: B|P
OcchioD: B|M
OcchioS: B|O
A-priori Reliability
Naso
0.9
Bocca
0.9
Fronte
0.9
OcchioD
0.9
OcchioS
0.9
Bocca: G|L
OcchioS: B|O
Goods
Naso: B
Fronte B
OcchioD B
OcchioS: B
Knowledge Base
Source
Naso: G
Bocca G
Bayesian
Conditioning
Source
A-posteriori
Reliability
Naso
0.8357
Bocca
0.008
Fronte
0.8277
OcchioD
0.8920
OcchioS
0.8277
Per ottenere la
nuova affidabilità
della singola
sorgente si a questo
punto si sommano
tutte le affidabilità
degli 2s insiemi che
la contengono
Algoritmi di selezione
Consentono di selezionare il soggetto più probabile a
partire dalle risposte delle reti e dalle loro affidabilità a
posteriori.
Algoritmi:
• Inclusion Based
• Inclusion Based Pesato
• Algoritmo Pesato
Algoritmi di selezione 1/2
Source
Affidabilità
A-posteriori
Naso
0.8357
Bocca
0.008
Fronte
0.8277
OcchioD
0.8920
OcchioS
0.8277
Goods
Naso: B
Fronte B
OcchioD B
OcchioS: B
Inclusion
Based
Naso: G
Bocca G
B
L’algoritmo di selezione Inclusion
Based seleziona il Good più credibile
sulla base delle affidabilità a posteriori
delle reti:
1. Si selezionano tutti i Good con la rete
più affidabile
2. Se l’insieme è unico, l’alg. si arresta,
e quello è il Good più credibile
3. altrimenti si riparte dal punto 1 con la
seconda fonte più affidabile
Nell’ Inclusion Based Pesato si associa
un peso ad ogni insieme Good (la
somma delle distanze euclidee tra input
e codebook) e in caso di parità di
affidabilità a posteriori si associa alla
rete il peso minore dei good in cui è
presente una risposta della rete.
Algoritmi di selezione 2/2
Algoritmo Pesato:
Per ogni rete si ordinano i nodi in base alla distanza
euclidea tra il codebook e il pattern in ingresso;
Viene assegnato un punteggio ad ogni nodo in base
alla posizione relativa nell’ordinamento;
È associata una credibilità agli insiemi di Good sulla
base di questi punteggi.
Retroazione
Si può sfruttare la conoscenza del gruppo di reti neurali per
forzare l’apprendimento della rete che sta sbagliando.
Bocca
Fronte
Occhio D
Occhio S
Naso
Bocca
Belief
Revision
SISTEMA
RICONOSCIMENTO
Occhio S
FACCIALE
Naso
MODULARE
Occhio D
Sintesi
Soluzioni
Fronte
Retroazione
Si può sfruttare la conoscenza del gruppo di reti neurali per
forzare l’apprendimento della rete che sta sbagliando.
Bocca
Fronte
Occhio D
Occhio S
Naso
Bocca
Belief
Revision
SISTEMA
RICONOSCIMENTO
Occhio S
FACCIALE
Naso
MODULARE
Occhio D
Sintesi
Soluzioni
Fronte
Retroazione
Si può sfruttare la conoscenza del gruppo di reti neurali per
forzare l’apprendimento della rete che sta sbagliando.
Bocca
Fronte
Occhio D
Occhio S
Naso
Bocca
Belief
Revision
SISTEMA
RICONOSCIMENTO
Occhio S
FACCIALE
Naso
MODULARE
Occhio D
Sintesi
Soluzioni
Fronte
Retroazione
Si può sfruttare la conoscenza del gruppo di reti neurali per
forzare l’apprendimento della rete che sta sbagliando.
Bocca
Fronte
Occhio D
Occhio S
Naso
Bocca
Belief
Revision
SISTEMA
RICONOSCIMENTO
Occhio S
FACCIALE
Naso
MODULARE
Occhio D
Sintesi
Soluzioni
Fronte
Retroazione
Si può sfruttare la conoscenza del gruppo di reti neurali per
forzare l’apprendimento della rete che sta sbagliando.
Bocca
Fronte
Occhio D
Occhio S
Naso
Bocca
Belief
Revision
SISTEMA
RICONOSCIMENTO
Occhio S
FACCIALE
Naso
MODULARE
Occhio D
Sintesi
Soluzioni
Fronte
Setup Sperimentale
Il database “ORL”: 10 immagini per 40 soggetti, per alcuni
le immagini sono state prese in differenti condizioni di
luminosità e in differenti ore dello stesso giorno. Alcune
delle 10 foto sono differenti fra di loro (con occhiali senza
occhiali …)
Modifiche al database “ORL” per simulare un’evoluzione dei
soggetti.
Risultati Sperimentali
Esempio di andamento dell’affidabilità delle reti
a) Senza Retroazione
b) Con Retroazione
Risultati Sperimentali
No Retroazione
Testset_mod
Retroazione
Alg.Pesato
Incl. Based
Alg.Pesato
Incl. Based
89.80%
77,55%
94,46%
86,97%
Retr. WA
WA
94.46%
Retr. InclBW
Incl.BW
89.80% 86.97%
77.55%
Conclusioni & Sviluppi futuri
• I risultati sperimentali hanno dimostrato che il
sistema consente di seguire efficacemente
l’evoluzione delle caratteristiche dei soggetti.
• In particolare la retroazione consente di
utilizzare i contributi di tutte le reti neurali per
la scelta del Good più credibile.
• In futuro il sistema sarà testato impiegando
un numero maggiore di reti neurali;
• Inoltre si testerà il sistema con il nuovo db.
Grazie per l’attenzione
