Applicazioni delle probabilità generalizzate alla computer vision

Alcuni aspetti della
teoria delle probabilità
generalizzate
Fabio Cuzzolin
NAVLAB - Laboratorio di visione e navigazione autonoma
Dipartimento di Ingegneria dell’Informazione
Università di Padova
Politecnico di Milano, 16 settembre 2002
Obiettivi della presentazione
introdurre la teoria dell’evidenza
presentare alcuni problemi di visione
approfondire gli sviluppi teorici stimolati
da questi problemi
accennare alle prospettive future
2
Parte I
La teoria dell’evidenza
Descrizioni dell’incertezza
proposte numerose teorie per estendere
o sostituire la probabilità classica:
possibilità, fuzzy sets, random sets, capacità monotone
teoria dell’evidenza (A. Dempster, G. Shafer)
belief functions
regola di Dempster
frames
4
Belief functions
generalizzano le classiche
probabilità finite
P  A 

p( )


A

s A 
 m( B)
B2
B A
normalizzazione
 m( B)  1
B1
 elementi focali
B 
5
Assiomi
probabilità
2. p()  1
1. p()  0
additività: se A  B   allora p( A  B)  p( A)  p( B)
belief functions
1. s()  0
2. s()  1
superadditività
s( A1  ...  An )   s( Ai )   s ( Ai  A j )  ...  (1) n 1 s ( A1  ...  An )
i
i j
6
Mappe multivalore
mappa uno-molti 
Bel ( A)  Ps (s)  A
Q1, Q2 problemi di decisione a valori in S,T
P(s) probabilità su S
7
Regola di Dempster
sono combinate per mezzo della regola
di Dempster s, s '  s  s '
 m ( A )m ( B )
m( A) 
Ai
AiBj=A
Bj
Ai  B j  A
1
1
i
2
j
 m ( A )m ( B )
Ai  B j 
1
i
2
j
 intersezione degli elementi
focali
8
Esempio di combinazione
a1
s1:
m({a1})=0.7, m({a1 ,a2})=0.3
a3
a2
a4
s2:
m()=0.1, m({a2 ,a3 ,a4})=0.9
s1  s2 :
m({a1})=0.19, m({a2})=0.73
m({a1 ,a2})=0.08
9
Origine di Dempster
P1:
s1
S
S1
S2
P:
(s1,s2)
P2:

1
2
T
1(s1)
2(s2)
S  s1 , s2  S1  S2 1 s1   2 s2   
 s1 , s2   1 s1   2 s2 
s2
P  P1  P2
S
10
Tipi di belief functions
semplici: un solo elemento focale (+)
m(A)+m()=1
A

separabili: somma di b.f. semplici
Bayesiane: probabilità
m( A)  0  A  1
11
.0
Famiglie di frame
.1
.0
.1
.00 .01 .10 .11
0.00
.2
.3
.4
 refining
0.09
0.49
 raffinamento comune
0.90
0
0.25
0.5
0.75
0.99
 esempio: una funzione y  [0,1] è valutata
tramite tre misure quantizzate
1
12
Bayes vs Dempster
La ToE generalizza il formalismo
Bayesiano perché
le probabilità discrete sono una particolare
classe di belief functions
la regola di Bayes è un caso particolare
della regola di Dempster
prevede una rappresentazione
multidominio della evidenza disponibile
13
Parte II
Alcuni problemi di visione
Visione artificiale
scopo: riprodurre funzioni visive naturali
al calcolatore
diversi ambiti: riconoscimento, stima di
moto e scena, classificazione di immagini
due applicazioni:
object tracking
data association
15
Object tracking
problema: ricostruire la posa di un corpo
articolato a partire dalle immagini
CAMERA
T=0
qˆ tk   Q
t=T
CORPO ARTICOLATO
16
Fusione di feature
dalle immagini si estraggono misure o
feature (es. colore, forma, intensità)
èsoluzione
utile integrare
più feature
naturale
nella per
ToEottenere
una stima robusta
spesso le feature non hanno relazione
analitica tra loro (es. colore e forma)
17
Modello evidenziale
1
2
n
 raffinamenti
 spazio dei parametri approssimato
(traiettoria campione)
 spazi di feature
discretizzati
Q
Q
 spazio dei parametri
ignoto
18
Discretizzazione
traiettoria campione
~
Q  qtk , k  1,..., T 
hidden Markov models
19
Algoritmo di tracking
alcune feature
sono estratte f ,...,
1
dall’immagine
le feature sono
f n tradotte in 1
belief functions
s ,..., s
queste belief
n functions sono ~
proiettate su Q
I (t )
sono combinate
tramite
Dempster
s è approssimata
p
da una
n
probabilità p
s  s1  ...  s
 sˆ
si calcola una
stima puntuale
qˆ t    p(q)  q
qQˆ
20
Inseguimento robot planare
 traiettoria (verde) - stime (rosso)
 PantoMouse (Lab.
Elettronica Industriale)
21
Data association
I(t)
I(t+1)
 ricerca delle corrispondenze tra punti di due immagini
consecutive corrispondenti ad uno stesso punto 3D
 metodo standard: JPDA
22
Body tracking
anca dx
ginocchio dx
anca sx
marcatore
ginocchio sx
 applicazione: tracking di feature-points corrispondenti a
marcatori disposti su un corpo umano in movimento
23
Informazioni di forma
 modello JPDA: target
indipendenti
Z
Z
 modello di forma: link rigidi
Y
X

Y
 fusione con Dempster
X
 +robustezza: ff non soddisfano vincoli di forma
 stima delle occlusioni
24
Esempio di tracking
 tracking di un corpo umano: ambiguità quando il
clutter si trova alla stessa distanza del target
25
Parte III
Verso una teoria delle
probabilità generalizzate
Estendere la ToE
analisi algebrica
analisi geometrica
Teoria
dell’evidenza
analisi combinatoria
analisi probabilistica
analisi categoriale?
27
Geometria delle belief functions
Belief space
è lo spazio delle belief functions definibili
su un frame S  s : 2  0,1
 ad ogni sottoinsieme A
 coordinata A-esima s(A)
ha la forma di un simplesso
S  Cl ( PA , A  )
29
Geometria globale di 
regola
Dempster
e
chiusura
convessa
s  Pdi

P
y
y
commutano
P
s  Cl (s1 ,..., sn )  Cl (s  s1 ,..., s  sn )
s
s
sottospazi condizionati: futuro di s
S
s  Px  Px
s  s  t , t  S  Cl (s  PA , A  Cs )
P
esempio: frame binario ={x,y}
30
Geometria locale di 
analisi puntuale
decomposizione in
termini di Bayes
fuochi di un
sottospazio
FA  lim s  (1  k ) PA
k  
31
Approssimazioni
non esistono momenti (media, varianza)
problema: estrarre una stima puntuale
da una belief function s
criterio esterno
la approssimazione si comporta come s
quando viene combinata tramite Dempster
sC  arg min
sC
 s  t  s  t
p
dt
t
32
Algebra dei frame
Indipendenza e conflitto
non sempre s1,…, sn sono combinabili
dei frame 1,…, n sono indipendenti se
1 ( A1 )  ...  n ( An )  ,   Ai  i
s1,…, sn qualsiasi sono combinabili 
sono definite su frame indipendenti
34
1F
Reticolo dei frame
W
relazione d’ordine:
essere raffinamento

W
reticolo semimodulare
W
raffinamento minimo   W = sup
coarsening massimo   W = inf
35
Gram-Schmidt?
frame e spazi vettoriali sono reticoli
semimodulari  ammettono indipendenza
pseudo Gram-Schmidt
1 ,...,  n  F
s1 ,..., sn
 '1 ,..., 'm  F

s '1 ,..., s 'm
nuovo insieme di b.f. sicuramente combinabili
36
Analisi combinatoria
Belief totale
generalizzazione della probabilità totale
 vincolo a-priori
 vincolo condizionale
38
Esistenza
soluzione candidata: sistema lineare nn Ax  b
dove le colonne di A sono gli elementi focali di stot
scelta tra m colonne, in modo t.c. x abbia tutte
componenti positive
sostituzione di colonne tramite
e  e  e   ei   e j
i
j
39
Grafi di soluzioni
le soluzioni candidate formano un grafo
archi = trasformazioni lineari
40
Tra teoria e applicazione
OBJECT TRACKING
DATA ASSOCIATION
CONFLITTO
TRA MISURE
STIMA
PUNTUALE
VINCOLI
CONDIZIONATI
ANALISI
ALGEBRICA
ANALISI
GEOMETRICA
BELIEF TOTALE
 la soluzione dei problemi stimola estensione e
approfondimento della teoria
41
Parte IV
Prospettive
Nuovi obiettivi...
analisi algebrica
analisi geometrica
Teoria
dell’evidenza
analisi combinatoria
analisi probabilistica
analisi categoriale?
43
Decomposizione canonica
unica decomposizione di s in b.f. semplici
s  e1  ...  en
s  Py  Py
ey
s
s  Px  Px
ex
soluzione usando la geometria convessa
44
Geometria dei fuzzy set
i fuzzy set sono una classe di belief functions
(misure di possibilità)
hanno la geometria di un complesso
simpliciale
problema della approssimazione
possibilistica
45
Indipendenza lineare
indipendenza su reticoli semimodulari
LI3
LI1
LI1
LI2
L semimodulare
LI2=LI3
L modulare
equivalenza tra indipendenza “interna”
ed “esterna”
46
Tracking di corpi rigidi
 data association di punti appartenenti a un corpo rigido
m-1m
vecchie stime
Am-1
associazioni modello
- misure passate
nuove stime
Am
associazioni modello
- misure correnti
associazioni tra misure
passate e correnti
m-1m

Am-1
vincoli di moto
rigido
filtri di
Kalman
Am-1 ()
Am
 = Am-1  m-1m
 i vincoli di moto rigido sono descrivibili
come b.f. condizionate  belief totale
47
Sviluppi della belief totale
completamento (caso generale, numero di
soluzioni, simmetrie)
relazioni con i sistemi positivi
geometria del problema nei sottospazi
condizionati
omologia dei grafi di soluzioni
interpretazione come matroidi
48
Processi generalizzati
serie di belief functions
limiti di somme di Dempster s1 …  sn
processo associato ad una sequenza di
s1 ... sn ...
belief functions
approssimazione 
pˆ 1

pˆ n
deve esistere una funzione misurabile su 
49
Una ToE del continuo
la teoria è stata sviluppata solo per il
caso finito
esiste una estensione delle belief
functions: i random set
non esiste una estensione della regola di
Dempster
formalismo delle categorie?
50
…concludendo
la teoria dell’evidenza nasce da una critica
forte dell’impostazione Bayesiana
utile in problemi di sensor fusion o sotto
informazione incompleta
la soluzione dei problemi stimola
l’estensione del formalismo stesso
oggetti più complessi  maggior ricchezza
teoria ancora giovane  completamento
51