shape-from-shading - Dipartimento di Fisica

SHAPE-FROM-SHADING
a cura di: Maurizio Falcone
Dipartimento di Matematica
Facoltà di Scienze Matematiche, Fisiche e Naturali
Università di Roma “La Sapienza”
Mostra “La Scienza Illumina”
28 Settembre -16 Ottobre 2015
Ricostruzione 3D: il problema di Shape-from-Shading
Se abbiamo una superficie illuminata e la fotografiamo otteniamo un’immagine, ad
esempio in toni di grigio. Questa immagine dipenderà dalle proprietà di riflessione della
superficie, dalla intensità della luce e dalla distanza dell’obiettivo dall’oggetto. Facile.
Il problema di Shape from Shading (SFS) è un problema inverso in Computer Vision.
Partendo da un’ immagine vogliamo ricostruire la superficie dell’oggetto rappresentato
nell’immagine stessa. Molto più difficile.
Per far questo occorre prima isolare l’oggetto di interesse, eventualmente attraverso
una segmentazione, ed utilizzare le informazioni sui toni di grigio contenute nell’immagine per ricostruire la superficie. Tradotto letteralmente, Shape-from-Shading sta per
ricostruzione della forma dall’ombreggiatura.
Il dato di partenza è l’immagine, composta da elementi puntiformi chiamati pixel
che racchiudono le informazioni cromatiche. In matematica, un’immagine in toni di
grigio I corrisponde ad una matrice di interi con valori compresi tra 0 e 255, dove 0
corrisponde al nero e 255 al bianco. Tuttavia per costruire il modello e sfruttare gli
strumenti dell’analisi, conviene passare da un modello discreto basato sugli interi ad
un modello continuo dove la matrice I diviene una funzione definita sul rettangolo Ω
dell’immagine ed a valori nell’intervallo (reale) [0, 1] (anche qui 0 è il nero ed 1 è il
bianco). In conclusione, l’immagine diventa una funzione I : Ω → [0, 1], dove Ω è il
dominio di ricostruzione. Il problema viene quindi riformulato cosı̀: data una funzione
I(x, y), con (x, y) ∈ Ω ⊂ R2 , vogliamo ricostruire su Ω la superficie z = u(x, y).
Per arrivare ad un modello differenziale, vengono introdotte delle ipotesi piuttosto
Figura 1: Rappresentazione schematica della riflessione della luce su una superficie.
restrittive che permettono di descrivere semplicemente il fenomeno di riflessione della
luce sulla superficie.
Ipotesi 1: la sorgente luminosa si trova all’infinito nella direzione di ω ∈ R3 , cosı̀ i raggi
di luce sono tutti paralleli
Ipotesi 2: la superficie dell’oggetto è perfettamente diffusiva (superficie Lambertiana):
l’unica cosa che conta è l’angolo che η (normale esterna alla superficie) forma con il
vettore ω (direzione della luce incidente)
Ipotesi 3: la distanza dell’obiettivo è grande rispetto all’oggetto, in questo modo si eliminano le deformazioni prospettiche.
1
Sotto queste ipotesi il problema di Shape-from-Shading corrisponde ad una equazione
di irradianza abbastanza semplice da scrivere perchè il valore del tono di grigio I(x, y)
dipende dal prodotto scalare tra la normale alla superficie in (x, y) e la direzione della
sorgente di luce (all’infinito) ω, cioè
I(x, y) = ρ η(x, y) · ω,
dove ρ è un parametro che descrive le proprietà fisiche dell’oggetto (albedo). Ricordando
che per un grafico z = u(x, y) la normale è data da
1
(−ux , −uy , 1),
η(x, y) = p
1 + |∇u|2
si arriva alla seguente equazione generale
I(x, y) p
1 + |∇u(x, y)|2 + (ω1 , ω2 ) · ∇u(x, y) − ω3 = 0,
ρ
∀(x, y) ∈ Ω,
un’equazione non lineare alle derivate parziali del primo ordine.
Figura 2: Ambiguità concavo/convesso: in generale non c’è unicità della soluzione.
Sfortunatamente questa equazione non ha in generale una soluzione unica, anche
nel caso in cui vengono aggiunte le condizioni sul bordo ∂Ω (ad esempio supponendo
che l’oggetto sia appoggiato su uno sfondo piatto e dunque u(x, y) = 0 sullo sfondo).
Il molte situazioni il modello non è in grado di distinguere una superficie concava da
una convessa, se si usa solo una immagine. La situazione si complica se si accettano
anche superfici non regolari, ma questa esigenza è naturale se pensiamo alle superfici
degli oggetti che vediamo. Per risolvere l’ambiguità concavo/convesso occorre fissare dei
punti sulla superficie oppure usare più di una immagine. Possiamo usare due immagini
ottenute da punti di vista diversi (come i nostri occhi) e le stesse condizioni di luce
(visione stereoscopica) oppure due o più immagini ottenute dallo stesso punto di vista
sotto condizioni di luce diverse (visione sterofotometrica) provenienti da varie direzioni
ω i , i = 1, . . . , k. In questo caso si ottiene quindi un sistema di equazioni non lineari
Ii (x, y) = ρ η(x, y) · ω i ,
∀(x, y) ∈ Ω,
i = 1, . . . , k,
dove k rappresenta il numero di immagini che entrano in gioco.
Nel corso degli anni si è cercato di ridurre le ipotesi restrittive sul modello. Ad
esempio è stato studiato un modello più realistico che prende in considerazione una
2
Figura 3: Lena (sinistra), una sua ricostruzione 3D (destra).
distanza reale tra l’obiettivo e l’oggetto in modo tale da descrivere le deformazioni
prospettiche, sono stati formulati nuovi modelli in cui la superficie non è lambertiana
(modelli di Oren-Nayar, Phong) e sono state considerate anche le ombre nere proiettate
dall’oggetto in presenza di luce obliqua.
Nonostante gli avanzamenti, il problema generale della ricostruzione 3D ha ancora molte
questioni aperte.
Approfondimenti e links
1. https://en.wikipedia.org/wiki/Photometric stereo
2. http://people.csail.mit.edu/bkph/articles/Shape from Shading.pdf
3. A. Chambolle, A uniquiness result in the theory of stereo vision: coupling Shape
from Shading and binocular information allows unambiguous depth reconstruction,
Annales de l’IHP Analyse non linéaire, 11 (1994), 1-16.
4. J. D. Durou, M. Falcone, M.Sagona, Numerical methods for shape-from-shading:
A new survey with benchmarks, Computer Vision and Image Understanding, 109
(2008), 22-43.
5. B. K. P. Horn, M. J. Brooks, The Variational Approach to Shape from Shading,
Computer Vision, Graphics, and Image Processing, 33 (1986), 174-208.
6. P. L. Lions, E. Rouy, A. Tourin, Shape-from-Shading, viscosity solutions and edges,
Numerische Mathematik, 64 (1993), 323-353.
7. R. Mecca, M. Falcone, Uniqueness and approximation of a Photometric Shapefrom-Shading model, SIAM Journal on Imaging Sciences, 6 (2013), 616-659.
8. E. Prados, O. Faugeras, Shape from Shading: a well-posed problem?, Computer
Vision and Pattern Recognition, IEEE Computer Society Conference on Vol. 2,
(2005).
3