Procedure d`orientamento automatico d`immagini

Low Cost 3D – WORKSHOP – Trento 8-9 Marzo 2012
Procedure d’orientamento d’immagini:
Test e Valutazioni Metriche
Silvio Del Pizzo, Fabio Remondino, Salvatore Troisi
Introduzione alla problematica
Software open source e free per la modellazione image based:
 Image triangulation (bundle): Bundler, Photosynth, Apero, etc.
 Dense image matching: PMVS, MicMac, etc.
 Structure from motion & 3D reconstruction: Photofly, Insight3D, Arc3D, etc.
 Interactive 3D reconstruction: Sketchup, VideoTrace, etc.
 Sviluppo continuo
 Alcune soluzioni sono/vengono utilizzate come black-boxes
 Gratis
Software Low-cost
 Interactive 3D reconstruction: PhotoModeler, iWitness, 3D-PCCI, etc.
 Dense image matching: Photomodeler Scanner
 Structure from motion & 3D reconstruction: Photomodeler Smart, Photosculpt,
Photoscan, etc.
La loro diffusione ha fatto nascere un’esigenza di inspection:
o L’affidabilità
o L’accuratezza e le precisioni in gioco
I software utilizzati
• Photoscan (Agisoft)
Commerciale - Lowcost
• Photosynth (Microsoft)
Free – su Webserver
• Bundler (University of Washingthon, USA)
Open Source
• Apero (MicMac IGN, FR)
How do they work …
o Tipico approccio e/o soluzioni utilizzate :
 Features extraction
SIFT / SURF algoritmi di blob detection
 Ricerca dei punti omologhi condotta per coppie d’immagini
mediante le librerie FLANN/ANN
 Outlier rejection
RANSAC e “figli”
 Costruzione del grafo delle immagini
 Least squares bundle adjustment per determinare i parametri delle
camere (esterni / interni)
Tali algoritmi sono provvisti di metodi robusti di Outlier-rejection/Data Snooping
Bundle adjustment → per risolvere ai minimi quadrati un sistema di
equazioni non lineari con metodi iterativi
Gauss-Markov / Gauss-Newton / Levenberg-Marquardt
Orientamento di dataset complessi: CERERE
Photosynth
Agisoft
Apero
Orientamento di dataset complessi: NAVONA
Bundler
Apero
Photosynth
Agisoft-Photoscan
Metodologia adottata per l’inspection
Orientamento
automatico delle
immagini
Modellazione
della forma
geometrica nota
CONFRONTO
RISULTATI STATISTICI
Orientamento
delle immagini
Con target circolari
Scaling
Accurato
Modellazione
della forma
geometrica nota
Individuazione di
punti caratteristici
Scaling
del progetto orientato
automaticamente
Individuazione di
punti caratteristici
Metodologia adottata per l’inspection 2
Orientamento
automatico delle
immagini
Scaling del
progetto
Esportazione degli
orientamenti
(sia interni che esterni)
Importazione
In Photomodeler
INSPECTION
sui target circolari
Problemi di sistema di riferimento…
o Per confrontare due modelli:
 Devono essere nello stesso sistema di riferimento
 Devono avere la stessa scala
o Soluzione adottata:
 Attraverso l’individuazione delle caratteristiche geometriche dell’oggetto
del rilievo
 Per il cubo gli 8 vertici
effettuando una rototraslazione con fattore di scala
 Per la sfera il raggio e il centro
effettuando una traslazione con fattore di scala
Sperimentazione Cubo Trentino
Camera: Nikon D3X (24 Mpixels)
obiettivo da 50 mm (GDS = 0.07 mm)
Reference: photogrammetric bundle scaled
on calibrated (reference) bar.
Parametri statistici del progetto
Numero di immagini
27
Raggi per punti 3D (media)
12
Angolo d’intersezione (media) [deg]
82
Punti per foto (media)
32
RMSE sui punti [mm]
0.0213
GSD medio
0.0639
Sperimentazione Cubo Trentino: confronti
Software
Agisoft
Apero
Photosynth
Bundler
Obj. 3D points
83 273
802 100
35 370
19402
Sperimentazione Cubo Trentino: confronti
In Photomodeler bloccando gli orientamenti…
Software
Photomodeler
Photosynth
Apero
Bundler
Differenza su
barra calibrata
0
-0,547
-0,379
0,220
RMS
(pixel)
0,325
7,149
3,440
3,961
Largest residual
(pixel)
1,11
25,03
9,78
16,60
Tightness
[max-min] (mm)
0,093-0,017
2,40-0,24
0,78-0,23
0,89-0,14
RMSE
(mm)
0,0575
0,611
0,141
0,365
Sperimentazione Sfera
Camera: Nikon D100 (6 Mpixels)
obiettivo da 35 mm (GDS = 0.17 mm)
Reference: photogrammetric bundle scaled
on calibrated (reference) bar.
Parametri statistici del progetto
Numero di immagini
67
Raggi per punti 3D (media)
17
Angoli d’intersezione (media) [deg]
88
Punti per foto (media)
30
RMSE sui punti [mm]
0,0185
GSD medio
0,179
Sperimentazione Sfera: confronti
Software
Agisoft
Apero
Photosynth
Bundler
Obj. 3D points
38 551
134 089
21 042
34 865
Sperimentazione Sfera: confronti
In Photomodeler bloccando gli orientamenti…
Software
Photomodeler
Photosynth
Apero
Bundler
Differenza su
barra calibrata
0
-0,967
-0,127
-0,501
RMS
(pixel)
0,198
7,235
0,714
2,088
Largest residual
(pixel)
0,89
28,93
3,47
29,35
Tightness
[max-min] (mm)
0,26 - 0,048
8,3-1,23
0,64-0,19
7,9 - 0,28
RMSE
(mm)
0,0185
0,6527
0,0695
0,1723
Ci sono modelli e modelli
L’orientamento interno è fondamentale in un rilievo fotogrammetrico
Software
Modello
Photosynth
Focale, K1,K2
Bundler
Focale, K1,K2
Agisoft
Brown Model
Apero
Brown Model et al.
Uno degli sviluppi futuri è fornire ai software immagini
idealizzate (ricampionate in modo da essere fedele al classico
modello della camera pinhole)
Awards
Il più veloce
PHOTOSYNTH
BUNDLER
Il più user-friendly
AGISOFT
APERO
Il più personalizzabile
APERO
PHOTOSYNTH
???????
PHOTOSYNTH
Il più preciso
Candidato: Apero
Considerazioni
I software di orientamento automatico hanno grande utilità nel processare
enormi dataset di immagini, risparmiando all’utente il noiso compito
dell’individuazione di tie-points.
Ma… cautela sui risultati:
• Precisioni si avvicinano ai metodi classici
• La personalizzazione consente, a scapito dell’automatismo, di
ottenere risultati migliori
Sviluppi futuri
• Testing con orientamento interno «controllato»
• Testing con nuovi dataset
• Testing su dataset reali
CP chi sono costoro?
Open strip (NO GCP)
Open strip (with GCP)
RINGRAZIAMENTI