DICA - Sez. Geodesia e Geomatica
Rilievi multispettrali da UAV per la
modellizzazione di edifici e del territorio:
esperienze condotte al Politecnico di Milano
R. Gini*, D. Passoni**, D. Pagliari*, L. Pinto***, G. Sona***
*Dottoranda; **Assegnista di ricerca; ***Docente
SOMMARIO
• Motivazioni e prime esperienze: il progetto FoGLIE
• Primi test (di volo e di modellizzazione 3D)
• La scelta del velivolo
• La scelta delle camere
• Analisi della qualità geometrica della Tetracam ADClite
• Test sui sw per il trattamento dell immagini da UAV
(Fotogrammetria vs Computer Vision)
• Alcune realizzazioni significative
2
3
MOTIVAZIONI E PRIME ESPERIENZE: IL PROGETTO FoGLIE
FoGLIE: Fruition of Goods Landscape in Interactive Environment
Progetto finanziato da Regione Lombardia (2011-2013)
• Differenti partner: 5 realtà imprenditoriali lombarde + Politecnico di Milano (DIIAR)
• Attività di ricerca e di sviluppo sperimentale di un prototipo
SVILUPPARE
una nuova guida
multimediale anche con
contenuti stereoscopici
utente attivo
INTEGRARE
fruibilità e monitoraggio
dei beni
PARCO ADDA NORD
PRIME ESPERIENZE CON DRONI (2011)
4
Elicotteri Helicam
Contenuti e video scenici
(anche in stereoscopia)
Quadrielica
Md-200
Immagini aeree ad alta
risoluzione: RGB & NIR
generazione di DSM
individuazione specie
arboree alloctone
ESPERIENZE DI MODELLIZZAZIONI 3D
5
Modellizzazione 3D da nuvole di punti fotogrammetriche
Villa Castelbarco
a Vaprio d’Adda (MI) (2012)
ESPERIENZE DI MODELLIZZAZIONI 3D
Modellizzazione 3D da nuvole di punti fotogrammetriche
(con rilievi a terra)
Vellutificio Velvis (Visconti di Modrone)
a Vaprio d’Adda (MI) (2012)
6
ESPERIENZE DI MODELLIZZAZIONI 3D
7
Diga Poiret a Paderno
d’Adda (MI) (2012)
Modellizzazione 3D da nuvole di punti
fotogrammetriche (acquisite da aereo,
da UAV e da terra)
PRIMO TEST RILIEVO MULTISPETTRALE (2011)
MD4-200
•
•
•
•
Parco Adda Nord: Medolago (BG)
Estensione: 120x100 m2
Variazione di quota: 15 m
Differenti tipi di copertura del suolo
• Triangolazione aerea con set
RGB
• Confronto con telemetria → non
usabile per orientamento diretto
• Immagini idonee per scopi di
modellizzazione 3D
• Creazione DSM: 0,10x0,10 m2, da
editare
8
Pentax Optio A40: RGB
Scopo geometrico (DSM)
PRIMO TEST RILIEVO MULTISPETTRALE (2011)
MD4-200
9
Sigma DP1: NIR
scopo radiometrico (classificazione)
• Ortofoto RGB & NIR: 0,05x0,05 m2
→ coregistrazione
Terreno
Robinia
Erba
Ombra
Olmo
Carpino
Cemento
Ailanto
• 10 variabili: 4 originali + 6 derivate
• Classificazione speditiva
unsupervised (ISOCLASS)
• Classificazione supervised
(con training samples)
10
SCELTA DEL VELIVOLO “PoliMI”
MULTIROTORE
MULTIROTORE
VS
.
+ Budget
+ Sistema aperto (camera,
navigazione, ecc.)
+ Payload
+ Governo della fotocamera
+ Prese ravvicinate
- Autonomia di volo
- Addestramento al pilotaggio
ALA FISSA
ALA FISSA
+
+
+
+
Autonomia di volo
Quota di volo
Copertura fotogrammetrica
Gestione del volo
-
Payload
Sistema chiuso (commerciale)
Governo della fotocamera
Budget
VELIVOLO PoliMI “WALL-P”
Esacottero MikroKopter personalizzato
•
•
•
•
•
•
•
Esacottero MikroKopter (RestArt)
Dimensioni: 70 cm + eliche 12’’
Peso al decollo: 1.2 kg + payload
Alimentazione: 2 batterie al litio 4000 mAh
Velocità: fino a 5 m/sec
Payload: fino a 500 g
Sistema di navigazione: NAV. Flight Control
GPS (MKGPS) LEA 4H Ublox
• Firmware: in costante aggiornamento
11
LA SCELTA DELLA FOTOCAMERA
12
Camere amatoriali con peso e dimensioni ridotte ottimali per UAV
Possibili limitazioni:
•
•
•
•
•
Sensori più piccoli di una reflex (rapporto S/N
sfavorevole)
Ottiche di qualità inferiore e meno stabili
Non sempre possono montare focali fisse
Obiettivi talvolta retrattili
Focale e distanza principale hanno valori non stabili
poiché all’invio del scatto si ha spesso un
riallineamento (seppur minimo) delle lenti
17a Conferenza ASITA: 5-7 novembre 2013 Riva del Garda (TN)
Distorsioni sulle
immagini non
trascurabili
13
CAMERE PoliMI
Nikon 1 J1
•
•
•
•
•
•
Peso: 310 g
Sensore: CMOS (3872x2592 pixel)
Mirrorless
Dimensione pixel: 3.5 m
Focale obiettivo: 10.5 mm
Immagini: RGB
Tetracam ADCLite
•
•
•
•
•
Peso: 200 g
Sensore: CMOS (2048x1536 pixel)
Dimensione pixel: 2,9 m
Focale: 8.5 mm
Immagini: 8 o 10 bit CIR (NIR+R+G)
approssimativamente equivalenti
alle bande TM2, TM3, TM4
14
QUALCHE CONSIDERAZIONE SULLA QUALITA’ DELLA ADClite
pannello Siemens per analisi
della risoluzione geometrica reale
↓
diverse aperture del diaframma a
diverse distanze: 30 m e 50 m
30 m
statico
I risultati migliori si ottengono con otturatore parzialmente chiuso
f/d = 4
1,4
30 m
dinamico
4
1,4
8
4
16
8
16
15
QUALCHE CONSIDERAZIONE SULLA QUALITA’ DELLA ADClite
• Risoluzione geometrica effettiva: Tetracam ADCLite
• Caso statico: risoluzione reale ~ 80 lp/mm per immagini CIR con f/d = 4
risoluzione reale ~ 100 lp/mm per canale verde con f/d = 8
• Caso dinamico: risultati confermati a meno di effetti di “trascinamento”
• Effetti di disallineamento cromatico
(tra I canali R, G e NIR)
• Rolling shutter
16
IL PROBLEMA DEL ROLLING SHUTTER (RS)
È un metodo per acquisire immagini (solitamente
accoppiato con sensori CMOS) basato
sull’esposizione non simultanea del sensore
Caratteristiche di un otturatore rolling shutter:
http://www.diyphotography.net
•
•
•
Presenza di una slitta che si muove lungo il sensore
Esposizione di ogni parte del sensore per lo stesso tempo
Esposizione non simultanea delle diverse zone del sensore a
causa del movimento della slitta
Si notano gli effetti del rolling shutter
quando c’è un movimento relativo non
trascurabile tra camera e oggetto
http://www.wkumeling.net
17
MODELLO FOTOGRAMMETRICO DI FRASER
∙
∙
∙
∙
+
∙
2
∙
∙
+
∙
2
, , ,
Distorsione
Coefficienti
Coefficienti
diaffine:
di
Distorsione
affine:
scala
ininxy
distorsione
distorsione
tangenziale
radiale
taglio
2
2
∙
∙
∙
∙
∙
∙
SIMULAZIONI
Camera: TetraCam ADC Lite
• Camera CIR
• CMOS 3,2 Megapixel
• Focale 8,5 mm
Parametri simulazione:
•
•
•
•
•
•
•
•
•
•
Quota di volo: 35 m
c:7.7734 m
VUAV: 2 m/s
Tempo scorrimento della finestra: 85,3 s
Tempo di esposizione: 688 s
3 strisciate (tot 30 fotogrammi)
Ricoprimento longitudinale 75%
Ricoprimento trasversale 50%
GSD: 0.013 m
Precisione di stima: 4 m
18
19
SIMULAZIONI: RS lungo la direzione di volo
∙
∙
∙ /
dove:
•
: spostamento delle coord. immagini a causa del rolling shutter
•
: velocità di volo del drone
• : indice che rappresentala la riga i-esima del sensore
•
: tempo impiegato dalla finestra per muoversi da una riga alla successiva
: tempo di esposizione
•
• c: focale della camera
ξ
• h: quota di volo
VUAV
0,
0,4
ξ
20
RISULTATI DELLE SIMULAZIONI
Possiamo modellizzare l’effetto del rolling shutter
(RS) lungo la direzione di volo con il parametro b1
del modello di Fraser
Simulazione
precisione
di stima
[m]
RS
4.1
RS + self-calib. (b1)
4.0
RS + OE fisso
8.8
RS + self-calib. (b1) + OE fisso
4.6
Esiste una forte correlazione tra i parametri di calibrazione e
l’orientamento esterno
• Nel caso di solo RS l’errore viene assorbito spostando in quota le camere
(in media 0.38 m)
• Con OE bloccato gli effetti sono assorbiti dal parametro b1
21
UN CASO REALE: MEDOLAGO
• Fotocamera: Tetracam ADC Lite
• 2 strisciate per un totale di 17 immagini (solo
canale Green)
• h di volo strisciata 1: 50 m
• h di volo strisciata 2: 60 m
• Estrazione automatica dei punti di legame con
il sw EyeDEA (UniPr)
Matrice di correlazione
No self-calibr.
precisione
di stima
[m]
38.2
Self-calib (+K1,K2,P1,P2)
33.7
Self-calib (+b1,b2)
12.6
Blocco Medolago
c
K1
K2
K3
P1
P2
b1
b2
c
100
0
1.2
-1.1
-0.2
-2.2
3.6
26.2
K1
K2
K3
100
-91.5
85.3
-4.7
-2.1
7.8
26.2
100
-98.2
1.6
-2.9
-1.3
-15.5
100
-2.4
3.8
1.6
12.4
P1
P2
b1
b2
100
-12.3 100
-29.7 31.5 100
-5.1 9.8 61.8 100
TEST SUI SW FOTOGRAMMETRICI
SW fotogrammetrici
VS
LPS → sw commerciale by Erdas
EyeDEA+Dense Matcher → home
made (Università di Parma)
PhotoModeler scanner → sw comm.
by EOS
1)
2)
3)
4)
5)
Calibrazione della camera
Identificazione dei GCPs
Ricerca dei TPs
Orientamento esterno
Realizzazione di DSM &
Ortofoto
DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como
22
SW di Computer Vision
Agisoft Photoscan→ Agisoft LLC
Pix4UAV Desktop → Pix4D
1) Orientamento relativo delle
immagini (S&M) con
selfcalibration in un arbitrario
SdR (grazie alla telemetria)
2) Estrazione automatica dei TPs
3) Rototraslazione del blocco nel
SdR dei GCPs
4) Realizzazione di DSM &
Ortofoto
23
RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)
SwingletCAM SenseFly
Proprietà: Studio di Ingegneria
Terradat di Paolo Dosso
Canon
Ixus 220HS
•
•
•
•
•
DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como
Quota di volo = 130 m
GSD = 4.5 cm
5 strisciate
49 immagini (RGB)
15 GCP presegnalizzati
24
RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)
Software
# obs.
#
TPs’
# TPs
points GCPs
generator
LPS*
EyeDEA**
Photo
Modeler
Pix4UAV
285
1052
1492
3395
13647 55887
1317
Agisoft
6098
PhotoScan
6146
19097
0
Theoretical
Accuracy
(RMS of std.dev.)
of TPs
Empirical accuracy
(RMSE) of CPs
# rays
per
point
Est
Nord
h
Est
Nord
h
[mm]
[mm]
[mm]
[mm]
[mm]
[mm]
[mm]
15
2.6
109
89
215
-
-
-
5
5
2.6
119
101
259
50
50
130
5
15
1.4
57
50
142
-
-
-
3
5
1.4
68
61
181
73
81
329
3
15
1.1
23
21
57
-
-
-
4
5
1.1
26
23
66
54
50
114
4
15
1.0
25
23
61
-
-
-
5
5
1.0
30
28
76
39
54
213
5
15
0.3
8
7
20
-
-
-
3
5
0.3
9
8
23
50
19
55
3
DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como
25
RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)
Compensazione con
Calge con OE fisso
LPS
Analisi
sui CPs
dei residui
EyeDEA Photo
Agisoft
Pix4UAV
/PM
Modeler
Photoscan
E [mm]
48
16
51
81
74
N [mm]
47
12
41
46
61
h [mm]
90
36
137
214
83
DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como
26
RILIEVO DEL POLIGONO DI CISANO BERGAMASCO(BG)
COMPLETEZZA DEI DSM
QUALITA’ DEI DSM
Pix4UAV
Agisoft
Photoscan
DIIAR, Laboratorio di Geomatica del Polo Territoriale di Como
27
QUALCHE REALIZZAZIONE
Modelli 3D della Cascina Linterno (MI) (2013)
Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.
Raggio di operatività : 200m
payload: Nikon J1
Rilievo della cascina Linterno per una valutazione qualitativa e quantitativa dello stato di conservazione dei tetti
Ortofoto e modello 3D
Immagine campione
Cascina Linterno
Milano (MI)
Inquadramento cartografico
Modelli 3D del Campus «Arata» (PC) (2013)
Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.
Raggio di operatività : 200m
payload: Nikon J1
Rilievo degli edifici del campus di architettura di Piacenza (ex macello), nell’ambito del laboratorio del Corso di Rappresentazione
Modello 3D
Immagine campione
Campus architettura (PC)
Inquadramento cartografico
Indagine visiva di ponti e viadotti (2014)
Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.
Raggio di operatività : 200m
payload: Nikon J1
Rilievo di un ponte/viadotto in località «Santa Giulia» come test per l’applicazione di UAV alla verifica di ponti e viadotti
Modello 3D e DSM superfici
Immagine campione
Santa Giulia
Milano (MI)
Inquadramento cartografico
Calcolo di volumi di cava (Gossolengo – PC) (2013)
Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.
Raggio di operatività : 200m
payload: Nikon J1
Rilievo per la misura di volumi di cava di Gossolengo..
Modello 3D
Immagine campione
Gossolengo (PC)
Inquadramento cartografico
Rilievo RGB + NIR multitemporale vivaio «Peverelli» (2013)
Hexakopter Mikrokopter con
sistema di navigazione NAV
Flight Control , GPS (MKGPS)
LEA 4H Ublox.
Raggio di operatività : 200m
payload: Nikon J1, ADClite
Tetracam
Rilievo multispettrale-multitemporale al fine
di valutare algoritmi automatici di
riconoscimento di specie arboree da
immagini RGB+NIR
Ortofoto NIR
Immagini
campione
vivaio «Peverelli»
Fino Mornasco (CO)
Inquadramento
cartografico
Rilievo RGB + NIR multitemporale aree boscate Parco Adda Nord (2013‐14)
Sensefly swinglet CAM.
Raggio di operatività : 1000m
payload: Canon IXUS 220HS
Rilievo multispettrale‐multitemporale su 10 aree al fine di valutare la presenza di specie arboree alloctone all’interno del parco Adda Nord da immagini RGB+NIR
Ortofoto NIR
Immagini campione
Inquadramento cartografico
Parco Adda Nord
Calcolo volume di coltre nevosa 2014
Sensefly swinglet CAM.
Raggio di operatività : 1000m
payload: Canon IXUS 220HS
Rilievo realizzato per la valutazione dei volumi della coltre nevosa presso il nevaio Malghera in valgrosina per valutazioni idrologiche.
Modello 3D
Inquadramento cartografico
Malghera SO)
Immagini campione
Test per applicazioni di fotogrammetria diretta da UAV (2013)
Hexakopter Mikrokopter con sistema di navigazione NAV Flight Control , GPS (MKGPS) LEA 4H Ublox.
Raggio di operatività : 200m
payload: Nikon J1
Voli con GPS Ublox L1 con possibilità di registrare i dati per elaborazione differenziale; confronti con telemetria drone e test di fotogrammetria diretta.
Grafici di confronto
Immagine configurazione UAV
Parcheggio cimitero di Lambrate
Milano (MI)
Inquadramento cartografico
36
Grazie per l’attenzione
