From 2D images to 3D models

From 2D images to 3D models: the path to a virtual Earth
Il dominio dello spazio:
scienze, tecniche, rappresentazioni
TORINO 2020-21 OTTOBRE 2005
From 2D images to 3D models:
the path to a virtual Earth
Fabio Remondino,
Remondino, Armin Gruen
Institute of Geodesy and Photogrammetry
‘Chair of Photogrammetry and Remote Sensing’
Swiss Federal Institute of Technology (ETH) Zurich, Switzerland
http://www.photogrammetry.ethz.ch
[email protected]
Fabio0Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Geodesia e Fotogrammetria
Geodesia = misurazione della terra
Fotogrammetria = misurazioni di oggetti da immagini (foto)
Fabio1Remondino – ETH Zurich
1
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria e Telerilevamento (Remote Sensing)
Fotogrammetria – foto / immagini aeree o terrestri
Telerilevamento – immagini da satellite
Fabio2Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria e Telerilevamento (Remote Sensing)
Fotogrammetria – foto / immagini aeree o terrestri
Telerilevamento – immagini da satellite
Fabio3Remondino – ETH Zurich
2
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria e Telerilevamento (Remote Sensing)
Fotogrammetria – foto / immagini aeree o terrestri
Telerilevamento – immagini da satellite
Fabio4Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria e Telerilevamento (Remote Sensing)
Fotogrammetria – foto aeree o terrestri
Telerilevamento – immagini da satellite (400-700 km altezza)
Fabio5Remondino – ETH Zurich
3
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria
Prodotti & Applicazioni:
• Cartografia
• Modelli digitali del terreno (DTM)
• Sistemi informativi territoriali (GIS)
• Modellazione 3D di oggetti
• Creazione di citta’ virtuali
Fabio6Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria
Applicazioni:
• ...
• Documentazione del patrimonio culturale
• Archeologia
• Animazioni / video giochi
• Medicina
• Misurazioni industriali
• ...
Fabio7Remondino – ETH Zurich
4
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria
Il principio:
- intersezione spaziale di raggi passanti per punti omologhi
- minimo due immagini / foto
- generazione di punti 3D a partire da misure 2D
6
5
3
4
1
2
3’
1’
6
’ 5
4’’
2’
Immagini / foto +
punti di controllo
Misurazioni nelle immagini
Fabio8Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria terrestre
Il principio:
oggetto
sistema di
riferimento
Z
Y
X
OA
immagine A
Fabio9Remondino – ETH Zurich
OB
immagine B
5
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria aerea-satellite
Il principio: intersezione spaziale di raggi per punti omologhi
Fabio10Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria
Requisiti:
• Precisione (micron)
• Dettagli
• Foto-realismo
• Bassi costi
• Scala
• Real-time
• ...
Fabio11Remondino – ETH Zurich
6
From 2D images to 3D models: the path to a virtual Earth
Altri metodi per modellazione 3D (“reality-based”):
Fotogrammetria
Misurazioni (3D) da immagini
- Time consuming
+ 3D e tessitura nelle immagini
+ Risultati indipendenti dall’oggetto
+ Basso costo
VS
Sensori Attivi / Laser Scanner
Sensori che forniscono direttamenti il 3D
- Molto costosi
- Spesso la tessitura e’ assente
- Risultati dipendono dal materiale dell’oggetto
+ Velocita’ d’acquisizione
Fabio12Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Dalle immagini 2D ai modelli 3D - Esempi
3D virtual Los Angeles
Zurich city planning
Nasca lines, Peru
Mount Everest
Bamiyan Buddha, Afghanistan
Lalibella, Ethiopia
Ayers Rock, Australia
Fabio13Remondino – ETH Zurich
7
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria per la
Generazione di citta’ virtuali
- Firenze, Italy
- Zurich, Switzerland
- Los Angeles, USA
- varia
Fabio14Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Generazione di citta’ virtuali
• Immagini aeree o satellitari (“reality-based”)
• IGP-ETH Spin off company: ’Cybercity AG’
[www.cybercity.tv]
• Pianificazione territoriale e gestione urbana
• Animazione e Visualizzazione
• Navigazione (GPS)
Fabio15Remondino – ETH Zurich
8
From 2D images to 3D models: the path to a virtual Earth
Generazione di citta’ virtuali
Acquisizione
dei dati e
orientamento
Misurazioni e
generazione
dei tetti
Creazione
dei muri
Tessitura dei
tetti con foto
aeree
Tessitura dei
muri con foto
terrestri
Fabio16Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Generazione di citta’ virtuali
- Firenze -
Modello virtuale 3D di Firenze:
solo geometria, no texture
Fabio17Remondino – ETH Zurich
9
From 2D images to 3D models: the path to a virtual Earth
Generazione di citta’ virtuali
- Salisburgo, Austria -
[www.cybercity.tv]
marketing, turismo, pianificazione territoriale
Fabio18Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Generazione di citta’ virtuali
- ETH Zurich -
Modello virtuale del campus
ETH Hoenggerberg
Modello virtuale zona urbana
attorno alla sede centrale dell’ETH
Fabio19Remondino – ETH Zurich
10
From 2D images to 3D models: the path to a virtual Earth
Generazione di citta’ virtuali
-Los Angeles, CA, USA –
[www.cybercity.tv]
Fabio20Remondino – ETH Zurich
Generazione di citta’ virtuali
-Los Angeles, CA, USA –
From 2D images to 3D models: the path to a virtual Earth
[www.cybercity.tv]
Fabio21Remondino – ETH Zurich
11
Generazione di citta’ virtuali
-Los Angeles, CA, USA –
From 2D images to 3D models: the path to a virtual Earth
[www.cybercity.tv]
Fabio22Remondino – ETH Zurich
Generazione di citta’ virtuali
From 2D images to 3D models: the path to a virtual Earth
[www.cybercity.tv]
Fabio23Remondino – ETH Zurich
12
From 2D images to 3D models: the path to a virtual Earth
Fotogrammetria per la
Documentazione del patrimonio culturale
- Torre buddista, Ankor Wat, Cambogia
- Linee di Nasca, Peru
- Bamiyan Buddha, Afghanistan
- Mount Everest
Fabio24Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Documentazione del patrimonio culturale
- Torre buddista, Ankor Wat, Cambogia –
• zona archeologica con ca 70 torri buddhiste
• ogni torre ha la faccia di un Buddha
• UNESCO
• molti templi ancora coperti dalla vegetazione
→ ricostruzione virtuale per documentazione,
visualizzazione, turismo, etc.
Fabio25Remondino – ETH Zurich
13
From 2D images to 3D models: the path to a virtual Earth
Documentazione del patrimonio culturale
- Torre buddista, Ankor Wat, Cambogia -
Fabio26Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Documentazione del patrimonio culturale
- Geoglifi di Nasca, Peru –
• Linee e figure costruite nel deserto
• Motivazione incerta
• Patrimonio UNESCO dal 1994
→
Ricostruzione aereo-fotogrammetrica
per analisi, studi e documentazione
Fabio27Remondino – ETH Zurich
14
From 2D images to 3D models: the path to a virtual Earth
Documentazione del patrimonio culturale
- Linee di Nasca, Peru -
Volo virtuale sopra le linee Nasca
Fabio28Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Documentazione del patrimonio culturale
- Bamiyan, Afghanistan -
Panorama
• Bamiyan, 200 km N-O di Kabul
• Ricca di monumenti buddhisti, nel mezzo della ‘Via della Seta’
• Distruzione completa dei monumenti nel 2000/2001`
Fabio29Remondino – ETH Zurich
15
From 2D images to 3D models: the path to a virtual Earth
Documentazione del patrimonio culturale
- Bamiyan, Afghanistan SCOPO del progetto:
• Ricostruzione virtuale della grande statua di Bamiyan (53 m)
• Ricostruzione fisica della statua (??)
• Ricostruzione dell’attuale nicchia vuota
• Documentazione dell’intera area protetta dall’UNESCO
• Realizzazione di un film cinematografico
MATERIALE:
• Immagini raccolte in Internet
• Immagini fornite da turisti
• Immagini da satellite
Fabio30Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Documentazione del patrimonio culturale
- Great Buddha of Bamiyan, Afghanistan – Modello 3D della statua
Fabio31Remondino – ETH Zurich
16
From 2D images to 3D models: the path to a virtual Earth
Documentazione del patrimonio culturale
- Great Buddha of Bamiyan, Afghanistan & nicchia vuota
Real
Before March 2001
Fabio32Remondino
After March 2001
– ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Documentazione del patrimonio culturale
- Great Buddha of Bamiyan, Afghanistan & nicchia vuota
Virtual
Before March 2001
After March 2001
Fabio33Remondino – ETH Zurich
17
From 2D images to 3D models: the path to a virtual Earth
Documentazione del patrimonio culturale
- Great Buddha of Bamiyan, Afghanistan & nicchia vuota
Virtual
Before March 2001
Fabio34Remondino
After March 2001
– ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Documentazione del patrimonio culturale
- Mount Everest • foto aeree
• 25 km x 25 km attorno ad ‘Hilary Step’
→ Modello 3D e nuova cartografia
→ Animazioni (Dicovery Channel)
Fabio35Remondino – ETH Zurich
18
From 2D images to 3D models: the path to a virtual Earth
Mount Everest
Real or Virtual?
Fabio36Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Mount Everest
Fabio37Remondino – ETH Zurich
19
From 2D images to 3D models: the path to a virtual Earth
Modelli Fotogrammetrici 3D:
Dove vengono veramente usati i modelli 3D?
- Animazioni
- Pianificazione territoriale
- Sistemi informativi territoriali (GIS)
- Realta’ Virtuale
- Archeologia
- ...
Fabio38Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Modelli fotogrammetrici 3D - Applicazioni pratiche
Animazioni:
- Generazione di animazioni e documentari
Discovery Channel → Mount Everest:
Fabio39Remondino – ETH Zurich
20
From 2D images to 3D models: the path to a virtual Earth
Modelli fotogrammetrici 3D - Applicazioni pratiche
Google Earth – “Explore, Search and Discover”
- Immagini satellitari ad alta risoluzione, cartografia dettagliata e citta’
virtuali disponibili in Internet
New York, NY, USA
San Francisco, CA, USA
Fabio40Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Modelli fotogrammetrici 3D - Applicazioni pratiche
Pianificazione territoriale
- Visualizzazione 3D dei nuovi edifici
Fabio41Remondino – ETH Zurich
21
From 2D images to 3D models: the path to a virtual Earth
Modelli fotogrammetrici 3D - Applicazioni pratiche
Parma:
42
- Visualizzazione
3D dei nuovi edifici
Fabio
Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Modelli fotogrammetrici 3D - Applicazioni pratiche
- Marketing & Tourism
Salzburg, AT
www.map2day.at
[www.cybercity.tv]
Fabio43Remondino – ETH Zurich
22
From 2D images to 3D models: the path to a virtual Earth
Modelli fotogrammetrici 3D - Applicazioni pratiche
Sistemi Informativi Territoriali (SIT):
- Risultati fotogrammetrici come base per SIT
urbanizzato
topografia
cartografia
Fabio44Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Modelli fotogrammetrici 3D - Applicazioni pratiche
§ observer
§
§
target
§
§
target
GIS analysis – line-of-sight
security, etc.
45
- telecomunication,
Fabio
Remondino – ETH Zurichhome
23
From 2D images to 3D models: the path to a virtual Earth
Modelli fotogrammetrici 3D - Applicazioni pratiche
Archeologia:
- Buddha di Bamiyan: ANASTILOSI e’ possibile?
-
=
60%
Resti della statua dopo esplosione = 60%
→ Anastilosi non possibile !!
Fabio46Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Modelli fotogrammetrici 3D - Applicazioni pratiche
Produzione cinematografica e realta’ virtuale
Agosto 2003, video
Realta’ virtuale
The Giant Buddhas:
www.giant-buddhas.com
Fabio47Remondino – ETH Zurich
24
From 2D images to 3D models: the path to a virtual Earth
Reality-based 3D models from images
Otranto
Padova
Corfu
Fabio48Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Reality-based 3D models from images
Ayers Rock, Australia
Lalibella, Etiopia
Fabio49Remondino – ETH Zurich
25
From 2D images to 3D models: the path to a virtual Earth
Reality-based 3D models from images
Real vs Virtual
Fabio50Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Reality-based 3D models from images
Real vs Virtual
Fabio51Remondino – ETH Zurich
26
From 2D images to 3D models: the path to a virtual Earth
Reality-based 3D models from images
Real vs Virtual
Fabio52Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Reality-based 3D models from images
Real vs Virtual
Fabio53Remondino – ETH Zurich
27
From 2D images to 3D models: the path to a virtual Earth
Conclusioni
• Fotogrammetria: da immagini (2D) a modelli virtuali (3D)
• Ricostruzioni virtuali basate sulla realta’ (reality-based 3D model)
• Possibilita’ di generare una terra ‘virtuale’ visibile su un PC
• Immagini / Fotografie come fonte per:
- modellazioni 3D
- documentazione del patrimonio culturale
- animazioni
- cartografia
- pianificazione territoriale
- etc.
Special thanks to:
• M. Sauerbier, L. Zhang, J. Niederoest, G. Schrotter (ETH)
• Daniela Poli (Cybercity, http://www.cybercity.tv)
Fabio54Remondino – ETH Zurich
From 2D images to 3D models: the path to a virtual Earth
Grazie per la vostra attenzione
http://www.photogrammetry.ethz.ch
[email protected]
Fabio55Remondino – ETH Zurich
San Francisco: Real or Virtual?
28