Geometric Knowledge

Geometric Knowledge
Marco Callieri
Guardare e vedere [intro]
Gli obiettivi sono simili a quelli visti (o che vedemo):
- ricerca / confronto / riconoscimento
- generazione automatica
Ma vediamo cosa si può fare se i dati da trattare sono
informazioni geometriche tridimensionali…
Perché ? Dal momento che ci sono abbastanza modelli
3D, sorge l’esigenza di ordinarli / cercarli /catalogarli
Perché (II)? Tanti ne abbiamo, molti ne servono… se fosse
possibile evitare di farli tutti a mano….
Non solo vision: non si tratta di lavorare su immagini, abbiamo
tutta la geometria, dobiamo usarla…
La difficoltà #1
I dati tridimensionali sono fuorvianti…
- zuppe di triangoli
- ambiguità costruttive
- varietà di rappresentazione
A confronto una foto, un testo o un wav sono
molto più vicini al reale.
La foresta e gli alberi
La rappresentazione dei dati che siamo abituati ad
usare ci fornisce dati precisi, ma non contiene
null’altro
“Conosciamo” la geometria meglio di quanto avviene in
realtà… ma di cosa questa geometria fa parte
possiamo non sapere nulla.
Il metadato può essere più interessante del dato
stesso…
È possibile avere il metadato senza intervento umano?
Solo Matematica
Esistono approcci che utilizzano pure
considerazioni matematiche
Machine learning & affini… le entità sono
rappresentate come insieme di numeri, tutte le
azioni successive manipolano questi numeri…
È solo number-crunching
Face Morphable Model
Blanz, Vetter. A morphable model for the synthesis of 3D faces.
1999
Partendo da un insieme campione di volti (in 3D) ,
costruito un modello “morphabile” che può adattarsi
a diventare qualunque volto, essere animato e
manipolato…
- riconoscimento/comparazione
- animazione
- analisi caratteristiche
- modifica
Face Morphable Model
Sembra che conosca la fisionomia umana, ma in
realtà è solo machine learning mascherato…
volto  campo di altezze rispetto a cilindro
caratteristiche  marcatura manuale
fitting  minimizzazione errore di rendering
modifiche “percettive”  uso creativo di proprietà
matematiche…
caricatura = volto + K x (volto - voltomedio)
Shape matching
Uno dei modi classici è definire una serie di metriche
ed esprimere un oggetto come vettore di valori…
la “distanza” fra due vettori ci indica la somiglianza
dei due oggetti corrispondenti
Ancora, molta matematica e pochi concetti
La strada però è più promettente… una scelta
adeguata delle metriche può facilitare il lavoro.
Per riconoscere le ciambelle, cosa c’è di
meglio di usare il genus di una superfice…
Spherical harmonics
Qui proprio nessun legame con la nostra
percezione della realtà…
Si può pensare questo approccio vicino alla FFT
per confrontare/riconoscere/cercare suoni.
Limiti
Grande potenza. Efficienza computazionale.
Automatizzazione… Ma…
Lontani dal nostro modo di percepire.
Difficile esprimere concetti che sono
“semplici” rispetto alla nostra esperienza reale
Ma chi lo sa? Magari esistono alieni che
ragionano proprio in questi termini …
(I polipi ciechi del pianeta Z catalogano gli oggetti in base al genus)
Eye of the beholder
La bellezza sta nell’occhio di chi guarda…
…assieme a molte altre “idee”
Quello che manca a questi sistemi è usare gli stessi
metodi di classificazione/memorizzazione usati
dagli esseri umani (o almeno provarci)
 definizione di ontologie
Però anche il cervello usa una serie di “misure” per
poter effettuare queste classificazioni…
 definizione di metriche
Ontology
Al di là della filosofia, ontologia è un modello di un
dominio… usato per effettuare “ragionamenti “ su quel
dato dominio (wikipedia)
Specifica (semi) formale delle entità che partecipano
al sistema e delle relazioni che le legano
Purtroppo, non è molto chiaro che carateristiche
debba avere una ontologia per essere utile… non c’è
uniformità di formalismo né di metodologie…
Ne vedremo un paio più avanti…
Metrics
Informazioni derivabili da pura analisi geometrica…
Non contengono nessuna meta-informazione di per se..
La correlazione a strutture semantiche è un processo
a parte
- fitting di superfici su solidi elementari
riconoscimento cilindri, sfere, piani
- misura di proprietà geometriche
curvatura, rugosità, accessibilità
- misure topologiche
genus, connettività…
Aim@shape
AIM@SHAPE, Network of Excellence [VI programma quadro]
Sviluppo della rappresentazione semantic-based di entità
geometriche; realizzazione di tool per la generazione,
acquisizione e manipolazione di geometrie con associata una
meta-rappresentazione.
riconoscimento – catalogazione – manipolazione - animazione
Come partecipanti, il nostro lavoro si focalizza sulla
implementazione di metriche su modelli tridimensionali…
In più, supporto alla creazione di modelli digitali e
manipolazione di dataset complessi…
Cosa ?
Entità la cui geometria non è casuale, ma è il frutto di
esigenze/regole/procedure
Ovviamente, più noi conosciamo queste regole, più è
facile lavorare in questa direzione…
Esistono lavori interessanti che riguardano diverse
categorie… vediamone alcune
Piante
Edifici
Umani
Piante
Tutta la vegetazione che ci circonda segue strutture
base molto rigide per motivi evoluzionistici/meccanici
La geometria delle piante ha una struttura
rappresentabile matematicamente….
Prima idea: L-systems (o frattali… cavolfiore romano)
Sviluppo: L-systems guidati dal contesto…
Fino a:
sistemi composizionali avanzati, in grado di
rappresentare la struttura base delle piante e
generare secondo algoritmi parametrici la
geometria adatta.
Building Blocks
Entità con un significato geometrico E un significato
strutturale: foglia, fusto…
Regole di composizione, derivate dal significato
strutturale. Possibilità di esprimere variazioni e
incertezze
Regole di generazione geometrica. Garanzia di
riuscire a far combaciare i pezzi, possibilità di
variazioni (geometriche)
Creazione human-driven o basata su simulazioni
P-graph
E come un girasole…
Interactive Modeling of Plants B. Lintermann, O. Deussen
Altro…
La foresta di cui sopra, anche la sua struttura deriva da una
serie di regole ben precise e modellabili
Gli insetti… la struttura degli Artropodi è un esempio di
variazione su tema… 3 sezioni, divise in segmenti… variando
dimensione delle sezioni e specializzazione dei segmenti
otteniamo tutte le varianti…
Però: fino a qui solo GENERAZIONE di geometria, quasi mai
riconoscimento/classificazione… forse perché abbastanza
inutile (ed estremamente difficile a causa della varietà)
Edifici / città
Pascal Mueller (Eidgenössische Technische Hochschule Zürich)
Combina regole statistiche, L-system contestuali, algoritmi di
manipolazione geometrica, generatori di geometria
Input (dati):
• Info geografiche
Input (rules):
• Tipologia città
• “stile” edifici
Esempi
Variazione di edifici
 video
Città
 video
Road network, NY
Sopra: reale
Sotto: generato
Purtroppo, ancora
generazione e non
riconoscimento …
Kurt3D
Robot esploratore autonomo. Mentre si muove
costruisce una mappa dell’area esplorata…
Ma non si limita a una pura
descrizione geometrica…
Seguendo la semantica di un
interno di edificio, discrimina
corridoi, stanze, porte…
Semantic Scene Analysis of Scanned 3D Indoor Environments, vmv 2003
Semantica di un edificio (interno)
Escludendo Gaudì, gli interni di edifici sono una
composizione di parallelepipedi…
Come andar di notte…
Esempio:
Human
I maggiori utilizzatori di ontologie sono i medici
Unified Medical Language System
Linguaggio di modellazione applicato, per esempio a
sistemi biologici, malattie e reazioni chimiche
Visible human project: dataset di immagini di sezioni
(reali) di un uomo e una donna … utilizzato per la
generazione di modelli 3D di parti del corpo umano.
The body farm
Collegamento tra le strutture geometriche e
informazioni anatomiche… permette navigazione
Strutture isolate e definite da tecniche di
segmentazione 2D/3D
Estrazione automatica di
feature, poi linkate a entità
anatomiche
Ancora non riconoscimento
automatico, ma quasi…
Metriche al lavoro
Determinazione automatica aree di
interesse e struttura di base
attraverso calcoli geometrici
Spore
Videogame, Will Wright (il creatore di sim*)
Gioco strategico “totale”
Dall’evoluzione alla conquista galattica… ma a
noi interessa solo la prima parte 
La creazione della specie
X legs walking
Creando una specie, si decide la geometria del corpo…
Il modello 3D è costruito parametricamente secondo
poche (ma sensate) misure antropometriche (alienometriche?)
il modo in cui cammineranno e si muoveranno è
generato autonomamente basandosi su numero di arti,
posizione, lunghezza…
and in the end, this will all make sense.
Paul Thomas Anderson, Magnolia
Domande ?