Display 2D

Applicazioni di informatica
Rendering di dati visuali
Marco Tagliasacchi
Sommario
Rendering di dati visuali
• Display 2D
• Free-viewpoint TV
• Display stereo
• Display autostereoscopici
• Display olografici
Applicazioni di informatica
2
Display 2D
CRT (Cathod Ray Tube)
• 1897 (Braun Tube)
• 1907 First CRT TV prototype
• Colore
– Shadow mask
– Aperture grille (Trinitron)
Applicazioni di informatica
3
Display 2D
Plasma
• 1964 Primo prototipo
• 1992 Primo display a colori
• Ciascuna cella funziona come una piccola lampada a
fluorescenza
Applicazioni di informatica
4
Display 2D
Plasma
• Pro:
–
–
–
–
–
–
Luminoso
Ampio angolo visuale
Ampia gamma cromatica (gamut)
No sfuocatura dovuta al moto
Può avere grandi dimensioni (fino a 150in, 3.8m)
Ottima riproduzione del nero
• Contro:
–
–
–
–
–
–
Alto consumo di potenza
Glare (a causa della superficie in vetro)
Difficile da produrre in piccole dimensioni (> 37in)
Pesante
Non funziona in altitudine
Interferenza con radio AM
Applicazioni di informatica
5
Display 2D
LCD (Liquid Crystal Display)
• Sfruttano le proprietà di polarizzazione della luce dei
cristalli liquidi
Applicazioni di informatica
6
Display 2D
LCD
Applicazioni di informatica
7
Display 2D
8
LCD
• La luce passante dal filtro polarizzatore 1 è polarizzata in
direzione verticale
• Quando non viene applicata una corrente agli elettrodi, il
cristallo liquido fa ruotare di 90° la polarizzazione,
facendola diventare orizzontale, allineata quindi con il
filtro polarizzatore 2
• Quando viene applicata una corrente il cristallo liquido di
allinea con la corrente e perde la struttura a spirale. La
luce in questo caso non passa dal filtro polarizzatore 2
Applicazioni di informatica
Display 2D
LCD
• Pros:
–
–
–
–
Basso consumo di potenza ( mobile)
Luminoso
Ampio angolo visuale
Ampia gamma cromatica (gamut)
• Cons:
– Il nero non è perfettamente riprodotto
Applicazioni di informatica
9
Display 2D
Proiettori LCD
Applicazioni di informatica
10
Display 2D
Proiettori DLP (Digital Light Processing)
• Utilizzano tecnologia DMD (Digital Micromirror Device)
Applicazioni di informatica
11
Display 2D
12
E-paper
• Obiettivo: simulare l’effetto dell’inchiostro su carta
• A differenza dei display retroilluminati, e-paper riflette la
luce ambientale come la carta
Applicazioni di informatica
Display 2D
E-paper
• Pro
– Basso consumo energetico
– Visibile anche con luce solare diretta
• Contro
– Basso refresh rate ( difficile realizzare applicazioni
interattive, zooming, ecc.)
– Ghosting
Applicazioni di informatica
13
Free-viewpoint TV
Obiettivo:
• esplorare una scena in 3D variando dinamicamente il
punto di vista
• Generare un numero infinito di viste differenti
I seguenti problemi devono essere risolti
• Rappresentazione dei dati di una scena 3D
• Acquisizione della scena 3D
• Rendering: generazione di una vista arbitraria a partire
da un numero finito di viste osservate
• Interfaccia utente
• Codifica
[Tanimoto et al., IEEE SPM 2011]
Applicazioni di informatica
14
Free-viewpoint TV
http://www.youtube.com/watch?v=dvZa46SwjKc
Applicazioni di informatica
15
Free-viewpoint TV
Rappresentazione di una scena 3D
Applicazioni di informatica
16
Free-viewpoint TV
Rappresentazione di una scena 3D
Applicazioni di informatica
17
Free-viewpoint TV
Rappresentazione di una scena 3D
Applicazioni di informatica
18
Free-viewpoint TV
19
Architetture per FTV
Complessità lato acquisizione
Quantità di dati da trasmettere
Applicazioni di informatica
Free-viewpoint TV
Interfacce
Applicazioni di informatica
20
Free-viewpoint TV
Rendering depth+texture
Applicazioni di informatica
21
Display 3D
Il sistema visivo umano è in grado di
ricostruire una scena 3D a partire da
osservazioni in 2D
• Occlusioni (un oggetto che copre l’altro)
• Prospettiva
• Conoscenza a priori (ad esempio, dimensioni
note)
• Turbolenza atmosferica (oggetti lontani
appaiono meno nitidi)
Applicazioni di informatica
22
Display 3D
23
Esistono però alcune osservazioni che non
possono essere fatte a partire da un’immagine
2D
• Parallasse stereo (vedere immagini diverse con
ciascun occhio)
• Movement parallax (vedere immagini diverse
quando muoviamo la testa)
• “Accomodation” (la lente oculare mette a fuoco
l’oggetto di interesse)
• Convergenza (entrambi gli occhi convergono
sull’oggetto di interesse)
Applicazioni di informatica
Display stereoscopici vs. autostereoscopici
24
I display stereoscopici sono in grado di fornire
solo la parallasse stereo
I display autostereoscopici forniscono
un’immagine 3D senza la necessità di
indossare dispositivi di visione
Applicazioni di informatica
Display 3D con occhiali o ‘headsets’
L’utente indossa occhiali speciali
Gli occhiali selezionano quale immagine è
visualizzata dall’occhio destro e quale dal
sinistro
Applicazioni di informatica
25
Display 3D con occhiali o ‘headsets’
26
Tecnologie utilizzate
• Un display standard, combinato con occhiali colorati
(anaglyph)
• Due display standard ed uno specchio ‘half-silvered’,
combinato con occhiali polarizzati
• Due proiettori, che proiettano un’immagine su uno
schermo che preserva la polarità della luce riflessa,
combinati con occhiali polarizzati
• Un display “double frame-rate” combinato con occhiali
“shuttered”
•
Con queste si ottiene la parallasse stereo e la convergenza
oculare. Se combinate con un “head tracker” forniscono anche
la parallasse dovuta la moto per un singolo utente.
Applicazioni di informatica
Display autostereoscopici
27
Obiettivo:
• Fornire una visione 3D senza la necessità di
indossare occhiali o altri dispositivi
Tipologie di display
• Two-view, head tracked per utente singolo
• Multiview per più di un utente
I sistemi migliori consentono di ottenere immagini che
vengono percepite con qualità simili ad immagini
olografiche
Applicazioni di informatica
Display autostereoscopici
Quando un osservatore guarda una scena reale, vede
una immagine differente per ciascun occhio ed
immagini differenti muovendo la testa.
L’osservatore può vedere potenzialmente un numero
infinito di immagini della scena.
Applicazioni di informatica
28
Display autostereoscopici
29
Lo stesso campo visivo viene diviso orizzontalmente in
fasce. In ciascuna fascia viene vista una sola immagine per
ciascun occhio
L’osservatore vede immagini diverse per ciascun occhio, ed
immagini differenti quando si muove. Tuttavia, le immagini
cambiano in modo discreto passando da una fascia all’altra
Pertanto, un numero limitato di viste consente di ottenere
sia la parallasse stereo sia (approssimativamente) la
parallasse dovuta al moto
Applicazioni di informatica
Display autostereoscopici
30
Per fornire i dati necessari ad un display autostereoscopico,
è necessario acquisire la scena con un sistema multi-view
Il display autostereoscopico deve poi essere in grado di
produrre un’immagine diversa per ciascun punto di vista
Applicazioni di informatica
Display autostereoscopici
Two-view displays
Head-tracked (tipicamente two-views)
Multi-view
Applicazioni di informatica
31
Display autostereoscopici – two views
Dispositivi a lenslets
Applicazioni di informatica
32
Display autostereoscopici – two views
Dispositivi a barriera di parallasse
Applicazioni di informatica
33
Display autostereoscopici – two views
L’immagine viene divisa in due sottoimmagini
•
Le colonne pari rappresentano la vista per l’occhio destro
•
Le colonne dispari rappresentano la vista per l’occhio sinistro
Un sistema ottico (lenslets o barriera di parallasse) fa in
modo che ciascun occhio veda la vista corretta
Applicazioni di informatica
34
Display autostereoscopici – two views
Problemi:
•
C’è il 50% di probabilità che l’utente veda la vista scorretta
•
L’osservatore deve rimanere fermo nella corretta posizione
•
Avvicinandosi e allontanandosi dal display si rischia di non
vedere l’immagine corretta
Applicazioni di informatica
35
Display autostereoscopici – two views
Soluzione:
•
Head-tracking
•
Incrementare il numero di viste (multi-view)
Applicazioni di informatica
36
Display autostereoscopici ‘head tracked’
37
Quando viene utilizzato un sistema di head tracking (per
osservatore singolo) viene prodotta una coppia di immagini,
in modo tale che gli occhi vedano la vista corretta
In questo caso di può utilizzare un display stereoscopico
dotato di un sistema di elaborazione che genera le immagini
dinamicamente in funzione della posizione dell’osservatore
Applicazioni di informatica
Display autostereoscopici ‘multi view’
Più di un osservatore
Ciascuno vede una scena 3D dal suo punto di vista
Applicazioni di informatica
38
Display autostereoscopici ‘multi view’
Problemi:
• Difficoltà di costruire display con molte viste
• Difficoltà nella generazione simultanea di tutte le viste
(ciascuna vista viene sempre rappresentata, anche
quando non c’è l’osservatore)
Applicazioni di informatica
39
Display autostereoscopici ‘multi view’
40
Generazione di viste multiple:
• Multiproiezione: un singolo display è utilizzato per
ciascuna vista
• Spatial multiplexing: la risoluzione spaziale del
dispositivo è divisa tra viste differenti
• Time-sequential: un singolo display, molto veloce, viene
utilizzato per tutte le viste
Applicazioni di informatica
Display autostereoscopici ‘multi view’
Multiproiezione
• Un proiettore per ogni vista
• Può fornire un gran numero di viste (decine)
• Prototipi con 128 viste.
• Non ci sono dispositivi commerciali
Applicazioni di informatica
41
Display autostereoscopici ‘multi view’
Multiproiezione
• In ciascuna zona, solo una vista è visibile
Applicazioni di informatica
42
Display autostereoscopici ‘multi view’
Spatial multiplexing
• Parallax barrier (e.g. Nintendo 3DS)
• Lenticular arrays (e.g. iPhone 3DeeSlide)
Applicazioni di informatica
43
Display autostereoscopici ‘multi view’
Spatial multiplexing
• Barriere/lenti verticali 4 viste
• Problema: l’osservatore vede bande nere tra un pixel e
l’altro muovendo la testa
Applicazioni di informatica
44
Display autostereoscopici ‘multi view’
Spatial multiplexing
• Barriere/lenti slanted 7 viste (Philips), 9 viste
(Stereographics)
Applicazioni di informatica
45
Display autostereoscopici ‘multi view’
Time sequential
• Un display (trasparente) è illuminato da una barra
verticale e osservato attraverso una lente
• L’immagine è visibile solo in una delle zone
• Sincronizzando il display con l’accensione delle barre è
possibile creare immagini diverse per ciascuna zona.
Applicazioni di informatica
46
Display autostereoscopici ‘multi view’
47
Time sequential
• Quante viste devono essere generate?
• Se una vista deve essere più piccola di una pupilla, 3mm
per vista 20 viste tra i due occhi
• Compromesso pratico: 21mm per vista, 3 viste tra i due
occhi
Applicazioni di informatica
Display autostereoscopici ‘multi view’
Time sequential
• Quante viste devono essere generate?
– Singolo osservatore (movimento laterale 189mm)
-
9 viste
– Due osservatori, uno di fianco all’altro
-
28 viste
Applicazioni di informatica
48
Display autostereoscopici ‘multi view’
Time sequential
Applicazioni di informatica
49