ambiente virtuale

Presenza
Rendering
Programma del corso
Immersione
Realtà
Virtuale
Interazione
Presenza
Rendering
Presenza in Ambienti Virtuali
Abbiamo definito la presenza come la “sensazione
mentale di essere in un certo posto” (being
(being there)
there)
 La presenza in un Ambiente Virtuale richiede:

– che l’ambiente virtuale sia concepito e realizzato al fine
di massimizzare questa sensazione
– che l’utente sia “predisposto” ad accettare la sensazione
di presenza in un ambiente che non è quello reale
(suspension of disbelief, o sospensione dell’incredulità,
definita come la “volontà, da parte del lettore o dello
spettatore, di sospendere le proprie facoltà critiche allo
scopo di ignorare le inconsistenze secondarie e godere di
un'opera di fantasia” – Samuel Taylor Coleridge 1817)
Rendering
Presenza in Ambienti Virtuali

I fattori soggettivi possono essere (difficilmente) esaminati in
termini quantitativi (attraverso sensori che registrano
parametri fisiologici) e qualitativi (questionari)
Rendering
Presenza in Ambienti Virtuali
High Immersion
Low immersion
Non-immersive
Non-interactive
Device based
Natural
Rendering
Presenza in Ambienti Virtuali
Interazione
Immersione
Immaginazione
(G.Burdea
G.Burdea))
Illusione di
Luogo
Illusione di
Plausibilità
Corpo Virtuale
Rendering
Presenza in Ambienti Virtuali
Illusione di Luogo:
Luogo: la forte illusione di "essere in un
luogo" malgrado la consapevolezza di non esserci
realmente
L'Immersione rappresenta i limiti entro cui l'Illusione di
Luogo può avvenire.
Perchè questo sia possibile, è necessario che esista un
insieme di avvenimenti sensorimotori coerenti in modo
che l'azione del fruitore cambi in modo coerente e
significativo l'ambiente.
Rendering
Presenza in Ambienti Virtuali
Illusione di Luogo: "The pit room"
Stanza virtuale
con un "buco" che
mostra una stanza
più in basso di un
piano
I partecipanti
EVITANO di
passare sopra al
buco!
Rendering
Presenza in Ambienti Virtuali
Illusione di Plausibilità: mentre l'Illusione di Luogo
riguarda COME l'ambiente viene percepito, l'Illusione di
Plausibilità COSA viene percepito.
Si tratta dell'illusione che ciò che avviene nell'ambiente
virtuale stia effettivamente avvenendo - coniugata alla
consapevolezza che non è così.
L'uomo reagisce emotivamente
come se stesse realmente parlando
con una donna: Illusione di
Plausibilità
(Pan et al, 2008)
Rendering
Presenza in Ambienti Virtuali
Illusione di Plausibilità: “Public speaking”
Persone ansiose rispetto al public speaking (parlare di fronte a
un pubblico) restano ansiose (misura dei valori fisiologico e
questionari di valutazione) anche di fronte ad un pubblico di
avatar; se il pubblico manifesta segni di noia o insofferenza
(seconda immagine) , l'ansia aumenta notevolmente.
(Slater et al. 1999)
Rendering
Presenza in Ambienti Virtuali

Secondo Sheridan (1992) la sensazione di presenza è
determinata da tre fattori:
– Qualità delle informazioni sensoriali


Modellazione
Rendering
– Mobilità e controllo
dei sensori
– Controllo sull’ambiente
Rendering
Presenza: info sensoriali di bassa qualità
Rendering
Presenza: info sensoriali di alta qualità
Rendering
Presenza: scarsa mobilità dei sensori
Rendering
Presenza: buona mobilità dei sensori
Rendering
Presenza: basso controllo dell’ambiente
Rendering
Presenza: alto controllo dell’ambiente
Rendering
Presenza in Ambienti Virtuali
Secondo Zeltzer (1992), per quanto importanti,
questi fattori non sono sufficienti a determinare il
senso di presenza che, peraltro, risulta fortemente
dipendente dal contesto e dal compito che si deve
svolgere.
 Asserisce inoltre che, non essendo possibile ricreare
la realtà in tutti i suoi aspetti, è necessario
identificare quali sono le porzioni di essa sufficienti
per creare la sensazione di presenza relativamente
al task da svolgere.
ATTENZIONE: PROPOSIZIONE NON BANALE !!!

Rendering
Presenza in Ambienti Virtuali

L’asserzione di Zeltzer “autorizza” la ricerca di un
modo per ridurre la complessità della simulazione
tenendo conto del task da simulare, definendo i
valori ottimali dei fattori in gioco:
– Quali canali sensoriali è necessario stimolare?
– Quali informazioni fornire su questi canali?
– Qual’è il livello di dettaglio delle informazioni?
– A quale frequenza fornire queste informazioni?
– Con quali modalità vanno fornite queste informazioni?
– Quali informazioni deve fornire l’utente al VE?
Rendering
Immersione
Rendering
Moduli logici di un Ambiente Virtuale
Campionamento
Sintesi
Modellazione
Comportamenti
Proprietà
AMBIENTE VIRTUALE
Management
Rendering
Interazione
UTENTE
Rendering
Flusso di dati in Ambienti Virtuali
AMBIENTE VIRTUALE
Informazioni
efferenti
INTERFACCIA
Informazioni
afferenti
UTENTE
Rendering
Flusso di dati in Ambienti Virtuali
AMBIENTE VIRTUALE
CANALE
VISIVO
CANALE
ACUSTICO
CANALE
APTICO
CANALE
INERZIALE
UTENTE
Rendering
Flusso di dati in Ambienti Virtuali
AMBIENTE VIRTUALE
CANALE
VISIVO
CANALE
ACUSTICO
CANALE
APTICO
CANALE
INERZIALE
UTENTE
Rendering
Canale visivo: componenti
AMBIENTE VIRTUALE
SW modules of visual
modelling & rendering
CANALE
VISIVO
CANALE
Graphical
ACUSTICO
Feedback
CANALE
APTICO
CANALE
INERZIALE
HW devices
of visualization
UTENTE
Rendering
Depth cues

La percezione della tridimensionalità, a partire da
un’immagine stereoscopica, avviene grazie ad una serie di
“indizi” (depth
(depth cues
cues)) che aiutano nel percepire la terza
dimensione (profondità)

Per simulare efficamente un ambiente tridimensionale è
necessario fornire il maggior numero di depth
depth--cues
cues,, o
almeno quelli più significativi.
Rendering
Depth cues monoculari

Alcuni depth
depth--cues molto importanti
sono:
– Occlusione
Occlusione:: se un oggetto ne occlude
un altro, è percepito come più vicino
– Ombreggiatura
Ombreggiatura:: fornisce info su
orientazione e posizione delle
superfici rispetto ad una sorgente di
luce: uno cambio graduale di
ombreggiatura fa intuire un
variazione graduale di or. e pos
pos..
delle superfici
– Prospettiva
Prospettiva:: note le dimensioni di
un oggetto, se ne può intuire la
distanza dalle sue dimensioni
apparenti.
– Parallasse
Parallasse:: oggetti a distanze
differenti, si muovono con diverse
velocità apparenti
Rendering
Depth cues monoculari
– Depth of field
field:: oggetti a distanza
differente hanno una messa a fuoco
differente
– Campo visuale:
visuale: il campo di vista umano è
di circa 180°
180°x120
120°
°. Agli estremi del campo
di vista le linee parallele sembrano
lievemente incurvate, indizio di distanza.
– Indizi “non visuali”:
visuali”: altre informazioni
giungono da apparati non legati
direttamente alla visione (apparato
vestibolare, dati cinestetici dai muscoli
dell’occhio etc.).
Rendering
Depth cues binoculari

I depth
depth--cues binoculari richiedono
entrambi gli occhi per poter essere
sperimentati:
– Separazione oculare:
oculare: i nostri occhi sono separati da un
certo offset. Ciò implica che le prospettive siano
differenti: gli oggetti sono separati da un offset
crescente al diminuire della distanza. E’ necessario
costruire due immagine diverse per i due occhi.
– Convergenza: per mettere a fuoco lo stesso oggetto i
nostri due occhi convergono, in questo modo allungando
i muscoli extraextra-oculari. Le sensazioni cinestetiche di
questi muscoli contribuiscono a percepire la profondità.
– I depth cues binoculari vengono apprezzati a distanze
relativamente brevi (< 10 m)
Rendering
Visualizzazione stereoscopica
I due occhi vedono il mondo in maniera leggermente
diversa l’uno dall’altro
 Ognuno dei due occhi fornisce una visione prospettica
bidimensionale del mondo
 La combinazione delle due prospettive forma un’immagine
“stereoscopica”, che contiene
informazioni sulla tridimensionalità
del mondo
 Attenzione! Il termine “3D” è spesso
abusato. Ciò che comunemente si
chiama grafica 3D è, di solito, una
rappresentazione prospettica 2D

Rendering
Depth cues
Se si vuole riprodurre un ambiente che possa essere
percepito come reale/realistico, è importante che i depthcues siano presenti o simulati.
 I depth-cues monoculari sono ben simulabili anche da
un’appropriata immagine bidimensionale. Tuttavia, per
quanto necessari, non sono sufficienti: per restituire una
sensazione realistica di ambiente tridimensionale è
necessario implementare anche i depth-cues binoculari.
 Non tutti i depth
depth--cues possono essere implementati
efficacemente. A volte si può provare ad esaltare gli effetti
dei depth
depth--cues implementabili.
 Importante: se mal implementati, depth
depth--cues in conflitto
possono non solo diminuire l’effetto 3D complessivo ma
anche creare disagio nella percezione o addiriturra
malesseri fisici.

Rendering
Immagine stereoscopica

Un sistema per la visualizzazione 3D deve disporre di:
– SW adeguato per la generazione di DUE immagini
bidimensionali (R e L) opportunamente create e
sincronizzate in modo da restituire gli opportuni
depth--cues
depth
– HW in grado di far arrivare separatamente ai due
occhi le corrispondenti immagini

Problema dello “Stereo“Stereo-crosstalk”
(o ghosting
ghosting):
):
– Il ghosting è la permanenza, su un
occhio, dell’immagine relativa all’
altro occhio. Ciò produce la visione
di una silhouette “fantasma” insieme
all’immagine corretta
Rendering
Immagine stereoscopica
Rendering
Immagine stereoscopica
Rendering
Stereo Passivo - Anaglifi




Storicamente, le prime immagini
stereoscopiche (impiegate anche
in fotografia, cinema etc.)
Le due immagini vengono
codificate usando filtri blu (o
verdi) e rossi.
Filtri analoghi decodificano le
immagini
S: Filtraggio distruttivo (bene
bianco e nero, molto meno bene
a colori)
Rendering
Stereo Passivo - polarizzazione
Un sistema di stereoscopia passiva a polarizzazione
usa:
– due proiettori,
proiettori, ognuno dotato di una lente di
polarizzazione che polarizza la luce in una
direzione per l’immagine L e in quella opposta
per l’immagine R
– uno schermo che mantenga la polarizzazione
– speciali occhiali dotati di analoghe lenti di
polarizzazione, in modo che all’occhio R arrivi
solo l’immagine R (lo stesso per L)
 Entrambe le immagini vengono dunque
proiettate, ma una sola arriva ad ogni
occhio

Rendering
La polarizzazione della luce
Un onda luminosa ruota in ogni direzione
 La specifica orientazione, in un dato tempo
t, ne determina la “polarizzazione”
 Polarizzare una luce, di per sè non
polarizzata, significa farne emergere una
particolare orientazione.
 L’occhio umano è poco sensibile ai cambi di
polarizzazione e non percepisce sostanziali
differenze in ciò che vede.

Rendering
Tipi di polarizzazione

Lineare:

Circolare:
La luce viene polarizzata in un’unica direzione.
La P.L. produce un’ottima separazione delle immagini ed è
poco costosa ma, se l’osservatore ruota la testa, la direzione
di polarizzazione degli occhiali non coincide più con quella
della luce, con conseguente perdita delle informazioni stereo
percepite dall’osservatore
La luce viene polarizzata in più direzioni.
La P.C. richiede un’alta precisione e una corrispondenza
molto più stretta fra i filtri
di proiezione e quelli degli
occhiali.L’osservatore è
però libero di ruotare
la testa in ogni direzione.
Rendering
Stereo Attivo

Un sistema di stereoscopia attiva usa:
– un solo proiettore (anche monitor)
– speciali occhiali (shutter
(shutter--glasses
glasses)) muniti di
particolari pannelli LCD che, alternativamente,
aprono e chiudono le lenti quando un’opportuna
carica elettrica li attraversa


Le immagini vengono proiettate
sequenzialmente ad alta frequenza (120Hz).
Gli occhiali sono sincronizzati con la
proiezione (via radio, IR o DLP) , in modo che
ogni lente sia aperta quando viene proiettata
l’immagine dell’occhio corrispondente.
Una sola immagine per volta viene dunque
inviata agli occhi, ma lo scambio avviene così
velocemente che il cervello crede di vederle
contemporaneamente e le “fonde”
Rendering
Stereo passivo – polarizzazione: analisi

Svantaggi della polarizzazione
– La P.L. può essere usata solo in ambienti in cui sono previste
piccolissime rotazioni della testa.
– La P.C. presenta problemi più importanti di ghosting e, in alcuni
casi, esso risulta dipendente dal colore.
– In entrambi i casi è necessario uno schermo di materiale speciale
in grado di mantenere la polarizzazione.
– Necessità di due proiettori e, dunque, di calibrazione delle
immagini

Vantaggi della polarizzazione
– Si possono usare normali schede grafiche, ad alta
risoluzione, senza costi eccessivi.
– Costi limitati per l’HW di proiezione (proiettori DLP ad
alta luminosità, filtri, lenti, schermo)
Rendering
Stereo attivo: analisi

Svantaggi delle tecniche attive:
– Necessarie schede grafiche che supportino lo stereo attivo,
leggermente più costose. Risoluzione solitamente non altissima.
– Gli shutter glasses sono fragili e abbastanza costosi. Se non sono
wireless, i cavi possono essere di intralcio al movimento.
– Possibile flickering
– Ghosting sulla parte bassa dell’immagine, dovuto al tempo di
percorrenza del raggio elettronico durante la scansione dalla parte
alta alla parte bassa

Vantaggi delle tecniche attive:
– Necessario un solo proiettore
– Nessuna necessità di calibrazione delle immagini
– Luminosità delle immagini
– Meno ghosting rispetto a polarizzazione
Rendering
Stereo Passivo: Monitor a polarizzazione
•
•
Fino a pochi mesi fa, la polarizzazione era riservata ai
sistemi di proiezione
Monitor di nuova generazione usano micro
micro--polarizzatori
circolari sulle righe pari e dispari
dispari..
Es. Hyundai Arisawa / Xpol 46": 2D resolution 1920 x 1080
Es.
/ stereoscopic 3D resolution 1920 x 540 per eye.
Rendering
Stereo passivo – filtri infitec
Left Eye

Vantaggi rispetto alla polarizzazione:
Scarsissimi problemi di ghosting,
indipendenza dalla rotazione della testa
– Migliore separazione delle immagini
– Una qualsiasi superficie può fungere da
schermo
–

Right Eye
Svantaggi del filtraggio infitec
–
–
Alti costi
I colori vengono “virati” ed è consigliabile una correzione SW della gamma
Rendering
Stereo passivo “ibrido” - RealD
Polarizzazione passiva a singolo proiettore:
Le immagini vengono inviate alternate come per lo stereo
attivo, un sistema di controllo effettua lo switch tra i filtri di
polarizzazione left/right (di solito si usa polarizzazione
lineare)
Rendering
HW per la proiezione

Proiettori CRT (Catode
(Catode Ray Tube)
Tube)

V – Qualità, Risoluzione, Tempo di vita, Calore, Nero
S – Ingombro, Calibrazione, Luminosità
L’immagine viene formata da tre raggi di elettroni che
vengono combinati con una lente.
Rendering
HW per la proiezione

Proiettori LCD (Liquid
(Liquid Crystal Display)
Display)

V – Nitidezza(
Nitidezza(--), Peso, LuminositàLuminosità-Efficienza (su DLP), Colore (su DLP)
S – Tempo di vita, Pixel morti, Costo dei pannelli, POLARIZZAZIONE
3 pannelli LC (R,G,B) che si oscurano o sono trasparenti a seconda
della carica che li percorre. Una singola fonte di luce illumina i 3
pannelli, le 3 immagini monocromatiche vengono composte con un
prisma, l’immagine risultante viene proiettata tramite una lente.
Rendering
HW per la proiezione

Proiettori DLP (Digital
(Digital Light Processing)
Processing)

V – Peso, Luminosità, Calibrazione, Contrasto, Tempo di vita (su LCD)
S – Tempo di vita (su CRT), Colore (Nero), Effetto arcobaleno
Simili a LCD ma digitali. I pannelli sono sostituiti da tre chip di silicio
contenente ~ 1M di specchi microscopici (uno per pixel) che si orientano
in modo da riflettere la luce verso la lente o in verso contrario. Le 3
immagini monocromatiche vengono composte da un prisma e proiettate.
Rendering
Powerwall




Il Powerwall è uno schermo a retroretro-proiezione che
visualizza immagini stereoscopiche.
Permette la collaborazione di piccoli gruppi di ricercatori
che condividono gli stessi dati
La retroretro-proiezione garantisce la piena libertà di
movimento, dal momento che non c’è mai occlusione degli
utenti nei confronti del
fascio di luce.
Per limitare lo spazio
occupato, senza dimidiminuire il cammino ottico,
è possibile usare uno o
più specchi.
Rendering
Workbench


Simile al Powerwall, ma di dimensioni più ridotte (con
conseguente immersione ridotta) e orientazione piana o
inclinata.
Utile in alcuni contesti (es. simulazione chirurgica) in cui non è
necessaria l’immersione in un ambiente virtuale, ma è
preferibile calare alcuni contenuti virtuali in un contesto reale.
CLIP
Rendering
Il CAVE

CAVE è un acronimo ricorsivo (CAVE Automatic Virtual
Environment.

Il CAVE è un ambiente
multi--utente, una stanza
multi
i cui muri sono powerwall
sincronizzati fra loro
e (opzionalmente) con
i movimenti dell’utente.
Ovviamente la visione
stereo è coerente con i
movimenti di un solo utente.
Gli altri sono “passeggeri”

Hardware
Visualization
CLIP
CLIP
Rendering
Il CAVE – varianti



Esistono CAVE a 3, 4, 5 e 6 schermi. In Europa si trovano a
Londra (4), Stoccarda (4,6), Torino (3)...
Solitamente il pavimento non è retroproietretroproiettato, a meno che non vi sia anche il soffitto.
Nel CAVE a 6 schermi (Fraunhofer
Institute), tutti sono retroproiettati.
Uno schermo è scorrevole per poter
accedere alla struttura.
E’ disponibile sia la versione con
stereo attivo (Onyx 6pipe, 1024x1024)
sia quella con passivo (cluster di 12 PC,
polarizzazione circolare, 1400x1400)
Rendering
Octave at Salford
Rendering
Display autostereoscopici

Tali display non fanno uso di lenti, occhiali o altri dispositivi

Parallax displays
displays::
La separazione delle immagini avviene mediante delle barriere
di parallasse, realizzate mediante due schermi sovrapposti che
vengono mostrati a colonne alternate, o mediante l’emissione
della luce ad angoli differenti a seconda del colore.
Svantaggio: esiste un range limitato di posizioni ammissibili
Rendering
Display autostereoscopici

Display Lenticolari:
Fanno uso di fogli “lenticolari”, ovvero di una serie di lenti
cilindriche che permettono di mettere a fuoco solo una
porzione dell’immagine retrostante.
Rendering
Display autostereoscopici

I display autostereoscopici non sono ancora disponibili per
schermi di grandi dimensioni, ma iniziano a essere diffusi
in dispositivi consumer come il Nintendo 3DS, che usa un
sistema Sharp a doppia barriera di parallasse.
Rendering
Altri display 3D

Volumetric displays
displays::
Sistemi che mostrano le informazioni in un
volume predefinito. Invece che di pixel
si parla di voxel
voxel..
Emissivi:: il volume è riempito con un mezzo
Emissivi
capace di emettere luce da ogni parte delle sue
componenti a seconda di come viene eccitato.
Rotanti:: uno schermo piatto ruota a 600 rpm
Rotanti
rpm..
A seconda della posizione angolare dello
schermo, un sistema ottico proietta su di esso
l’immagine dell’oggetto corrispondente alla
prospettiva associata a quell’angolo.
CLIP
Rendering
Altri Display 3D

Olografia::
Olografia
I display olografici ricostruiscono l’intensità e la direzione della
luce che colpisce un oggetto, precedentemente “registrata”. La
sensazione di tridimensionalità è fortissima (quasi tutti i depth
depth-cues sono presenti) ma al momento non è ancora praticabile il
loro uso per la visualizzazione di contenuti sintetici dinamici.
Rendering
Altri Display 3D

Holografika::
Holografika

Non
è
una
soluzione
olografica “pura”, è basata
sui
principi
geometrici
dell’olografia. I “voxel” dello
schermo emettono luce di
differente intensità e colore
lungo le varie direzioni.
Rendering
Altri Display 3D

MACO 3D Box
Box::

Non è un display 3D ma,
grazie all’uso di un
display semitrasparente
inclinato a 45° e in
grado
di
mostrare
un’immagine proiettata
da
uno
schermo
nascosto
sottostante,
crea l’illusione di un
modello 3D flottante
nello spazio grazie ad un
livello
di
parallasse
“fisica”
Rendering
Altri Display 3D

Dreamoc 3D Display, Innovision Holo AD
AD::
Replicando lo stesso
effetto su tre pareti di
un prisma, si ottiene un
angolo di visione molto
più ampio.
 In entrambi i casi non
c’è alcuna parallasse
nel
movimento
né
stereoscopia (a meno di
non rilevare la posizione
dell’osservatore e di
non proiettare immagini
stereoscopiche)

Rendering
Immersione “domestica”: MS Illumiroom
Rendering
Immersione “domestica”: MS Illumiroom
Rendering
Head Mounted Display
Rendering
Head Mounted Display
E’ un caschetto, provvisto di 2 piccoli display,
indossabile dall’utente
 Opzionalmente provvisto di cuffie e di tracker
 Garantisce la migliore separazione possibile delle
immagini, dato che ogni occhio ha il suo display dedicato



Vantaggi:
- Immersione totale (non c’è alcun
contatto ottico con la realtà fisica)
Svantaggi:
- Costo elevato
- Risoluzione limitata
- FOV limitato (effetto sub)
- Sickness
Rendering
Il mercato

Alcuni ordini di grandezza di costi dei dispositivi:
 Head Mounted Display



Cybermind Visette
Visette,, FOVdiag=45, 750 gr.
 1280x1024 : ~ 10 K€
 800x600: ~ 5 K€
Nvisor SX111, FOVdiag=90, 1,3 Kg
 1280x1024 : ~ 35 K€
C.A.V.E.
Non esistono “listini prezzi”
 Spesso “self
“self--made
made”
”
 Dipende da numero e dimensione pareti
risoluzione, tipo di stereo, sensori, etc.
 Ordini di grandezza: 100 K€ ma anche >>


http://www.est--kl.com
http://www.est
Powerwall

Considerazioni simili al C.A.V.E.
Rendering
La rivoluzione: Oculus Rift
Prezzo atteso: < $ 500 (circa)
Rendering
Oculus Rift
Rendering
Oculus Rift
Versione kickstarter
 5,6 pollici
 FOV 110°
110°diagonale
 640 x 800 per occhio
 Circa 300 grammi di peso
 Giroscopi
Versione dk2
 7 pollici
 FOV 110°
110°diagonale
 960 x 1020 per occhio
 Circa 390 grammi di peso
 Giroscopi bassa latenza,
sensore posizione
Rendering
Oculus Rift
Caratteristiche generali:
 Pannello OLED a bassa persistenza (migliora il motion blur
blur))
 Per ridurre peso e dimensioni, lo schermo è vicinissimo agli
occhi. Sono necessarie lenti che però causano una forte
distorsione a barile: è necessario dunque precompensare
questa distorsione con un “warping
“warping”
” delle immagini
 Dk2 migliora la latenza con il “time
“time warping
warping”,
”, i.e. intervenire
sull’immagine già renderizzata introducendo modifiche “last
instant”
instant
” sulla base degli ultimi dati letti dai sensori (senza
renderizzarla nuovamente -> risparmio di tempo)
Versione commerciale (2016):
 1080x1200 per occhio
Rendering
HTC Vive
Competitor di Oculus
 Area di tracking più ampia
 Include controllers

Rendering
HTC Vive vs. Oculus
Rendering
Home--made HMD: FOV2GO
Home
Rendering
Home--made HMD: Google Cardboard
Home
Rendering
Samsung GearVR
Primo esempio di Mobile VR
 E’ sostanzialmente un Samsung Note 4 accoppiato a
un sistema di lenti
 Non solo casco ma sistema all
all--in
in--one
 Usando camera, possibile realtà aumentata

Rendering
Canale acustico: componenti
AMBIENTE VIRTUALE
CANALE
VISIVO
CANALE
ACUSTICO
CANALE
APTICO
Audio
Feedback
CANALE
SW modules of audio
modelling & rendering
INERZIALE
HW audio
devices
UTENTE
Rendering
Dispositivi acustici di output
Rendering
Dispositivi acustici di output

STEREOFONIA:
I suoni sono ripartiti in due canali, uno per
l’orecchio destro, uno per il sinistro. Si può creare
l’illusione di una sorgente virtuale, ma solo lungo
la congiungente degli altoparlanti.

SISTEMI MULTICANALE:
Aumentando il numero di canali, è possibile
aumentare lo spazio nel quale è localizzata la
sorgente sonora virtuale.
Attenzione: il tipico effetto “Surround” non aiuta
la percezione della localizzazione, ma causa un
effetto di spazializzazione: il suono sembra
provenire da una superficie più grande di quella
degli altoparlanti
Rendering
Crosstalk
Nei dispositivi basati sugli altoparlanti si crea un fenomeno
analogo al ghosting nella stereoscopia: il crosstalk
crosstalk..
Una certa porzione del suono destinato all’orecchio destro
arriva al sinistro e viceversa.
 E’ possibile però usare dei filtri che cancellino il crosscross-talk,
aggiungendo del segnale tale che, se l’ascoltatore è collocato in
un determinato punto (Sweet(Sweet-Spot) il crosstalk non viene
percepito.
 Quando si lascia lo Sweet Spot, il crosstalk viene percepito tanto
più quanto più ci si allontana. Ma questa
percezione è molto più forte sulla
direzione LR che su quella FB.
 La presenza degli altoparlanti posteriori
permette di estendere lo SweetSweet-Spot ad
una sfera, aumentando l’area attiva.

Rendering
Cuffie






Analogamente all’HMD, la cuffia fornisce la migliore separazione
tra i canali: ogni orecchio riceve solo il canale ad esso relativo.
Evidentemente il segnale deve essere trattato a monte, in modo
che arrivi già trasformato con la opportuna HRTF
In questo modo è possibile percepire la direzionalità del suono
(in maniera minore nella direzione FR, dato che gli effetti di
mascheramento sono simulati e non reali)
Si creano dunque sorgenti virtuali
Esistono cuffie provviste di un decoder
surround che “virtualizza” il sonoro, nel
senso che crea “canali virtuali” ma non
sorgenti virtuali.
Se l’ascoltatore si muove, è necessario
conoscere la sua nuova pos./or.
Rendering
Cuffie 3D
Annunciate nel 2015 su kickstarter
kickstarter,, le NEOH, prodotte da 3D
sound labs
labs,, promettono di essere per l’audio ciò che l’Oculus
l’Oculus
Rift è per il video
 Dotate di head tracking
 Per VR offriranno di più di comuni cuffie abbinate al tracking
tracking??

Rendering
Canale aptico: componenti
AMBIENTE VIRTUALE
CANALE
CANALE
ACUSTICO
VISIVO
SW
modules of haptic
CANALE
APTICO
CANALE
INERZIALE
modelling & rendering
Haptic
Feedback
Haptic Interfaces
UTENTE
Rendering
Interfacce aptiche
Desktop:
Whole Body movement Haptic Interfaces:
Possible use of a
Planar HI for the desktop locomotion interface
in a VE
A whole body
motion Haptic
Interface.
Anthropomorphic:
Anthropomorphic
Haptic Inerface:
Hand Exoskeleton
Remotely located
Actuators Tendon
Transmission
Anthropomorphic
Haptic Interface: 7
DOFs Arm
Exoskeleton
Rendering
Haptic interfaces: desktop
Rendering
Haptic interfaces: antropomorphic
Rendering
Il problema della coco-location




I canali di interfaccia spesso agiscono in sistemi di
riferimento separati
Perché l’interazione sia corretta, è necessario che tali
sistemi collimino alla perfezione
Se questo si verifica, la naturalezza e il realismo
dell’interazione sono perfetti
Alcuni aspetti limitano una perfetta coco-location:
– Gli errori insiti nelle trasformazioni fra sistemi di riferimento
– Le ostruzioni visive che diminuiscono la sensazione di presenza
Rendering
Il problema della coco-location
Rendering
Co--location: soluzione Reachin
Co
CLIP
Rendering
Canale inerziale: componenti
AMBIENTE VIRTUALE
CANALE
VISIVO
CANALE
ACUSTICO
CANALE
APTICO
CANALE
INERZIALE
Inertial
Feedback
UTENTE
Rendering
Feedback inerziale
Rendering
Feedback inerziale
Rendering
Rendering olfattivo
AMBIENTE VIRTUALE
…
CANALE
OLFATTIVO
CANALE
DEL
GUSTO
…
UTENTE
Rendering
Rendering olfattivo

GENERAZIONE DI ODORI
 L’olfatto è sollecitato da stimoli chimici, a differenza degli altri
sensi su cui agiscono stimoli fisici
 E’ stata proposta una teoria (Amoore 1963) secondo la quale un
odore nasce dalla combinazione di sette odori primari. La teoria,
seppur molto semplificativa, è ritenuta accettabile.

Odore primario
Esempio
Canforaceo
Naftalina
Muschioso
Muschio
Floreale
Rosa/Lavanda
Mentolato
Mentolo
Etereo
Alcool
Pungente
Aceto
Putrido
Uova marce
Scent Display
PARALLELO CON I DISPLAY GRAFICI:



Distribuzione “aperta” di odori ↔ Illuminazione controllata
Distribuzione diretta nel naso con cannule ↔ HMD
Distribuzione in uno spazio “a portata di naso” ↔ HW Proiezione
Rendering
Rendering olfattivo
ATR Media Information Science Laboratories
Dept. of Information Media Technology, Tokai University
Japan
Rendering
Rendering gustativo

GENERAZIONE DI SAPORI
 Anche in questo caso esiste secondo la quale un sapore nasce dalla
combinazione di cinque sapori primari.

Sapore primario
Esempio
Salato
Sale
Acido
Aceto
Dolce
Zucchero
Amaro
Caffè
Umami
Glutammato
(es. Parmigiano, Salsa
di soia etc.)
DISPLAY GUSTATIVO

Ad oggi l’unica proposta viene dalla Tsukuba University dove è
stato sviluppato il “food simulator”, che consiste in un interfaccia
aptica (HI) che restituisce le sensazioni di forza associate alla
masticazione, e usa una combinazione di sapori primari per
generare il sapore voluto che viene poi iniettato in forma di
liquido (0.5 ml) tramite una cannula posta all’estremita della HI.
Rendering
Rendering gustativo
Hiroo Iwata, University of Tsukuba, Japan
Rendering