ambiente virtuale
annuncio pubblicitario
Presenza Rendering Programma del corso Immersione Realtà Virtuale Interazione Presenza Rendering Presenza in Ambienti Virtuali Abbiamo definito la presenza come la “sensazione mentale di essere in un certo posto” (being (being there) there) La presenza in un Ambiente Virtuale richiede: – che l’ambiente virtuale sia concepito e realizzato al fine di massimizzare questa sensazione – che l’utente sia “predisposto” ad accettare la sensazione di presenza in un ambiente che non è quello reale (suspension of disbelief, o sospensione dell’incredulità, definita come la “volontà, da parte del lettore o dello spettatore, di sospendere le proprie facoltà critiche allo scopo di ignorare le inconsistenze secondarie e godere di un'opera di fantasia” – Samuel Taylor Coleridge 1817) Rendering Presenza in Ambienti Virtuali I fattori soggettivi possono essere (difficilmente) esaminati in termini quantitativi (attraverso sensori che registrano parametri fisiologici) e qualitativi (questionari) Rendering Presenza in Ambienti Virtuali High Immersion Low immersion Non-immersive Non-interactive Device based Natural Rendering Presenza in Ambienti Virtuali Interazione Immersione Immaginazione (G.Burdea G.Burdea)) Illusione di Luogo Illusione di Plausibilità Corpo Virtuale Rendering Presenza in Ambienti Virtuali Illusione di Luogo: Luogo: la forte illusione di "essere in un luogo" malgrado la consapevolezza di non esserci realmente L'Immersione rappresenta i limiti entro cui l'Illusione di Luogo può avvenire. Perchè questo sia possibile, è necessario che esista un insieme di avvenimenti sensorimotori coerenti in modo che l'azione del fruitore cambi in modo coerente e significativo l'ambiente. Rendering Presenza in Ambienti Virtuali Illusione di Luogo: "The pit room" Stanza virtuale con un "buco" che mostra una stanza più in basso di un piano I partecipanti EVITANO di passare sopra al buco! Rendering Presenza in Ambienti Virtuali Illusione di Plausibilità: mentre l'Illusione di Luogo riguarda COME l'ambiente viene percepito, l'Illusione di Plausibilità COSA viene percepito. Si tratta dell'illusione che ciò che avviene nell'ambiente virtuale stia effettivamente avvenendo - coniugata alla consapevolezza che non è così. L'uomo reagisce emotivamente come se stesse realmente parlando con una donna: Illusione di Plausibilità (Pan et al, 2008) Rendering Presenza in Ambienti Virtuali Illusione di Plausibilità: “Public speaking” Persone ansiose rispetto al public speaking (parlare di fronte a un pubblico) restano ansiose (misura dei valori fisiologico e questionari di valutazione) anche di fronte ad un pubblico di avatar; se il pubblico manifesta segni di noia o insofferenza (seconda immagine) , l'ansia aumenta notevolmente. (Slater et al. 1999) Rendering Presenza in Ambienti Virtuali Secondo Sheridan (1992) la sensazione di presenza è determinata da tre fattori: – Qualità delle informazioni sensoriali Modellazione Rendering – Mobilità e controllo dei sensori – Controllo sull’ambiente Rendering Presenza: info sensoriali di bassa qualità Rendering Presenza: info sensoriali di alta qualità Rendering Presenza: scarsa mobilità dei sensori Rendering Presenza: buona mobilità dei sensori Rendering Presenza: basso controllo dell’ambiente Rendering Presenza: alto controllo dell’ambiente Rendering Presenza in Ambienti Virtuali Secondo Zeltzer (1992), per quanto importanti, questi fattori non sono sufficienti a determinare il senso di presenza che, peraltro, risulta fortemente dipendente dal contesto e dal compito che si deve svolgere. Asserisce inoltre che, non essendo possibile ricreare la realtà in tutti i suoi aspetti, è necessario identificare quali sono le porzioni di essa sufficienti per creare la sensazione di presenza relativamente al task da svolgere. ATTENZIONE: PROPOSIZIONE NON BANALE !!! Rendering Presenza in Ambienti Virtuali L’asserzione di Zeltzer “autorizza” la ricerca di un modo per ridurre la complessità della simulazione tenendo conto del task da simulare, definendo i valori ottimali dei fattori in gioco: – Quali canali sensoriali è necessario stimolare? – Quali informazioni fornire su questi canali? – Qual’è il livello di dettaglio delle informazioni? – A quale frequenza fornire queste informazioni? – Con quali modalità vanno fornite queste informazioni? – Quali informazioni deve fornire l’utente al VE? Rendering Immersione Rendering Moduli logici di un Ambiente Virtuale Campionamento Sintesi Modellazione Comportamenti Proprietà AMBIENTE VIRTUALE Management Rendering Interazione UTENTE Rendering Flusso di dati in Ambienti Virtuali AMBIENTE VIRTUALE Informazioni efferenti INTERFACCIA Informazioni afferenti UTENTE Rendering Flusso di dati in Ambienti Virtuali AMBIENTE VIRTUALE CANALE VISIVO CANALE ACUSTICO CANALE APTICO CANALE INERZIALE UTENTE Rendering Flusso di dati in Ambienti Virtuali AMBIENTE VIRTUALE CANALE VISIVO CANALE ACUSTICO CANALE APTICO CANALE INERZIALE UTENTE Rendering Canale visivo: componenti AMBIENTE VIRTUALE SW modules of visual modelling & rendering CANALE VISIVO CANALE Graphical ACUSTICO Feedback CANALE APTICO CANALE INERZIALE HW devices of visualization UTENTE Rendering Depth cues La percezione della tridimensionalità, a partire da un’immagine stereoscopica, avviene grazie ad una serie di “indizi” (depth (depth cues cues)) che aiutano nel percepire la terza dimensione (profondità) Per simulare efficamente un ambiente tridimensionale è necessario fornire il maggior numero di depth depth--cues cues,, o almeno quelli più significativi. Rendering Depth cues monoculari Alcuni depth depth--cues molto importanti sono: – Occlusione Occlusione:: se un oggetto ne occlude un altro, è percepito come più vicino – Ombreggiatura Ombreggiatura:: fornisce info su orientazione e posizione delle superfici rispetto ad una sorgente di luce: uno cambio graduale di ombreggiatura fa intuire un variazione graduale di or. e pos pos.. delle superfici – Prospettiva Prospettiva:: note le dimensioni di un oggetto, se ne può intuire la distanza dalle sue dimensioni apparenti. – Parallasse Parallasse:: oggetti a distanze differenti, si muovono con diverse velocità apparenti Rendering Depth cues monoculari – Depth of field field:: oggetti a distanza differente hanno una messa a fuoco differente – Campo visuale: visuale: il campo di vista umano è di circa 180° 180°x120 120° °. Agli estremi del campo di vista le linee parallele sembrano lievemente incurvate, indizio di distanza. – Indizi “non visuali”: visuali”: altre informazioni giungono da apparati non legati direttamente alla visione (apparato vestibolare, dati cinestetici dai muscoli dell’occhio etc.). Rendering Depth cues binoculari I depth depth--cues binoculari richiedono entrambi gli occhi per poter essere sperimentati: – Separazione oculare: oculare: i nostri occhi sono separati da un certo offset. Ciò implica che le prospettive siano differenti: gli oggetti sono separati da un offset crescente al diminuire della distanza. E’ necessario costruire due immagine diverse per i due occhi. – Convergenza: per mettere a fuoco lo stesso oggetto i nostri due occhi convergono, in questo modo allungando i muscoli extraextra-oculari. Le sensazioni cinestetiche di questi muscoli contribuiscono a percepire la profondità. – I depth cues binoculari vengono apprezzati a distanze relativamente brevi (< 10 m) Rendering Visualizzazione stereoscopica I due occhi vedono il mondo in maniera leggermente diversa l’uno dall’altro Ognuno dei due occhi fornisce una visione prospettica bidimensionale del mondo La combinazione delle due prospettive forma un’immagine “stereoscopica”, che contiene informazioni sulla tridimensionalità del mondo Attenzione! Il termine “3D” è spesso abusato. Ciò che comunemente si chiama grafica 3D è, di solito, una rappresentazione prospettica 2D Rendering Depth cues Se si vuole riprodurre un ambiente che possa essere percepito come reale/realistico, è importante che i depthcues siano presenti o simulati. I depth-cues monoculari sono ben simulabili anche da un’appropriata immagine bidimensionale. Tuttavia, per quanto necessari, non sono sufficienti: per restituire una sensazione realistica di ambiente tridimensionale è necessario implementare anche i depth-cues binoculari. Non tutti i depth depth--cues possono essere implementati efficacemente. A volte si può provare ad esaltare gli effetti dei depth depth--cues implementabili. Importante: se mal implementati, depth depth--cues in conflitto possono non solo diminuire l’effetto 3D complessivo ma anche creare disagio nella percezione o addiriturra malesseri fisici. Rendering Immagine stereoscopica Un sistema per la visualizzazione 3D deve disporre di: – SW adeguato per la generazione di DUE immagini bidimensionali (R e L) opportunamente create e sincronizzate in modo da restituire gli opportuni depth--cues depth – HW in grado di far arrivare separatamente ai due occhi le corrispondenti immagini Problema dello “Stereo“Stereo-crosstalk” (o ghosting ghosting): ): – Il ghosting è la permanenza, su un occhio, dell’immagine relativa all’ altro occhio. Ciò produce la visione di una silhouette “fantasma” insieme all’immagine corretta Rendering Immagine stereoscopica Rendering Immagine stereoscopica Rendering Stereo Passivo - Anaglifi Storicamente, le prime immagini stereoscopiche (impiegate anche in fotografia, cinema etc.) Le due immagini vengono codificate usando filtri blu (o verdi) e rossi. Filtri analoghi decodificano le immagini S: Filtraggio distruttivo (bene bianco e nero, molto meno bene a colori) Rendering Stereo Passivo - polarizzazione Un sistema di stereoscopia passiva a polarizzazione usa: – due proiettori, proiettori, ognuno dotato di una lente di polarizzazione che polarizza la luce in una direzione per l’immagine L e in quella opposta per l’immagine R – uno schermo che mantenga la polarizzazione – speciali occhiali dotati di analoghe lenti di polarizzazione, in modo che all’occhio R arrivi solo l’immagine R (lo stesso per L) Entrambe le immagini vengono dunque proiettate, ma una sola arriva ad ogni occhio Rendering La polarizzazione della luce Un onda luminosa ruota in ogni direzione La specifica orientazione, in un dato tempo t, ne determina la “polarizzazione” Polarizzare una luce, di per sè non polarizzata, significa farne emergere una particolare orientazione. L’occhio umano è poco sensibile ai cambi di polarizzazione e non percepisce sostanziali differenze in ciò che vede. Rendering Tipi di polarizzazione Lineare: Circolare: La luce viene polarizzata in un’unica direzione. La P.L. produce un’ottima separazione delle immagini ed è poco costosa ma, se l’osservatore ruota la testa, la direzione di polarizzazione degli occhiali non coincide più con quella della luce, con conseguente perdita delle informazioni stereo percepite dall’osservatore La luce viene polarizzata in più direzioni. La P.C. richiede un’alta precisione e una corrispondenza molto più stretta fra i filtri di proiezione e quelli degli occhiali.L’osservatore è però libero di ruotare la testa in ogni direzione. Rendering Stereo Attivo Un sistema di stereoscopia attiva usa: – un solo proiettore (anche monitor) – speciali occhiali (shutter (shutter--glasses glasses)) muniti di particolari pannelli LCD che, alternativamente, aprono e chiudono le lenti quando un’opportuna carica elettrica li attraversa Le immagini vengono proiettate sequenzialmente ad alta frequenza (120Hz). Gli occhiali sono sincronizzati con la proiezione (via radio, IR o DLP) , in modo che ogni lente sia aperta quando viene proiettata l’immagine dell’occhio corrispondente. Una sola immagine per volta viene dunque inviata agli occhi, ma lo scambio avviene così velocemente che il cervello crede di vederle contemporaneamente e le “fonde” Rendering Stereo passivo – polarizzazione: analisi Svantaggi della polarizzazione – La P.L. può essere usata solo in ambienti in cui sono previste piccolissime rotazioni della testa. – La P.C. presenta problemi più importanti di ghosting e, in alcuni casi, esso risulta dipendente dal colore. – In entrambi i casi è necessario uno schermo di materiale speciale in grado di mantenere la polarizzazione. – Necessità di due proiettori e, dunque, di calibrazione delle immagini Vantaggi della polarizzazione – Si possono usare normali schede grafiche, ad alta risoluzione, senza costi eccessivi. – Costi limitati per l’HW di proiezione (proiettori DLP ad alta luminosità, filtri, lenti, schermo) Rendering Stereo attivo: analisi Svantaggi delle tecniche attive: – Necessarie schede grafiche che supportino lo stereo attivo, leggermente più costose. Risoluzione solitamente non altissima. – Gli shutter glasses sono fragili e abbastanza costosi. Se non sono wireless, i cavi possono essere di intralcio al movimento. – Possibile flickering – Ghosting sulla parte bassa dell’immagine, dovuto al tempo di percorrenza del raggio elettronico durante la scansione dalla parte alta alla parte bassa Vantaggi delle tecniche attive: – Necessario un solo proiettore – Nessuna necessità di calibrazione delle immagini – Luminosità delle immagini – Meno ghosting rispetto a polarizzazione Rendering Stereo Passivo: Monitor a polarizzazione • • Fino a pochi mesi fa, la polarizzazione era riservata ai sistemi di proiezione Monitor di nuova generazione usano micro micro--polarizzatori circolari sulle righe pari e dispari dispari.. Es. Hyundai Arisawa / Xpol 46": 2D resolution 1920 x 1080 Es. / stereoscopic 3D resolution 1920 x 540 per eye. Rendering Stereo passivo – filtri infitec Left Eye Vantaggi rispetto alla polarizzazione: Scarsissimi problemi di ghosting, indipendenza dalla rotazione della testa – Migliore separazione delle immagini – Una qualsiasi superficie può fungere da schermo – Right Eye Svantaggi del filtraggio infitec – – Alti costi I colori vengono “virati” ed è consigliabile una correzione SW della gamma Rendering Stereo passivo “ibrido” - RealD Polarizzazione passiva a singolo proiettore: Le immagini vengono inviate alternate come per lo stereo attivo, un sistema di controllo effettua lo switch tra i filtri di polarizzazione left/right (di solito si usa polarizzazione lineare) Rendering HW per la proiezione Proiettori CRT (Catode (Catode Ray Tube) Tube) V – Qualità, Risoluzione, Tempo di vita, Calore, Nero S – Ingombro, Calibrazione, Luminosità L’immagine viene formata da tre raggi di elettroni che vengono combinati con una lente. Rendering HW per la proiezione Proiettori LCD (Liquid (Liquid Crystal Display) Display) V – Nitidezza( Nitidezza(--), Peso, LuminositàLuminosità-Efficienza (su DLP), Colore (su DLP) S – Tempo di vita, Pixel morti, Costo dei pannelli, POLARIZZAZIONE 3 pannelli LC (R,G,B) che si oscurano o sono trasparenti a seconda della carica che li percorre. Una singola fonte di luce illumina i 3 pannelli, le 3 immagini monocromatiche vengono composte con un prisma, l’immagine risultante viene proiettata tramite una lente. Rendering HW per la proiezione Proiettori DLP (Digital (Digital Light Processing) Processing) V – Peso, Luminosità, Calibrazione, Contrasto, Tempo di vita (su LCD) S – Tempo di vita (su CRT), Colore (Nero), Effetto arcobaleno Simili a LCD ma digitali. I pannelli sono sostituiti da tre chip di silicio contenente ~ 1M di specchi microscopici (uno per pixel) che si orientano in modo da riflettere la luce verso la lente o in verso contrario. Le 3 immagini monocromatiche vengono composte da un prisma e proiettate. Rendering Powerwall Il Powerwall è uno schermo a retroretro-proiezione che visualizza immagini stereoscopiche. Permette la collaborazione di piccoli gruppi di ricercatori che condividono gli stessi dati La retroretro-proiezione garantisce la piena libertà di movimento, dal momento che non c’è mai occlusione degli utenti nei confronti del fascio di luce. Per limitare lo spazio occupato, senza dimidiminuire il cammino ottico, è possibile usare uno o più specchi. Rendering Workbench Simile al Powerwall, ma di dimensioni più ridotte (con conseguente immersione ridotta) e orientazione piana o inclinata. Utile in alcuni contesti (es. simulazione chirurgica) in cui non è necessaria l’immersione in un ambiente virtuale, ma è preferibile calare alcuni contenuti virtuali in un contesto reale. CLIP Rendering Il CAVE CAVE è un acronimo ricorsivo (CAVE Automatic Virtual Environment. Il CAVE è un ambiente multi--utente, una stanza multi i cui muri sono powerwall sincronizzati fra loro e (opzionalmente) con i movimenti dell’utente. Ovviamente la visione stereo è coerente con i movimenti di un solo utente. Gli altri sono “passeggeri” Hardware Visualization CLIP CLIP Rendering Il CAVE – varianti Esistono CAVE a 3, 4, 5 e 6 schermi. In Europa si trovano a Londra (4), Stoccarda (4,6), Torino (3)... Solitamente il pavimento non è retroproietretroproiettato, a meno che non vi sia anche il soffitto. Nel CAVE a 6 schermi (Fraunhofer Institute), tutti sono retroproiettati. Uno schermo è scorrevole per poter accedere alla struttura. E’ disponibile sia la versione con stereo attivo (Onyx 6pipe, 1024x1024) sia quella con passivo (cluster di 12 PC, polarizzazione circolare, 1400x1400) Rendering Octave at Salford Rendering Display autostereoscopici Tali display non fanno uso di lenti, occhiali o altri dispositivi Parallax displays displays:: La separazione delle immagini avviene mediante delle barriere di parallasse, realizzate mediante due schermi sovrapposti che vengono mostrati a colonne alternate, o mediante l’emissione della luce ad angoli differenti a seconda del colore. Svantaggio: esiste un range limitato di posizioni ammissibili Rendering Display autostereoscopici Display Lenticolari: Fanno uso di fogli “lenticolari”, ovvero di una serie di lenti cilindriche che permettono di mettere a fuoco solo una porzione dell’immagine retrostante. Rendering Display autostereoscopici I display autostereoscopici non sono ancora disponibili per schermi di grandi dimensioni, ma iniziano a essere diffusi in dispositivi consumer come il Nintendo 3DS, che usa un sistema Sharp a doppia barriera di parallasse. Rendering Altri display 3D Volumetric displays displays:: Sistemi che mostrano le informazioni in un volume predefinito. Invece che di pixel si parla di voxel voxel.. Emissivi:: il volume è riempito con un mezzo Emissivi capace di emettere luce da ogni parte delle sue componenti a seconda di come viene eccitato. Rotanti:: uno schermo piatto ruota a 600 rpm Rotanti rpm.. A seconda della posizione angolare dello schermo, un sistema ottico proietta su di esso l’immagine dell’oggetto corrispondente alla prospettiva associata a quell’angolo. CLIP Rendering Altri Display 3D Olografia:: Olografia I display olografici ricostruiscono l’intensità e la direzione della luce che colpisce un oggetto, precedentemente “registrata”. La sensazione di tridimensionalità è fortissima (quasi tutti i depth depth-cues sono presenti) ma al momento non è ancora praticabile il loro uso per la visualizzazione di contenuti sintetici dinamici. Rendering Altri Display 3D Holografika:: Holografika Non è una soluzione olografica “pura”, è basata sui principi geometrici dell’olografia. I “voxel” dello schermo emettono luce di differente intensità e colore lungo le varie direzioni. Rendering Altri Display 3D MACO 3D Box Box:: Non è un display 3D ma, grazie all’uso di un display semitrasparente inclinato a 45° e in grado di mostrare un’immagine proiettata da uno schermo nascosto sottostante, crea l’illusione di un modello 3D flottante nello spazio grazie ad un livello di parallasse “fisica” Rendering Altri Display 3D Dreamoc 3D Display, Innovision Holo AD AD:: Replicando lo stesso effetto su tre pareti di un prisma, si ottiene un angolo di visione molto più ampio. In entrambi i casi non c’è alcuna parallasse nel movimento né stereoscopia (a meno di non rilevare la posizione dell’osservatore e di non proiettare immagini stereoscopiche) Rendering Immersione “domestica”: MS Illumiroom Rendering Immersione “domestica”: MS Illumiroom Rendering Head Mounted Display Rendering Head Mounted Display E’ un caschetto, provvisto di 2 piccoli display, indossabile dall’utente Opzionalmente provvisto di cuffie e di tracker Garantisce la migliore separazione possibile delle immagini, dato che ogni occhio ha il suo display dedicato Vantaggi: - Immersione totale (non c’è alcun contatto ottico con la realtà fisica) Svantaggi: - Costo elevato - Risoluzione limitata - FOV limitato (effetto sub) - Sickness Rendering Il mercato Alcuni ordini di grandezza di costi dei dispositivi: Head Mounted Display Cybermind Visette Visette,, FOVdiag=45, 750 gr. 1280x1024 : ~ 10 K€ 800x600: ~ 5 K€ Nvisor SX111, FOVdiag=90, 1,3 Kg 1280x1024 : ~ 35 K€ C.A.V.E. Non esistono “listini prezzi” Spesso “self “self--made made” ” Dipende da numero e dimensione pareti risoluzione, tipo di stereo, sensori, etc. Ordini di grandezza: 100 K€ ma anche >> http://www.est--kl.com http://www.est Powerwall Considerazioni simili al C.A.V.E. Rendering La rivoluzione: Oculus Rift Prezzo atteso: < $ 500 (circa) Rendering Oculus Rift Rendering Oculus Rift Versione kickstarter 5,6 pollici FOV 110° 110°diagonale 640 x 800 per occhio Circa 300 grammi di peso Giroscopi Versione dk2 7 pollici FOV 110° 110°diagonale 960 x 1020 per occhio Circa 390 grammi di peso Giroscopi bassa latenza, sensore posizione Rendering Oculus Rift Caratteristiche generali: Pannello OLED a bassa persistenza (migliora il motion blur blur)) Per ridurre peso e dimensioni, lo schermo è vicinissimo agli occhi. Sono necessarie lenti che però causano una forte distorsione a barile: è necessario dunque precompensare questa distorsione con un “warping “warping” ” delle immagini Dk2 migliora la latenza con il “time “time warping warping”, ”, i.e. intervenire sull’immagine già renderizzata introducendo modifiche “last instant” instant ” sulla base degli ultimi dati letti dai sensori (senza renderizzarla nuovamente -> risparmio di tempo) Versione commerciale (2016): 1080x1200 per occhio Rendering HTC Vive Competitor di Oculus Area di tracking più ampia Include controllers Rendering HTC Vive vs. Oculus Rendering Home--made HMD: FOV2GO Home Rendering Home--made HMD: Google Cardboard Home Rendering Samsung GearVR Primo esempio di Mobile VR E’ sostanzialmente un Samsung Note 4 accoppiato a un sistema di lenti Non solo casco ma sistema all all--in in--one Usando camera, possibile realtà aumentata Rendering Canale acustico: componenti AMBIENTE VIRTUALE CANALE VISIVO CANALE ACUSTICO CANALE APTICO Audio Feedback CANALE SW modules of audio modelling & rendering INERZIALE HW audio devices UTENTE Rendering Dispositivi acustici di output Rendering Dispositivi acustici di output STEREOFONIA: I suoni sono ripartiti in due canali, uno per l’orecchio destro, uno per il sinistro. Si può creare l’illusione di una sorgente virtuale, ma solo lungo la congiungente degli altoparlanti. SISTEMI MULTICANALE: Aumentando il numero di canali, è possibile aumentare lo spazio nel quale è localizzata la sorgente sonora virtuale. Attenzione: il tipico effetto “Surround” non aiuta la percezione della localizzazione, ma causa un effetto di spazializzazione: il suono sembra provenire da una superficie più grande di quella degli altoparlanti Rendering Crosstalk Nei dispositivi basati sugli altoparlanti si crea un fenomeno analogo al ghosting nella stereoscopia: il crosstalk crosstalk.. Una certa porzione del suono destinato all’orecchio destro arriva al sinistro e viceversa. E’ possibile però usare dei filtri che cancellino il crosscross-talk, aggiungendo del segnale tale che, se l’ascoltatore è collocato in un determinato punto (Sweet(Sweet-Spot) il crosstalk non viene percepito. Quando si lascia lo Sweet Spot, il crosstalk viene percepito tanto più quanto più ci si allontana. Ma questa percezione è molto più forte sulla direzione LR che su quella FB. La presenza degli altoparlanti posteriori permette di estendere lo SweetSweet-Spot ad una sfera, aumentando l’area attiva. Rendering Cuffie Analogamente all’HMD, la cuffia fornisce la migliore separazione tra i canali: ogni orecchio riceve solo il canale ad esso relativo. Evidentemente il segnale deve essere trattato a monte, in modo che arrivi già trasformato con la opportuna HRTF In questo modo è possibile percepire la direzionalità del suono (in maniera minore nella direzione FR, dato che gli effetti di mascheramento sono simulati e non reali) Si creano dunque sorgenti virtuali Esistono cuffie provviste di un decoder surround che “virtualizza” il sonoro, nel senso che crea “canali virtuali” ma non sorgenti virtuali. Se l’ascoltatore si muove, è necessario conoscere la sua nuova pos./or. Rendering Cuffie 3D Annunciate nel 2015 su kickstarter kickstarter,, le NEOH, prodotte da 3D sound labs labs,, promettono di essere per l’audio ciò che l’Oculus l’Oculus Rift è per il video Dotate di head tracking Per VR offriranno di più di comuni cuffie abbinate al tracking tracking?? Rendering Canale aptico: componenti AMBIENTE VIRTUALE CANALE CANALE ACUSTICO VISIVO SW modules of haptic CANALE APTICO CANALE INERZIALE modelling & rendering Haptic Feedback Haptic Interfaces UTENTE Rendering Interfacce aptiche Desktop: Whole Body movement Haptic Interfaces: Possible use of a Planar HI for the desktop locomotion interface in a VE A whole body motion Haptic Interface. Anthropomorphic: Anthropomorphic Haptic Inerface: Hand Exoskeleton Remotely located Actuators Tendon Transmission Anthropomorphic Haptic Interface: 7 DOFs Arm Exoskeleton Rendering Haptic interfaces: desktop Rendering Haptic interfaces: antropomorphic Rendering Il problema della coco-location I canali di interfaccia spesso agiscono in sistemi di riferimento separati Perché l’interazione sia corretta, è necessario che tali sistemi collimino alla perfezione Se questo si verifica, la naturalezza e il realismo dell’interazione sono perfetti Alcuni aspetti limitano una perfetta coco-location: – Gli errori insiti nelle trasformazioni fra sistemi di riferimento – Le ostruzioni visive che diminuiscono la sensazione di presenza Rendering Il problema della coco-location Rendering Co--location: soluzione Reachin Co CLIP Rendering Canale inerziale: componenti AMBIENTE VIRTUALE CANALE VISIVO CANALE ACUSTICO CANALE APTICO CANALE INERZIALE Inertial Feedback UTENTE Rendering Feedback inerziale Rendering Feedback inerziale Rendering Rendering olfattivo AMBIENTE VIRTUALE … CANALE OLFATTIVO CANALE DEL GUSTO … UTENTE Rendering Rendering olfattivo GENERAZIONE DI ODORI L’olfatto è sollecitato da stimoli chimici, a differenza degli altri sensi su cui agiscono stimoli fisici E’ stata proposta una teoria (Amoore 1963) secondo la quale un odore nasce dalla combinazione di sette odori primari. La teoria, seppur molto semplificativa, è ritenuta accettabile. Odore primario Esempio Canforaceo Naftalina Muschioso Muschio Floreale Rosa/Lavanda Mentolato Mentolo Etereo Alcool Pungente Aceto Putrido Uova marce Scent Display PARALLELO CON I DISPLAY GRAFICI: Distribuzione “aperta” di odori ↔ Illuminazione controllata Distribuzione diretta nel naso con cannule ↔ HMD Distribuzione in uno spazio “a portata di naso” ↔ HW Proiezione Rendering Rendering olfattivo ATR Media Information Science Laboratories Dept. of Information Media Technology, Tokai University Japan Rendering Rendering gustativo GENERAZIONE DI SAPORI Anche in questo caso esiste secondo la quale un sapore nasce dalla combinazione di cinque sapori primari. Sapore primario Esempio Salato Sale Acido Aceto Dolce Zucchero Amaro Caffè Umami Glutammato (es. Parmigiano, Salsa di soia etc.) DISPLAY GUSTATIVO Ad oggi l’unica proposta viene dalla Tsukuba University dove è stato sviluppato il “food simulator”, che consiste in un interfaccia aptica (HI) che restituisce le sensazioni di forza associate alla masticazione, e usa una combinazione di sapori primari per generare il sapore voluto che viene poi iniettato in forma di liquido (0.5 ml) tramite una cannula posta all’estremita della HI. Rendering Rendering gustativo Hiroo Iwata, University of Tsukuba, Japan Rendering
