La Percezione nella Realtà Virtuale

La Percezione nella Realtà Virtuale
http://percro.sssup.it/~marcello/didattica.htm
[email protected]
La percezione nella Realtà
Realtà Vituale
Outline
LA REALTÀ
LA REALTÀ VIRTUALE
LA PERCEZIONE DEL TATTO
LE INTERFACCE TATTILI
La percezione nella Realtà
Realtà Vituale
La Realtà (Virtuale ?): La Percezione Del Mondo
I filosofi della Grecia classica avevano già scoperto l'imperfetta corrispondenza tra
il mondo qual è e l'immagine di esso che i nostri sensi ci trasmettono.
I pitagorici compresero che le qualità che si rivelano ai sensi, i suoni, le immagini,
le sensazioni tattili, erano nient'altro che apparenze sotto le quali la realtà, fissa
e misurabile, può essere scoperta solo attraverso i numeri.
L’uomo è misura di tutte le cose, di quelle che sono in quanto sono
e di quelle che non sono in quanto non sono.
Protagora di Abdera
L’Essere è, il Non Essere non è.
Parmenide di Elea
La Percezione nella RV > La Realtà
Realtà > La Percezione del mondo
La percezione nella Realtà
Realtà Vituale
La Realtà: La Dura Realtà
“Da sempre, noi umani abbiamo avuto la possibilità (e l'impellente necessità) di arredare
illusoriamente il mondo. E' superfluo ricordare, perché troppo ovvio, la nostra propensione a
illuderci, a farci illusioni, sulla realtà, e su noi stessi, e a rendere irreale il reale, e
viceversa. Mi riferisco, di preciso, alla nostra capacità affabulatoria, ossia alla nostra
attitudine a generare illusioni e a credere (e far credere) che esse siano reali.”
Va rilevato che queste pratiche creative sono state sempre intimamente legate alla
natura delle tecniche di produzione utilizzate.
Nel campo, per esempio, delle rappresentazioni visive questo è più che evidente.
La Percezione nella RV > La Realtà
Realtà > La Dura Realtà
Realtà
La percezione nella Realtà
Realtà Vituale
La Realtà (Virtuale ?): La Realtà Rappresentata
La capacità di immaginare, raffigurare e produrre mondi illusori è una delle caratteristiche più distintive
della nostra specie: noi umani siamo prolifici facitori di mondi simbolici che svolgono un ruolo di
mediazione tra noi e il mondo reale.
La Percezione nella RV > La Realtà
Realtà > La Realtà
Realtà Rappresentata
La percezione nella Realtà
Realtà Vituale
La Realtà (Virtuale ?): La Realtà Raccontata
Narrazione per immagine, con
artifici grafici, di un mondo
illusorio, non reale.
Ruolo dell’autore e del fruitore
Lector in fabula
Antonello da Messina – S.Gerolamo nello studio (1474)
La Percezione nella RV > La Realtà
Realtà > La Realtà
Realtà Raccontata
La percezione nella Realtà
Realtà Vituale
La Realtà Virtuale: Il senso di presenza
I LIMITI DELLA PERCEZIONE UMANA
Per imitare in maniera sempre più adeguata la realtà che ci circonda è essenziale conoscere
a fondo i meccanismi della nostra percezione per imparare a sfruttarne anche i limiti.
Soltanto dopo aver compreso quanta parte del mondo esterno non viene affatto percepita
dai nostri sensi è possibile selezionare le informazioni veramente necessarie per ottenere
riproduzioni verosimili.
La realtà che conosciamo è condizionata dai nostri limiti fisiologici, se fossimo dotati di
sensi più estesi avremmo una diversa immagine del mondo;
Tuttavia è su questi limiti che l'uomo ha basato le sue conoscenze e molti dei mezzi tecnici
che ci permettono di ampliarle sono fondati proprio sullo sfruttamento dei limiti sensoriali.
La Percezione nella RV > Il Senso di Presenza > I Limiti della Percezione Umana
La percezione nella Realtà
Realtà Vituale
La Realtà Virtuale: Il senso di presenza
I LIMITI DELLA PERCEZIONE UMANA
La gamma sonora da noi percepita è ridotta rispetto a quella percepita dai cani o da altri
animali quali i pipistrelli.
La nostra percezione visiva è fortemente condizionata:
•la gamma cromatica è limitata sia inferiormente (l'occhio umano non è sensibile agli
infrarossi), sia superiormente nella regione degli ultravioletti;
•non riusciamo a distinguere se un colore è frutto di una sola luce monocromatica (di quel
colore) o somma di più luci (la cui somma di colori genera quello apparente);
•non riusciamo a percepire il movimento di oggetti, se questo è troppo veloce.
La realtà che conosciamo è condizionata dai nostri limiti fisiologici, se fossimo dotati di
sensi più estesi avremmo una diversa immagine del mondo.
La Percezione nella RV > Il Senso di Presenza > I Limiti della Percezione Umana /2
La percezione nella Realtà
Realtà Vituale
La Realtà Virtuale: Il senso di presenza
I LIMITI DELLA PERCEZIONE UMANA
Il meccanismo della conoscenza di ciò che ci circonda è condizionato non solo dal
funzionamento dei percettori, dei sensori di cui l'uomo dispone, ma anche dal "modello del
mondo" che il cervello utilizza nell'interpretare i segnali che essi ci trasmettono.
Ad esempio:
una luce che si muove su una circonferenza viene vista, al disopra di una certa velocità di
rotazione, come un cerchio luminoso continuo,
un'opportuna sequenza di note, la sequenza di Shepard, genera la sensazione di un suono di
altezza sempre crescente.
Le illusioni ottiche e uditive sono molteplici e alcune tra esse sono comunemente e da
tempo sfruttate:
nel Trecento, Giotto introdusse la rappresentazione tridimensionale con la prospettiva.
La Percezione nella RV > Il Senso di Presenza > I Limiti della Percezione Umana /3 > Illusioni
La percezione nella Realtà
Realtà Vituale
La Realtà Virtuale: Il senso di presenza
La mente, sulla base delle informazioni trasmessegli dai sensi, costruisce una sua "realtà
virtuale".
Se il modello costruito è soddisfacente, l'uomo tende a confondere la realtà con il modello e
assume questo come base per le sue azioni.
La Percezione nella RV > Il Senso di Presenza
La percezione nella Realtà
Realtà Vituale
La Realtà Virtuale: Il senso di presenza
I LIMITI DELLA PERCEZIONE UMANA: ARTIFICI
Un modello soddisfacente (e longevo).
La simulazione della profondità con la prospettiva ha soddisfatto le nostre esigenze al punto
che, prima di esplorare una modalità più completa della percezione della profondità,
abbiamo dovuto attendere sette secoli.
Solo col cinema e la televisione stereoscopici si può pensare di sfruttare i fenomeni di
persistenza retinica per simulare la visione binoculare attraverso immagini fornite
sequenzialmente all’uno e all'altro occhio.
La Percezione nella RV > Il Senso di Presenza > I Limiti della Percezione
Percezione Umana > Artifici
La percezione nella Realtà
Realtà Vituale
La Realtà Virtuale: Il senso di presenza
I LIMITI DELLA PERCEZIONE UMANA: SUPPORTI TECNOLOGICI
Un modello soddisfacente (anche troppo).
La “stereovisione” tuttavia richiede ancora sistemi di interfaccia macchinosi e costosi.
Al di là della spettacolarità di materializzare oggetti al di fuori dello schermo, il vantaggio di
una visione prospettica più realistica non è stato fino a oggi così intrigante, rispetto alla
sensazione procurata dalla prospettiva, da convincere gli utenti a dotarsi di occhiali
stereoscopici con la stessa facilità con cui sono stati indotti ad acquistare cuffie
stereofoniche.
La Percezione nella RV > Il Senso di Presenza > Supporti tecnologici
La percezione nella Realtà
Realtà Vituale
La Realtà Virtuale: Il senso di presenza
I LIMITI DELLA PERCEZIONE UMANA: RUOLO ATTIVO DELL’OSSERCATORE
Un modello soddisfacente (anche troppo).
Particolarità della percezione visiva:
La selezione della scena della visione è una delle particolarità che trova nella vista il più
complesso ed evoluto dei nostri sensi anche se non il più difficile da ingannare con tecniche
percettive.
Per alcuni studiosi, il compito principale della mente nella visione non è ricostruire le
immagini a partire dagli stimoli che provengono dagli occhi ma scartare quegli stimoli che
non risultano utili alla nostra sopravvivenza.
La Percezione nella RV > Il Senso di Presenza > Ruolo attivo dell’
dell’osservatore
La percezione nella Realtà
Realtà Vituale
La Realtà Virtuale: Il senso di presenza
I LIMITI DELLA PERCEZIONE UMANA: OTTIMIZZAZIONE DELLE RISORSE
Scelta del minimo significante sufficiente
Il vantaggio dell'operazione consiste nel fatto che, per ciascuna delle forme elementari,
sono noti i limiti percettivi.
E' quindi possibile scartare la parte dell'informazione non percepibile e operare
successivamente la trasformazione inversa restituendo infine all'utente un'immagine
depurata e adattata alla sue capacità visive.
L'esperienza dimostra che la gran parte delle cifre binarie che compongono l'informazione
audio o video può essere scartata senza che l'utente se ne accorga pur mantenendo una
qualità percepita superiore alla televisione analogica.
La Percezione nella RV > Il Senso di Presenza > Ottimizzazione delle risorse
La percezione nella Realtà
Realtà Vituale
La Realtà Virtuale: Il senso di presenza
IL MULTIMEDIALE
Per poter coinvolgere lo spettatore in un simulacro di realtà che dalla realtà differisca solamente perché è in
qualche modo controllata dall'uomo, occorre integrare la stimolazione di tutti i nostri sensi
La Percezione nella RV > Il Senso di Presenza > Il Multimediale
La percezione nella Realtà
Realtà Vituale
Percezione e sensi
La Percezione nella RV > La Percezione del Tatto > Peculiarità
Peculiarità del tatto
La percezione nella Realtà
Realtà Vituale
I comuni sensi ed il senso comune
Gallia tota divisa in
partes tres
I tre Moschettieri
I sette savi
I cinque sensi
La Percezione nella RV > La Percezione del Tatto
La percezione nella Realtà
Realtà Vituale
Le peculiarità del tatto
dove si esplica comunemente il tatto
la pelle come limite ed interfaccia
La Percezione nella RV > La Percezione del Tatto > Peculiarità
Peculiarità del tatto
La percezione nella Realtà
Realtà Vituale
La pelle: una descrizione sistematica
Epidermide
Derma
Tessuto sottocutaneo
La Percezione nella RV > La Percezione del Tatto > Descrizione sistematica della pelle
La percezione nella Realtà
Realtà Vituale
La pelle: una descrizione sistematica
Epidermide (descrizione e sensori relativi)
Strato corneo
Corrispondenza fra i risalti delle
impronte digitali e le estroflessioni
dell’
dell’epidermide
I corpuscoli di Meissner
La Percezione nella RV > La Percezione del Tatto > Descrizione sistematica della pelle
La percezione nella Realtà
Realtà Vituale
La pelle: una descrizione sistematica
Epidermide (I corpuscoli di Meissner)
Innervamento comune
Disposti “ortogonalmente”
ortogonalmente” alla
superficie
43% dei sensori presenti nelle mani
Dimensioni: 80x30 µm
Sensibili al contatto
Non saturano
Assenti in altre zone molto sensibili al
tocco come le labbra o la lingua
La Percezione nella RV > La Percezione del Tatto > Descrizione sistematica della pelle
La percezione nella Realtà
Realtà Vituale
La pelle: una descrizione sistematica
Epidermide (I dischi di Merkel)
Innervamento comune
Disposti “paralleli” alla superficie
25% dei sensori presenti nelle mani
Dimensioni: ∼ 10 µm
Sensibili alla pressione ed alle
vibrazioni
2-64 Hz
Capaci di distinguere le forme al solo
contatto e di rilevare la rugosità
La Percezione nella RV > La Percezione del Tatto > Descrizione sistematica della pelle
La percezione nella Realtà
Realtà Vituale
La pelle: una descrizione sistematica
Epidermide: Meccanismo di rilevazione dello scorrimento
Umidità della pelle
Azioni tangenziali sul
polpastrello
Stick slip
Comportamento delle impronte
digitali
Effetti sulle strutture
sottostanti
Vibrazioni e sensazione di
scorrimento
La Percezione nella RV > La Percezione del Tatto > Descrizione sistematica della pelle
La percezione nella Realtà
Realtà Vituale
Classificazione topologico-funzionale dei recettori tattili
Denominazione
Localizzazione
Cutanei
Nella pelle
Articolari
Nelle giunzioni
articolari
Muscolotendinei
Nei muscoli
Labirintici
Nell’orecchio
Esterocettivi
Propriocettivi
Esterocezione: capacità di cogliere stimoli provenienti dall’esterno
Propriocezione: capacità di cogliere stimoli che si originano nell’interno di organi corporei
La Percezione nella RV > La Percezione del Tatto > Classificazione dei recettori tattili
La percezione nella Realtà
Realtà Vituale
Toccare (ed essere toccati)
Toccare, urtare, subire un
contatto
Toccare, manipolare, cercare
un contatto
La Percezione nella RV > La Percezione del Tatto > Toccare ed essere toccati
La percezione nella Realtà
Realtà Vituale
Toccare (ed essere toccati)
Attività e passività
Toccare come esplorare: non ci si limita a registrare un contatto
Subire un contatto: registrazione della risposta dei sensori
La Percezione nella RV > La Percezione del Tatto > Toccare ed essere toccati
La percezione nella Realtà
Realtà Vituale
Toccare (ed essere toccati)
La complessità della percezione
Dal punto di vista del sensore non c’è differenza fra toccare ed essere
toccati
Necessità di ulteriori significanti che permettano di differenziare le
esperienze
La Percezione nella RV > La Percezione del Tatto > Toccare ed essere toccati
La percezione nella Realtà
Realtà Vituale
Toccare (ed essere toccati)
La complessità della percezione
Toccare
Essere toccati
Essere Toccati
Condizione attiva
Condizione passiva
Coinvolgimento dei sensori
proprio ed esterocettivi
Eccitazione dei sensori
esterocettivi
Abilitazione del canale
sensorio esterocettivo
Sensori propriocettivi
raramente coinvolti
La differenza sostanziale è nella mente del soggetto: questi si dispone
a ricevere informazioni tattili aprendo determinati canali sensoriali
La percezione nella Realtà
Realtà Vituale
Due approcci allo studio della percezione tattile
Meccanicistico
Cognitivo (teoria della Gestalt)
La percezione nella Realtà
Realtà Vituale
Della sensazione veridica
Una sensazione affidabile è una sensazione complessa
Niki Lauda vs. San Tommaso: Iconoclastia ed esperienze aptiche ante
litteram
Una comunissima interfaccia aptica: il sedile dell’automobile
“Se non vedo (…) e non metto il mio dito (…) e non metto la mia mano (…) certamente non crederò.”
Giovanni, 20 - XXV
La percezione nella Realtà
Realtà Vituale
Interfacce tattili
[email protected]
La percezione nella Realtà
Realtà Vituale
Le Interfacce Tattili indossabili
La Percezione nella RV > Le Interfacce Tattili > Wearable Display
La percezione nella Realtà
Realtà Vituale
Le Interfacce Tattili: indenter
Jungmann & Schlaak, Darmstadt Univ.
La Percezione nella RV > Le Interfacce Tattili > Desktop Display > Indenter
La percezione nella Realtà
Realtà Vituale
Le Interfacce Tattili desktop: tessitura superficiale
Ultra Thin Electrostatic Actuator
Yamamoto, Ishii et al.
La Percezione nella RV > Le Interfacce Tattili > Desktop Display > Tessitura superficiale
La percezione nella Realtà
Realtà Vituale
Il display tattile di Hayward
La Percezione nella RV > La Percezione del Tatto > Il display tattile di Hayward
La percezione nella Realtà
Realtà Vituale
Il display tattile di Hayward: principio di funzionamento
La Percezione nella RV > La Percezione del Tatto > Il display tattile di Hayward
La percezione nella Realtà
Realtà Vituale
Display tattili alternativi: SuperCilia Skin (“emotional” device)
Super Cilia Skin
MIT MediaLab
La Percezione nella RV > La Percezione del Tatto > SuperCilia Skin
La percezione nella Realtà
Realtà Vituale
Dispositivi Commerciali: CyberGrasp/Touch/Glove
http://www.immersion.com/3d/products/cyber_glove.php
http://www.mindflux.com.au/products/vti/cybertouch.html
Attenzione! Ciò che è definito “tattile” non sempre lo è…
La Percezione nella RV > La Percezione del Tatto > Dispositivi in commercio
La percezione nella Realtà
Realtà Vituale
Una proposta per un attuatore tattile
[email protected]
La percezione nella Realtà
Realtà Vituale
SPECIFICHE UTENTE
Stimolazione dei polpastrelli e del
palmo
Simulazione della percezione di
caratteristiche geometriche e
meccaniche della superficie
Simulazione della percezione di contatti
statici e dinamici
Possibile integrazione con
un’interfaccia aptica cinestetica
La Percezione nella RV > La Percezione del Tatto > 3pod > specifiche utente
La percezione nella Realtà
Realtà Vituale
L’illusione aptica di Hayward
È possibile indurre la percezione di uno
spostamento normale alla superficie di
contatto tramite deformazioni tangenziali
La Percezione nella RV > La Percezione del Tatto > 3pod > background
La percezione nella Realtà
Realtà Vituale
Attuatore di Hayward
Vista laterale
Lo spostamento prodotto dagli elementi attivi verticali
produce la rotazione alla base dell’aculeo, la quale genera
la deformazione tangenziale avvertita dalla pelle
dell’utente.
PRO
•Semplice realizzazione
•Elevata banda passante
CONTRO
•Elevato ingombro verticale
•Dipendenza fra ingombro verticale e deformazione massima
ottenibile
•Impossibilità di simulare uno scorrimento continuo
Vista in pianta
La Percezione nella RV > La Percezione del Tatto > Attuatori Tattili
Tattili > 3pod > pro&cons
La percezione nella Realtà
Realtà Vituale
Motori piezoelettrici
Sono stati già realizzati analoghi motori
piezoelettrici che però non sono adatti,
per dimensioni e configurazione,
all’implementazione in un attuatore
tattile
Rotazione della sfera ottenuta tramite
l’azione di un piattello il cui moto risulta
essere la combinazione di due vibrazioni
isofrequenziali di Bouncing e Bending
opportunamente sfasate nel tempo
Le vibrazioni di Bouncing e Bending sono
ottenute tramite eccitazione alla risonanza di
due modi propri di vibrare di un’opportuna
struttura meccanica.
Con piccoli segnali eccitatori si
ottengono ampiezze di vibrazione
relativamente grandi
La percezione nella Realtà
Realtà Vituale
Casi studio: applicazioni e progetti
[email protected]
La percezione nella Realtà
Realtà Vituale
Presenccia
Progetto UE finalizzato alla realizzazione
della presenza in ambienti di realtà mista
su larga scala.
L’ambiente includerà un’installazione fisica
che gli utenti potranno visitare sia
fisicamente che virtualmente.
[email protected]
La percezione nella Realtà
Realtà Vituale
Presenccia
Data Glove
PERCRO has a long experience in the
development of Data Glove.
The first Data Glove for acquisition of
the posture of the fingers was developed
in 1992.
The PERCRO Data Glove (R.1)
based on strain gauges technology
mounted on steel leafs.
The PERCRO Data Glove (R.4)
based on innovative sensor composed by a
flexible carrier and a low cost commercial
Hall Effect Sensor.
La percezione nella Realtà
Realtà Vituale
Presenccia
Application
Natural touch and gesture
La percezione nella Realtà
Realtà Vituale
Presenccia
FingerPadStimulator
attuatore tattile elettroattivo
Un attuatore innovativo che utilizza polimeri elettroattivi e metafore di contatto
per stimolare aree sensibili della mano in applicazioni di Realtà Virtuale
La percezione nella Realtà
Realtà Vituale
HapTex
HAPTEX is a research project on multimodal perception
of textiles in virtual environments. Its main goal is to
develop a complete Virtual Reality System for visuohaptic interaction with virtual textiles.
La percezione nella Realtà
Realtà Vituale
HapTex
The HAPTEX System will display a realistic 3D representation of the simulated virtual
textile. Users of the system will be able to “feel” the displayed virtual textile through a
novel haptic/tactile interface. The project will provide several demonstrators to test
different integration phases of the overall system.
La percezione nella Realtà
Realtà Vituale
HapTex
Goals
• Fundamental research in the
haptics domain
• Integration of force feedback &
tactile perception
• Physical simulation of textiles in
real time
• Synchronization of visual and
haptic rendering
Research
• Mechanical models for physicalbased
simulation in real-time
• From physical parameters to
realistic
visualization and haptic perception
of textiles
• Haptic rendering algorithms
• Novel haptic interfaces for multipoint interaction
Applications
• Online-purchase of clothes
• Entertainment - and textile
industry
• Simulations with integrated haptic
feedback
La percezione nella Realtà
Realtà Vituale
Portable HIs
Fingertip
Pinch
This device is an Encountered Type HI. A
small plate, whose orientation is
controlled thanks to a 2DoF wrist, gets in
contact with the finger only when the
virtual surface is touched.
The Pinch is an under actuated multi-dof
haptic interface. This device is capable of
exerting force between thumb and index
and middle finger allowing to simulate
“Precision Grasping”.
La percezione nella Realtà
Realtà Vituale