Interaction Design
Master in Computer Game Dev*
*Questa presentazione contiene diversi contributi forniti da studenti del master degli scorsi
anni come: Alba, Bertolino, Ventilii, Pizzolato.
Strumenti tecnologici
• Per costruire sistemi in grado di mettere in pratica
l’idea del ‘pervasive’-media occorrono strumenti
tecnologici hardware-software adeguati
• Strumenti tecnologici:
– Dispositivi HW
– SW che implementano tecniche di CV e PR
– Infrastrutture HW e SW
– Protocolli di comunicazione e networking
Strumenti tecnologici
• Giusto per citerne alcuni.....
wifi, www, socialnetwork, QR code, RFID, GPS, GoogleMap,
StreatView, dispositivi testuali e sistemi di riconoscimento del testo,
strumenti touch screen, tabletPC, data glove, eyegaze, dispositivi
olografici, HMD, optical see thorough, video-based, CAVE, work
banch, TOF cameras, stereo cameras, ....
Wifi
• Il termine Wi-Fi indica il protocollo e i relativi
dispositivi che consentono a terminali di utenza di
collegarsi tra loro attraverso una rete locale in
maniera wireless (WLAN) basandosi sulle specifiche
dello standard IEEE 802.11.
• A sua volta la rete locale così ottenuta può essere
interallacciata alla rete Internet tramite un router ed
usufruire di tutti i servizi di connettività relativi.
GPS
• Il Sistema di Posizionamento Globale
è un sistema di posizionamento e
navigazione che, attraverso una rete
dedicata di satelliti artificiali in
orbita, fornisce ad un ricevente le
informazioni sulle sue coordinate
geografiche ovunque sulla Terra
• E’ gestito dagli USA, ci sono in
programma anche per altri paesi (EU,
Cina, Russia, India)
GPS
• Vengono interrogati almeno quattro
satelliti del sistema, tramite la
trasmissione di un segnale radio da
parte di ciascun satellite . La posizione
viene stimata dall'elaborazione dei
segnali ricevuti da parte del ricevitore
(i.e., triangolazione)
• Si raggiunge una precisione nell’ordine
del metro (da 1 a 10 m, dipende da vari
fattori)
Location-based service
• Grazie alla disponibilità dei dispositivi GPS è
possibile organizzare servizi basati sulla stima
della locazione geografica dell’utente
• Es.
– Suggerire un evento in un certo luogo
– Richiedere il servizio più vicino (es. Bust stop)
– Localizzare persone presenti nei paraggi
– Ricevere informazioni su deviazioni del traffico
– Svilluppare sistemi di proximity marketing
Google Map
• Google Maps (nome precedente Google Local)
è un servizio accessibile dal relativo sito web
che consente la ricerca e la visualizzazione di
mappe geografiche di buona parte della Terra
https://maps.google.it/
Google map
• E’ possibile anche ricercare
servizi in particolari luoghi, tra
cui ristoranti, monumenti,
negozi, trovare un possibile
percorso stradale tra due punti
e visualizzare foto satellitari di
molte zone con diversi gradi di
dettaglio
• E’ interessante da abbinare al
GPS
Google Street View
• Google Street View è una caratteristica
di Google Maps e Google Earth che
fornisce viste panoramiche a 360° gradi
in orizzontale e a 290º in verticale lungo
le strade (a distanza di 10-20 metri l'una
dall'altra) e permette agli utenti di vedere
parti di varie città del mondo a livello del
terreno.
Codice QR
• Un Codice QR è un codice a barre
bidimensionale composto da moduli neri
disposti all'interno di uno schema di forma
quadrata. Viene impiegato per memorizzare
informazioni generalmente destinate ad essere
lette tramite un smartphone.
• In un solo crittogramma sono contenuti 7.089
caratteri numerici o 4.296 alfanumerici.
• Il nome QR è l'abbreviazione dell'inglese quick
response
Codice QR
• In pratica il QR codifica un indirizzo
web a cui accedere
• In senso metaforico rappresenta una
porta d’ingresso al Cyberspace
RFID
• Il termine Rfid significa identificazione a
radiofrequenza (i.e, Radio Frequency
Identification), si riferisce a un insieme
di sistemi che permettono di identificare
gli oggetti in modo automatico
• L’identificazione avviene usando
un’antenna per leggere un chip digitale
(chiamato tag, o transponder) che è
stato applicato sull’oggetto
Optical Character Recognition (OCR)
• Strumento che consente di
trasformare una bitmap in testo
• Fonts differenti possono creare
problemi per algoritmi semplici
basati sul template matching
• Esistono sistemi più complessi:
– segmentazione del testo
– scomposizione in linee e archi
– decifrazione dei caratteri
OCR
• Si possono riconoscere anche i caratteri
scritti a mano
• Il testo scritto a mano può essere
inserito nel computer, utilizzando una
penna e una digitising tablet
• acquisizione in modo naturale di tutte
le informazioni utili: percorso dello
stroke , pressione etc.
• segmentazione ed interpretazione dello
scritto in singole lettere;
• trattare con diversi stili di scrittura
Riconoscimento del parlato
• Sistema promettente sia come
riconoscimento di comandi vocali che
come “speech-to-text”
• funziona meglio in particolari situazioni
utente unico, vocabolario ristretto
• Problemi:
– interferenza del rumore esterno
– imprecisioni nella pronuncia
– accenti
Software per sintesi e riconoscimento
del parlato
Binary Domain
• riesce a trasformare la voce del
videogiocatore in comandi da
impartire ai propri compagni di
squadra
• utilizza le librerie SpeechFX
• All’interno del gioco è possibile
anche rispondere alle domande
dei propri compagni di squadra
con brevi parole quali, «si»,
«no», «certo», «assolutamente»,
…
Binary Domain
http://www.speechfxinc.com/ - Sito di SpeechFX
Dispositivi touch-screen
• dispositivo di puntamento a
manipolazione diretta : rileva la presenza
di dita sullo schermo
• veloce non richiede un puntatore specifico
• adatto all’uso in ambienti ostili (sporchi…)
• le dita sono uno strumento di puntamento
impreciso
• tenere il braccio sollevato può risultare
faticoso
Es: microsoft surface 2.0
http://www.microsoft.com/surface/en/us/default.aspx
Es: I-Pad
Dataglove
• rileva angoli e posizione 3-D della
mano
• Può trasmettere il force-feedback
• facile da usare , potenzialmente
potente e espressiva
• Invasivo nell’uso, costoso
• Potenziali utilizzi: gesture
recognition, sistemi immersivi,
training
Eyegaze
• rileva movimenti dell’occhio per controllare il cursore
e per monitorare l’interazione: veloce, accurato
BCI device
• I dispositivi Brain Computer Interface
permettono di guidare l’interazione attraverso
segnali cerebrali
• Es. Mindwave
BCI device
MindWave - http://www.neurosky.com/
Dispositivi di uscita alternativi
• Visivi:
– rappresentazioni analogiche: quadranti (dial ),
indicatori di misura (gauge ), luci etc.
– head-up display : negli abitacoli degli aerei
Dispositivi olografici
CRS4 Visual Computing, http://www.crs4.it/vic/
Head Mounted Display
• Piccoli display montati sulla testa, completamente
immersivi, hanno bisogno di un tracker per tracciare
la posizione e l’orientazione della testa.
Optical see through
• Combinatori ottici parzialmente trasparenti sono
posti di fronte agli occhi, permettono di vedere in
essi il riflesso di immagini virtuali rappresentate su
piccoli display
Video based
• Fa uso di piccole video-camere per catturare la
visione del mondo reale che sarebbe vista dagli
occhi. Le immagini reali sono combinate con quelle
virtuali, create dal computer, per creare immaginidi
AR che vengono visualizzate su un classico HMD (non
see-through)
HMD per Ps3
• http://www.sony.it/product/personal-3d-viewer/hmz-t2#tab –
• Sito Sony HMZ-T2
Interaction Design
34
Oculus
• http://www.oculusvr.com/
Cave Automatic Virtual Environment
• Sistemi basati sulla proizione: proiezione diretta o
con retro-proizione, l’utente è completamente
circondato da immagini proiettate su grandi schermi.
Crea un senso di elevata immersione
CAVE
http://www.youtube.com/watch?v=-Sf6bJjwSCE
CAVE applicazioni
• evaluation of engineering designs (virtual
prototyping)
• driving simulators
• training for dangerous situations and other
scenarios
• molecular modeling
• virtual reconstruction of archeological sites
• medical and biological visualization
• artistic expression of ideas, and more
CAVE applicazioni
Ultimate Battlefield 3 Simulator
http://www.youtube.com/watch?v=LPXICaVdutc
Workbanch
• Banchi di lavoro: schermi piatti che presentano
immagini in modalita’ stereo. Possono essere
montati anche in orizzontale. Immersione parziale,
alto senso di presenza dell’oggetto
Sensori Range
• I sensori range sono in grado di catturare la profondità
delle immagini
– Producono depth map o range image (chiaro=vicino)
Depth from stereo
• Data una coppia di immagini di una stessa scena da
due punti di vista leggermente differenti (destro e
sinistro) si ricava la mappa di disparità che è in
relazione con la profondità della scena
Left
Right
Disparità
Depth from stereo
• Catturando un flusso video per canale è possibile
effettuare l'elaborazione stereo in real-time
VIDERE
http://www.videredesign.com
Time of flight camera
• Le TOF camera catturano le informazioni
tridimensionali lanciando un array di segnali sulla
scena ed applicando il principio del tempo di volo per
calcolare la profondità
Kinect
• Proposto per videogiochi, ora è
uno strumento generico per
gestire l’interazione:
– Interazione gesturale
• Full body
• Mano
– Interazione vocale
– Interazione facciale
Social Media
• Social media è un termine generico che indica
tecnologie e pratiche online che le persone adottano
per condividere contenuti testuali, immagini, video e
audio
• I social media rappresentano fondamentalmente un
cambiamento nel modo in cui la gente apprende,
legge e condivide informazioni e contenuti
• Trasforma le persone comuni da fruitori di contenuti
ad editori
Social Media
Take home message
• Ora si hanno a disposizione svariati strumenti
tecnologici da cui si può attingere per progettare
sistemi di comunicazione multimediale o ‘pervasivemediale
• Questi strumenti sono progettati anche per essere
integrati tra di loro (es. Google map + GPS, o HDM +
dataglove)
Rispetto alla progettazione...
• I progettisti di interfacce assumono di avere a
disposizione processori a velocità infinita,
creando interfacce sempre più complicate;
• Se il processore è troppo lento il sistema non
riesce a rispondere a tutti gli input in tempo:
• overshooting : il sistema ha memorizzato in un
buffer le battiture;
Rispetto alla progettazione...
• icon wars : l’utente clicca su una finestra e non
succede niente, allora clicca su un’altra, e
quando il sistema risponde le finestre si
attivano ovunque
• Se il processore è troppo veloce:
• documenti e schermate di help che scorrono
troppo veloci per riuscire a leggere
Limiti da considerare
• Limiti computazionali (computation bound ):
• il tempo perso in attesa di una computazione
causa frustrazione all’utente
• Limiti del canale di memorizzazione (storage
channel bound ):
• il trasferimento di dati dal disco rigido alla
memoria può provocare un collo di bottiglia
Limiti da considerare
• Limiti della Grafica (graphics bound ):
• il refresh del display può richiedere molto
tempo
• Limiti della rete (network capacity ):
• l’utilizzo di risorse di rete provoca una
riduzione della performance dell’interfaccia
se la rete risulta essere troppo lenta
Considerazione conclusive
• L' interfaccia (ie., l’architettura) deve :
– evitare il disorientamento dell'utente;
– permettere il controllo del processo;
– garantire qualità e comunicabilità dei risultati;
– garantire l'evoluzione del sistema;
– permettere la gestione integrata di tutte le attività
che richiedono l'utilizzo di un documento;
– adattare l'interfaccia alla crescente abilità
dell'utente.
