Armando Chiari
Ministero dello Sviluppo Economico - Dipartimento per le Comunicazioni - ISCOM
Simona Bartocci, Silvello Betti, Ivano Cassani, Simona Manailescu, Angelo Spena, Fabrizio Zanuccoli
Università degli Studi di Roma “Tor Vergata”
Federica Mangiatordi, Maurizio Pellegrini
Fondazione Ugo Bordoni
Progetto MAMI - CoMunICAZIonI MultIMedIAlI e MultISenSorIAlI:
teCnologIe ABIlItAntI
(MAMI - MuLtIMeDIA AND MuLtIseNsorIAL CoMMuNICAtIoNs: eNAbLINg
teChNoLogIes)
riassunto
A fronte delle recenti esperienze in ambito cinematografico mirate a riprodurre stimolazioni sensoriali (ad es. tattili,
pneumatiche) in combinazione con i contenuti audiovisivi, in
questo lavoro vengono descritte le linee di ricerca sviluppate nell’ambito del progetto MAMI, finalizzato alla sperimentazione di una possibile integrazione della multisensorialità in
ambito multimediale. In particolare, vengono presentati gli
aspetti sia architetturali sia tecnologici di una piattaforma
dimostrativa 4D e dei relativi componenti costitutivi.
1. Introduzione
Le motivazioni alla base del lancio del Progetto
MAMI sono riconducibili all’idea di sperimentare
una possibile estensione della multimedialità a forme
di rappresentazione della realtà più sofisticate rispetto alla visualizzazione tridimensionale.
Infatti, esperienze di questo tipo sono state tentate recentemente in ambito cinematografico (produzioni c.d. 4D e 5D) mediante la riproduzione di
stimolazioni multisensoriali (termiche, pneumatiche,
tattili) associate alle immagini; d’altra parte, un’eventuale estensione di tali tecniche al campo multimediale richiederebbe la disponibilità di: (i) tecnologie
adeguate a supportare la costruzione di sensori e
attuatori per il rilevamento e la riproduzione rispettivamente dei parametri ambientali che si vogliono
riprodurre e (ii) uno schema di comunicazione elettronica capace di assicurare il trasporto a distanza dei
segnali di controllo diretti ai dispositivi attuatori,
integrati nel ricevitore.
Per fornire una risposta al primo punto il
Progetto ha avviato un’indagine tecnico-scientifica
nell’ambito delle discipline proprie della fisica tecnica, sia tradizionali (termotecnica, pneumatica), sia di
concezione innovativa (studio e analisi delle mappe
olfattive), con l’obiettivo di sviluppare metodi e dispositivi per la riproduzione delle stimolazioni multisensoriali.
La Comunicazione 2012
A bstract
According to the recent efforts in motion pictures productions aiming at adding new sensorial (e.g. tactile, air-flow) stimula to audiovisual contents, in this paper research work is
described which has been developed within the framework of
MAMI Project, which is in fact devoted to experimenting
some possible ways of combining multisensoriality and multimedia. Namely, both architecture and technology issues are
addressed relating to a novel 4D integrated platform and its
main components.
Lo studio del secondo punto è stato incoraggiato
dalla disponibilità di standard di codifica a oggetti,
predisposti per il trasporto di moduli informativi sincronizzati con uno stream audiovisivo.
In tale contesto MAMI si configura come un progetto di integrazione di un pool di tecnologie abilitanti forme avanzate di multimedialità, da quelle più
convenzionali dell’audiovisivo, come l’audio 3D e la
stereoscopia video, anche ad alta definizione, a quelle più innovative relative ai dispositivi di acquisizione
e riproduzione dei contenuti termici e olfattivi (4D)
presenti in una scena naturale.
Nelle sezioni successive sarà dapprima delineata
l’architettura della piattaforma sperimentale 4D,
quindi saranno identificate le tecnologie dei dispositivi multisensoriali, infine verranno discussi alcuni
aspetti applicativi ed anticipati possibili sviluppi futuri del Progetto.
2. Architettura della piattaforma
La piattaforma di sperimentazione del Progetto è
articolata in una catena audio-video di base, su cui è
integrata un’infrastruttura tecnologica di supporto al
trattamento della multisensorialità (Fig. 1). Nelle
sezioni successive verranno presi in considerazione
le sezioni in cui l’architettura può essere decomposta.
25
bartocci, s. betti, I. Cassani, A. Chiari, s. Manailescu, F. Mangiatordi, M. Pellegrini, A. spena, F. Zanuccoli
Figura 2 - Segmento della catena stereoscopica preposto alla video-proiezione.
Figura 1 - Architettura della piattaforma 4D di supporto al Progetto
MAMI.
3. Sezione video 3d
Il segmento video dell’impianto è basato su una
catena video stereoscopica a due canali (destro, sinistro). In particolare, i dispositivi in acquisizione sono
stati individuati con l’obiettivo di supportare le fasi di
generazione, memorizzazione, editing, restituzione
dei segnali video stereoscopici in tempo reale, sia a
definizione ordinaria (3D), sia in alta definizione
(3DhD).
La catena video stereoscopica è stata progettata in
modo da poter operare secondo tre configurazioni:
1. Due canali paralleli, con scansione simultanea
delle sequenze di immagini destra e sinistra;
2. singolo canale, con multiplazione delle immagini destra e sinistra (sistema tempo-sequenziale);
3. singolo canale, con multiplazione delle righe
delle immagini destra e sinistra (sistema
XPoL).
In particolare, l’ultima delle tre configurazioni è
quella adottata recentemente anche nei display disposti nel mercato consumer, in cui una coppia di immagini laterali a definizione ordinaria viene incastonata
su una singola immagine hD, secondo le due modalità alternative Side-By-Side (immagini adiacenti in
orizzontale) e Top-And-Bottom (immagini adiacenti in
verticale).
una coppia di video server provvede alla generazione dei segnali stereoscopici in tempo reale e a supportare le elaborazioni in post-produzione (Fig. 2). I
restitutori includono display e schermi a polarizzazione.
La piattaforma è stata dotata anche di una coppia
di videocamere con assetto regolabile per supportare
sia riprese live (Fig. 3), sia una sperimentazione della
qualità percepita delle immagini in funzione dei parametri (baseline, convergenza) di ripresa.
26
Figura 3 - Segmento della catena stereoscopica preposto alla ripresa live.
4. Sezione multisensoriale 4d
4.1. Sezione termica
La sezione termica (Fig. 4) del prototipo è costituita da una colonna di erogazione, equipaggiata con
una ventola dotata di almeno due velocità, posta a
circa 60 cm dalla base, e tre resistenze elettriche alettate ad occhiello in serie. Questi elementi sono inseriti all’interno di uno chassis di acciaio (150x150x300
mm) a sua volta installato nella colonnina (Fig. 5).
Nella versione definitiva, lo chassis verrà rivestito
con materiale isolante per evitare eccesive dispersioni di calore.
tale implementazione permette di modulare la
temperatura sulla base della sensazione termica che si
decide di simulare in relazione alla scena proiettata.
Le resistenze possono essere attivate sia contemporaneamente sia una alla volta in relazione alla temperatura voluta. La temperatura delle resistenze verrà
modulata con un termoregolatore dotato di una unità
statica da 25A e un opportuno sensore di temperatura. Il controllo delle resistenze e della velocità della
ventola potrà essere realizzato con un microcontrollore.
Il calore generato dalla resistenza elettrica scalda
l’aria che viene poi diffusa per convezione forzata
dalla ventola. Per simulare getti d’aria a temperatura
ambiente basta non accendere la resistenza e aziona-
La Comunicazione 2012
Progetto MAMI - CoMuNICAZIoNI MuLtIMeDIALI e MuLtIseNsorIALI: teCNoLogIe AbILItANtI
(MAMI - MuLtIMeDIA AND MuLtIseNsorIAL CoMMuNICAtIoNs: eNAbLINg teChNoLogIes )
Figura 4 - Particolare della sezione termica.
re solamente la ventola.
I vantaggi di questo semplice sistema sono le
ridotte dimensioni, la leggerezza, il costo contenuto
e la bassa rumorosità.
L’aria calda viene convogliata nella parte superiore della colonna attraverso due tubi flessibili da
50mm che collegano lo chassis a due apposite feritoie poste su due lati del prototipo, in modo tale da
produrre una sorta di “effetto stereo”.
Le feritoie, al momento fisse, potranno successivamente essere dotate di alette mobili per permettere di regolare la direzione del flusso d’aria in modo
tale da poter indirizzare l’aria sul viso o sul corpo dell’osservatore.
Figura 5 - Pianta e Sezione della componete termica.
essere consigliabile evitare il contatto dei campioni
con la luce solare o altre di diversa natura (a volte si
preferiscono luoghi in completa assenza di luce).
4.2.1. nebulizzazione, evaporazione: problematiche
4.2. Sezione olfattiva
e’ importante evidenziare che, per poter ottenere
una simulazione olfattiva che possa avvicinarsi il più
possibile alla realtà, è necessario che le fonti olfattive
(come “sorgenti primarie”) rispettino alcuni controlli e condizioni di stoccaggio.
Ad esempio, i principali parametri di monitoraggio (per campioni in forma liquida) sono (i) la quantità di o2 all’interno del dispositivo di stoccaggio del
campione (l’eventuale presenza di ossigeno può provocare una variazione delle qualità olfattive), (ii) la
temperatura, solitamente 10°C – 15°C (in funzione
della tipologia del campione è necessario mantenere
determinate condizioni termiche, come ad esempio
per sostanze agrumate, 4°C), infine (iii) potrebbe
La Comunicazione 2012
I meccanismi di diffusione degli aromi mediante
nebulizzazione ed evaporazione presentano difficoltà di “engineering” che ad oggi sono difficilmente
accettabili.
In particolare, la nebulizzazione è caratterizzata
dai seguenti parametri:
• temperatura;
• pressione;
• flussi termici e meccanici.
Inoltre, quando un liquido viene nebulizzato con
tecniche convenzionali, le goccioline che ne derivano
hanno una dimensione media variabile tra i 50 e 200
µm. Le goccioline di aerosol prodotte si distribuiscono in un volume ampio ma, solitamente, stazionano
nella parte superiore degli ambienti.
27
bartocci, s. betti, I. Cassani, A. Chiari, s. Manailescu, F. Mangiatordi, M. Pellegrini, A. spena, F. Zanuccoli
Il processo di evaporazione (che di norma segue
la nebulizzazione, ma può realizzarsi in modo indipendente) è influenzato dagli stessi parametri.
Inoltre, visto che a temperatura ambiente (20°C –
25°C) le miscele complesse di odori sono in fase
liquida e, normalmente, danno una bassa evaporazione spontanea, l’evaporazione deve essere accompagnata dalla presenza di solventi. si pensi che in
media il rapporto tra solventi e miscela base di una
fragranza è di 9:1, cioè 90% solventi e 10% miscela
base. Questo, naturalmente, implica tutte le conseguenti controindicazioni del caso (invasività, tossicità, infiammabilità, etc.).
4.2.2. SFr – Solid Fragrance release
L’innovativo sistema di rilascio e diffusione, sFr
(solid Fragrance release) [1] della “oikos
Fragrances”, si basa invece su un principio di modulazione del rilascio attraverso il controllo di alcuni
parametri in modo del tutto predeterminato e predefinito.
La presente tecnologia sfrutta come processo di
diffusione dell’odore la semplice ventilazione naturale o forzata generata da un dispositivo (ventola).
La tecnologia su base solida “sFr” (Fig. 6) ha
fornito da subito riscontri vantaggiosi, tra i quali:
• possibilità di disporre di aromi in forma solida, semplici e pratici;
• grande varietà di aromi messi a disposizione;
• utilizzo di un supporto “sorgente” solido con
tecnologia VAt (Vibrational Activation
technology) che garantisce rilasci temporizzati e controllo della frazione vapore;
Figura 7 - Rappresentazione prototipale del naso elettronico (e-nose).
• controllo dell’emissione per volatilizzazione a
tambiente, attraverso un flusso d’aria forzato;
• mancanza di problematiche relative ad eventuali occlusioni dovute a solventi, come accade, ad esempio, nei dispositivi a nebulizzazione;
• tempo di risposta relativamente più veloce:
mentre con i dispositivi a nebulizzazione-evaporazione il sistema è notevolmente condizionato dalle condizioni termiche e di umidità
relativa, l’sFr garantisce una maggiore stabilità;
• maggior controllo del fattore spazio/tempo
nella diffusione e quindi migliore qualità del
“segnale” olfattivo;
• possibilità di avere maggiore efficienza nel
garantire un sistema di diffusione olfattiva in
grado di rispondere (con un valore minore di
errore) a comandi di tipo on – off;
• possibilità di fare affidamento su una tecnologia all’avanguardia: il sistema è stato brevettato.
4.2.3. naso elettronico
Figura 6 - Immagine della matrice solida SFR contenuta nella capsula
in metallo.
28
Al fine di validare le scelte adottate si è reso
necessario effettuare dei test con il Naso elettronico
(eN, electronic Nose o e-nose), strumento per il
processo di Data Analysis del flusso olfattivo e per il
remoting del segnale (Fig. 7).
L’eN è costituito essenzialmente da:
• 8 sensori al quarzo (Quartz Crystal
Microbalance) ricoperti da Materiale
Chimicamente Interattivo (metalloporfirina);
• minipompa aspirante (500 cc/min);
• valvole di controllo e alternanza flusso (misura, pulitura, calibrazione).
L’architettura dell’eN deriva dalla struttura del
La Comunicazione 2012
Progetto MAMI - CoMuNICAZIoNI MuLtIMeDIALI e MuLtIseNsorIALI: teCNoLogIe AbILItANtI
(MAMI - MuLtIMeDIA AND MuLtIseNsorIAL CoMMuNICAtIoNs: eNAbLINg teChNoLogIes)
sistema olfattivo dei mammiferi, e può essere suddivisa in tre diversi componenti:
• il sistema di rilevazione dei gas;
• il sistema di elaborazione dei segnali provenienti dai sensori;
• il sistema di identificazione/riconoscimento
degli odori.
Questi tre componenti, con differenti funzionalità, sono connessi in cascata.
Il sensore posto a contatto con una specie chimica in fase gassosa determina una variazione della
massa del Materiale Chimicamente Interattivo, con
conseguente variazione della frequenza di oscillazione del sensore1 [2].
5. Modulo multisensoriale
5.1. Sala per la proiezione
simulare sia brezze calde che getti d’aria più forti,
attraverso l’uso di resistenze e ventole di basso
impatto, e una sezione olfattiva per la riproduzione
degli odori.
Inoltre, per ciò che riguarda la diffusione degli
odori, risulta rilevante il controllo della memoria
olfattiva dello spettatore: le usuali tecniche di diffusione sfruttano maggiormente la fisica della nebulizzazione e dell’evaporazione di sorgenti allo stato
liquido. tali meccanismi, tuttavia, comportano una
forte influenza da parte di altri fattori ambientali
quali la temperatura, la pressione, i flussi termici.
5.2. erogatore multisensoriale
Il prototipo è costituito da una colonna di legno
di circa 1 m di altezza che verrà posizionata tra una
postazione e l’altra (Fig. 8).
La colonna è caratterizzata da una sezione di
altezza circa 20 cm per la riproduzione degli odori
posta nella parte superiore e una sezione di altezza 30
Allo scopo di ospitare la piattaforma di sperimentazione, è prevista la realizzazione di una sala di
5x5 m, rivestita con pannelli insonorizzanti e dotata
di un sistema di condizionamento e di aspirazione
dell’aria. In tale modulo verranno installate otto
postazioni distanti tra loro circa 0,25 m. tra una
postazione e l’altra si prevede di posizionare una
colonna capace di erogare getti d’aria (termici) e
odori.
La progettazione del prototipo è stata effettuata
sulla base di una valutazione comparativa dei dispositivi disponibili sul mercato specialistico delle produzioni cinematografiche di riferimento, in particolare per la simulazione di effetti speciali (getti d’aria e
acqua, ecc). Inoltre, sono state identificate funzionalità aggiuntive che invece hanno richiesto una progettazione specifica.
Ad esempio, il sistema di erogazione dei getti d’aria calda e degli odori deve essere realizzato in modo
tale da poter inserire lo spettatore in un ambiente in
cui tali sollecitazioni vengano percepite in modo
“soft” e senza la produzione di rumori. Attualmente,
invece, nei cinema 4D tali effetti speciali vengono
realizzati con compressori o simulatori di fumo che
risultano troppo invasivi e di impatto, generando
spesso nell’osservatore una sensazione di disagio.
Quindi, si è proposto di realizzare un prototipo
dotato di una sezione termica, che sia in grado di
La relazione che lega la variazione di frequenza alla variazione di massa
è espressa tramite la seguente espressione:
—
∆f = f1 - f0 = [(-2f0 2 )∆m] / [A√ (ρμ)]
La Comunicazione 2012
Figura 8 - Prototipo colonna multisensoriale.
29
s. bartocci, s. betti, I. Cassani, A. Chiari, s. Manailescu, F. Mangiatordi, M. Pellegrini, A. spena, F. Zanuccoli
Figura 9 - Arrangiamento degli attuatori termico/olfattivo all'interno di un ambiente di simulazione multisensoriale 4D.
cm per la stimolazione termica. Le due sezioni sono
separate da un pannello isolante per evitare che il
calore interferisca e influenzi la sezione olfattiva.
Nella Figura 9 è riportata una rappresentazione
dell’ ambiente di fruizione arricchito degli attuatori
termici, pneumatici, olfattivi; in particolare, sono evidenziate le postazioni dotate di colonnine con erogazione combinata.
La presenza della colonnina, con erogazione
combinata, in posizione destra e sinistra rispetto allo
spettatore/recettore è un elemento chiave della multisensorialità 4D. L’obiettivo è infatti quello di permettere allo spettatore di ricevere, istantaneamente e
modulato, un segnale termico/olfattivo “reale” in
modalità stereo.
L’idea generale per la progettazione del sistema di
diffusione degli odori nasce dalla concezione intrinseca alla tecnica di pittura, adottata in diversi settori,
attraverso l’utilizzo dell’aerografo.
Il principio di funzionamento dell’attuatore olfattivo è infatti relativamente semplice: tramite un flusso d’aria veloce che genera una depressione al livello
delle connessioni con i condotti secondari, l’aroma
viene aspirato e diffuso in ambiente (Fig. 10).
Questo dispositivo così come è stato ideato per-
30
mette vantaggi sia a livello ingegneristico (i componenti e le interconnessioni sono relativamente semplici), sia a livello economico. Il tutto è arricchito
dalle peculiarità della tecnologia sFr (Fig. 11).
L’obiettivo degli attuatori termico/olfattivo è rappresentato dalla realizzazione spaziale e temporale di
“isole multisensoriali”.
Le “isole multisensoriali” rappresentano delle
zone d’ambiente con caratteristiche modulari e adattate a particolari “luoghi” e situazioni. Di conseguenza ogni isola deve consentire un controllo spaziale e
Figura 10 - Modello semplificato 3D del sistema di tubazioni del dispositivo dedicato alla volatilizzazione e diffuisione delle fragranze (matrici
allo stato solido).
La Comunicazione 2012
Progetto MAMI - CoMuNICAZIoNI MuLtIMeDIALI e MuLtIseNsorIALI: teCNoLogIe AbILItANtI
(MAMI - MuLtIMeDIA AND MuLtIseNsorIAL CoMMuNICAtIoNs: eNAbLINg teChNoLogIes)
Figura 11 - Vista laterale con particolare interno dell'attuatore olfattivo:
vantole volatilizzazione essenze (secondarie), ventole flusso diffusione (primaria), elettrovalvole di chiusura, matrici olfattive SFR.
puntuale della sensazione multisensoriale.
La struttura progettata per i presenti scopi si
caratterizza di 3 elementi fondamentali:
1. sorgente;
2. Attuatori;
3. sistema di Comando & Controllo.
La sorgente rappresenta l’obiettivo multisensoriale 4D che si vuole raggiungere e quindi la sensazione
che conseguentemente si vuole simulare.
gli Attuatori sono un elemento fondamentale;
essi devono necessariamente garantire l’efficacia e
l’efficienza di connessione tra virtuale e reale multisensorialità.
Il sistema di Comando & Controllo permette la
realizzazione spazio-temporale dell’isola multisensoriale e, quindi, un maggiore avvicinamento tra “virtuale” e “reale”.
5.3. Controllo degli attuatori
Il sistema di controllo degli erogatori multisensoriali è riconducibile al video server, programmato per
inviare i relativi segnali di controllo su una porta rs
232 sincronizzata con il filmato 3D stereoscopico. Le
informazioni riguardanti la temperatura e gli odori
presenti nella scena sono catturate da un sistema a
microcontrollore e associati, attraverso una programmazione adeguata, a impulsi di controllo per l’attivazione o lo spegnimento degli attuatori. Nel caso del
getto d’aria calda, il controllo dovrà attuare una vera
e propria regolazione della velocità delle ventole
coinvolte.
Per assicurare un controllo ad anello chiuso, all’interno delle strutture che ospitano le termoresistenze
La Comunicazione 2012
sono presenti dei sensori di temperatura che monitorano in tempo reale il livello termico dell’apparato.
Nel caso in cui i valori forniti dal sensore superino la
soglia di sicurezza preimpostata, il sistema provvede
a scollegare solo la postazione interessata e a fornire
un messaggio di errore all’operatore tramite il display.
una corretta programmazione del sistema di controllo permette quindi di operare in sicurezza, anche
nei casi in cui a una certa sequenza multisensoriale
risultassero associati dei comandi non opportuni. Ad
esempio, se il regista volesse arricchire una scena
desertica con una sensazione termica elevata, l’attivazione delle termoresistenze per un lungo tempo
potrebbe portare ad un superamento delle soglie di
sicurezza; in tal caso l’elettronica di comando gestirà
l’eccezione mediante lo spegnimento automatico di
quella sezione dell’impianto.
5.4. trasporto dei segnali di controllo
Il trasporto dei segnali di controllo diretti agli
attuatori è un punto cruciale, in quanto deve tenere
conto sia degli standard attuali che dei possibili sviluppi futuri.
sono state individuate due strategie per il trasporto dei dati: mediante un file unico, che raccoglie i
contributi audio-video e l’intera sequenza dei comandi, e mediante più file separati per i contenuti audiovideo e i comandi di controllo.
Per entrambe le tipologie si è scelto di utilizzare
uno standard di trasporto di file video in hD. In particolare l’MPeg-4 [3], nella sua declinazione
dell’h.264 [4], è stato sviluppato per video ad alta
risoluzione e bit-rate decisamente inferiori rispetto al
precedente schema di codifica MPeg-2 [5]. Le sue
caratteristiche di codifica ad oggetti lo rendono il
candidato idoneo al trasporto delle informazioni
necessarie per la multisensorialità.
5.4.1. trasporto dati in un unico file
Questa strategia, attualmente in fase di sviluppo,
prevede la fusione di tutti gli stream in un unico file
rispettando la codifica standard scelta. Il file generato dovrà essere trattato in modo adeguato dal sistema
di riproduzione affinché i vari stream vengano correttamente estratti ed indirizzati ai rispettivi supporti:
proiettori o monitor 3D, impianti hi-Fi ed attuatori
in generale. Inoltre, deve essere garantita la compatibilità e trasparenza con gli attuali sistemi di home
theatre. La trasmissione in broadcast è facilitata dalla
presenza di un unico file da inviare.
31
s. bartocci, s. betti, I. Cassani, A. Chiari, s. Manailescu, F. Mangiatordi, M. Pellegrini, A. spena, F. Zanuccoli
5.4.2. trasporto con file dati separato
In questo caso è prevista la creazione e la gestione indipendente di due file: il primo corrisponde a un
file multimediale classico con la codifica per l’audio e
il video stereoscopico, il secondo contiene i comandi
per gli attuatori in riferimento alla timeline del precedente. sarà compito del sistema di controllo effettuare la sincronizzazione e l’indirizzamento dei vari
stream in modo da comandare opportunamente gli
attuatori multisensoriali presenti.
un esempio già perfezionato di integrazione dei
file video con i file di dati è la gestione dei sottotitoli per la maggior parte dei lettori DVD-roM/bDroM e player per PC.
gli ultimi decoder presentati sul mercato, che
possono leggere file video di differenti formati da un
supporto esterno (hD, DVD dati e usb PeN), sono
in grado di sincronizzare una traccia di sottotitoli e
presentarla in modo coerente con il filmato.
Per gli obiettivi del progetto MAMI è necessaria
una metodologia per codificare i comandi, rappresentativi degli eventi del filmato in un file. I dati
necessari per controllare adeguatamente gli attuatori
sono elencati di seguito:
• tempo di inizio evento
• tempo di fine evento
• Indirizzo / Nome attuatore
• tipologia di evento
- oN
- oFF
- regolazione di livello
Infatti, con le precedenti informazioni sarà possibile controllare qualsiasi tipologia di effetto di sala.
In questo contesto, l’obiettivo principale è quello
di trovare una metodologia di memorizzazione che
permetta di catturare e gestire in modo rapido e efficace queste informazioni. L’analogia con un file di
sottotitoli è evidente, dato che entrambi i file dovono
essere sincronizzati e contenere al loro interno delle
informazioni. Nel caso dei sottotitoli, l’informazione
sarà una stringa di testo da proporre a video con
opportune caratteristiche (font, colore, stile), per
quanto riguarda la codifica per MAMI queste informazioni conterranno l’indirizzo/nome dell’attuatore
e la tipologia di evento.
Il file di controllo in ogni caso risulterà essere un
file a basso impatto di banda, se confrontato con
quella necessaria per la trasmissione di un file audio
multicanale e video stereoscopico.
32
6. tecniche olografiche
Nell’ottica di analizzare le possibili tecnologie che
garantiscano la riproduzione tridimensionale di
oggetti reali, il progetto MAMI ha acquisito i principi alla base delle tecniche di acquisizione e riproduzione olografica. Infatti, l’olografia è la sola tecnica
capace di riprodurre, in condizioni di visione naturale, immagini 3-D che abbiano le stesse caratteristiche
visuali degli oggetti originali con parallasse variabile.
La tecnica olografica sfrutta la natura ondulatoria
della radiazione luminosa per memorizzare e ricostruire il fronte d’onda generato da un oggetto tramite un pattern di frange di interferenza. Nella fase
di registrazione il pattern di interferenza è ottenuto
facendo sovrapporre sulla lastra fotografica, ad elevatissima risoluzione, l’onda monocromatica coerente emessa da un laser (onda di riferimento), e l’onda
diffusa dall’oggetto (onda oggetto). L’informazione
di ampiezza e di fase dell’onda oggetto viene tradotta in una distribuzione e in un’intensità delle frange
del pattern associata alle dimensioni tridimensionali
dell’oggetto.
In fase di riproduzione il pattern d’interferenza,
detto ologramma, si comporta come un reticolo di
diffrazione, che origina, quando illuminato dalla
radiazione coerente utilizzata in fase di registrazione,
un’onda rifratta con la medesima distribuzione di
ampiezza e di fase dell’onda oggetto. L’onda rifratta
riproduce in un osservatore umano la stessa percezione tridimensionale dell’oggetto reale.
esistono diverse tecniche di registrazione olografica [6][7] a seconda della natura della sorgente luminosa e della posizione in cui si colloca lo strato fotosensibile adottato, tra queste si distinguono:
• ologrammi a riflessione a singolo e doppio fascio
• ologrammi a trasmissione a doppio e triplo fascio
• ologrammi a riflessione e a trasmissione in due passi.
Particolare interesse rivestono gli ologrammi rainbow che permettono la ricostruzione dell’immagine
usando luce bianca e gli ologrammi a 360° che permettono all’osservatore di muoversi girando intorno
all’immagine tridimensionale.
7. Applicazioni
tra le possibili applicazioni quella più naturale è
riconducibile all’ambito dell’intrattenimento televisivo: il Progetto aspira ad introdurre un concetto innovativo di Advanced home theatre in cui la fruizione
La Comunicazione 2012
Progetto MAMI - CoMuNICAZIoNI MuLtIMeDIALI e MuLtIseNsorIALI: teCNoLogIe AbILItANtI
(MAMI - MuLtIMeDIA AND MuLtIseNsorIAL CoMMuNICAtIoNs: eNAbLINg teChNoLogIes)
del contenuto audio e video sia possibilmente arricchita dalla stimolazione di altri sensi, quali il tatto e
l’olfatto.
si prevede l’utilizzo delle soluzioni proposte dal
progetto anche per la fruizione di beni ambientali ed
archeologici, in particolare sottomarini, in quanto ci
si può avvalere della possibilità di riprodurre scenari
e manufatti subacquei, intrinsecamente inaccessibili
al grande pubblico, mediante tecniche specialistiche
di ripresa e visualizzazione tridimensionale.
In parallelo, nel Progetto viene condotto uno studio sistematico sulle possibili estensioni delle tecniche di visualizzazione 3D all’imaging diagnostico in
ambito medico, a supporto delle tecniche avanzate di
chirurgia.
La tecnologia olografica e in particolare l’interferometria olografica sta emergendo come nuovo strumento di diagnosi e di studio delle opere d’arte.
Infatti l’olografia, basandosi sulla diffusione della
luce laser sulla superficie dell’oggetto in esame, costituisce una tecnica non invasiva per individuare e analizzare le alterazioni delle proprietà strutturali e meccaniche dei manufatti artistici che rappresentano una
delle principali cause di degrado delle stesse [8][9].
Per quanto riguarda i possibili mercati di interesse, come si è verificato nel passato per la tecnologia
del video 3D, la diffusione della multisensorialità
potrebbe inizialmente riguardare applicazioni di nicchia, per poi transitare nel mondo della cinematografia elettronica e infine approdare a quello della televisione.
8.
Sviluppi futuri
La piattaforma descritta si presta a supportare un
interessante filone legato alle valutazioni della qualità
delle immagini stereoscopiche. Infatti, sebbene nella
comunità tecnico-scientifica di riferimento siano stati
La Comunicazione 2012
proposti numerosi metodi per valutare la qualità
oggettiva e soggettiva di immagini e video 2D, non
sono ancora disponibili analoghe metodologie per
valutare la qualità delle immagini stereoscopiche.
Con l’avvento della stereoscopia dapprima in settori
specialistici (CAD, applicazioni mediche) e poi nell’intrattenimento, si è rafforzata la necessità di stabilire delle metriche oggettive e soggettive per valutarne la qualità [10][11].
Inoltre, il modulo multisensoriale potrebbe assumere la funzione di test-bed a supporto dello sviluppo di metodologie di valutazione della qualità percepita di stimolazioni multisensoriali integrate nei contributi audiovisivi.
tali test rappresenterebbero la fase preliminare
per la progettazione e realizzazione di forme innovative di comunicazione e di espressione artistica.
9. Conclusioni
In questo lavoro è stato proposto l’utilizzo di tecnologie avanzate per la realizzazione di un hometheatre di tipo avanzato, che permetta una immersione completa nella scena riprodotta, sia sul piano
audio-visivo, sia attraverso la stimolazione di altri
sensi per mezzo della riproduzione delle condizioni
presenti nella scena quali odori e temperatura.
Per consentire una opportuna validazione di questa base concettuale è stata implementata una piattaforma sperimentale in cui sono state integrate le tecnologie di supporto a una comunicazione multimediale avanzata: hD, 3D e multisensoriale.
In una prospettiva di più lungo termine tale piattaforma potrà costituire un ambiente per la sperimentazione di nuove forme espressive di comunicazione e artistiche, in ambito cinematografico e televisivo.
33
s. bartocci, s. betti, I. Cassani, A. Chiari, s. Manailescu, F. Mangiatordi, M. Pellegrini, A. spena, F. Zanuccoli
BIBlIogrAFIA
[1] oikos s.r.l. , “solide Fragrance release (sFr)”, July 2001.
[2] Vasile Mihai Mecea, “From Quartz Crystal Microbalance to Fundamental Principles of Mass
Measurements”, 2005, taylor & Francis, Inc.
[3] Iso/IeC 14496, Coding of audio-visual objects, Parti 1-3,12-15,17.
[4] Iso/IeC 14496, Coding of audio-visual objects, Parte 10, Advanced Video Coding.
[5] Iso/IeC 13818, generic coding of moving pictures and associated audio information, Parti 1-5.
[6] gerhard k. sckermann, Jurger eichler, ”holography A Practical Approach”, 2007.
[7] stephen A. benton,V. Michael bove, ”holographic Imaging”, 2008.
[8] V. tornari, “optical and digital holographic interferometry applied in art conservation structural diagnosis”, e-Preservation science, Vol.3 ,pp. 51-57, 2006.
[9] V. tornari, e. tsiranidou, Y. orphanos, ”holographic interferometry in research of structural diagnosis”, IteCoM Conference,european Commission- Dg research, Directorate environment the City
of tomorrrow and Cultural heritage, Athens, 2003.
[10] W.A. Ljsselsteijn, J. Freeman, and h. de ridder, "Presence: where are we?," Cyberpsychology & behavior,
vol. 4, no. 2, pp. 179-182, 2001.
[11] J. Van baren and W. Ijsselsteijn, "Measuring Presence: A guide to Current Measurement," 2004.
34
La Comunicazione 2012
