La Realtà Aumentata in Chirurgia

La Realtà Aumentata in Chirurgia
Giovanni Aloisio, Lucio Tommaso De Paolis
Abstract
La tecnologia della Realtà Aumentata, che consiste nell'aggiunta di informazioni supplementari
alla scena reale, permette di interagire in un diverso modo con il mondo reale e fornisce al
medico, nel caso di applicazioni in medicina, la visualizzazione degli organi. Contrariamente
alla Realtà Virtuale che mira a sostituire il mondo reale e l’utente, essendo completamente
immerso in un ambiente sintetico, non può vedere l'ambiente che lo circonda, la Realtà
Aumentata permette di vedere l'ambiente reale che risulta arricchito da oggetti virtuali utili per
l'espletamento di compiti complessi.
All'utente sembrerà che oggetti virtuali e reali coesistano nello stesso spazio e, per questo
motivo, l’AR aumenta la percezione e l'interazione dell'utente con l'ambiente fornendo
informazioni visive che l'utente non potrebbe direttamente rilevare con i propri sensi.
In questo paper verrà trattata la tecnologia della Realtà Aumentata ed, in particolare, il suo
utilizzo in Chirurgia; verranno descritti vantaggi e problematiche e verrà presentata
un’applicazione di AR in cui immagini TAC dell’addome, opportunamente elaborate, verranno
utilizzate per fornire informazioni sull’esatta localizzazione degli organi e per facilitare
l’inserimento della strumentazione all’interno del corpo in operazioni chirurgiche eseguite con
tecniche laparoscopiche. L’applicazione è in grado di riconoscere differenti marker per
permettere la visualizzazione di tutti gli organi delle zona del corpo di interesse o solo di alcuni
di questi. Verrà, inoltre, affrontato il problema della registrazione.
Introduzione
Gli sviluppi tecnologici nell’imaging medico, quali TAC, MRI e ultrasuoni, permettono al medico
di ottenere informazioni dettagliate sull'anatomia e la fisiologia del paziente. Le tecniche di
Chirurgia Minimamente Invasiva (MIS – Minimally Invasive Surgery), quali la laparoscopia,
permettono di effettuare complesse procedure minimizzando le incisioni e riducendo il trauma
per il paziente.
Una delle difficoltà di tali tecniche è dovuta alla limitata visione degli organi e molte attività di
ricerca si sono orientate verso lo sviluppo di sistemi di assistenza e di sopporto per il medico
durante le diverse fasi dell’operazione.
Un sistema di Realtà Aumentata (AR – Augmented Reality) è un sistema che, acquisendo una
scena reale, è in grado di arricchire tale scena di elementi grafici. Il mondo reale è
“aumentato”, ovvero virtualmente arricchito, con informazioni grafiche e testuali addizionali,
sincronizzate e generate dal computer [1].
Si catalogano come sistemi di Augmented Reality tutte quelle applicazioni il cui scopo è di
incrementare la percezione visiva dello spazio fisico con immagini prese dallo spazio virtuale. Il
risultato è che l’ambiente reale e virtuale sembrano coesistere e l’utente si può muovere
liberamente nella scena, con la possibilità, altresì, di interagire con essa. Tutto ciò deve essere
ovviamente elaborato in maniera ottimale, ovvero in maniera tale che l’utente abbia la
percezione di una singola scena nella quale il reale ed il virtuale sono due entità indistinguibili.
Il termine Augmented Reality fu coniato nel 1990 da alcuni ricercatori dei laboratori della
Boeing, Tom Caudell e David Minzell. I due scienziati, al lavoro su un prototipo che
rimpiazzasse gli strumenti di bordo di un aereo, svilupparono una tecnologia, simile agli attuali
HMD, indossabile dai piloti e capace di visualizzare velocemente la rotta e tutte le informazioni
correlate ai decolli e agli atterraggi. Il congegno così realizzato, venne denominato “Realtà
Aumentata”, poiché alla visuale reale del pilota, venivano aggiunte informazioni di altro tipo.
Nel corso degli anni a seguire, ma in particolare negli ultimi anni, si è assistito ad un notevole
passo avanti nella realizzazione di sistemi di questo tipo e nell’implementazione di ambienti in
cui il reale ed il virtuale interagiscono fra loro formando un’unica scena [2], [3].
Sin dalle prime sperimentazioni, è apparso subito chiaro che l’Augmented Reality avrebbe in
breve tempo rappresentando una fruttuosa soluzione, sfruttabile anche in ambito commerciale.
In letteratura il termine Augmented Reality compare sovente associato ai termini di Virtual
Reality (VR) e Mixed Reality (MR). Si può sicuramente affermare che la Realtà Aumentata
rappresenta un’evoluzione della Realtà Virtuale.
La Realtà Virtuale rappresenta un ambiente interattivo tridimensionale generato dal computer.
Le novità introdotte da questa nuova tecnologia e la sua diffusione in un vasto numero di
discipline hanno contribuito al successo del suo utilizzo. Caratteristica della Realtà Virtuale è
l’interattività, che richiede necessariamente un’interazione in tempo reale per poter fornire
all’utente un grado totale di immersione nell’ambiente artificiale. A differenza di quella
Aumentata quindi, la Realtà Virtuale richiede un’immersione dell’utente in un mondo
completamente fittizio, dove tutto quello che si percepisce è generato dal computer e dove
l’utente si ritrova in un mondo distinto, isolato da quello reale, nel quale, però, ha la possibilità
di interagire attraverso speciali dispositivi quali guanti per Realtà Virtuale o interfacce aptiche.
La Realtà Aumentata, invece, non isola l’utente dal mondo reale, bensì lo completa mediante
oggetti virtuali generati dal computer, in un mondo che è fatto contemporaneamente di oggetti
reali e virtuali.
Milgram & Kishino hanno descritto una tassonomia, il Reality-Virtual Continuum (Continuo
Realtà-Virtualità) riportato in Fig. 1, che spiega in che modo la Realtà Aumentata e quella
Virtuale sono collegate. Secondo Milgram il mondo reale e l’ambiente virtuale rappresentano
due condizioni estreme. La Realtà Aumentata giace nella scala di Milgram a sinistra, più vicina
all’ambiente reale, essendo in essa il mondo reale predominante rispetto ai dati aggiunti
tramite computer; simmetricamente all’AR, sulla destra compare poi la Virtualità Aumentata,
che è un termine coniato da Milgram per indicare sistemi in prevalenza virtuali con una piccola
dose di realtà. [4]
Mixed Reality
Real
Environment
Augmented
Reality (AR)
Augmented
Virtuality (AV)
Virtual
Environment
Fig. 1: Realtà Virtuale e Realtà Aumentata secondo Milgram
Tecnologie per la Realtà Aumentata
Si contano numerose e diverse tecnologie da integrare in sistemi di Realtà Aumentata. Si va da
un semplice computer dotato di webcam, ai display portatili (come palmari e cellulari), o
ancora ai visori indossabili e superaccessoriati. La scelta della tecnologia dipende
fondamentalmente dai requisiti che il sistema di Realtà Aumentata richiede.
Sono disponibili in commercio due tipi di HMD, chiamati “optical see-through” e “video seethrough”. Questi dispositivi sono indossabili dall’utente e hanno il vantaggio di fornire una
sensazione di immersione nell’ambiente di Realtà Aumentata ed allo stesso tempo di
permettere di avere le mani libere per agire sulla scena [5].
Un semplice esemplare di visore ottico see-through impiega un divisore di fascio ottico,
consistente in uno specchio traslucido che trasmette la luce in una direzione e
contemporaneamente riflette la luce nell'altra. Si tratta quindi di tecnologie parzialmente
trasmittenti poiché, guardando attraverso la lente si può vedere l’immagine virtuale
sovrapposta a quella reale. Tali divisori di fascio sono molto simili agli Head-Up Display usati
dai piloti degli aerei militari. Una caratteristica dei combinatori ottici è che riducono l’intensità
della luce della scena reale; infatti solo il 30% circa di luce reale si percepisce attraverso questi
display. In Fig. 2 è riportato il principio di funzionamento ed una soluzione basata su HMD
Optical See-Through.
Fig. 2: Principio di funzionamento e soluzione basata su HMD Optical See-Through
I visori video see-through usano invece due telecamere, una per ciascun occhio, con le quali
acquisiscono l'immagine reale; si tratta, quindi, di un sistema computerizzato che fonde le
immagini reali con quelle di sintesi e le invia agli occhi tramite due display. Questa scelta
permette di realizzare effetti visivi più complessi, ma ha un fattore diverso dal visore ottico
see-through, perchè impone un piano di messa a fuoco costante per tutta la scena e questo
rende il sistema poco confortevole. L’immagine del mondo reale è di conseguenza mescolata
elettronicamente con l’immagine generata dal computer ed esposta sul display a cristalli liquidi
dello schermo dell’ HMD. In Fig. 3 è riportato il principio di funzionamento ed una soluzione
basata su HMD Video See-Through.
Fig. 3: principio di funzionamento e soluzione basata su HMD Video See-Through
Si può concludere che entrambe le tecnologie hanno i loro pregi ed il loro difetti, per cui la
scelta della tecnologia dipende fondamentalmente dai requisiti applicativi.
Nei sistemi AR progettati per l’assemblaggio e per le riparazioni sono solitamente utilizzati i
sistemi ottici; nella applicazioni mediche, invece, sono spesso utilizzati i sistemi video,
probabilmente per la flessibilità nel blending reale e virtuale e per le strategie di registrazione
offerte.
Un’altra delle tecnologie di visualizzazione molto utilizzata nella Realtà Aumentata sono gli
hand-held display, ovvero dei display portatili che possono essere palmari o semplici cellulari;
in Fig. 4 sono riportati alcuni esempi.
Fig. 4: esempi di hand-held display
La registrazione dei modelli
Il concetto di registrazione consiste nel preciso allineamento e sincronizzazione di due o più
elementi sensoriali, ossia richiede un’esatta calibrazione della camera e degli strumenti
utilizzati e comprende le tecniche necessarie affinché l’oggetto virtuale elaborato attraverso il
computer si collochi nell’ambiente reale con precisione e con esattezza.
Una delle maggiori difficoltà nelle applicazioni di AR è, appunto, il calcolo in real-time del punto
di vista dell’utente in maniera che gli oggetti virtuali siano perfettamente allineati con quelli
reali; solo in caso di perfetto allineamento le informazioni della AR possono costituire un valido
ausilio. A tale fine, occorrono infatti dei precisi algoritmi o di metodi basati su fiducial point
che devono essere necessariamente applicati per posizionare con precisione il modello virtuale
nella scena reale [6], [7].
Nel caso di applicazione in medicina, poiché le tecniche di Realtà Aumentata vengono utilizzate
anche in sede operatoria per consentire la visualizzazione esatta degli organi e prendere
decisioni importanti ai fini dell’intervento, se il processo di registrazione fosse errato, il medico
andrebbe incontro a errori, spesso imperdonabili.
Applicazioni della Realtà Aumentata in Medicina
I campi di utilizzo della Realtà Aumentata sono molteplici e vanno dal design
all’intrattenimento, dall’addestramento militare ai beni culturali. Uno degli utilizzi più
interessanti dell’Augmented Reality è sicuramente l’ambito medico [8].
Le interfacce di AR permettono di sovrapporre le immagini virtuali al corpo del paziente
fornendo ai medici una visione quasi “a raggi X”. In questo modo il chirurgo può eseguire con
maggiore precisione procedure quali, ad esempio, la perforazione della scatole cranica per la
chirurgia al cervello o una biopsia o di una operazione in laparoscopia. Attualmente sono stati
sviluppati diversi sistemi di AR dedicati a diverse applicazioni mediche.
Le applicazioni in questo settore si concentrano fondamentalmente sulla chirurgia guidata
tramite immagini, in cui immagini acquisite dal paziente vengono utilizzate per pianificare o
eseguire l’intervento. Un altro settore medico in cui potrebbe sicuramente essere utilizzato è il
settore riabilitativo in quanto consentirebbe, per esempio, a persone che hanno dei problemi di
mobilità nel caso di certi disturbi legati al morbo di Parkinson, di visualizzare dei punti di
riferimento sovrapposti allo spazio reale.
Tra le implementazioni e le ricerche sui sistemi di AR applicati al campo della medicina, uno
degli istituti di ricerca più avanzati è quello dell’IRCAD (Istitut de Recherche Contre le Cancers
de l’Appareil Digestif) di Strasburgo [9]. L’IRCAD è un prestigioso centro di ricerca di base ed
applicata, che adotta le più nuove ed innovative tecnologie chirurgiche. Tra le numerose
ricerche e gli svariati campi d’applicazione su cui si concentrano i ricercatori dell’IRCAD c’è
anche la Realtà Aumentata. In Fig. 5 sono riportati alcuni esempi di applicazioni sviluppate.
Fig. 5: esempi di operazione chirurgica in Realtà Aumentata (IRCAD)
Il gruppo di ricerca CAMP (Computer Aided Medical Procedures), diretto dal professore Nassir
Navab a Monaco (Germania), conta numerosi progetti che hanno a che fare con sistemi di
Realtà Aumentata per usi e contesti medici [10].
Tra questi progetti c’è, ad esempio, quello relativo alle “3D User Inteface for Medical
Interventions”, ovvero delle interfacce utente che, utilizzando dati 3D, vengono utilizzate per
sperimentare tecniche di interazione avanzata e soluzioni alternative in chirurgia.
Nel progetto NARVIS (Navigated Augmented Reality Visualization System sono state utilizzate
immagini TAC per un sistema di AR utile ad un intervento chirurgico alla spina dorsale.
In Fig. 6 sono riportati alcuni esempi di applicazioni sviluppate presso il CAMP.
Fig. 6: esempi di sistemi AR sviluppati presso il CAMP
Descrizione dell’applicazione sviluppata
Perché un’applicazione di Realtà Aumentata sia fluida, è importante che il modello virtuale da
visualizzare sia leggero e facilmente manipolabile. Ciò fa sì che la visualizzazione dell’oggetto
virtuale risulti facilmente sincronizzabile con la ripresa della realtà e in grado di seguire i
cambiamenti del punto di vista.
I modelli geometrici degli organi sono stati ricostruiti utilizzando dati acquisiti tramite TAC e
sono il risultati di elaborazioni al fine di distinguere le diverse strutture anatomiche ed
associare doversi colori agli organi. Le fasi di segmentazione e di classificazione sono state
eseguite per ottenere informazioni sulla forma e sulla dimensione degli organi.
Per la visualizzazione del modello virtuale sono stati utilizzati 6 differenti marker [11]. Questa
scelta è stata effettuata allo scopo di ottenere una visualizzazione del modello virtuale anche
nel caso di occlusione di alcuni di marker. Con la scelta effettuata, le immagini di AR si
potranno vedere quando nel cono di visuale è presente almeno uno dei sei marker.
Fig. 7: errore di shifting dovuto all’occlusione di marker
Si sono riscontrati alcuni problemi nell’utilizzo di multimarker in quanto, all’aumentare della
distanza tra i marker di destra e quelli di sinistra, aumentavano lo shifting dei modelli e, tanto
più grande era la distanza tra i marker, tanto più era visibile lo shifting. Per tali motivi non si è
utilizzata una configurazione multi-marker, ma ad ogni marker è stata associata una matrice di
trasformazione che trasla il sistema di coordinate di ogni marker in un sistema fisso centrale,
dove si voleva posizionare il modello degli organi virtuali.
La scelta dei marker è stata inoltre accurata, poiché scegliendo dei marker in qualche modo
simili, si creava confusione nell’applicazione generando un posizionamento errato del modello
virtuale. Nell’immagine 8 vengono riportati tali gli errori di visualizzazione.
Fig. 8: visualizzazione non corretta dovuta a marker simili e numerici
La struttura anatomica in 3D visualizzata è l’insieme delle costole, dei reni e di alcuni vasi.
Vengono utilizzati dei fiducial point per effettuare una corretta visualizzazione.
Pensando ad un caso applicativo, il chirurgo potrebbe avere la necessità di visualizzare uno
solo degli organi appartenenti alla struttura anatomica visualizzata in AR. A questo scopo sono
stati disposti dei marker di scelta, una sorta di opzioni per visualizzare i diversi organi. Se nel
cono di visuale non ci sono i marker di scelta, il modello 3D visualizzato è quello completo che
comprende costole, reni e vasi. Alla visione di determinati marker, invece, il modello cambia e
vengono visualizzati solo alcuni organi. Non è necessario che il marker di scelta sia sempre
presente nella scena per mantenere la visualizzazione dell’organo scelto, ma una volta
riconosciuto il marker, l’organo selezionato rimane nella scena fino alla visione di un altro
marker di scelta.
Fig. 9: visualizzazione dei diversi organi
Bibliografia
[1]
Oliver Bimber, Ramesh Raskar. “Spatial Augmented Reality”. AK Peters Ltd. 2004.
[2]
Ronald T. Azuma. “A Survey of Augmented Reality”. Presence: Teleoperators and Virtual
Environments 6, 4 (August 1997), 355-385.
[3]
Azuma, R., Baillot, Y., Behringer, R., Feiner, S., Julier, S., Mac Intyre, B. “Recent
Advances in Augmented Reality”. IEEE Computer Graphics and Applications.
November/December 2001.
[4]
P. Milgram and F. Kishino, “A Taxonomy of Mixed Reality Visual Displays,” IEICE Trans.
Information Systems, vol. E77-D, no. 12, 1994, pp. 1321-1329.
[5]
NSF/ARPA Science and Technology Center for Computer Graphics and Scientific
Visualization. http://www.cs.unc.edu/~azuma.
[6]
Kutulakos, Kiriakos N. and James Vallino. “Affine Object Representations for CalibrationFree Augmented Reality”. Proceedings of VRAIS '96 (Santa Clara, CA, 30 March - 3 April
1996), 25-36.
[7]
Shahzad Malik. “Robust Registration of Virtual Object for Real-Time Augmented Reality”.
Carketon University, Canada. 2002.
[8]
Silke Geisen, Universitat Paderborn. “Augmented Reality in Surgery”. 2005.
[9]
Institut de Recherche Contre les Cancers de l’Appareil Digestif (IRCAD). Strasburg.
http://www.ircad.fr/homepage.php
[10] Computer Aided Medical Procedures (CAMP). http://campar.in.tum.de/.
[11] Hirokazu Kato, Mark Billinghurst, Ivan Poupyrev. “ARToolKit User Manual”, Version 2.33.
Human Interface Technology Lab, University of Washington. Novembre 2000.