La Realtà Aumentata in Chirurgia
Giovanni Aloisio, Lucio Tommaso De Paolis
Dipartimento di Ingegneria dell’Innovazione
Università del Salento
Consorzio SPACI
MIMOS 2007
-
Roma, 6-8 Novembre 2007
1
Realtà Aumentata
un sistema di Realtà Aumentata (AR – Augmented Reality) è
un sistema che, acquisendo una scena reale, è in grado di
arricchire tale scena di elementi grafici
il mondo reale è “aumentato”, ovvero virtualmente
arricchito, con informazioni grafiche e testuali addizionali,
sincronizzate e generate dal computer
si catalogano come sistemi di AR tutte quelle applicazioni il
cui scopo è di incrementare la percezione visiva dello spazio
fisico con immagini prese dallo spazio virtuale
MIMOS 2007
-
Roma, 6-8 Novembre 2007
2
Realtà Aumentata
il risultato è che l’ambiente reale e virtuale sembrano
coesistere e l’utente si può muovere liberamente nella
scena
il tutto deve essere elaborato in maniera ottimale, ovvero
in maniera tale che l’utente abbia la percezione di una
singola scena nella quale il reale ed il virtuale sono due
entità indistinguibili
il termine Augmented Reality fu coniato nel 1990 da Tom
Caudell e David Minzell, ricercatori dei laboratori della
Boeing
MIMOS 2007
-
Roma, 6-8 Novembre 2007
3
Reality-Virtuality Continuum
MIMOS 2007
-
Roma, 6-8 Novembre 2007
4
Realtà Virtuale e Realtà Aumentata
la Realtà Virtuale rappresenta un ambiente interattivo
tridimensionale generato dal computer
la Realtà Virtuale richiede un’immersione dell’utente in un
mondo completamente fittizio, dove tutto quello che si
percepisce è generato dal computer e dove l’utente si
ritrova in un mondo distinto, isolato da quello reale
la Realtà Aumentata non isola l’utente dal mondo reale che
viene arricchito tramite oggetti virtuali generati dal
computer
MIMOS 2007
-
Roma, 6-8 Novembre 2007
5
Realtà Aumentata
scopo della Realtà Aumentata è di migliorare la percezione del
mondo e le prestazioni dell’operatore
dal punto di vista tecnologico, l’obiettivo è la creazione di un
sistema in cui non si noti la differenza tra il mondo reale e
l’arricchimento virtuale
MIMOS 2007
-
Roma, 6-8 Novembre 2007
6
Tecnologie per la Realtà Aumentata
la scelta della tecnologia dipende fondamentalmente dai
requisiti che il sistema di Realtà Aumentata richiede
optical see-through
video see-through
retinal display
handheld display
MIMOS 2007
-
Roma, 6-8 Novembre 2007
7
Tecnologie per la Realtà Aumentata
visori optical see-through
si tratta quindi di tecnologie parzialmente trasmittenti
poiché, guardando attraverso la lente, si può vedere
l’immagine virtuale sovrapposta a quella reale
tali sistemi molto simili agli Head-Up Display usati dai piloti
degli aerei militari
una caratteristica dei combinatori ottici è che riducono
l’intensità della luce della scena reale
MIMOS 2007
-
Roma, 6-8 Novembre 2007
8
Tecnologie per la Realtà Aumentata
visori optical see-through
MIMOS 2007
-
Roma, 6-8 Novembre 2007
9
Tecnologie per la Realtà Aumentata
visori video see-through
usano due telecamere, una per ciascun occhio, con le quali
acquisiscono l'immagine reale
si tratta di un sistema che fonde le immagini reali con
quelle di sintesi e le invia agli occhi tramite due display
l’immagine del mondo reale è mescolata elettronicamente
con l’immagine generata dal computer ed esposta sul
display a cristalli liquidi dello schermo
questa scelta permette di realizzare effetti visivi più
complessi
MIMOS 2007
-
Roma, 6-8 Novembre 2007
10
Tecnologie per la Realtà Aumentata
visori video see-through
MIMOS 2007
-
Roma, 6-8 Novembre 2007
11
Tecnologie per la Realtà Aumentata
l’approccio ottico rispetto all’utilizzo di un video see-through
ha i seguenti vantaggi:
semplicità: il blending ottico è più semplice e sicuramente
più conveniente di quello video
risoluzione: le tecnologie video limitano sicuramente la
risoluzione della scena
nessun offset dell’occhio: con i video see-through il punto
di vista dell’utente coincide con quello della video camera
MIMOS 2007
-
Roma, 6-8 Novembre 2007
12
Tecnologie per la Realtà Aumentata
utilizzare un visore video see-through fornisce dei vantaggi:
luce e trasparenza degli oggetti virtuali: nei visori optical
see-through l’oggetto virtuale non oscura completamente
la scena reale quando si sovrappone su di essa
largo campo di visuale: con i video see-through si
raggiunge certamente un largo campo di visuale
ritardi visuali: i sistemi ottici offrono una vista quasi
istantanea del mondo reale, ma una visione ritardata
dell’oggetto virtuale
MIMOS 2007
-
Roma, 6-8 Novembre 2007
13
Tecnologie per la Realtà Aumentata
retinal display
proiettano un fascio di
direttamente sulla retina
luce
l’osservatore ha l’illusione di
vedere l’immagine come se fosse
su un display a 14” a 50 cm
caratteristiche:
alta risoluzione
luminosità
MIMOS 2007
-
Roma, 6-8 Novembre 2007
14
Tecnologie per la Realtà Aumentata
handheld display
MIMOS 2007
-
Roma, 6-8 Novembre 2007
15
Tecnologie per la Realtà Aumentata
I vantaggi di utilizzo di tali tecnologie portatili sono:
una reale alternativa agli HMD per applicazioni mobili
supportano applicazioni mobili
supportano applicazioni multi-utente
PDA o cellulari hanno prezzi molto accessibili
Gli svantaggi sono:
una limitata screen size
non forniscono una totale libertà di utilizzo delle mani
memoria limitata
MIMOS 2007
-
Roma, 6-8 Novembre 2007
16
La Registrazione
il concetto di registrazione consiste nel preciso allineamento
e sincronizzazione di due o più elementi sensoriali e
comprende tutte le tecniche necessarie affinché l’oggetto
virtuale elaborato attraverso il computer si collochi con
precisione nell’ambiente reale
si richiede un’esatta calibrazione della videocamera
una delle maggiori difficoltà nelle applicazioni di AR è il
calcolo in real-time del punto di vista dell’utente in maniera
che gli oggetti virtuali siano perfettamente allineati con quelli
reali
MIMOS 2007
-
Roma, 6-8 Novembre 2007
17
La Registrazione
occorrono precisi algoritmi o metodi basati su fiducial point
per posizionare con precisione il modello virtuale nella scena
reale
nel caso di applicazione in medicina, poiché le tecniche di AR
vengono utilizzate anche in sede operatoria, se il processo di
registrazione fosse errato, il medico andrebbe incontro a
errori spesso imperdonabili
MIMOS 2007
-
Roma, 6-8 Novembre 2007
18
Applicazioni di AR
MIMOS 2007
-
Roma, 6-8 Novembre 2007
19
Applicazioni di AR
MIMOS 2007
-
Roma, 6-8 Novembre 2007
20
Applicazioni di AR
VOMAR Interface
MIMOS 2007
-
Roma, 6-8 Novembre 2007
21
Applicazioni in Medicina
l’obiettivo è visualizzare strutture anatomiche o patologiche che non
possono essere viste direttamente tramite la sovrapposizione di
modelli 3D virtuali alla vista reale del paziente
il paziente diventa trasparente
le interfacce di AR forniscono ai medici una visione quasi “a raggi X”
MIMOS 2007
-
Roma, 6-8 Novembre 2007
22
Applicazioni in Medicina
il chirurgo può eseguire con maggiore precisione alcune procedure
le applicazioni si concentrano fondamentalmente sulla chirurgia
guidata tramite immagini
MIMOS 2007
-
Roma, 6-8 Novembre 2007
23
Applicazioni in Medicina
IRCAD
(Istitut de Recherche Contre le Cancers de l’Appareil Digestif) Strasburgo - Francia
relativamente all’apparato digestivo, sono stati
sviluppati sistemi che permettono di conoscere
esattamente l’esatta posizione di ciascuna
struttura anatomica del paziente al fine di
automatizzare la procedura chirurgica
ODYSSEUS Project:
3D patient modelling,
cooperative surgical planning
and simulation in robotized
surgery
MIMOS 2007
-
Roma, 6-8 Novembre 2007
24
Applicazioni in Medicina
CAMP
(Computer Aided Medical Procedures) Monaco - Germania
MIMOS 2007
-
Roma, 6-8 Novembre 2007
25
Applicazione AR - UNILE
L’applicazione fornisce un utile supporto al medico
nell’ambito della chirurgia minimamente invasiva (MIS)
vantaggi della chirurgia minimamente invasiva:
diminuzione del trauma post-operatorio e della convalescenza
perdita ridotta di sangue e minore rischio di infezione
piccoli tagli per l’inserimento della strumentazione chirurgica
svantaggi:
una scarsa visione della struttura anatomica di interesse
UN SISTEMA DI REALTA’ AUMENTATA AIUTA
A RISOLVERE QUESTO PROBLEMA
MIMOS 2007
-
Roma, 6-8 Novembre 2007
26
Applicazione AR - UNILE
ottenere una sorta di visione a “raggi X” del paziente reale tramite
un’opportuna interfaccia AR
scegliere opportunamente il punto in cui effettuare il taglio
valutare il percorso migliore per raggiungere gli organi di interesse
Struttura
anatomica
virtuale
MIMOS 2007
-
Roma, 6-8 Novembre 2007
27
Applicazione AR - UNILE
acquisizione ed elaborazione delle immagini mediche
allineamento esatto della struttura anatomica virtuale con il
corpo del paziente
visualizzazione dei modelli 3D virtuali
configurazione
a 6 marker
MIMOS 2007
-
Roma, 6-8 Novembre 2007
28
Applicazione AR Sviluppata
il sistema riconosce i marker singolarmente
ad ogni marker è stata infatti associata una matrice di trasformazione che
trasla il sistema di coordinate di ogni marker in un sistema fisso centrale
posizionamento corretto
MIMOS 2007
-
Roma, 6-8 Novembre 2007
29
Applicazione AR - UNILE
MIMOS 2007
-
Roma, 6-8 Novembre 2007
30
Sviluppi Futuri
estendere la struttura anatomica virtuale da visualizzare
migliorare il processo di registrazione dei modelli virtuali
automatizzare il processo di registrazione
MIMOS 2007
-
Roma, 6-8 Novembre 2007
31
Dipartimento di Ingegneria dell’Innovazione
Università del Salento
&
SPACI Consortium
(Southern Partnership for Advanced Computational Infrastructure)
Prof. Giovanni Aloisio ([email protected])
Ing. Lucio Tommaso De Paolis ([email protected])
MIMOS 2007
-
Roma, 6-8 Novembre 2007
32
