La Realtà Aumentata in Chirurgia
annuncio pubblicitario
La Realtà Aumentata in Chirurgia Giovanni Aloisio, Lucio Tommaso De Paolis Dipartimento di Ingegneria dell’Innovazione Università del Salento Consorzio SPACI MIMOS 2007 - Roma, 6-8 Novembre 2007 1 Realtà Aumentata un sistema di Realtà Aumentata (AR – Augmented Reality) è un sistema che, acquisendo una scena reale, è in grado di arricchire tale scena di elementi grafici il mondo reale è “aumentato”, ovvero virtualmente arricchito, con informazioni grafiche e testuali addizionali, sincronizzate e generate dal computer si catalogano come sistemi di AR tutte quelle applicazioni il cui scopo è di incrementare la percezione visiva dello spazio fisico con immagini prese dallo spazio virtuale MIMOS 2007 - Roma, 6-8 Novembre 2007 2 Realtà Aumentata il risultato è che l’ambiente reale e virtuale sembrano coesistere e l’utente si può muovere liberamente nella scena il tutto deve essere elaborato in maniera ottimale, ovvero in maniera tale che l’utente abbia la percezione di una singola scena nella quale il reale ed il virtuale sono due entità indistinguibili il termine Augmented Reality fu coniato nel 1990 da Tom Caudell e David Minzell, ricercatori dei laboratori della Boeing MIMOS 2007 - Roma, 6-8 Novembre 2007 3 Reality-Virtuality Continuum MIMOS 2007 - Roma, 6-8 Novembre 2007 4 Realtà Virtuale e Realtà Aumentata la Realtà Virtuale rappresenta un ambiente interattivo tridimensionale generato dal computer la Realtà Virtuale richiede un’immersione dell’utente in un mondo completamente fittizio, dove tutto quello che si percepisce è generato dal computer e dove l’utente si ritrova in un mondo distinto, isolato da quello reale la Realtà Aumentata non isola l’utente dal mondo reale che viene arricchito tramite oggetti virtuali generati dal computer MIMOS 2007 - Roma, 6-8 Novembre 2007 5 Realtà Aumentata scopo della Realtà Aumentata è di migliorare la percezione del mondo e le prestazioni dell’operatore dal punto di vista tecnologico, l’obiettivo è la creazione di un sistema in cui non si noti la differenza tra il mondo reale e l’arricchimento virtuale MIMOS 2007 - Roma, 6-8 Novembre 2007 6 Tecnologie per la Realtà Aumentata la scelta della tecnologia dipende fondamentalmente dai requisiti che il sistema di Realtà Aumentata richiede optical see-through video see-through retinal display handheld display MIMOS 2007 - Roma, 6-8 Novembre 2007 7 Tecnologie per la Realtà Aumentata visori optical see-through si tratta quindi di tecnologie parzialmente trasmittenti poiché, guardando attraverso la lente, si può vedere l’immagine virtuale sovrapposta a quella reale tali sistemi molto simili agli Head-Up Display usati dai piloti degli aerei militari una caratteristica dei combinatori ottici è che riducono l’intensità della luce della scena reale MIMOS 2007 - Roma, 6-8 Novembre 2007 8 Tecnologie per la Realtà Aumentata visori optical see-through MIMOS 2007 - Roma, 6-8 Novembre 2007 9 Tecnologie per la Realtà Aumentata visori video see-through usano due telecamere, una per ciascun occhio, con le quali acquisiscono l'immagine reale si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine del mondo reale è mescolata elettronicamente con l’immagine generata dal computer ed esposta sul display a cristalli liquidi dello schermo questa scelta permette di realizzare effetti visivi più complessi MIMOS 2007 - Roma, 6-8 Novembre 2007 10 Tecnologie per la Realtà Aumentata visori video see-through MIMOS 2007 - Roma, 6-8 Novembre 2007 11 Tecnologie per la Realtà Aumentata l’approccio ottico rispetto all’utilizzo di un video see-through ha i seguenti vantaggi: semplicità: il blending ottico è più semplice e sicuramente più conveniente di quello video risoluzione: le tecnologie video limitano sicuramente la risoluzione della scena nessun offset dell’occhio: con i video see-through il punto di vista dell’utente coincide con quello della video camera MIMOS 2007 - Roma, 6-8 Novembre 2007 12 Tecnologie per la Realtà Aumentata utilizzare un visore video see-through fornisce dei vantaggi: luce e trasparenza degli oggetti virtuali: nei visori optical see-through l’oggetto virtuale non oscura completamente la scena reale quando si sovrappone su di essa largo campo di visuale: con i video see-through si raggiunge certamente un largo campo di visuale ritardi visuali: i sistemi ottici offrono una vista quasi istantanea del mondo reale, ma una visione ritardata dell’oggetto virtuale MIMOS 2007 - Roma, 6-8 Novembre 2007 13 Tecnologie per la Realtà Aumentata retinal display proiettano un fascio di direttamente sulla retina luce l’osservatore ha l’illusione di vedere l’immagine come se fosse su un display a 14” a 50 cm caratteristiche: alta risoluzione luminosità MIMOS 2007 - Roma, 6-8 Novembre 2007 14 Tecnologie per la Realtà Aumentata handheld display MIMOS 2007 - Roma, 6-8 Novembre 2007 15 Tecnologie per la Realtà Aumentata I vantaggi di utilizzo di tali tecnologie portatili sono: una reale alternativa agli HMD per applicazioni mobili supportano applicazioni mobili supportano applicazioni multi-utente PDA o cellulari hanno prezzi molto accessibili Gli svantaggi sono: una limitata screen size non forniscono una totale libertà di utilizzo delle mani memoria limitata MIMOS 2007 - Roma, 6-8 Novembre 2007 16 La Registrazione il concetto di registrazione consiste nel preciso allineamento e sincronizzazione di due o più elementi sensoriali e comprende tutte le tecniche necessarie affinché l’oggetto virtuale elaborato attraverso il computer si collochi con precisione nell’ambiente reale si richiede un’esatta calibrazione della videocamera una delle maggiori difficoltà nelle applicazioni di AR è il calcolo in real-time del punto di vista dell’utente in maniera che gli oggetti virtuali siano perfettamente allineati con quelli reali MIMOS 2007 - Roma, 6-8 Novembre 2007 17 La Registrazione occorrono precisi algoritmi o metodi basati su fiducial point per posizionare con precisione il modello virtuale nella scena reale nel caso di applicazione in medicina, poiché le tecniche di AR vengono utilizzate anche in sede operatoria, se il processo di registrazione fosse errato, il medico andrebbe incontro a errori spesso imperdonabili MIMOS 2007 - Roma, 6-8 Novembre 2007 18 Applicazioni di AR MIMOS 2007 - Roma, 6-8 Novembre 2007 19 Applicazioni di AR MIMOS 2007 - Roma, 6-8 Novembre 2007 20 Applicazioni di AR VOMAR Interface MIMOS 2007 - Roma, 6-8 Novembre 2007 21 Applicazioni in Medicina l’obiettivo è visualizzare strutture anatomiche o patologiche che non possono essere viste direttamente tramite la sovrapposizione di modelli 3D virtuali alla vista reale del paziente il paziente diventa trasparente le interfacce di AR forniscono ai medici una visione quasi “a raggi X” MIMOS 2007 - Roma, 6-8 Novembre 2007 22 Applicazioni in Medicina il chirurgo può eseguire con maggiore precisione alcune procedure le applicazioni si concentrano fondamentalmente sulla chirurgia guidata tramite immagini MIMOS 2007 - Roma, 6-8 Novembre 2007 23 Applicazioni in Medicina IRCAD (Istitut de Recherche Contre le Cancers de l’Appareil Digestif) Strasburgo - Francia relativamente all’apparato digestivo, sono stati sviluppati sistemi che permettono di conoscere esattamente l’esatta posizione di ciascuna struttura anatomica del paziente al fine di automatizzare la procedura chirurgica ODYSSEUS Project: 3D patient modelling, cooperative surgical planning and simulation in robotized surgery MIMOS 2007 - Roma, 6-8 Novembre 2007 24 Applicazioni in Medicina CAMP (Computer Aided Medical Procedures) Monaco - Germania MIMOS 2007 - Roma, 6-8 Novembre 2007 25 Applicazione AR - UNILE L’applicazione fornisce un utile supporto al medico nell’ambito della chirurgia minimamente invasiva (MIS) vantaggi della chirurgia minimamente invasiva: diminuzione del trauma post-operatorio e della convalescenza perdita ridotta di sangue e minore rischio di infezione piccoli tagli per l’inserimento della strumentazione chirurgica svantaggi: una scarsa visione della struttura anatomica di interesse UN SISTEMA DI REALTA’ AUMENTATA AIUTA A RISOLVERE QUESTO PROBLEMA MIMOS 2007 - Roma, 6-8 Novembre 2007 26 Applicazione AR - UNILE ottenere una sorta di visione a “raggi X” del paziente reale tramite un’opportuna interfaccia AR scegliere opportunamente il punto in cui effettuare il taglio valutare il percorso migliore per raggiungere gli organi di interesse Struttura anatomica virtuale MIMOS 2007 - Roma, 6-8 Novembre 2007 27 Applicazione AR - UNILE acquisizione ed elaborazione delle immagini mediche allineamento esatto della struttura anatomica virtuale con il corpo del paziente visualizzazione dei modelli 3D virtuali configurazione a 6 marker MIMOS 2007 - Roma, 6-8 Novembre 2007 28 Applicazione AR Sviluppata il sistema riconosce i marker singolarmente ad ogni marker è stata infatti associata una matrice di trasformazione che trasla il sistema di coordinate di ogni marker in un sistema fisso centrale posizionamento corretto MIMOS 2007 - Roma, 6-8 Novembre 2007 29 Applicazione AR - UNILE MIMOS 2007 - Roma, 6-8 Novembre 2007 30 Sviluppi Futuri estendere la struttura anatomica virtuale da visualizzare migliorare il processo di registrazione dei modelli virtuali automatizzare il processo di registrazione MIMOS 2007 - Roma, 6-8 Novembre 2007 31 Dipartimento di Ingegneria dell’Innovazione Università del Salento & SPACI Consortium (Southern Partnership for Advanced Computational Infrastructure) Prof. Giovanni Aloisio ([email protected]) Ing. Lucio Tommaso De Paolis ([email protected]) MIMOS 2007 - Roma, 6-8 Novembre 2007 32
