visualizza

Interazioni in Ambiente Virtuale
nella Simulazione di un Intervento di Angioplastica
Giovanni Aloisio
Dipartimento di Ingegneria dell’Innovazione – Università degli Studi di Lecce
[email protected]
Lucio Tommaso De Paolis
Dipartimento di Ingegneria dell’Innovazione – Università degli Studi di Lecce
[email protected]
Antonio Mongelli
Dipartimento di Ingegneria dell’Innovazione – Università degli Studi di Lecce
[email protected]
Alessandro De Mauro
Dipartimento di Ingegneria dell’Innovazione – Università degli Studi di Lecce
[email protected]
ABSTRACT
La tecnologia della Realtà Virtuale offre numerosi vantaggi nella simulazione chirurgica in quanto
permette di realizzare sistemi grazie ai quali poter effettuare il training evitando di utilizzare
cadaveri o animali e riducendo i tempi ed i costi dell’addestramento. Grazie al simulatore le
procedure chirurgiche possono essere ripetute più volte su casi di studio differenti in termini di
patologia e di struttura anatomica ed anche le complicanze possono essere previste nell’ambiente
simulato senza alcun rischio per il paziente. Realismo ed interazioni in tempo reale sono le
principali caratteristiche di un simulatore chirurgico da utilizzare per il training e queste
dipendono sia dall’accuratezza con cui è modellato il comportamento degli organi umani a seguito
del contatto con la strumentazione chirurgica, sia dall’uso di dispositivi aptici in grado di fornire
all’utente un opportuno e realistico feedback di forza. Accuratezza ed efficienza sono due requisiti
opposti e, pertanto, è necessario trovare un compromesso a seconda delle varie applicazioni.
In questo paper si parte dai risultati ottenuti nell’ambito del progetto HERMES (HEmatology
Research virtual MEdical System) che ha portato alla realizzazione del primo prototipo di
simulatore di impianto di stent coronarico. Nel simulatore HERMES l’ambiente virtuale non è stato
costruito utilizzando immagini mediche di un paziente reale e gli organi sono stati supposti rigidi;
successivamente le arterie sono state modellate come corpi deformabili utilizzando il Modello ad
Elementi Finiti e si è studiata un’architettura che permettesse di ricercare, tramite un portale web,
e di integrare nel simulatore uno specifico ambiente virtuale realizzato da immagini di un paziente
reale e con precise caratteristiche in termini di patologia e anatomia.
Introduzione
La crescente velocità di calcolo degli elaboratori rende la simulazione sempre più precisa ed
accurata permettendo al personale medico di addestrarsi tramite un simulatore virtuale al posto di
cavie animali o cadaveri.
L’interazione in tempo reale ed il realismo sono le caratteristiche essenziali per una simulazione
chirurgica realizzata per il training; il realismo della simulazione dipende strettamente
dall’accuratezza della modellazione dei tessuti e dall’utilizzo di dispositivi che replichino il ritorno
di forza. Da ciò si evince che i punti critici nella progettazione di un simulatore chirurgico sono la
precisione - il simulatore dovrebbe generare sensazioni visuali ed aptiche molto vicine alla realtà –
e l’efficienza – le deformazioni dovrebbero essere riprodotte in tempo reale. Accuratezza ed
efficienza sono due requisiti opposti in quanto un’elevata accuratezza implica un tempo di calcolo
elevato e vice versa; per questo motivo è necessario trovare un giusto compromesso a seconda
dell’applicazione. Per il training chirurgico la visualizzazione ed il ritorno di forza in tempo reale
sono più importanti di una accurata deformazione. Tuttavia differenze sostanziali tra le
deformazioni virtuali e quelle reali possono portare ad un errato apprendimento della procedura.
Lo studio condotto parte dai risultati ottenuti nell’ambito del progetto HERMES (HEmatology
Research virtual MEdical System), concepito e gestito dal Consorzio CETMA (Brindisi); in tale
progetto è stato realizzato un primo prototipo di simulatore di impianto di stent coronarico. Dal
momento che l’ambiente virtuale del simulatore HERMES non è stato realizzato utilizzando
immagini mediche di un paziente reale e le arterie sono state modellate come corpi rigidi,
successivamente, è stato effettuato lo studio per la realizzazione di un’architettura che permettesse
di ricercare e di integrare un ambiente virtuale realizzato da immagini di un paziente reale e con
precise caratteristiche in termini di patologia e anatomia e si sono modellate le arterie come corpi
deformabili utilizzando il Modello ad Elementi Finiti.
Simulazione in HERMES
L’impianto di stent coronarico è una procedura chirurgica effettuata per mantenere aperte le arterie
coronariche e permettere un adeguato flusso sanguigno. Per effettuare tale procedura un catetere
viene introdotto in arteria ed uno stent viene inserito e correttamente posizionato tramite il
gonfiaggio di un palloncino; successivamente catetere e palloncino vengono rimossi.
force
feedback
visual
feedback
USER
Haptic
Control
Data from
Sensors
Geometric
Model
Haptic Interface
Collision
Detection
forces
Collision
Response
Rendering of
Virtual Scene
Graphical Interface
Figura 1: Schema del simulatore HERMES
Affinché un simulatore per il training su tale procedura risulti realistico deve prevedere una accurata
modellazione anatomica delle arterie e deve permettere una interazione in tempo reale fornendo un
appropriato ritorno di forza grazie all’utilizzo di un dispositivo aptico. L’utente interagisce con il
simulatore utilizzando l’interfaccia aptica ed i dati acquisiti dai sensori sono utilizzati sia per
l’aggiornamento dell’ambiente virtuale, sia per determinare possibili collisioni tra la strumentazione
chirurgica e le pareti dell’arteria; le forze dovute ai contatti in ambiente virtuale vengono fornite
all’utente tramite il dispositivo aptico. La Figura 1 mostra lo schema del simulatore HERMES.
L’interfaccia aptica, progettata e realizzata presso il Laboratorio PERCRO della Scuola S. Anna di
Pisa, riproduce forma e dimensioni degli strumenti chirurgici reali utilizzati nella procedura di
impianto dello stent coronarico; tale dispositivo è dotato di due gradi di libertà permettendo gli
spostamenti longitudinali del catetere e la sua rotazione [1].
Interazioni in Ambiente Virtuale
L’algoritmo utilizzato per gestire le interazioni in ambiente virtuale è costituito dal modulo di
collision detection e da quello di collision response. La posizione e l’orientamento del catetere sono
acquisite e le collisioni con le pareti dell’arteria sono rilevate. In caso di collisione viene calcolata la
forza da replicare sull’utente attraverso il dispositivo aptico [2], [3].
triangulated
artery
Pre-processing
Broad Phase
list of AABBs
Broad Phase Test
current
position
Haptic
Interface
list of triangles
Narrow Phase
Collision Detection
current and
previous
positions
yes/no collision
Collision Response
force feedback
Figura 2: Algoritmo di interazione utilizzato
La Figura 2 mostra i passi dell’algoritmo utilizzato per gestire le interazioni in ambiente virtuale e,
quindi, per verificare le collisioni generare l’opportuno feedback di forza [4], [5]. Nel prototipo del
simulatore HERMES i corpi sono stati supposti rigidi. Le collisioni rilevate sono quelle che
coinvolgono la punta del catetere e l’algoritmo verifica se c’è una intersezione tra un estremo di un
segmento, che rappresenta il catetere, ed uno dei triangoli che costituiscono la mesh dell’arteria; in
caso di collisione, viene calcolato l’esatto punto di contatto e l’angolo rispetto alla normale alla
superficie.
Modellazione Fisica dei Tessuti
Nel progetto HERMES, per una semplificazione del modello, le arterie sono state definite come
corpi rigidi; successivamente, per rendere più realistica e accurata l’interazione tra la
strumentazione chirurgica e l’arteria, si è passati ad una modellazione come corpi deformabili.
Come modello fisico è stato utilizzato il Metodo ad Elementi Finiti (FEM) e, per tale motivo, si è
dovuta affrontare un’attenta analisi per garantire un’interazione in real-time ed un comportamento
corretto degli organi. Il Modello ad Elementi Finiti è stato adeguato al fine di ridurre i tempi di
calcolo durante la simulazione e l’applicazione di tale metodo, denominato ”Quasi-Static Precomputed Linear Elastic Model” [6], all’impianto di stent è stato descritto in [7].
Dal momento che la complessità computazionale di tale metodo è funzione del numero dei nodi con
cui è modellata la superficie dei corpi e che molte strutture anatomiche hanno una geometria
complessa e non possono essere descritte con un numero limitato di nodi, sono state previste due
distinte fasi:
• una fase di pre-processing effettuata off-line per il calcolo di un set di deformazioni
elementari del modello;
• una fase in real-time in cui le deformazioni vengono calcolate come combinazione lineare
delle deformazioni calcolate nella fase precedente.
La fase di pre-processing può durare da pochi minuti a parecchie ore e questo dipende dalla
dimensione del modello e dal livello di accuratezza desiderato. L’eccessiva lunghezza dei tempi di
calcolo non crea problemi in quanto tale fase viene effettuata off-line una sola volta per ogni
modello ed i risultati ottenuti vengono memorizzati ed utilizzati in tutte le successive simulazioni.
I test effettuati, riportati nella Figura 3, dimostrano che i tempi di calcolo della fase in real-time sono
sufficientemente brevi e non provocano ritardi durante la simulazione.
Test 1
Test 2
Test 3
Test 4
Test 5
tetrahedrons
175
262
533
989
2506
nodes on surface
60
68
84
131
249
triangles
104
120
152
246
474
real-time elaboration time
1000
800
600
400
200
0
msec
min
off-line elaboration time
0
1
2
3
4
5
test
15
12
9
6
3
0
0
1
2
3
4
5
test
Figura 3: Test effettuati e tempi di calcolo della fase off-line e di quella real-time
Ricerca di uno Specifico Ambiente Virtuale
Come ricordato in precedenza, l’ambiente virtuale del simulatore HERMES non è stato realizzato
utilizzando immagini mediche di un paziente reale. Per dare un valore aggiunto ai risultati ottenuti
con tale progetto, si è studiata un’architettura per la ricerca di un ambiente virtuale realizzato da
immagini mediche di un paziente reale e con specifiche caratteristiche in termini di patologia e di
anatomia. Una volta individuato, tramite un portale web, tale ambiente viene scaricato ed integrato
nel simulatore.
Per ricostruire un ambiente virtuale da immagini di un paziente reale, i modelli geometrici degli
organi umani devono essere ricostruiti in maniera da distinguere le diverse strutture anatomiche ed
associare differenti scale cromatiche [8]. Dal modello 3D viene poi ottenuto un modello
triangolarizzato degli organi.
L’architettura progettata per la ricerca dell’ambiente virtuale è costituita da diversi Centri Medici
in cui sono salvati gli ambienti virtuali ed i relativi metadati. Una lista aggiornata di metadati è
presente sul portale web e permette di localizzare il Centro Medico da cui scaricare l’ambiente
virtuale. L’architettura è a 3 livelli [9], [10] ed i principali componenti sono:
• il Centro di Training dove l’utente può effettuare l’addestramento sulla procedura chirurgica e
da dove parte la ricerca;
• il Portale Web dove è memorizzata una lista aggiornata di metadati degli ambienti virtuali
presenti nei differenti centri medici;
• i Centri Medici dove sono disponibili gli ambienti virtuali con i relativi metadati.
Una volta individuato il centro medico con l’ambiente di interesse, questi dati vengono scaricati sul
Centro di Training utilizzando una tecnica di decompressione basata sull’algoritmo di Edgebreaker.
References
[1] G. Aloisio, M. Bergamasco, L.T. De Paolis et al., "Computer-Based Simulator for Catheter
Insertion Training", Medicine Meets Virtual Reality 12 ,Vol. 98, pp. 4-6, J.D. Westwood et al.
Eds., IOS Press, 2004.
[2] A. Gregory, M. C. Lin, S. Gottschalk, R. Taylor, “Fast and Accurate Collision Detection for
Haptic Interaction Using a Three Degree-of-Freedom Force-Feedback Device”, Computational
[3] R. Bridson, R. Fedkiw, J. Anderson, “Robust Treatment of Collisions, Contact and Friction for
Cloth Animation”, ACM Trans. Graphics, vol. 21, no. 3, pp. 594-603, 2002.
[4] J. Lombardo, M. P. Cani, F. Neyret, “Real-time Collision Detection for Virtual Surgery”, Proc.
Computer Animation ’99, pp. 33-39, 1999.
[5] G. Van den Bergen, “Collision Detection in Interactive 3D Environments”, Elsevier Morgan
Kaufmann Publishers, San Francisco, 2004.
[6] S. Cotin, H. Delingette, N. Ayache, “Real-time Elastic Deformations of Soft Tissues for
Surgery Simulation”, IEEE Transactions on Visualization and Computer Graphycs, Vol. 5, No.
1, 1999, pp.62-73.
[7] G. Aloisio, L.T. De Paolis, A. Mongelli, L. Provenzano “Artery Soft-Tissue Modelling for
Stent Implant Training System”, The 7th Word Multiconference on Systemics Cybernetics and
Informatics (SCI 2003), Volume IX, pp. 376-380, July 27-30, 2003, Orlando, Florida, USA.
[8] P.A. Van Den Elsen, . Viergever, E.J. Pol, “Medical Image Matching – a Review with
Classification”, Proc. of IEEE Engineering in Medicine and Biology, 12, pp. 26-39, 1993.
[9] K. Gottschalk, S. Graham, H. Kreger, J. Snell, “Introduction to Web Services Architecture”,
IBM Systems Journal, Vol.41, pp. 170-177, 2002.
[10] M. Pierce, C. Youn, O. Balsoy, G. Fox, S. Mock, K. Mueller, “Interoperable Web Services for
Computational Portals”, Proc. of 2002 ACM/IEEE Conf. on Supercomputing, Baltimore,
Maryland, USA, pp. 1-12, 2002.