Fusione delle Immagini in Radioterapia
Riccardo Ragona Università di Torino
•
•
•
•
•
•
•
Introduzione
Transformazioni
Algoritmi
Visualizzazione
Validazione
Applicazioni
Conclusioni
Perche la Fusione delle Immagini ?
CT
Risoluzione spaziale
MRI
PET
Contrasto tessuti molli
Attività metabolica
Tipologia delle Immagini
• Immagini Mono-Modalità
Prodotte dalla stessa
modalità di imaging
( MR : T1 versus T2 ??)
• Immagini Multi-Modalità
Prodotte da differenti
modalità di imaging
Tipologia della Fusione
• Mono-Modalità
• Multi-Modalità
• Da Modello a Paziente
• Da Paziente a Modello
Tipologia delle Immagini
Classe
Anatomica
Funzionale
3D
CT, MR, US …
2D
CR, DRR, EPID … Scintigrafia Planare
PET, SPECT, fMRI ….
Dataset di Immagini
E’ un problema 3D !
DICOM
DICOM-RT
Patient
Study
Study
Image
RT S.S
Segmentazione
RT Dose
RT Plan
RT Image
RT
Treatment
Record
Confronto delle Immagini :
Terminologia
• (Co-)Registrazione delle Immagini
1. Processo che crea una relazione fra due datasets
2. Comporta una trasformazione di coordinate di un dataset
• Fusione delle Immagini
1. Sintesi di due o più segnali appartenenti a differenti datasets
in un singolo dataset
• Registrazione delle Immagini
E’ il requisito fondamentale per la
• Fusione delle Immagini
Registrazione & Fusione Immagini
2 datasets ?
MR
SPECT
La Registrazione deve tener conto delle :
• Differenze nella geometria di acquisizione
Orientamento, ingrandimento e spessore Slice
• Differenze nella posizione del paziente
Lettino, setup e movimenti del Paziente
• Deformazioni dell’anatomia
- resezione/deformazione/crescita Tumore
- differente riempimento retto/vescica/…
- movimento organi: prostata, fegato, polmone …
Scopo della Fusione di Immagini
– Diagnostico
( Radiodiagnostica & Med Nucleare )
– Anatomico-Morfologico
( Radioterapia )
Registrazione di 2 datasets di immagini
Medesimo Paziente ?
Imaging in Radioterapia
Studio A = Dataset Primario
• Elevata risoluzione spaziale ed accuratezza geometrica
Imaging in Radioterapia
• Informazioni per il calcolo della dose
Fusione delle Immagini in
Radioterapia
•
•
•
•
•
•
•
Introduzione
Transformazioni
Algoritmi
Visualizzazione
Validazione
Applicazioni
Conclusioni
Registrazione di 2 datasets di immagini
Trasformazioni geometriche
• Rigida
• Affine
• Proiettiva
• Deformabile
Trasformazione geometrica
– Rigida
Studio A
• traslazione , rotazione e scala
– Affine
• Anche shearing (linee parallele)
– Proiettiva
• Il parallelismo delle linee può non
essere preservato
– Deformabile
• Mapping fra linee e curve
Studio B
Trasformazione Rigida
5 parametri in 2D - 9 parametri in 3D
• Traslazione(t)
• Rotazione(R)
• Similarità o scala(s)
t
t1 1
t 2
cos( ) sin( )
R
sin(
)
cos(
)
p2 t s Rp1
x1
p1
y1
s
s1 1
s2
x
p2 2
y2
Trasformazione geometrica
– Rigida
Studio A
• traslazione , rotazionie e scala
– Affine
• Anche shearing (linee parallele)
– Proiettiva
• Il parallelismo delle linee può non
essere preservato
– Deformabile
• Mapping fra linee e curve
Studio B
Trasformazione Affine
•
•
•
•
Rotatione
Traslazione
Scala
Shearing
x2 a13 a11 a12 x1
y a a a y
2 23 21 22 1
Lunghezze ed angoli non
sono preservati
Linee parallele sono
preservate
Trasformazione geometrica
– Rigida
Studio A
• Traslazione , rotazione e scala
– Affine
• Anche shearing (linee parallele)
– Proiettiva
• Il parallelismo delle linee può non
essere preservato
– Deformabile
• Mapping fra linee e curve
Studio B
Perspective Transformation (Planar Homography)
Trasformazione geometrica
– Rigida
Studio A
• Traslazione , rotazione e scala
– Affine
• Anche shearing (linee parallele)
– Proiettiva
• Il parallelismo delle linee può non
essere preservato
– Deformabile (non-Affine)
• Mapping fra linee e curve
Studio B
Affine
Non Affine
Fusione delle Immagini in
Radioterapia
•
•
•
•
•
•
•
Introduzione
Transformazioni
Algoritmi
Visualizzazione
Validazione
Applicazioni
Conclusioni
Registrazione di 2 datasets di immagini
Registration Metrics
• E’ una funzione scalare che contiene
informazioni di entrambi i datasets
• Tipicamente occorre determinare il suo valore
minimo (massimo)
Registration Metrics
Metodi usati per costruire una Metrica :
– Landmark based
– Edge based
– Voxel intensity based
– Information theory based
G
e
o
m
e
t
r
y
I
n
t
e
n
s
i
t
y
Landmark based
• Identificazione dei punti corrispondenti nei due
datasets (almeno 4 non coplanari)
• Tipi di landmarks (invasivi/non invasivi)
– Esterni
• Markers cutanei visibili
– Interni
• Riferimenti anatomici interni
• Markers interni
Edge - Surface based
• Metodo
– Extrazione delle corrispettive superfici
– Calcolo della trasformazione che minimizza le “distanze”
fra le due superfici
• Algoritmi usati
– The “Head and Hat” Algorithm
– The Iterative Closest Point Algorithm
– Chamfer Algorithm
Voxel intensity based
• Metodo
– Si ottimizano talune misure calcolate direttamente dai valori
di intensità dei pixel
• Algoritmi usati
– Minimizzazione delle differenze di intensità
– Tecniche di correlazione
– Rapporto dell’uniformità delle immagini
Registrazione di immagini di uguale
modalità
• Tipica metrica è la somma dei quadrati delle
differenze dei valori di intensità dei voxel
• La metrica non è efficace per immagini
provenienti da differenti modalità
(MR T1 versus T2 ??)
Mutual Information
• Teoria dell’Information :
Poichè sia MR sia TC descrivono entrambe la
medesima anatomia, deve esistere una mutual
information fra i due datasets di immagini
• Non richiede nessun modello di relazione a priori
• La massima Information la si ha quando i due
datasets sono correttamente registrati
Entropia come misura della Information
• La proposta di Shannon (Shannon’s Entropy 1948)
H pi log
i
1
pi
• L’Information dipende linearmente dalla propabilità
pi che un evento si verifichi
• Il secondo termine comporta che l’Information sia
inversamente proporzionale alla probabilità che si
verifichi
4/16 3/16 3/13 6/16
Teoria basata sull’Information
• Scopo della teoria è la ricerca della geometria nella
quale è massima la quantità di Information
condivisa fra le due immagini
– Joint Entropy
• Joint Entropy : misura la quantità di
Information nei due datasets combinati
Entropy & Image Registration
– La Joint Entropy è analogamente definita come:
H ( A, B) p(i, j ) log[ p(i, j )]
i, j
– La dispersione nell’istogramma Joint deve essere
minimizzata
Mutual Information (MI)
• H : entropia
- misura la quantità di Information
• I : Mutual Information
- una Metrica che misura la dipendenza
statistica fra i due datasets di immagini
Mutual Information
• La Mutual Information è proporzionale alle
entropie dei singoli datasets
• Massimizzare la funzione Mutual
Information è equivalente a minimizzare la
Joint Entropy
Mutual Information
• E’ indipendente dalla
modalità con cui i datasets di
immagini sono prodotti
• E’ più efficace della Joint
Entropy
(immagini con background
dominante)
M.I. for Image Registration
M.I. for Image Registration
M.I. for Image Registration
Algoritmi di Ottimizzazione
•
•
•
•
•
•
Simplex
Gradient Descent
Quasi-Newton
Conjugate gradient
Stocastic gradient (Simulated Annealing)
….
Trasformazione geometrica
Studio A
Studio B
Trasformazione Locale : Clipbox
Trasformazione Locale :
Clipbox & Structure
w1 ·Clipbox + w2·Structure
Trasformazione geometrica
• Affine
• Non-Affine (Deformabile)
– Splines
– Demons
– Physics based
• Elastic, Fluid , FEM etc.
Deformable Transformation
y
y
Transform
x
Fixed Image
x
Moving Image
Deformable Transformation
y
y
Transform
x
Fixed Image
x
Moving Image
Registrazione Deformabile :
Algoritmi
Parametric
BSpline – Deformazione elastica di una griglia.
L’ottimizzazione cerca la disposizione ottimale dei
nodi (Knots).
Free form
Demons – Matches delle intensità tramite lo studio dei
gradienti.
Finite Elements Models (FEM) – Modellizza lo
spostamento delle strutture usando modelli fisici.
Registrazione Deformabile Mono-Modalità
L’allineamento Deformabile è in accordo con le variazioni anatomiche
CT
CBCT
Deformations
QUANDO è necessaria una
registrazione deformabile ?
Variazioni di volume del Tumore o dei tessuti molli sono ignorati
CT dalla trasformazione Affine
Una trasformazione Rigida
è richiesta prima di
una trasformazione
Deformabile
Registrazione Deformabile :
Algoritmi
Parametric
BSpline – Deformazione elastica di una griglia.
L’ottimizzazione cerca la disposizione ottimale dei
nodi (Knots).
Free form
Demons – Matches delle intensità tramite lo studio dei
gradienti.
Finite Elements Models (FEM) – Modellizza lo
spostamento delle strutture usando modelli fisici.
Demons Registration: Type 1
Transform
Studio A
Vector Field
Studio B
Demons Registration: Type 1
Transform
Studio A
Vector Field
Studio B
Registrazione Deformabile :
Algoritmi
Parametric
BSpline – Deformazione elastica di una griglia.
L’ottimizzazione cerca la disposizione ottimale dei
nodi (Knots).
Free form
Demons – Matches delle intensità tramite lo studio dei
gradienti.
Finite Elements Models (FEM) – Modellizza lo
spostamento delle strutture usando modelli fisici.
Confronto fra Trasformazioni
Rigid
Bspline
Demons
Tipologia della Fusione
• Mono-Modalità
• Multi-Modalità
• Da Modello a Paziente
(riconoscimento e segmentazione strutture del paziente)
• Da Paziente a Modello
Tipologia della Fusione
• Mono-Modalità
• Multi-Modalità
• Da Modello a Paziente
• Da Paziente a Modello
Fusione delle Immagini in
Radioterapia
•
•
•
•
•
•
•
Introduzione
Transformazioni
Algoritmi
Visualizzazione
Validazione
Applicazioni
Conclusioni
Visualizazione
Fusione delle Immagini in
Radioterapia
•
•
•
•
•
•
•
Introduzione
Transformazioni
Algoritmi
Visualizzazione
Validazione
Applicazioni
Conclusioni
Validazione
Fusione delle Immagini in
Radioterapia
•
•
•
•
•
•
•
Introduzione
Transformazioni
Algoritmi
Visualizzazione
Validazione
Applicazioni
Conclusioni
1
Identity Matrix
1
1
2
2
3
3
4
4
Ca Base Lingua 2009 - Ca Polmone 2011
4
Rigida
+ Deformabile
4
Somma Dosi
Midollo
Fusione delle Immagini in
Radioterapia
•
•
•
•
•
•
•
Introduzione
Transformazioni
Algoritmi
Visualizzazione
Validazione
Applicazioni
Conclusioni
Registrazione Deformabile (???)
Studio A
Studio B
