- Scuola di Microscopia

I llum inazione strutturata, spinning disk e
deconvoluzione
Tecniche di Super Risoluzione XYZ
a confronto
Alessandro Rossi
Bio-imaging specialist
Outline:
1.
Risoluzione di un sistema ottico
2.
Sistemi confocali spinning disk
3.
Sistemi superconfocali a illuminazione strutturata
4.
Deconvoluzione
5.
Il sistema perfetto? Uno, nessuno, centomila (l’applicazione è tutto)
1. Cosa vuol dire risoluzione in un sistema ottico
𝑝𝑝𝑝𝑝𝑝𝑝 λ = 600𝑛𝑛𝑛𝑛, 𝑁𝑁𝑁𝑁 = 1.4,
𝑟𝑟𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴 ≅ 261𝑛𝑛𝑛𝑛
•
La fisica descrive la luce come un
flusso di particelle e come un’onda
elettromagnetica. Le onde
interferiscono (in questo caso
purtroppo!) tra di loro
•
I fotoni che attraversano un obiettivo
convergendo sul piano immagine
creano quindi un pattern di
interferenza, detto Airy pattern
•
Il disco centrale, o primo disco di Airy,
ha raggio pari a
𝑟𝑟𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴
λ
= 0,61
𝑁𝑁𝑁𝑁𝑂𝑂𝑂𝑂𝑂𝑂
•
Due punti luminosi infinitamente piccoli posti a una distanza “d” l’uno
dall’altro, visti attraverso un sistema ottico, si considerano “risolti” se:
𝑑𝑑 ≥ 𝑟𝑟𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴 ≡ 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑋𝑋𝑋𝑋
(𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 𝑑𝑑𝑑𝑑 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅)
E’ il limite di risoluzione in qualunque
sistema di microscopia ottica: lo scopo è
superarlo…
•
Anche lungo l’asse z si produce un pattern di diffrazione periodico, in cui la prima discontinuità,
o minimo, si trova a distanza zmin dal punto di fuoco (“n” in questo caso è l’indice di rifrazione
del mezzo):
𝑧𝑧𝑚𝑚𝑚𝑚𝑚𝑚 = 2
λ𝑛𝑛
≡ 𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅𝑅 𝑍𝑍
(𝑁𝑁𝑁𝑁𝑂𝑂𝑂𝑂𝑂𝑂 )2
𝑝𝑝𝑝𝑝𝑝𝑝 λ = 600𝑛𝑛𝑛𝑛, 𝑁𝑁𝑁𝑁 = 1.4, 𝑛𝑛 = 1.518 𝑧𝑧𝑚𝑚𝑚𝑚𝑚𝑚 ≅ 929𝑛𝑛𝑛𝑛
Infine allontanando l’obiettivo dal punto luminoso si otterranno sui vari piani z immagini fuori
fuoco di esso via via più grandi e meno intense.
Qualunque microscopio ottico trasforma quindi ogni singola sorgente luminosa
secondo una funzione di trasporto detta
PSF = Point Spread Function
che definisce quindi un limite imposto alla risoluzione XYZ del sistema ottico
Piano XY
𝑃𝑃𝑃𝑃𝑃𝑃𝑋𝑋𝑋𝑋
Piano XZ
𝑃𝑃𝑃𝑃𝑃𝑃𝑍𝑍
Come superare il limite di diffrazione dato dalla PSF intrinseca di un sistema ottico
per ottenere una Super Risoluzione?
1. Confocale Spinning Disk: rimozione ottica dei contributi fuori fuoco durante l’acquisizione
2. Sistemi a illuminazione strutturata: il campione viene illuminato con maschere periodiche.
L’interazione tra pattern di illuminazione, la matrice di acquisizione e la PSF della struttura
osservata permette di estrarre informazioni aggiuntive.
3. Deconvoluzione: applicazione matematica di una funzione inversa alla PSF sull’immagine già
acquisita
1. Confocale Spinning Disk, l’idea di Nipkow: rimozione ottica dei contributi fuori
fuoco durante l’acquisizione
Layout ottico del sistema confocale spinning disk X-Light V2, Crest Optics (sessione
pratica in Aula Nipkow)
Miglioramento della risoluzione XY e Z in un confocale ottico:
Attenuando i piani fuori fuoco si ottiene un aumento del contrasto in XY e in Z: la risoluzione
aumenta al massimo di ~ 2 , se e solo se 𝑟𝑟𝑃𝑃𝑃𝑃𝑃𝑃 𝐻𝐻𝐻𝐻𝐻𝐻𝐻𝐻 < 𝑟𝑟𝐴𝐴𝐴𝐴𝐴𝐴𝐴𝐴
𝑅𝑅𝑅𝑅𝑅𝑅 𝑋𝑋𝑋𝑋𝑊𝑊𝑊𝑊𝑊𝑊𝑊𝑊
𝑅𝑅𝑅𝑅𝑅𝑅 𝑍𝑍𝑊𝑊𝑊𝑊𝑊𝑊𝑊𝑊
λ
= 0,61
𝑁𝑁𝑁𝑁𝑂𝑂𝑂𝑂𝑂𝑂
λ𝑛𝑛
=2
(𝑁𝑁𝑁𝑁𝑂𝑂𝑂𝑂𝑂𝑂 )2
𝑅𝑅𝑅𝑅𝑅𝑅 𝑋𝑋𝑋𝑋𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 ≥ 0,4
λ
𝑁𝑁𝑁𝑁𝑂𝑂𝑂𝑂𝑂𝑂
λ𝑛𝑛
𝑅𝑅𝑅𝑅𝑅𝑅 𝑍𝑍𝐶𝐶𝐶𝐶𝐶𝐶𝐶𝐶 ~1,4
(𝑁𝑁𝑁𝑁𝑂𝑂𝑂𝑂𝑂𝑂 )2
Vantaggi: uniformità di campo e velocità di acquisizione
•
•
•
12 spirali di pin holes
Copertura completa del campo di
vista in 30° di rotazione (12
settori)
Rotazione a 15.000 rpm (250
rps)
•
•
3000 immagini complete al
secondo (il limite è quindi la
telecamera)
Disuniformità massima di
illuminazione per esposizioni di 1
ms:
𝜎𝜎1 𝑚𝑚𝑚𝑚 ≤
1
= 2,7%
3 ∙ 12
Risoluzione assiale (misurata con pinholes da 60 μm, 𝜆𝜆𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒 = 605𝑛𝑛𝑛𝑛, Obiettivo 60x oil 1,4 NA)
Campione: Singolo bead fluorescente da 200 nm di diametro
Axial Resolution (FWHM)
641 nm
xy
yz
xz
Nella sessione pratica in aula Nipkow vedremo molti di questi esempi…
Spinning disk: Vantaggi…
1. Velocità di acquisizione: fino a 3000 immagini al secondo, il bottleneck reale è dato dalla
telecamera e dal segnale di fluorescenza. L’acquisizione è simultanea su tutto il campo di
vista, al contrario di quanto avviene nei Laser Scanning Microscopes
2. Bassissima fototossicità per long term timelapse: la densità ottica di illuminazione sul
campione è molto bassa perché la scansione sul campo di vista viene fatta dai pin holes, non
da un fascio laser focalizzato
3. Ottimizzato per sorgenti LED: rispetto ai laser non è richiesto alcun allineamento fine
periodico, e i costi di acquisto e manutenzione sono molto bassi
4. Totalmente quantitativo: nessun algoritmo viene applicato all’immagine e il sistema non
genera effetti non lineari
…e svantaggi:
1. La risoluzione, soprattutto in z, è inferiore a quella dei sistemi a luce strutturata
2. Il cross-talk tra pin holes può produrre con campioni spessi un background che diminuisce il
contrasto dell’immagine
2. Sistemi a illuminazione strutturata: tecniche di estrazione del picco
Esistono diverse tecniche di illuminazione strutturata e conseguenti metodi di analisi:
1. Alcune sfruttano le informazioni contenute nello spazio delle frequenze, analizzandone la
Trasformata di Fourier
2. Altre lavorano sul piano immagine e
sull’ampiezza (intensità) del segnale,
illuminando il campione attraverso una
maschera e analizzando le conseguenti
distribuzioni di intensità per ogni pixel
del detector
VCS video confocal super-resolution
Il sistema X-Light V2 con VCS è stato sviluppato sulla
base di un’idea di Pier Alberto Benedetti del CNR di
Pisa:
la scansione 2D di un campione tramite una
illuminazione multi-spot permette di migliorare
notevolemente la risoluzione 3D rispetto a sistemi
widefield e confocali.
Come funziona?
L’acquisizione in luce strutturata prevede le seguenti fasi:
1. Illuminazione multipunto del campione (ossia narrow-field, non widefield) , ottenuta
filtrando la luce di acquisizione con una maschera posta in un piano di fuoco coniugato a
quello del campione
2. Scansione dell’intero campo di vista, spostando la maschera su direzioni ortogonali (u,v). É
necessaria la velocità e la precisione di movimentatori piezo
3. Acquisizione di una immagine per ogni posizione della maschera, tramite CCD o sCMOS. In
funzione del numero “n” di passi di scansione, le immagini acquisite saranno 𝒏𝒏 ∙ 𝒏𝒏 = 𝑵𝑵
4. Grazie alla scansione, per ogni pixel della telecamera si ottiene una distribuzione di intensità
𝐼𝐼 𝑢𝑢,𝑣𝑣 (𝑥𝑥, 𝑦𝑦)
5. L’immagine in super risoluzione viene calcolata applicando algoritmi di detection ed
estrazione del picco di intensità alle distribuzioni di intensità per ogni pixel sulle N immagini
preliminari.
Layout ottico del sistema a luce strutturata VCS Video Confocal System, Crest
Optics (sessione pratica in Aula Nipkow)
La maschera può avere pattern con diverse geometrie, a pin hole circolari, a fori quadrati o
con linee parallele.
La grandezza ottimale dei fori dipende dalla dimensione del pixel della telecamera e dalle
caratteristiche di diffrazione dell’obiettivo (inutile andare sotto il limite di diffrazione).
La distanza ottimale tra i fori è di circa 6 volte la grandezza dei fori stessi, per minimizzare il
crosstalk e ottimizzare i tempi di scansione
Esempio: se la CCD o sCMOS ha pixel da 6,5 μm…
- fori quadrati con lato da 13 μm
- distanza tra i fori (pitch) di circa 78 μm
Quali algoritmi sono applicabili alle N immagini?
Innumerevoli, lineari o non lineari, ognuno produrrà immagini con caratteristiche differenti.
ALGORITMO LINEARE: 𝑰𝑰 𝒙𝒙 ∝ 𝑴𝑴𝑴𝑴𝑴𝑴 𝒙𝒙 + 𝑴𝑴𝑴𝑴𝑴𝑴 𝒙𝒙 − 𝟐𝟐 𝑨𝑨𝑨𝑨𝑨𝑨(𝒙𝒙)
Distribuzione di
intensità per ogni
pixel
Scansione
campione con
pattern
Quali dati posso trarne e perché si ottiene la super risoluzione?
La MEDIA:
∑𝑁𝑁
𝑖𝑖=1 𝑖𝑖𝑖𝑖𝑔𝑔𝑖𝑖 𝒙𝒙
𝐴𝐴𝐴𝐴𝐴𝐴 𝒙𝒙 =
𝑁𝑁
L’iimmagine ottenuta con la MEDIA delle distribuzioni è fortemente correlata con
il segnale widefield
Il massimo:
𝑁𝑁
𝑀𝑀𝑀𝑀𝑀𝑀 𝒙𝒙 = 𝑀𝑀𝑀𝑀𝑥𝑥𝑖𝑖=1
[𝑖𝑖𝑖𝑖𝑔𝑔𝑖𝑖 (𝒙𝒙)]
E’ composto principalmente dal valore del picco della
distribuzione nell’acquisizione multipunto, ma include
anche dati di background e di crosstalk tra pin holes.
Il minimo:
𝑁𝑁
Min 𝒙𝒙 = 𝑀𝑀𝑀𝑀𝑀𝑀𝑖𝑖=1
[𝑖𝑖𝑖𝑖𝑔𝑔𝑖𝑖 (𝒙𝒙)]
Contiene soprattutto dati di background e contributi
dei piani fuori fuoco (cross-talk tra pin holes)
Quindi calcolando solamente
𝑀𝑀𝑀𝑀𝑀𝑀 𝑥𝑥 − 𝑀𝑀𝑀𝑀𝑀𝑀 𝑥𝑥
Verrebbero soltanto rimossi dalla distribuzione i contributi indesiderati di
background e segnale fuori fuoco.
Ricostruendo l’immagine pixel per pixel si ottengono immagini simili a quelle
di un microscopio laser scanning
Invece includendo nel calcolo anche la media delle distribuzioni…
𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆 𝒙𝒙 = 𝑀𝑀𝑀𝑀𝑀𝑀 𝒙𝒙 + 𝑀𝑀𝑀𝑀𝑀𝑀 𝒙𝒙 − 2𝐴𝐴𝐴𝐴𝐴𝐴(𝒙𝒙)
L’immagine ricostruita in questo modo ha caratteristiche SUPER CONFOCALI,
soprattutto perché i componenti a fuoco del campione non vengono illuminati
per la maggior parte delle posizioni del pattern di illuminazione
𝑅𝑅𝑅𝑅𝑅𝑅 𝑋𝑋𝑋𝑋𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆
Dipende da campionamento, dai pixel della
telecamera e dall’algoritmo utilizzato, può essere
uguale e in molti casi migliore di quella di un
confocale a pin hole
𝑅𝑅𝑅𝑅𝑅𝑅 𝑋𝑋𝑋𝑋𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆 ≤ 0,4
𝑅𝑅𝑅𝑅𝑅𝑅 𝑍𝑍𝐿𝐿𝐿𝐿𝐿𝐿𝐿𝐿 𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆
λ
𝑁𝑁𝑁𝑁𝑂𝑂𝑂𝑂𝑂𝑂
Il maggior vantaggio dell’illuminazione strutturata è
un fortissimo miglioramento della risoluzione
assiale.
La risoluzione Z migliora almeno di un fattore 2
rispetto ai confocali a pin hole
(quasi 3 rispetto a un sistema widefield):
1,4
λ𝑛𝑛
𝑅𝑅𝑅𝑅𝑅𝑅 𝑍𝑍𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆𝑆 ~
𝟐𝟐 (𝑁𝑁𝑁𝑁𝑂𝑂𝑂𝑂𝑂𝑂 )2
Le intensità misurate sperimentalmente sul beads fluorescenti da 100nm forniscono i
seguenti risultati di RISOLUZIONE LUNGO L’ASSE Z
ACQUISIZIONE WIDEFIELD
RICOSTRUZIONE 3D
ACQUISIZIONE CONFOCALE SPINNING DISK
RICOSTRUZIONE 3D
ACQUISIZIONE CON VCS - LUCE STRUTTURATA
RICOSTRUZIONE 3D
ACQUISIZIONE CON VCS - LUCE STRUTTURATA
(Spartaco Santi)
Astrocita di una fettina di corteccia peririale (in verde), proBDNF (in rosso) e colocalizazione (in bianco). L’illuminazione strutturata
permette di identificare le aree di colocalizzazione nelle zone degli endfeet astrocitari.
4. Deconvoluzione: applicazione matematica di una funzione inversa alla PSF
sull’immagine già acquisita
Ogni immagine acquisita deriva dalla convoluzione tra segnale reale del campione e PSF del
sistema ottico, a cui va aggiunto il rumore totale del sistema (ambientale, poissoniano legato al
segnale stesso, termico e di read out della telecamera)
La deconvoluzione è
l’applicazione di una funzione
inversa alla PSF a una
immagine già acquisita
Es. Deconvoluzione iterativa on PSF fissa
Senza entrare nel dettaglio, gli algoritmi di deconvoluzione possono portare a un forte
miglioramento della risoluzione XY e assiale di uno stack di immagini già acquisite.
Il fattore di miglioramento dipende dal campione e dal sistema di acquisizione.
Vantaggi:
-
Utilissimo per dinamiche molto veloci (>1000fps), da acquisire necessariamente in widefield
Applicabile con ottimi risultati alle immagini acquisite con un confocale spinning disk (il crosstalk tra pin hole viene eliminato)
Rialloca i contributi dei piani fuori fuoco quindi da un punto di vista quantitativo mantiene tutto
il segnale
Svantaggi:
-
-
Per la deconvoluzione 3D non è possibile vedere online il risultato
I tempi di processing sono proporzionali alla quantità di informazioni presenti nello stack z e
sono tipicamente molto lunghi (minuti)
La risoluzione lungo Z è strettamente inferiore a quella di un sistema a luce strutturata
4. Il giusto giusto? Dipende dall’applicazione
Confocalità
Confocale
Spinning Disk
Risoluzione
XY
Velocità di
acquisizione
Velocità di
analisi
RISPETTO A
SINGLE MOLECULE
Luce
Strutturata
VCS
RISPETTO A
SINGLE MOLECULE
Deconvoluzion
e
IN MIGLIORAMENTO
CUDA PROCESSING
RISPETTO A
SINGLE MOLECULE
Il sistema X-light V2 + VCS + deconvoluzione integra i tre approcci
complementari, adattandosi come vedremo nella sessione pratica in Aula
Nipkow a molteplici esigenze sperimentali (dinamiche veloci, bassi
segnali, necessità di super risoluzione)
Alessandro Rossi
Bio-imaging specialist