ROBOTICA MOBILE Sensori - LaDiSpe

ROBOTICA – 01CFIDV 02CFICY
AA 2007/08
ROBOTICA MOBILE
Sensori
Basilio Bona
DAUIN – Politecnico di Torino
Basilio Bona – DAUIN – Politecnico di Torino
001/1
Sensori per la Robotica
ROBOTICA – 01CFIDV 02CFICY
ƒ Sensori propriocettivi (PC)
– Misurano grandezze “proprie” cioè relative allo stato interno del
robot: es. velocità delle ruote, coppie motrici, carica delle batterie,
accelerazione, assetto, ecc.
ƒ Sensori eterocettivi (EC)
– Misurano grandezze esterne al robot, cioè proprie dell’ambiente in
cui il robot opera: ed. distanze da muri, campo magnetico,
posizione di oggetti, ecc.
ƒ Sensori passivi (SP)
– Per effettuare le misurazioni utilizzano l’energia fornita
dall’ambiente (non confondere con l’energia necessaria per essere
alimentati)
ƒ Sensori attivi (SA)
AA 2007/08
– Utilizzano la propria energia, ma in questo modo possono
modificare l’ambiente
Basilio Bona – DAUIN – Politecnico di Torino
001/2
ROBOTICA – 01CFIDV 02CFICY
Sensori per la Robotica
ƒ
ƒ
ƒ
ƒ
Sensori
Sensori
Sensori
Sensori
analogici
digitali
continui
binari ON/OFF
ƒ Sensori analogici ON/OFF, sensori digitali continui, sensori analogici
continui, sensori digitali ON/OFF
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/3
Sensori
ROBOTICA – 01CFIDV 02CFICY
Telecamera 360o
Telecamera convenzionale
(pan-tilt=brandeggiabile)
IMU=Inertial Measurement Unit
Sonar
Laser Scanner
Encoder alle ruote motrici
Bumpers=contatto
Ruota passiva
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/4
Sensori
Sensore
ROBOTICA – 01CFIDV 02CFICY
Categoria
AA 2007/08
Sensori tattili o di “vicinanza”
Sensori alle ruote motrici
Sensori di orientamento rispetto
a un riferimento fisso
Sensori di posizione cartesiana
rispetto a un riferimento fisso
Tipo
Sensori di contatto (on/off)
EC - SP
Sensori di prossimità
(induttivi/capacitivi)
EC - SA
Sensori di distanza
(induttivi/capacitivi)
EC - SA
Encoder potenziometrici
PC - SP
Encoder ottici, magnetici, effetto
Hall, induttivi, capacitivi, syncro e
resolver
PC - SA
Bussole e girobussole
EC - SP
Giroscopi
PC - SP
Inclinometri
EC – SP/A
GPS (solo per outdoor)
EC – SA
Guide (Beacons) ottiche o RF
EC – SA
Guide a ultrasuoni
EC – SA
Guide a riflessione
EC – SA
Basilio Bona – DAUIN – Politecnico di Torino
001/5
Sensori
ROBOTICA – 01CFIDV 02CFICY
Categoria
Sensori attivi di distanza
(active ranging)
Sensori di velocità relativa a
oggetti fissi o mobili
Sensore
Sensori a riflessione
EC - SA
Sensori a ultrasuoni
EC - SA
Laser range finders (Laser scanners)
EC - SA
Triangolazione ottica (1D)
EC - SA
Luce strutturata (2D)
EC - SA
Radar doppler
EC - SA
Suono doppler
EC - SA
(Tele)-camere CCD o CMOS
EC - SA
Sensori di visione: distanza, analisi Soluzioni integrate (package) per
visual ranging
features, segmentazione, object
recognition
Soluzioni integrate (package) per
object tracking
AA 2007/08
Tipo
Basilio Bona – DAUIN – Politecnico di Torino
EC - SA
EC - SA
001/6
ROBOTICA – 01CFIDV 02CFICY
Caratteristiche di un sensore
ƒ
ƒ
ƒ
ƒ
ƒ
ƒ
Trasduttore = Sensore (per semplificare le definizioni)
Risoluzione
Ripetibilità
Precisione/Accuratezza
Isteresi
Coefficiente di temperatura
Linearità
– Funzione di Trasferimento
– Range dinamico
– Ampiezza di banda
ƒ Rumore e disturbi: rapporto segnale/rumore
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/7
ROBOTICA – 01CFIDV 02CFICY
Caratteristiche di un sensore
ƒ Problematiche legate al rumore/errore/disturbo:
modellazione con segnali stocastici
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/8
ROBOTICA – 01CFIDV 02CFICY
Rumore
ƒ
ƒ
ƒ
ƒ
ƒ
Shot noise
Rumore termico
Flicker noise
Burst noise
Avalanche noise
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/9
ROBOTICA – 01CFIDV 02CFICY
Shot noise
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/10
ROBOTICA – 01CFIDV 02CFICY
Rumore termico
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/11
ROBOTICA – 01CFIDV 02CFICY
Flicker noise
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/12
ROBOTICA – 01CFIDV 02CFICY
Flicker noise
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/13
ROBOTICA – 01CFIDV 02CFICY
Burst e Avalanche noise
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/14
ROBOTICA – 01CFIDV 02CFICY
Colore dei rumori
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/15
ROBOTICA – 01CFIDV 02CFICY
Noise Floor – Rumore di fondo
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/16
ROBOTICA – 01CFIDV 02CFICY
Le sfide della robotica mobile
AA 2007/08
ƒ Obbiettivo: percepire, analizzare e interpretare lo stato
dell’ambiente intorno al robot
ƒ Le misure cambiano (sono relative a oggetti che hanno
una loro dinamica) e sono fortemente affette da
errore/rumore
ƒ Esempi:
–
–
–
–
Variabilità dell’illuminazione
Riflessioni
Superfici diversamente assorbenti/riflettenti suono e luce
Sensitività della misura alla posa e all’ambiente
Basilio Bona – DAUIN – Politecnico di Torino
001/17
ROBOTICA – 01CFIDV 02CFICY
Le sfide della robotica mobile
ƒ Comportamento dei segnali dei sensori modellato da una
distribuzione statistica
– Si conosce poco o nulla delle cause degli errori random
– Si usa spesso una distribuzione gaussiana o simmetrica, ma ciò
può essere molto sbagliato
ƒ Esempio:
AA 2007/08
– I sensori a ultrasuoni (sonar) possono sovrastimare la distanza e
quindi non hanno una distribuzione simmetrica dell’errore
– Bisogna considerare diverse situazioni: quando il segnale ritorna
direttamente o quando ritorna dopo riflessioni multiple
– La visione stereo può correlare due immagini in modo scorretto e
generare risultati senza senso
Basilio Bona – DAUIN – Politecnico di Torino
001/18
Correlazione immagini stereo
ROBOTICA – 01CFIDV 02CFICY
Questi punti vanno correlati:
come cercarli nelle due immagini?
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/19
ROBOTICA – 01CFIDV 02CFICY
Encoder
AA 2007/08
ƒ Misurano la posizione o la velocità dei vari motori
presenti sul robot
ƒ Le misure vengono integrate per generare una stima
della posizione (odometria)
ƒ Forniscono misure (imprecise) rispetto al riferimento
locale (propriocettori)
Basilio Bona – DAUIN – Politecnico di Torino
001/20
ROBOTICA – 01CFIDV 02CFICY
Encoder
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/21
ROBOTICA – 01CFIDV 02CFICY
Sensori di orientamento (Heading)
ƒ Possono esser PC (giroscopi, inclinometri) o EC (bussole)
o misti (girobussole)
ƒ Permettono di misurare l’angolo sia orizzontale sia
verticale rispetto a una direzione di riferimento
ƒ Congiuntamente a misure di velocità, permettono di
integrare il moto, per stimare una posizione
ƒ Questa procedura si chiama dead reckoning ed è propria
della navigazione marittima
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/22
ROBOTICA – 01CFIDV 02CFICY
Bussole
ƒ
ƒ
ƒ
ƒ
Strumento conosciuto fin dall’antichità
Dipende dal campo magnetico terrestre (misura assoluta)
Metodi: meccanico, effetto Hall, effetto magnetostrittivo
Limiti
AA 2007/08
– Debolezza del campo magnetico terrestre
– Facilmente disturbato dalla presenza di oggetti metallici nei
dintorni
– Poco adatto per navigazione indoor
Basilio Bona – DAUIN – Politecnico di Torino
001/23
ROBOTICA – 01CFIDV 02CFICY
Giroscopi
ƒ Misura assoluta, in quanto mantengono l’orientamento
iniziale rispetto ad un sistema di riferimento fisso
ƒ Sono meccanici oppure ottici
ƒ Meccanici
– Standard (assoluti)
– Rated (differenziali)
ƒ Ottici
AA 2007/08
– Rated (differenziali)
Basilio Bona – DAUIN – Politecnico di Torino
001/24
ROBOTICA – 01CFIDV 02CFICY
Giroscopi meccanici
ƒ Concetto: proprietà inerziali di un rotore che ruota
velocemente: fenomeno della precessione
ƒ Il momento angolare mantiene l’asse della ruota stabile
ƒ Nessuna coppia è trasmessa dal supporto esterno all’asse
della ruota
ƒ La coppia di reazione è proporzionale alla velocità di
rotazione, all’inerzia e alla velocità di precessione
AA 2007/08
τ = ΓωΩ
ƒ Se l’asse di rotazione viene allineato lungo il
meridiano N-S, la rotazione della Terra non influisce
sulla misura
ƒ Se viene puntato lungo la direzione E-O, l’asse
orizzontale misura la rotazione della Terra
Basilio Bona – DAUIN – Politecnico di Torino
001/25
ROBOTICA – 01CFIDV 02CFICY
Giroscopi meccanici
Asse di rotazione
AA 2007/08
Gimbal=giunto cardanico
Basilio Bona – DAUIN – Politecnico di Torino
001/26
Giroscopi differenziali
ROBOTICA – 01CFIDV 02CFICY
ƒ Stesso concetto costruttivo, ma i giunti cardanici sono
vincolati da una molla a torsione.
– Si misura una velocità angolare invece di un angolo
ƒ Altri giroscopi usano l’effetto delle forze di Coriolis per
misurare le variazioni di assetto (ad es. Analog Device
ADXRS150 e ADXRS300)
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/27
ROBOTICA – 01CFIDV 02CFICY
Giroscopi ottici
ƒ Utilizzano due raggi laser o monocromatici originati dalla
stessa sorgente e “iniettati” in una fibra ottica avvolta
intorno a un cilindro
ƒ Uno gira in un senso, l’altro in senso opposto
ƒ Il raggio che gira nella direzione di rotazione
– Percorre un cammino più corto, mostra una frequenza maggiore
– La differenza di frequenza tra i due raggi è proporzionale alla
velocità angolare del cilindro
ƒ Sono sensori a stato solido che possono facilmente essere
integrati direttamente su silicio insieme all’elettronica
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/28
ROBOTICA – 01CFIDV 02CFICY
Beacon
AA 2007/08
ƒ Sono degli apparati di guida con una posizione
assoluta nota. Si chiamano anche landmarks e
possono essere naturali o artificiali
– Conosciuti e usati fin dall’antichità: sole montagne, campanili,
fari
ƒ Insostituibili per interni, dove il GPS è inefficace
ƒ Costosi, richiedono interventi sull’ambiente
ƒ Non facilmente adattabili a variazioni dell’ambiente
Basilio Bona – DAUIN – Politecnico di Torino
001/29
ROBOTICA – 01CFIDV 02CFICY
GPS
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/30
ROBOTICA – 01CFIDV 02CFICY
Sensori di distanza
ƒ Detti anche range sensors, misurano distanze “grandi”
ƒ Utilizzano il “tempo di volo” (time-of-flight)
ƒ Si adoperano sensori a ultrasuoni o laser che utilizzano la
conoscenza della velocità del suono o della luce per
ricavare la distanza
AA 2007/08
d = ct
Distanza (andata e ritorno)
Velocità dell’onda
(sonora/elettromagnetica)
Basilio Bona – DAUIN – Politecnico di Torino
Tempo impiegato
001/31
ROBOTICA – 01CFIDV 02CFICY
Sensori di distanza
ƒ
ƒ
ƒ
ƒ
Velocità di propagazione del suono 0.3 m/ms
Velocità di propagazione della luce (nel vuoto) 0.3 m/ns
Rapporto 106
3m
AA 2007/08
–
–
–
–
10 ms per il suono
solo 10 ns per un sensore laser
difficile da misurare
sensori laser costosi e delicati
Basilio Bona – DAUIN – Politecnico di Torino
001/32
Sensori di distanza
ROBOTICA – 01CFIDV 02CFICY
ƒ La qualità delle misure dipende da
AA 2007/08
–
–
–
–
–
–
Incertezze sul tempo di arrivo del segnale riflesso (laser e sonar)
Incertezze sul tempo di volo (laser)
Angolo di apertura della trasmissione (sonar)
Interazioni (assorbimento ecc.) con la superficie
Variazione della velocità di propogazione
Eventuale velocità del robot o dell’oggetto
Basilio Bona – DAUIN – Politecnico di Torino
001/33
ROBOTICA – 01CFIDV 02CFICY
Sensori a ultrasuoni
AA 2007/08
ƒ Viene generato e trasmesso un pacchetto di onde sonore (di
pressione) il cosiddetto chirp
ƒ La distanza dall’oggetto che riflette il pacchetto è semplicemente
ct
d =
2
ƒ La velocità del suono nell’aria è data da
c = γRT
c = rapporto calore specifico
R = costante del gas
T = temperatura in gradi Kelvin
Basilio Bona – DAUIN – Politecnico di Torino
001/34
ROBOTICA – 01CFIDV 02CFICY
Sensore a ultrasuoni
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/35
ROBOTICA – 01CFIDV 02CFICY
Sensori a ultrasuoni
ƒ
ƒ
ƒ
ƒ
Frequenze usate 40-200 kHz
Generate da un sorgente piezoelettrica
Trasmettitore e ricevitore possono essere separati o no
Il suono di propaga in un cono
AA 2007/08
– Angoli di apertura 20-40 gradi
Distribuzione spaziale
dell’intensità
Basilio Bona – DAUIN – Politecnico di Torino
001/36
ROBOTICA – 01CFIDV 02CFICY
Sensori laser
ƒ
ƒ
ƒ
ƒ
Raggio trasmesso e ricevuto coassiali
Raggio collimato che illumina il bersaglio
Il ricevitore misura il tempo di volo (andata e ritorno)
Ci può essere un meccanismo per variare alzo e angolo
(misure 2D o 3D)
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/37
ROBOTICA – 01CFIDV 02CFICY
Sensori laser
ƒ Laser pulsati: si misura direttamente il tempo (dell’ordine
dei picosecondi)
ƒ Frequenza di battimento tra una modulante e l’onda
riflessa
ƒ Ritardo di fase
AA 2007/08
– È più facile da realizzare tecnicamente dei due precedenti metodi
Basilio Bona – DAUIN – Politecnico di Torino
001/38
Sensori laser
ROBOTICA – 01CFIDV 02CFICY
c
λ=
f
θ
D ′ = L + 2D = L +
λ
2π
c = velocità della luce
f = frequenza della modulante
D ′ = distanza totale percorsa
f = 5 MHz λ = 60 m
ƒ La confidenza nella stima della fase (e quindi della
distanza) è inversamente proporzionale al quadrato
dell’ampiezza del segnale ricevuto
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/39
ROBOTICA – 01CFIDV 02CFICY
Sensori laser
Immagine tipica da un laser scanner con specchio rotante.
La lunghezza dei segmenti intorno ai punti di misura indica l’incertezza
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/40
ROBOTICA – 01CFIDV 02CFICY
Triangolazione
ƒ Si proiettano raggi di luce o pattern bidimensionali (light
sheets)
ƒ La luce riflessa è catturata da un sensore lineare o a
matrice
ƒ Si usano semplici relazioni trigonometriche
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/41
Triangolazione
ROBOTICA – 01CFIDV 02CFICY
L
D=f
x
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/42
ROBOTICA – 01CFIDV 02CFICY
Luce strutturata
H = D tan α
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/43
ROBOTICA – 01CFIDV 02CFICY
Luce strutturata
ƒ Elimina il problema di trovare le corrispondenze
proiettando un pattern noto sulla scena
ƒ I pattern sono rilevati e interpretati da una videocamera
ƒ La distanza da un punto illuminato può essere calcolata
utilizzando semplici relazioni geometriche
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/44
Luce strutturata
ROBOTICA – 01CFIDV 02CFICY
ƒ Schema di principio
monodimensionale
AA 2007/08
bu
x=
f cot α − u
bf
z=
f cot α − u
Basilio Bona – DAUIN – Politecnico di Torino
001/45
ROBOTICA – 01CFIDV 02CFICY
Visione
ƒ Per gli esseri umani la vista (visione) è il senso più
importante.
ƒ La visione comprende tre fasi
AA 2007/08
– Ricezione/trasduzione mediante l’occhio
– Trasmissione mediante i nervi ottici
– Elaborazione nei centri della visione del cervello
Basilio Bona – DAUIN – Politecnico di Torino
001/46
ROBOTICA – 01CFIDV 02CFICY
Visione naturale
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/47
ROBOTICA – 01CFIDV 02CFICY
Visione naturale
AA 2007/08
La risonanza magnetica dinamica
rivela le aree del cervello
interessate ai fenomeni neurali
associati alla visione
Basilio Bona – DAUIN – Politecnico di Torino
chiasma ottico
001/48
ROBOTICA – 01CFIDV 02CFICY
Visione artificiale
ƒ Telecamera (o videocamera o camera)
ƒ Frame grabber
ƒ CPU
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/49
ROBOTICA – 01CFIDV 02CFICY
Visione artificiale
ƒ Proiezione da mondo 3D su un piano 2D: effetti di
prospettiva e proiezione (matrici di trasformazione)
ƒ Effetti della discretizzazione dovuta ai pixel del
trasduttore (CCD o CMOS)
ƒ Effetti di errore di disallineamento
Linee parallele
AA 2007/08
Linee convergenti
Basilio Bona – DAUIN – Politecnico di Torino
001/50
ROBOTICA – 01CFIDV 02CFICY
Visione artificiale
asse ottico
piano immagine riflesso
piano focale
piano immagine principale
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/51
ROBOTICA – 01CFIDV 02CFICY
Visione artificiale
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/52
ROBOTICA – 01CFIDV 02CFICY
Visione artificiale
AA 2007/08
Applicazione di numerose trasformazioni
rigide e prospettiche
Riscalamento
Correzione
ottica
Basilio Bona – DAUIN – Politecnico di Torino
001/53
ROBOTICA – 01CFIDV 02CFICY
Visione artificiale
AA 2007/08
x
x
y
y
Basilio Bona – DAUIN – Politecnico di Torino
001/54
ROBOTICA – 01CFIDV 02CFICY
Visione artificiale
AA 2007/08
πr
π
ic
zc
kc
x ′i
Cc
A
P′
Ci
xc
P ′′
P
f
Basilio Bona – DAUIN – Politecnico di Torino
−f
001/55
ROBOTICA – 01CFIDV 02CFICY
Visione artificiale
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/56
ROBOTICA – 01CFIDV 02CFICY
Visione artificiale
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/57
ROBOTICA – 01CFIDV 02CFICY
Visione artificiale
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/58
Sensori di visione
ROBOTICA – 01CFIDV 02CFICY
ƒ Sensori di distanza
– profondità dal fuoco (depth from focus)
– visione stereo
ƒ Moto e flusso ottico
ƒ Sensori di colore
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/59
Sensori di visione
ROBOTICA – 01CFIDV 02CFICY
ƒ Profondità dal fuoco (depth from focus)
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/60
ROBOTICA – 01CFIDV 02CFICY
Sensori di visione
AA 2007/08
Messa a fuoco vicina
Basilio Bona – DAUIN – Politecnico di Torino
Messa a fuoco lontana
001/61
Vision
Vision in General
ROBOTICA – 01CFIDV 02CFICY
Vision is the most important sense
Vision provides us with a large amount of information about the environment
and enables us to interact intelligently with it, without direct physical contact
It is therefore not surprising that an large amount of effort has occurred to give
machines a sense of vision
Vision is also our most complicated sense. Whilst we can reconstruct views with
high resolution on photographic paper, the next step of understanding how the
brain processes the information from our eyes is still in its infancy
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/62
ROBOTICA – 01CFIDV 02CFICY
Vision
An image is the projection of a 3 dimensional scene onto a 2
dimensional plane.
In order to recover some information from the image, edge
detectors are usually used to find the contours of the objects.
Algorithms use the edges to provide the necessary information
required to reconstruct the 3-D scene.
Even in simple situations, the edge fragments are not perfect,
and careful processing is required to recover a clean line
drawing representing the complete outline of objects.
Therefore the interpretation of 3-D scenes from 2-D images is
not a trivial task.
Using stereo imaging or triangulation methods, vision can
become a powerful tool for environment analysis.
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/63
Vision-based Sensors: Hardware
ROBOTICA – 01CFIDV 02CFICY
Vision-based Sensors: Hardware
CCD (Coupled Charge Device, light-sensitive, discharging capacitors of 5 to 25
micron)
2048 x 2048 CCD array
CMOS (Complementary Metal Oxide Semiconductor technology)
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/64
ROBOTICA – 01CFIDV 02CFICY
Artificial Vision Geometry
AA 2007/08
Several geometrical (rotations & translations)
and perspective transformations are necessary
to recover the relation between pixel image and
3D object
Rescaling
Optical
correction
Basilio Bona – DAUIN – Politecnico di Torino
001/65
Geometric optical principles
ROBOTICA – 01CFIDV 02CFICY
(x , y , z )
xA
x
left lens
f
right lens
z
(x A , y A )
(x r , y r )
b
baseline
Idealized camera geometry for stereo vision
Disparity between two images → Depth computation
AA 2007/08
x + b / 2 xr
x −b / 2
=
=
,
f
z
f
z
x A − xr
b
=
f
z
(x A + x r ) / 2
x =b
x A − xr
(y A + yr ) / 2
y =b
y A − yr
f
z =b
x A − xr
Basilio Bona – DAUIN – Politecnico di Torino
001/66
Stereo Vision
ROBOTICA – 01CFIDV 02CFICY
Distance is inversely proportional to disparity
closer objects can be measured more accurately
Disparity is proportional to b.
For a given disparity error, the accuracy of the depth estimate
increases with increasing baseline b.
However, as b is increased, some objects may appear in one
camera, but not in the other.
A point visible from both cameras produces a conjugate
pair
AA 2007/08
Conjugate pairs lie on epipolar line (parallel to the x-axis for the
arrangement in the figure above)
Basilio Bona – DAUIN – Politecnico di Torino
001/67
ROBOTICA – 01CFIDV 02CFICY
Stereo points correspondence
These two points are corresponding:
how do you find them in the two images?
LEFT
RIGHT
left
right
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
Disparity
001/68
ROBOTICA – 01CFIDV 02CFICY
Epipolar lines
corresponding points
lie on the epipolar lines
camera
centerpoint
camera
centerpoint
epipolar lines
these two points are known
and fixed
AA 2007/08
Basilio Bona – DAUIN – Politecnico di Torino
001/69
Stereo Vision
ROBOTICA – 01CFIDV 02CFICY
Stereo Vision
ƒ Calculation of Depth
– The key problem in stereo is how to solve the correspondence
problem
ƒ Gray-Level Matching
AA 2007/08
– match gray-level waveforms on corresponding epipolar lines
– “brightness” = image irradiance I(x,y)
– zero-crossing of Laplacian of Gaussian is a widely used approach
for identifying feature in the left and right image
Basilio Bona – DAUIN – Politecnico di Torino
001/70
Stereo Vision
ROBOTICA – 01CFIDV 02CFICY
Zero crossing of Laplacian of Gaussian
ƒ Identification of features that are stable and match well
2
2
∂
I
∂
ƒ Laplacian of intensity imageL(x , y ) = 2 + I2 ; L = P ⊗ I
∂x
∂y
ƒ Step/edge detection of noisy image: filter through
gaussian smoothing
AA 2007/08
⎡ 0 1 0⎤
⎢
⎥
⎢
⎥
P = ⎢ 1 −4 1 ⎥
⎢
⎥
⎢ 0 1 0⎥
⎣
⎦
⎡1 2 1⎤
⎢
⎥
1 ⎢
⎥
G=
⎢2 4 2 ⎥
16 ⎢
⎥
⎢1 2 1⎥
⎣
⎦
Basilio Bona – DAUIN – Politecnico di Torino
001/71
Stereo Vision
ROBOTICA – 01CFIDV 02CFICY
L
R
VERTICAL FILTERED IMAGES
Confidence image
AA 2007/08
Depth image
Basilio Bona – DAUIN – Politecnico di Torino
001/72