Computer Vision

Imageprocessing
for
Cos’è laComputerVision?
ComputerVision
• Esempi concreti diapplicazione della CV?
GiuseppeScarpa
ComputerVision
Lavisione è terribilmente complessa
Abilitare i computeralla “comprensione”di
immagini evideo.
Che tipo di scena?
Dove sono le auto?
Quanto dista
l’edificio?
• Lavisione è una capacità affascinante
dell’intelligenza naturale
– Lacorteccia visiva occupa circail 50%nel cervello diun
Macaco
– Nel caso delcervello umano essa è lamaggiore azionista
Is that a
queen or a
bishop?
…
Perchè interessarsi alla computer vision?
Safety
Health
Comfort
Fun
Security
Access
Qualche esempio diimpiego reale della CV
Opticalcharacterrecognition(OCR)
Facedetection
… per convertire documenti scansiti in testo
• oggi, anche scanner di media/bassa qualità incorporano
software OCR
Digit recognition, AT&T labs
http://www.research.att.com/~yann/
License plate readers
http://en.wikipedia.org/wiki/Automatic_number_plate_recognition
Rivelazione delsorriso odaltre espressioni
• E’una funzione ormai quasisempre disponibile nelle
fotocamere diultima generazione quella della rivelazione dei
visi
– Canon,Sony,Fuji,…
Facedetectionandrecognition
Detection
Recognition
“Sally”
Sony Cyber-shot® T70 Digital Still Camera
3Dapartire damigliaia difoto…
3Dapartire damigliaia difoto…
Building Rome in a Day: Agarwal et al. 2009
Riconoscimento dioggetti (inmarkets)
Biometria CV-based
“How the Afghan Girl was Identified by Her Iris Patterns” Read the story
wikipedia
LaneHawk by EvolutionRobotics
“A smart camera is flush-mounted in the checkout lane, continuously
watching for items. When an item is detected and recognized, the
cashier verifies the quantity of items that were found under the basket,
and continues to close the transaction. The item can remain under the
basket, and with LaneHawk,you are assured to get paid for it… “
Loginsenza password…
Guida turistica in mobilità
Scanner per impronte su
pc recenti
Sistemi di riconoscimento facciale
sempre più diffusi
• Auto-localizzazione
• riconoscimento di oggetti/edifici
• Foto/video augmentation
http://www.sensiblevision.com/
B. Leibe
Riconoscimento dioggetti (inmobilità)
Point&Find,Nokia
GoogleGoggles
[Quack, Leibe, Van Gool, CIVR’08]
Applicazione:auto-annotazione
Moulin Rouge
Retrievalsu larga scala
Old Town Square (Prague)
Tour Montparnasse
Colosseum
Viktualienmarkt
Maypole
Sinistra: Immagine da Wikipedia
Destra: immagine più prossima da Flickr
Query
K.Grauman,B.Leibe
[Quack CIVR’08]
Realtà aumentata
Risultati da 5k immagini Flickr
19
[Philbin CVPR’07]
Effetti speciali:cattura della forma
(shapecapture)
GoogleGlass
The Matrix movies, ESC Entertainment, XYZRGB, NRC
Effetti speciali:cattura delmovimento
(motioncapture)
Sport
Sportvision first down line
Nice explanation on www.howstuffworks.com
http://www.sportvision.com/video.html
Pirates of the Carribean, Industrial Light and Magic
Smartcars
Googlecars(laguida autonoma!)
• Mobileye
– Unsistema divisione adottato indiversi modelli di
produttori diautoquali BMW,GM,Volvo
– Mail mercato è inrapidissima evoluzione
Oct 9, 2010. "Google Cars Drive Themselves, in Traffic". The New York Times. John
Markoff
June 24, 2011. "Nevada state law paves the way for driverless cars". Financial Post.
Christine Dobby
Slide content courtesy of Amnon Shashua
Giochi interattivi:Kinect
Visione nello spazio
• ObjectRecognition:
http://www.youtube.com/watch?feature=iv&v=fQ59dXOo63o
• Mario:http://www.youtube.com/watch?v=8CTJL5lUjHg
• 3D:http://www.youtube.com/watch?v=7QrnwoO1-8A
• Robot:http://www.youtube.com/watch?v=w8BmgtMKFbY
NASA'S Mars Exploration Rover Spirit ha catturato questa vista dalla cima di un
plateau dove Spirit ha trascorso un mese nel 2007.
Sistemi di visione (by JPL) usati per
•
•
•
•
Robotica industriale
Panorama stitching
Creazione modelli 3D del terreno
Rivelazione di ostacoli e tracciamento della posizione
… ed altro ancora (si veda “Computer Vision on Mars” by
Matthies et al.)
Medicalimaging
3D imaging
MRI, CT
Un sistema di visione guida un robot nel posizionamento/fissaggio delle ruote
Chirurgia guidata da immagini
Grimson et al., MIT
Alcuniconcettichiave
OverviewofKeypointMatching
• Keypoints (ofeatures)
1.Findasetof
distinctivekeypoints
– Ripetibilità
– Distintività
A1
• Feature description
A2
A3
– Unvettorediproprietàassociatoadunapatch
– Deveessereinvariante…
• Feature matching
• Allineamento
2.Definearegion
aroundeach
keypoint
fA
fB
d( f A, fB ) < T
K.Grauman,B.Leibe
3.Extractand
normalizethe
regioncontent
4.Computealocal
descriptorfromthe
normalizedregion
5.Matchlocal
descriptors
ComputerVisionedisciplineconnesse
• ComputerGraphics:Modelli à Immagini
• Comp.Photography:Immagini à Immagini
• ComputerVision:Immagini à Modelli
ComputerVision
Scope
Machine
Learning
ImageProcessing
FeatureMatching
Recognition
Graphics
Computational
Photography
Robotics
HumanComputer
Interaction
MedicalImaging
Neuroscience
Optics
Argomenti delcorso
•
•
•
•
•
•
•
•
•
•
•
Laformazione dell’immagine:luce ecolore,egeometria
Filtraggio lineare edecomposizioni piramidali
Detection:edge,line,corner,keypoint (feature)
Featuredetectionedescription
Featurematching
Fittinge allineamento (problema della corrispondenza)
Detection:visi,pedoni,odaltre istanze
Classificazione ericonoscimento
Flusso ottico etracking video
Visione stereoscopica
Structurefrommotion
12esercitazioni
•
•
•
•
•
•
•
•
•
•
•
•
Lospazio dei colori
Filtraggio lineare
Decomposizioni piramidali (rappresentazioni scale-space)
Interestpointdetection
Descrittori (SFIT)
Matching
FittingeAllineamento
Tracking
Detection(visi,pedoni,ecc.)
Classificazione erecognition
Visione stereoscopica
Structurefrommotion
Caricodelcorso
Libro ditesto
• 72orecomplessive(9cfu),dicui:
– (alpiù)48oredilezionifrontali
– (almeno)24orediesercitazioneinlaboratorio
Prerequisiti
• Teoriadeisegnali
• BasidiMATLAB
http://szeliski.org/Book/