Da George Clooney ai modelli computazionali di attenzione visiva
annuncio pubblicitario
Da George Clooney ai modelli computazionali di attenzione visiva Corso di Principi e Modelli della Percezione Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano [email protected] http://boccignone.di.unimi.it/PMP_2015.html Ma ci serve veramente George Clooney? Ma ci serve veramente George Clooney? Attenzione visiva Che cos’è l’attenzione? • Una bagliore catturò la mia attenzione • Non l’ho veduta, stavo prestando attenzione alla partita • Stai attento a non farti male! • Questo argomento richiede molta attenzione Che cos’è l’attenzione? • “Everyone knows what attention is. It is the taking possession by the mind, in clear and vivid form, of one out of what seem several simultaneously possible objects or trains of thought. Focalization, concentration, of consciousness are of its essence. It implies withdrawal from some things in order to deal effectively with others...” W. James, 1890 Che cos’è l’attenzione? • Evidenzia alcune informazioni (il fuoco dell’attenzione) • Inibisce altre informazioni (la periferia • Una delle ragioni è limitare la quantità di informazione elaborata • abbiamo sistemi sensoriali a capacità limitata Vari tipi di attenzione Attenzione visiva Attenzione visiva Attenzione visiva Attenzione visiva: //un modo per situarsi nel mondo • Situarsi nel mondo: opzioni • Movimenti del corpo (minuti) • Movimenti della testa (secondi) • Movimenti oculari (centinaia di millisecondi) • Covert attention shifts (decine di millisecondi) Attenzione visiva: //movimenti oculari • I movimenti dei due occhi possono essere uguali (orizzontali, verticali, di torsione sull'asse antero-posteriore) od opposti (convergenza, divergenza), dovendo soddisfare molteplici esigenze, quali: 1. mantenere stabile l'asse visivo, 2. rintracciare, inseguire e fissare gli oggetti che entrano nel campo visivo (mantenendo l’immagine degli oggetti di interesse entro 0.15° della fovea). 3. consentire una visione unica e stereoscopica, 4.permettere una esplorazione attenta dell'ambiente. I movimenti oculari //fisiologia dell’occhio • Complesso meccanismo coordinativo (attivazioni e inibizioni originate da labirinti, articolazioni e muscoli del collo, retina/fovea, terminazioni sensoriali) correla i movimenti oculari fra di loro e con le restanti attività motorie somatiche. I movimenti oculari //fisiologia dell’occhio • Complesso meccanismo coordinativo (attivazioni e inibizioni originate da labirinti, articolazioni e muscoli del collo, retina/fovea, terminazioni sensoriali) correla i movimenti oculari fra di loro e con le restanti attività motorie somatiche. I movimenti oculari //neurofisiologia • Complesso meccanismo coordinativo (attivazioni e inibizioni originate da labirinti, articolazioni e muscoli del collo, retina/fovea, terminazioni sensoriali) correla i movimenti oculari fra di loro e con le restanti attività motorie somatiche. Attenzione visiva: //movimenti oculari Attenzione visiva: //movimenti oculari 1. smooth pursuit 2. movimenti saccadici Come misuriamo i movimenti oculari? Come misuriamo i movimenti oculari? Come misuriamo i movimenti oculari? Come misuriamo i movimenti oculari? • Un diodo (LED) emette raggi infrarossi (IR) a bassa potenza ed illumina l’occhio • Pupil Center / Corneal Relection • Due fenomeni • retroriflessione • riflessione corneale • Video camera + software tracciano i punti di interesse Come misuriamo i movimenti oculari? Come misuriamo i movimenti oculari? I movimenti oculari //inseguimento lento (Smooth Pursuit) • Perché noi percepiamo la penna in movimento nel primo caso ma vediamo il puntino fermo nel secondo caso? • Perché in un caso c’è movimento oculare I movimenti oculari //inseguimento lento (Smooth Pursuit) • Un problema molto complesso è quello di distinguere se un movimento attraverso la retina è dovuto a movimenti oculari oppure allo spostamento di un oggetto • Soppressione saccadica: Una riduzione della sensibilità nella percezione visiva che occorre al momento in cui si effettua un movimento saccadico. • Serve ad eliminare le strisce (come quelle ottenute fotografando un oggetto in rapido movimento) dall’immagine retinica durante i movimenti oculari • Sembra che il percorso magno ma non parvo sia soppresso durante la saccade I movimenti oculari //inseguimento lento (Smooth Pursuit) • Il sistema motorio risolve il problema del perché un oggetto statico possa apparire in movimento mandando due “copie” di ogni ordine per eseguire un movimento oculare • Una “copia” va ai muscoli oculari • Un altra (“copia afferente”) va ad un area del sistema visivo che è stata nominata “comparatore” • Il comparatore può compensare per i cambiamenti dell’immagine dovuti ai movimenti oculari inibendo il tentativo di qualsiasi altra parte del sistema visivo di interpretare i cambiamenti come dovuti ad un movimento dell’oggetto I movimenti oculari //inseguimento lento (Smooth Pursuit) I movimenti oculari //usare l’informazione di movimento • Come vengono utilizzate le informazioni di moto per gli spostamenti? • Vettore Ottico: Descrive l’insieme dei raggi luminosi che interagiscono con gli oggetti del mondo esterno posti di fronte all’osservatore • Flusso ottico: Cambiamenti nella posizione angolare di punti dell’immagine prospettiva che vengono percepiti durante gli spostamenti del soggetto • Esempio di un pilota in fase di atterraggio: “Espansione radiale” Integrazione di movimenti oculari e movimento Integrazione di movimenti oculari e movimento Integrazione di movimenti oculari e movimento A leftward eye movement channel. All connections are excitatory. The retinal image is processed by two types of cells in MT. MT cells with inhibitory surrounds (MT-) connect to MSTv cells, with MT cells preferring greater speeds weighted more heavily. MT cells with excitatory surrounds (MT+) connect to MSTd cells. MSTv cells have excitatory connections with MSTd cells preferring opposite directions. MSTv cells drive pursuit eye movements in their preferred direction, and the resulting eye velocity is fed back to MSTv and MSTd cells (thick arrows). Leftward eye rotation causes rightward retinal motionof the background. The MT and MST cells are drawn so as to approximate their relative receptive field sizes Analisi del movimento biologico I movimenti oculari //movimenti saccadici I movimenti oculari //movimenti saccadici • In regime saccadico, alterniamo fissazioni a movimenti saccadici • Movimenti saccadici: • 3-4 saccadi al secondo • 1 saccade ogni 200-300 msec Attenzione visiva: //meccanismi neurofisiologici (1) Attenzione visiva: //meccanismi neurofisiologici (1) Attenzione visiva: //meccanismi neurofisiologici (1) “… the amount of information coming down the optic nerve ‐ estimated to be in the range of 108 ~ 109 bits per second ‐ far exceeds what the brain is capable of fully processing and assimilating into conscious experience …” C. Koch, 1982 Come vediamo realmente quando muoviamo gli occhi? Come vediamo realmente quando muoviamo gli occhi? Attenzione visiva: //come vediamo realmente il mondo 1 movimento oculare = 1 foto by David Hockney Attenzione visiva: //i primi esperimenti di Yarbus Attenzione visiva: //i primi esperimenti di Yarbus Livello di spiegazione psicologico • Attenzione esplicita, aperta (overt attention) • movimenti oculari • Attenzione implicita, coperta (covert attention) • teoria pre-motoria (Rizzolatti) Livello di spiegazione psicologico //chi guida l’attenzione? • Lo stimolo fisico • segnali inattesi (sorprendenti?) • bottom-up • Un obiettivo (goal) • conoscenza, aspettative, finalità, compiti (task) • top-down Livello di spiegazione psicologico //cosa viene focalizzato? • Regioni spaziali (spotlight theory, Posner) • Features salienti (Treisman) • Oggetti Livello di spiegazione psicologico //cosa viene focalizzato? Features trovare il disco blu Livello di spiegazione psicologico //cosa viene focalizzato? Features trovare il disco blu Livello di spiegazione psicologico //cosa viene focalizzato? Features trovare il disco blu • Effetto pop-out: • ricerca facile • pre-attentiva orientazione • Features salienti (Treisman & Gelade, 1980): • codificate in mappe parallele • ricerca parallela Livello di spiegazione psicologico //cosa viene focalizzato? Features trovare un disco rosso dimensione colore Livello di spiegazione psicologico //cosa viene focalizzato? Features trovare un disco rosso Livello di spiegazione psicologico //cosa viene focalizzato? Features • Congiunzione di features: • ricerca difficile • attentiva • L’attenzione è focalizzata localmente (attentional spotlight): • ricerca seriale trovare un disco rosso Livello di spiegazione psicologico //cosa viene focalizzato? Features • Modello di Treisman • Congiunzione di features: • ricerca difficile • attentiva • L’attenzione è focalizzata localmente (attentional spotlight): • ricerca seriale Livello di spiegazione psicologico //cosa viene focalizzato? Oggetti • O’Craven et al. (1999) • studio di oggetti sovrapposti Livello di spiegazione psicologico //cosa viene focalizzato? Oggetti • O’Craven et al. (1999) • studio di oggetti sovrapposti • un oggetto si muove, l’altro statico Livello di spiegazione psicologico //cosa viene focalizzato? Oggetti • Analisi FMRI dell’esperimento area dei volti = Fusiform face area area di altri oggetti = Parahippocampal place area Livello di spiegazione psicologico //cosa viene focalizzato? Oggetti • Analisi FMRI dell’esperimento Livello di spiegazione psicologico //rappresentazione dinamica di scene (Rensink) Livello di spiegazione psicologico //rappresentazione dinamica di scene (Rensink) Livello di spiegazione psicologico //rappresentazione dinamica di scene (Rensink) Livello di spiegazione neurofisiologico: //dalla retina alla V1/V2 Livello di spiegazione neurofisiologico: //dalla retina alla V1/V2: proto-oggetti • Chi invia / modula “segnali attentivi”? spatial index map Livello di spiegazione neurofisiologico: //oltre V1/V2 Target tracking Target Positioning Target identity, Faces Color, Feature Invariants t AIT: 100 ms CIT: 80 ms PIT: 70 ms V4: 60 Motion Surfaces Photometric stimulus V2: 20 V1: 10 Input retinico t = 0 ms Retina: 0 Anatomia dell’attenzione visiva: //le due vie: dove sono, che cosa sono gli oggetti Crude functional anatomy of Dorsal stream (where) MST MT LIP LGN IT V2 V1 V4 Ventral stream (what) Anatomia dell’attenzione visiva: //attenzione: effetti neurali • Qual è il locus della selezione attentiva? • Aree dei primi stadi di elaborazione (early) vs. aree degli stadi avanzati (late): • l’attenzione ha effetti non solo sulle aree della corteccia extra-striata (late)... • ...ma anche ai primi stadi di elaborazione della corteccia striata (early) Anatomia dell’attenzione visiva: //effetti neurali • Chi invia / modula “segnali attentivi”? spatial index map attentional control thalamocortical loop Livello di spiegazione neurofisiologico: //effetti neurali • Guadagno moltiplicativo sulla risposta neurale allo stimolo focalizzato Livello di spiegazione neurofisiologico: //effetti neurali • Incremento dell’attività neurale di base (baseline activity) Modelli computazionali Qual è il goal della computazione? Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente? Un semplice modello computazionale //Itti e Koch Qual è il goal della computazione? Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente? Un semplice modello computazionale //Itti e Koch che cosa guardo Qual è il goal della computazione? Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente? come guardo Un semplice modello computazionale //Itti e Koch • Nella sua formulazione originale è un modello bottom-up: • ha alla base il concetto di salienza degli stimoli fisici • Basato sul modello psicologico della Treisman (FIT) Un semplice modello computazionale //Itti e Koch: teoria computazionale guardo i punti salienti Qual è il goal della computazione? Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente? scelgo il più saliente Un semplice modello computazionale //Itti e Koch: rappresentazione e algoritmo guardo i punti salienti Qual è il goal della computazione? scelgo il più saliente Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente? Un semplice modello computazionale //Itti e Koch: rappresentazione e algoritmo Mappa di cospicuità (contrasto di colore) Mappa di cospicuità (contrasto di orientazione) Mappa di cospicuità (contrasto di intensità) Un semplice modello computazionale //Itti e Koch: rappresentazione e algoritmo Mappe di cospicuità colore Mappa di salienza S Color C-map orientazione Brightness C-map Final C-map intensità Orientation C-map arg max S massimi della Mappa di salienza visitati in ordine decrescente + Inibizione Un semplice modello computazionale //Itti e Koch: rappresentazione e algoritmo Modelli di attenzione visiva //livelli di spiegazione guardo i punti salienti Qual è il goal della computazione? scelgo il più saliente Quale rappresentazione e quale algoritmo? Come realizzarla fisicamente? Un semplice modello computazionale //Itti e Koch: implementazione neurale Mappa di salienza Color C-map Brightness C-map Orientation C-map Mappe di cospicuità Un semplice modello computazionale //Itti e Koch: implementazione neurale Mappe di cospicuità Mappa di salienza Color C-map Brightness C-map Final C-map Orientation C-map Selezione con una rete di neuroni WTA (Winner Take All)
