Attenzione visiva (1) Corso di Principi e Modelli della Percezione Prof. Giuseppe Boccignone Dipartimento di Scienze dell’Informazione Università di Milano [email protected] http://homes.dsi.unimi.it/~boccignone/GiuseppeBoccignone_webpage/Modelli_Percezione.html Che cos’è l’attenzione? • Una bagliore catturò la mia attenzione • Non l’ho veduta, stavo prestando attenzione alla partita • Stai attento a non farti male! • Questo argomento richiede molta attenzione Che cos’è l’attenzione? • “Everyone knows what attention is. It is the taking possession by the mind, in clear and vivid form, of one out of what seem several simultaneously possible objects or trains of thought. Focalization, concentration, of consciousness are of its essence. It implies withdrawal from some things in order to deal effectively with others...” W. James, 1890 Che cos’è l’attenzione? • Evidenzia alcune informazioni (il fuoco dell’attenzione) • Inibisce altre informazioni (la periferia • Una delle ragioni è limitare la quantità di informazione elaborata • abbiamo sistemi sensoriali a capacità limitata Vari tipi di attenzione Attenzione visiva Attenzione visiva Attenzione visiva Attenzione visiva Attenzione visiva: //un modo per situarsi nel mondo • Situarsi nel mondo: opzioni • Movimenti del corpo (minuti) • Movimenti della testa (secondi) • Movimenti oculari (centinaia di millisecondi) • Covert attention shifts (decine di millisecondi) Attenzione visiva: //movimenti oculari • La bilaterale integrazione delle attività oculomotorie fa sì che i due occhi costituiscano una singola unità funzionale e realizzino insieme una sorta di occhio ciclopico, capace di provvedere alla visione unica e stereoscopica degli oggetti. • I movimenti dei due occhi possono essere uguali (orizzontali, verticali, di torsione sull'asse antero-posteriore) od opposti (convergenza, divergenza), dovendo soddisfare molteplici esigenze, quali: 1. mantenere stabile l'asse visivo, 2. rintracciare, inseguire e fissare gli oggetti che entrano nel campo visivo (mantenendo l’immagine degli oggetti di interesse entro 0.15° della fovea). 3. consentire una visione unica e stereoscopica, 4.permettere una esplorazione attenta dell'ambiente. Attenzione visiva: //movimenti oculari • Complesso meccanismo coordinativo (attivazioni e inibizioni originate da labirinti, articolazioni e muscoli del collo, retina/fovea, terminazioni sensoriali) correla i movimenti oculari fra di loro e con le restanti attività motorie somatiche. • Ad ogni occhio sono attaccati sei muscoli arrangiati in tre coppie: • Questi sono controllati da una estesa rete di strutture neurali del cervello • Quando stimolati da segnali elettrici si possono osservare movimenti oculari I movimenti oculari //fisiologia dell’occhio I movimenti oculari //fisiologia dell’occhio I movimenti oculari //fisiologia dell’occhio I movimenti oculari //neurofisiologia Attenzione visiva: //movimenti oculari • Complesso meccanismo coordinativo (attivazioni e inibizioni originate da labirinti, articolazioni e muscoli del collo, retina/fovea, terminazioni sensoriali) correla i movimenti oculari fra di loro e con le restanti attività motorie somatiche. • I sistemi neuronali di controllo che mantengono la fovea su un bersaglio visivo sono : 1. i movimenti vestibolo-oculari: mantengono stabili le immagini sulla retina durante i movimenti del capo; 2. i movimenti optocinetici: mantengono stabili le immagini sulla retina durante i movimenti rotatori prolungati del capo; 3. i movimenti saccadici: portano rapidamente la fovea verso un bersaglio visivo posto più perifericamente; 4. i movimenti di inseguimento: mantengono fissa sulla retina l'immagine di un oggetto in movimento; 5. i movimenti di vergenza: fanno sì che l'immagine di un oggetto più lontano o più vicino si proietti sempre su entrambe le fovee. Attenzione visiva: //movimenti oculari Attenzione visiva: //movimenti oculari 1. smooth pursuit 2. movimenti saccadici I movimenti oculari //inseguimento lento (Smooth Pursuit) I movimenti oculari //inseguimento lento (Smooth Pursuit) • Perché noi percepiamo la penna in movimento nel primo caso ma vediamo il puntino fermo nel secondo caso? • Perché in un caso c’è movimento oculare I movimenti oculari //movimenti saccadici I movimenti oculari //movimenti saccadici • Un problema molto complesso è quello di distinguere se un movimento attraverso la retina è dovuto a movimenti oculari oppure allo spostamento di un oggetto • Soppressione saccadica: Una riduzione della sensibilità nella percezione visiva che occorre al momento in cui si effettua un movimento saccadico. • Serve ad eliminare le strisce (come quelle ottenute fotografando un oggetto in rapido movimento) dall’immagine retinica durante i movimenti oculari • Sembra che il percorso magno ma non parvo sia soppresso durante la saccade I movimenti oculari //movimenti saccadici • Il sistema motorio risolve il problema del perché un oggetto statico possa apparire in movimento mandando due “copie” di ogni ordine per eseguire un movimento oculare • Una “copia” va ai muscoli oculari • Un altra (“copia afferente”) va ad un area del sistema visivo che è stata nominata “comparatore” • Il comparatore può compensare per i cambiamenti dell’immagine dovuti ai movimenti oculari inibendo il tentativo di qualsiasi altra parte del sistema visivo di interpretare i cambiamenti come dovuti ad un movimento dell’oggetto I movimenti oculari //movimenti saccadici I movimenti oculari //usare l’informazione di movimento • Come vengono utilizzate le informazioni di moto per gli spostamenti? • Vettore Ottico: Descrive l’insieme dei raggi luminosi che interagiscono con gli oggetti del mondo esterno posti di fronte all’osservatore • Flusso ottico: Cambiamenti nella posizione angolare di punti dell’immagine prospettiva che vengono percepiti durante gli spostamenti del soggetto • Esempio di un pilota in fase di atterraggio: “Espansione radiale” Integrazione di movimenti oculari e movimento Integrazione di movimenti oculari e movimento Integrazione di movimenti oculari e movimento Integrazione di movimenti oculari e movimento A leftward eye movement channel. All connections are excitatory. The retinal image is processed by two types of cells in MT. MT cells with inhibitory surrounds (MT-) connect to MSTv cells, with MT cells preferring greater speeds weighted more heavily. MT cells with excitatory surrounds (MT+) connect to MSTd cells. MSTv cells have excitatory connections with MSTd cells preferring opposite directions. MSTv cells drive pursuit eye movements in their preferred direction, and the resulting eye velocity is fed back to MSTv and MSTd cells (thick arrows). Leftward eye rotation causes rightward retinal motionof the background. The MT and MST cells are drawn so as to approximate their relative receptive field sizes Analisi del movimento biologico Attenzione visiva: //movimenti oculari • In regime saccadico, alterniamo fissazioni a movimenti saccadici • Movimenti saccadici: • 3-4 saccadi al secondo • 1 saccade ogni 200-300 msec Attenzione visiva: //come vediamo realmente il mondo Attenzione visiva: //meccanismi neurofisiologici (1) Attenzione visiva: //meccanismi neurofisiologici (1) Attenzione visiva: //meccanismi neurofisiologici (1) Attenzione visiva: //meccanismi neurofisiologici (1) “… the amount of information coming down the optic nerve ! estimated to be in the range of 108 ~ 109 bits per second ! far exceeds what the brain is capable of fully processing and assimilating into conscious experience …” C. Koch, 1982 Attenzione visiva: //come vediamo realmente il mondo 1 movimento oculare = 1 foto by David Hockney Attenzione visiva: //i primi esperimenti di Yarbus Attenzione visiva: //i primi esperimenti di Yarbus Livello di spiegazione psicologico • Attenzione esplicita, aperta (overt attention) • movimenti oculari • Attenzione implicita, coperta (covert attention) • teoria pre-motoria (Rizzolatti) Livello di spiegazione psicologico //chi guida l’attenzione? • Lo stimolo fisico • segnali inattesi (sorprendenti?) • bottom-up • Un obiettivo (goal) • conoscenza, aspettative, finalità, compiti (task) • top-down Livello di spiegazione psicologico //chi guida l’attenzione? Importanza del task Triesch, Ballard, Hayhoe, & Sullivan dimensional arrays of letters confined 2 to a small region of the visual field. Figure 1. View of the virtual work-space and experimental setup. Subjects sort bricks of two different heights onto two “conveyor at these ofat interest belts” (horizontal strips on the right hand side of the virtual work-space) occurring according to different rules that centers vary the points which the were noticed more easily than other brick height is relevant in the task. It may also be important to use selfpaced, continuing tasks where the timing of visuo-motor operations is controlled by the subject rather than the experimenter. Simons & Levin (1998) have done pioneering work studying change blindness phenomena in the real world but the drawback of experimenting in the real world is that the stimulus cannot be controlled precisely and reproducibly and that it is more difficult to obtain behavioral measures like eye movement records than in a controlled laboratory environment. We feel that a good compromise is to use Virtual Reality technology. While allowing to render quasi realistic natural scenes, it gives the experimenter perfect control over all details of the scene, and allows perfect reproduction of the visual stimulus. Although relatively new, we expect to see more research using virtual reality in the future (Pelz et.al., 1999; von der Heyde & Bülthoff, 2000). changes in a standard flicker task. In the flicker paradigm, the display is switched back and forth between an image and a slightly changed copy of it with a briefly flashed blank screen masking the transition from original to copy. We feel that in dynamic ongoing tasks this notion of a center of interest is not powerful enough to accurately describe subjects' distribution of processing resources. In particular, we are interested in the more fine grained dynamic properties of attention during ongoing natural behaviors. Our hypothesis is that a crucial variable for subjects' abilities to notice changes is the exact timing of the point(s) in a task that a subject needs to extract a piece of task relevant visual information. To explore this idea, we engaged subjects in different versions of an object sorting task, where the different versions of the task D. Ballard, “Ciò che che vedi, è quel che ti serve Livello di spiegazione psicologico //chi guida l’attenzione? Importanza del task “Pick up the bricks in front to back order and place them on the closer conveyor belt.” Size irrelevant for both decisions Livello di spiegazione psicologico //chi guida l’attenzione? Importanza del task “Pick up the tall bricks first and put them on the closer conveyor belt. Then, pick up the small bricks and also put them on the closer conveyor belt.” For this condition size matters for only the first decision (which to pick up) Livello di spiegazione psicologico //chi guida l’attenzione? Importanza del task “Pick up the tall bricks first and put them on the closer conveyor belt. Then, pick up the small bricks and put them on the distant conveyor belt.” Size relevant for both decisions Livello di spiegazione psicologico //cosa viene focalizzato? • Regioni spaziali (spotlight theory, Posner) • Features salienti (Treisman) • Oggetti Livello di spiegazione psicologico //cosa viene focalizzato? Features • Effetto pop-out: trovare il disco blu • ricerca facile • pre-attentiva orientazione • Features salienti (Treisman & Gelade, 1980): dimensione • codificate in mappe parallele colore • ricerca parallela Livello di spiegazione psicologico //cosa viene focalizzato? Features • Congiunzione di features: • ricerca difficile • attentiva • L’attenzione è focalizzata localmente (attentional spotlight): • ricerca seriale trovare un disco rosso Livello di spiegazione psicologico //cosa viene focalizzato? Features • Congiunzione di features: • ricerca difficile • attentiva • L’attenzione è focalizzata localmente (attentional spotlight): • ricerca seriale