Interazione non verbale: l’attenzione e lo sguardo, neurobiologia Corso di Interazione Naturale ! Prof. Giuseppe Boccignone ! Dipartimento di Informatica Università di Milano ! [email protected] boccignone.di.unimi.it/IN_2015.html Il livello neurobiologico: il sistema nervoso Il livello neurobiologico: il sistema nervoso // il cervello: rappresentazione funzionale Primi stadi della visione: //formazione dell’immagine Primi stadi della visione: //l’occhio nel sistema visivo Primi stadi della visione: //l’occhio nel sistema visivo occhio chiasma ottico nervo ottico collicolo superiore nucleo genicolato laterale corteccia striata Visione spaziale: //la corteccia striata: mappatura topografica Visione spaziale: //la corteccia striata: mappatura topografica Visione spaziale: //la corteccia striata: mappatura topografica dati sperimentali Anatomia della visione: //dalla retina alla V1/V2 Cellule gangliari NGL NGL Cellule gangliari Corteccia striata Corteccia striata Anatomia della visione: //dalla retina alla V1/V2 NGL Cellule gangliari Anatomia della visione: //dalla retina alla V1/V2 Corteccia striata Anatomia della visione Input retina t = 0 ms Anatomia della visione: //dalla retina alla V1/V2 Anatomia della visione: //dalla retina alla V1/V2 multirisoluzione contrasto (center surround) Anatomia della visione: //dalla retina alla V1/V2 multirisoluzione orientazione contrasto (center surround) Anatomia della visione: //dalla retina alla V1/V2 Anatomia della visione: //dalla retina alla V1/V2: proto-oggetti • Chi invia / modula “segnali attentivi”? spatial index map Anatomia della visione: //dalla retina alla V1/V2: proto-oggetti Anatomia della visione: //analisi di features multiple Visione spaziale: //la corteccia striata: selezione informazione Target tracking Target Positioning Target identity, Faces Color, Feature Invariants t AIT: 100 ms CIT: 80 ms PIT: 70 ms V4: 60 Motion Surfaces Photometric stimulus V2: 20 V1: 10 Input retinico t = 0 ms Retina: 0 Anatomia della visione: //le due vie: dove sono, che cosa sono gli oggetti Crude functional anatomy of Dorsal stream (where) MST MT LIP LGN IT V2 V1 V4 Ventral stream (what) Anatomia dell’attenzione visiva: //attenzione: effetti neurali • Qual è il locus della selezione attentiva? • Aree dei primi stadi di elaborazione (early) vs. aree degli stadi avanzati (late): • l’attenzione ha effetti non solo sulle aree della corteccia extra-striata (late)... ! ! ! ! ! ! • ...ma anche ai primi stadi di elaborazione della corteccia striata (early) Anatomia dell’attenzione visiva: //effetti neurali • Guadagno moltiplicativo sulla risposta neurale allo stimolo focalizzato Anatomia dell’attenzione visiva: //effetti neurali • Incremento dell’attività neurale di base (baseline activity) Anatomia dell’attenzione visiva: //effetti neurali • Chi invia / modula “segnali attentivi”? spatial index map attentional control thalamocortical loop Anatomia dell’attenzione visiva: //una storia più complessa: le lesioni cerebrali • La visione cieca (blind sight) Crude functional anatomy of Dorsal stream (where) voluntary spatial visual attention MST MT LIP LGN IT V2 V4 Ventral stream (what) V1 Anatomia dell’attenzione visiva: //una storia più complessa: le lesioni cerebrali • Lesione al sistema dorsale: Atassia ottica Crude functional anatomy of Dorsal stream (where) voluntary spatial visual attention MST MT LIP LGN IT V2 V1 V4 Ventral stream (what) Object recognition but no reaching/grasping Anatomia dell’attenzione visiva: //una storia più complessa: le lesioni cerebrali • Lesione al sistema ventrale: asfissia da CO Crude functional anatomy of Dorsal stream (where) voluntary spatial visual attention MST MT LIP LGN IT V2 V4 Ventral stream (what) Object Object recognition but reaching/grasping but no reaching/grasping no recognition V1 Anatomia dell’attenzione visiva: //afferrare le illusioni • Illusione di Ebbinghaus Anatomia dell’attenzione visiva: //afferrare le illusioni • Illusione di Ebbinghaus Anatomia dell’attenzione visiva: //solo due vie (where/what)? Crude functional anatomy of Dorsal stream (where) MST MT LIP IT LGN V2 V1 V4 Ventral stream (what) Anatomia dell’attenzione visiva: //solo due vie (where/what) non bastano Crude functional anatomy of voluntary spatial visual attention PP FEF MST Caudate LGN MT LIP IT V2 V1 V4 SC PPRF CEREBELLUM MN Anatomia dell’attenzione visiva: //solo due vie (where/what) non bastano Anatomia dell’attenzione visiva: //solo due vie (where/what) non bastano Anatomia dell’attenzione visiva: //solo due vie (where/what) non bastano Anatomia dell’attenzione visiva: //solo due vie (where/what) non bastano Anatomia dell’attenzione visiva: //solo due vie (where/what) non bastano Anatomia dell’attenzione visiva: //solo due vie (where/what) non bastano Anatomia dell’attenzione visiva: //visione per l’azione e per la percezione Action Perception Anatomia dell’attenzione visiva: //solo due vie (where/what) non bastano Anatomia dell’attenzione visiva: //teoria premotoria Attenzione: deriva dall’ attivazione degli stessi circuiti che determinano percezione e attività motoria, implicati nelle trasformazioni sensomotorie! (Rizzolatti et al. 1987) Anatomia dell’attenzione visiva: //teoria premotoria Lo spostamento di attenzione è la preparazione di un movimento oculare che non verrà eseguito! ! L’attenzione è orientata a un punto quando il programma oculomotorio è pronto ad essere eseguito! ! Il costo attentivo è relativo alla cancellazione di un programma oculomotorio. Anatomia dell’attenzione visiva: //teoria premotoria • Scopo dell’attenzione: scelta di un’ azione specifica diretta verso un dato oggetto· • Per programmare atti motori e movimenti è necessario localizzare gli oggetti nello spazio. • Aree coinvolte sia nella rappresentazione spaziale che negli aspetti spaziali della programmazione motoria • Differenti tipi di azione implicano differenti tipi di codifica delle relazioni spaziali: • movimenti oculari <-> movimenti di prensione Anatomia dell’attenzione visiva: //teoria premotoria Premotor areas Cerebellum esplicita! (overt) ! M1 Parietal! ! Visual Cx Anatomia dell’attenzione visiva: //teoria premotoria Premotor areas Cerebellum esplicita! (overt) ! M1 Parietal! ! Visual Cx Anatomia dell’attenzione visiva: //teoria premotoria implicita! (covert) ! M1 Parietal! ! Visual Cx Premotor areas Cerebellum Anatomia dell’attenzione visiva: //teoria premotoria implicita! (covert) ! M1 Parietal! ! Visual Cx Premotor areas Cerebellum