MODULO 3 Le teorie dell`elaborazione delle informazioni
annuncio pubblicitario
Lezione 3 Connessionismo MODULO 3 Le teorie dell’elaborazione delle informazioni 1. Il cognitivismo classico 2. L’approccio innatistamodulare 3. L’approccio connessionista 4. Il neurocostruttivismo Argomenti • Dalla metafora del computer alla metafora del cervello • L’architettura dei modelli connessionisti • Il funzionamento delle reti neurali • L’apprendimento delle reti neurali – Apprendimento per associazione – Apprendimento guidato dall’errore • Risposta alle domande evolutive • Limiti del connessionismo Dalla metafora del computer alla metafora del cervello • Limiti della metafora del computer – Disinteresse per il substrato neurale – L’hardware non si modifica nel corso dello sviluppo – Raramente si usa il computer per le simulazioni • L’approccio connessionista – Uso generalizzato della simulazione – Modelli basati sul funzionamento del cervello e più in generale sui sistemi dinamici complessi – funzionamento del cervello rappresentazioni dominio-specifiche, come alcuni contenuti di conoscenza relativi a domini particolari sarebbero presenti alla nascita. Il metodo della simulazione • Per i cognitivisti – La mente manipola simboli – Procede in modo seriale • Per i connessionisti – Spiegare il funzionamento della mente in base alle proprietà del cervello – Uso della simulazione • Vantaggi della simulazione – Controllo sulle variabili – Osservare cambiamenti che avvengono in tempi lunghi • Ontogenesi • Filogenesi – Definizione precisa dei concetti impiegati L’architettura dei modelli connessionisti: le reti neurali • Le reti neurali sono dei modelli teorici e metodologici che consentono di studiare nello stesso tempo il sistema nervoso e il comportamento • Rete neurale – Unità di elaborazione – Connessioni • Le connessioni sono caratterizzate da pesi specifici, eccitatori o inibitori • Le reti neurali possono essere organizzate in strati – Strato di input – Strato delle unità nascoste – Strato di output La rete neurale come modello del cervello RETE NEURALE CERVELLO Unità di elaborazione Neuroni o popolazioni di neuroni Connessioni Connessioni sinaptiche Propagazione dell’attivazione tra le unità Trasmissione dell’attività nervosa Attivazione di un’unità in base alla somma di connessioni eccitatorie e inibitorie che giungono all’unità Funzione integrativa del sisyema nervoso Soglie di attivazione delle unità Soglie di attivazione dei neuroni Apprendimento come aumento/diminuzione dei pesi delle connessioni Rafforzamento/indebolimento dei collegamenti sinaptici Danneggiamento graduale Plasticità cerebrale Rete neurale: esempio Esempio: percepire la parola “LEONE” • Lo strato di input – “vede” la parola “LEONE” • Lo strato nascosto – comprime in qualche modo le informazioni • Lo strato di output – esprime la risposta “motoria” della rete all’input ricevuto Il funzionamento delle reti neurali • Il firing di un singolo neurone è lento (dura millisecondi) • La velocità ed efficienza vengono ottenute tramite l’attivazione in parallelo di molti neuroni • Analogamente avviene per le reti neurali: – Elaborazione in parallelo – Modelli PDP (Parallel Distributed Processing) • Ogni unità possiede una soglia di attivazione • Il funzionamento delle unità segue un andamento non lineare – Per l’attivazione si deve superare la soglia – Una volta superata la soglia l’attivazione non aumenta all’aumentare della somma degli input Proprietà delle reti neurali SUBSIMBOLI • Ogni unità elabora frammenti di informazione più piccoli di un simbolo – Es. memorizzare un quadrato blu – Ogni subsimbolo acquista significato se integrato con altri subsimboli RAPPRESENTAZIONI DISTRIBUITE • Le rappresentazioni nella rete corrispondono – Non a singole unità – Ma a configurazioni di connessioni tra unità • Esempio: percezione e discriminazione di parole – Input segmenti della lettera – Nascosto lettere Vantaggi delle rappresentazioni distribuite • Il danneggiamento di • Una stessa alcune unità non configurazione di unità compromette il può rappresentarsi funzionamento concetti diversi (pesi) complessivo della rete • Si attiva anche in • Pur essendo continue e presenza di una graduate le rilevazione incompleta rappresentazioni della dell’oggetto rete possono – Es. leggere una parola manifestare proprietà priva di una lettera binarie e categoriali Apprendimento nelle reti neurali • Le reti neurali hanno la capacità di modificare attraverso l’apprendimento la loro struttura • Attraverso le simulazioni connessioniste è possibile studiare quali meccanismi consentono l’apprendimento e lo sviluppo • All’inizio i pesi della rete possono essere assegnati a caso • Successivamente cambiano in base all’algoritmo di apprendimento impiegato • Le principali tecniche impiegate – Apprendimento per associazione (Hebbian learning o unsupervised learning) – Apprendimento guidato dall’errore (error-driven learning o supervised learning) L’apprendimento per associazione Esempio: apprendimento di • Prevede che fonemi – le connessioni tra le • La rete impara ad unità deputate alla organizzare in modo codifica di stimoli che si categoriale le presentano informazioni frequentemente nell’ambiente tendono a • estrazione di regolarità rafforzarsi statistiche – Mentre le connessioni • Le informazioni tra unità deputate alla ambientali che cocodifica di stimoli che si occorrono con maggiore presentano raramente frequenza hanno una pù tendono a indebolirsi alta probabilità di essere connesse Apprendimento guidato dall’errore • Algoritmo della retropropagazione – Durante il periodo di apprendimento, per un dato input si confronta l’output fornito dalla rete con quello desiderato – Si calcola la discrepanza e si modificano i pesi in base alla regola e di backpropagation – Si ripete il ciclo fino a portare a zero l’errore Esempi: • discriminare – i numeri: pari/dispari – volti di persone giovani/anziane – Verbi: regolari/irregolari • Apprendimento di regole grammaticali – Concordanza di genere e numero tra nome e aggettivo, o tra nome e verbo Apprendimento e sviluppo nelle reti neurali • Elman ha osservato che la capacità della rete di modificare la propria configurazione risulta vincolata dall’apprendimento precedente relativo a stringhe più corte • Le nuove informazioni modificano continuamente la struttura della conoscenza già esistente Cosa e come si sviluppa? • Nel corso del tempo si modifica la struttura stessa della rete attraverso l’apprendimento • Recupero della visione costruttivista piagetiana • Modificazione delle rappresentazioni che la rete si costruisce dell’ambiente Lo sviluppo cognitivo è un processo dominio-generale o dominio-specifico? • Da un lato i modelli connessionisti usano gli stessi algoritmi di apprendimento per categorie di input diverse • Dall’altro ogni rete codifica una sola categoria di input in relazione a uno specifico compito • Esempio – Acquisizione del linguaggio – Conoscenza del numero – Conoscenza dell’oggetto • Le reti neurali sono – dominio-specifiche da un punto di vista rappresentazionale – dominio-generali dal punto di vista delle risoorse Natura ed esperienza • Posizione anti-innatista nel connessionismo classico – Assegnazione di pesi arbitrari • Recupero di posizioni innatiste – pesi preassegnati – numero di strati e/o di unità per strato – La velocità con la quale i pesi si modificano • Rivalutazione dei periodici critici: the importance of starting small – Esempio, l’acquisizione di regole grammaticali (Elman, 1993) – Disporre della capacità di elaborare un ridotto numero di informazioni, facilita la rete nell’individuare semplici regolarità statistiche presenti nell’ambiente Continuità/discontinuità • L’apprendimento è l’unico fattore dello sviluppo – Procede in modo continuo e graduale – Segue però traiettorie non lineari (cambiamento stadiale) • Esempio: compito della bilancia di Siegler • Le reti neurali spiegano – Cambiamenti stadiali – Cambiamenti evolutivi a U • Es ipercorrettismi come nel caso del participio passato – Comportamento linguistico come risultato di meccanismi distinti – Insorgenza di disordini evolutivi – Emergenza di processi di specializzazione Limiti del connessionismo • Limiti della metodologia della simulazione – Le reti connessionistiche simulano il funzionamento del cervello solo metaforicamente • Le competenze procedurali delle reti – le conoscenze e le rappresentazioni nelle reti neurali rimangono sempre a un livello implicito – Le reti neurali sanno fare molte cose ma non hanno nessuna idea su come riescano a farlo (Mandler, 1988) CONCETTI DEL CONNESSIONISMO • Analogie tra rete neurale e cervello CONCETTI DEL CONNESSIONISMO • Elementi di una rete neurale – Unità di elaborazione – Connessioni • Eccitatorie • Inibitorie • Pesi delle connessioni – Strati • Input • Unità nascoste • output – Soglia di attivazione • Funzione non lineare CONCETTI DEL CONNESSIONISMO attività rappresentativa nelle reti neurali • Subsimbolo • Rappresentazione distribuita CONCETTI DEL CONNESSIONISMO attività rappresentativa nelle reti neurali • Subsimbolo • Rappresentazione distribuita CONCETTI DEL CONNESSIONISMO attività rappresentativa nelle reti neurali • Subsimbolo • Rappresentazione distribuita CONCETTI DEL CONNESSIONISMO apprendimento nelle reti neurali • Apprendimento associativo – Estrarre regolarità • Apprendimento guidato dall’errore – Retropropagazione CONCETTI DEL CONNESSIONISMO apprendimento nelle reti neurali • Apprendimento associativo – Estrarre regolarità CONCETTI DEL CONNESSIONISMO apprendimento nelle reti neurali • Apprendimento associativo – Estrarre regolarità CONCETTI DEL CONNESSIONISMO apprendimento nelle reti neurali • Apprendimento guidato dall’errore – Retropropagazione CONCETTI DEL CONNESSIONISMO apprendimento nelle reti neurali • Apprendimento guidato dall’errore – Retropropagazione CONCETTI DEL CONNESSIONISMO connessionismo e cambiamento evolutivo • • • • Modificazioni nella struttura della rete Traiettorie non lineari Cambiamento stadiale Curva a U
