Lezione 3
Connessionismo
MODULO 3
Le teorie dell’elaborazione
delle informazioni
1. Il cognitivismo
classico
2. L’approccio innatistamodulare
3. L’approccio
connessionista
4. Il neurocostruttivismo
Argomenti
• Dalla metafora del computer
alla metafora del cervello
• L’architettura dei modelli
connessionisti
• Il funzionamento delle reti
neurali
• L’apprendimento delle reti
neurali
– Apprendimento per associazione
– Apprendimento guidato dall’errore
• Risposta alle domande
evolutive
• Limiti del connessionismo
Dalla metafora del computer
alla metafora del cervello
• Limiti della metafora
del computer
– Disinteresse per il
substrato neurale
– L’hardware non si
modifica nel corso dello
sviluppo
– Raramente si usa il
computer per le
simulazioni
• L’approccio connessionista
– Uso generalizzato della
simulazione
– Modelli basati sul
funzionamento del
cervello e più in
generale sui sistemi
dinamici complessi
– funzionamento del
cervello
rappresentazioni
dominio-specifiche,
come alcuni contenuti di
conoscenza relativi a
domini particolari
sarebbero presenti alla
nascita.
Il metodo della simulazione
• Per i cognitivisti
– La mente manipola
simboli
– Procede in modo seriale
• Per i connessionisti
– Spiegare il
funzionamento della
mente in base alle
proprietà del cervello
– Uso della simulazione
• Vantaggi della
simulazione
– Controllo sulle variabili
– Osservare cambiamenti
che avvengono in tempi
lunghi
• Ontogenesi
• Filogenesi
– Definizione precisa dei
concetti impiegati
L’architettura dei modelli
connessionisti: le reti neurali
• Le reti neurali sono
dei modelli teorici e
metodologici che
consentono di
studiare nello stesso
tempo il sistema
nervoso e il
comportamento
• Rete neurale
– Unità di elaborazione
– Connessioni
• Le connessioni sono
caratterizzate da pesi
specifici, eccitatori o
inibitori
• Le reti neurali possono
essere organizzate in
strati
– Strato di input
– Strato delle unità
nascoste
– Strato di output
La rete neurale come
modello del cervello
RETE NEURALE
CERVELLO
Unità di elaborazione
Neuroni o popolazioni di neuroni
Connessioni
Connessioni sinaptiche
Propagazione dell’attivazione tra
le unità
Trasmissione dell’attività nervosa
Attivazione di un’unità in base alla
somma di connessioni eccitatorie
e inibitorie che giungono all’unità
Funzione integrativa del sisyema
nervoso
Soglie di attivazione delle unità
Soglie di attivazione dei neuroni
Apprendimento come
aumento/diminuzione dei pesi
delle connessioni
Rafforzamento/indebolimento dei
collegamenti sinaptici
Danneggiamento graduale
Plasticità cerebrale
Rete neurale: esempio
Esempio: percepire la parola “LEONE”
• Lo strato di input
– “vede” la parola “LEONE”
• Lo strato nascosto
– comprime in qualche modo le informazioni
• Lo strato di output
– esprime la risposta “motoria” della rete all’input
ricevuto
Il funzionamento delle reti neurali
• Il firing di un singolo
neurone è lento (dura
millisecondi)
• La velocità ed efficienza
vengono ottenute
tramite l’attivazione in
parallelo di molti neuroni
• Analogamente avviene
per le reti neurali:
– Elaborazione in parallelo
– Modelli PDP (Parallel
Distributed Processing)
• Ogni unità possiede una
soglia di attivazione
• Il funzionamento delle
unità segue un
andamento non lineare
– Per l’attivazione si deve
superare la soglia
– Una volta superata la
soglia l’attivazione non
aumenta all’aumentare
della somma degli input
Proprietà delle reti neurali
SUBSIMBOLI
• Ogni unità elabora
frammenti di
informazione più
piccoli di un simbolo
– Es. memorizzare un
quadrato blu
– Ogni subsimbolo
acquista significato se
integrato con altri
subsimboli
RAPPRESENTAZIONI
DISTRIBUITE
• Le rappresentazioni
nella rete corrispondono
– Non a singole unità
– Ma a configurazioni di
connessioni tra unità
• Esempio: percezione e
discriminazione di
parole
– Input segmenti della
lettera
– Nascosto lettere
Vantaggi delle rappresentazioni distribuite
• Il danneggiamento di
• Una stessa
alcune unità non
configurazione di unità
compromette il
può rappresentarsi
funzionamento
concetti diversi (pesi)
complessivo della rete
• Si attiva anche in
• Pur essendo continue e
presenza di una
graduate le
rilevazione incompleta
rappresentazioni della
dell’oggetto
rete possono
– Es. leggere una parola
manifestare proprietà
priva di una lettera
binarie e categoriali
Apprendimento nelle reti neurali
• Le reti neurali hanno la
capacità di modificare
attraverso
l’apprendimento la loro
struttura
• Attraverso le simulazioni
connessioniste è
possibile studiare quali
meccanismi consentono
l’apprendimento e lo
sviluppo
• All’inizio i pesi della rete
possono essere assegnati a
caso
• Successivamente cambiano
in base all’algoritmo di
apprendimento impiegato
• Le principali tecniche
impiegate
– Apprendimento per
associazione (Hebbian learning
o unsupervised learning)
– Apprendimento guidato
dall’errore (error-driven learning
o supervised learning)
L’apprendimento per associazione
Esempio: apprendimento di
• Prevede che
fonemi
– le connessioni tra le
• La rete impara ad
unità deputate alla
organizzare in modo
codifica di stimoli che si
categoriale le
presentano
informazioni
frequentemente
nell’ambiente tendono a • estrazione di regolarità
rafforzarsi
statistiche
– Mentre le connessioni
• Le informazioni
tra unità deputate alla
ambientali che cocodifica di stimoli che si
occorrono con maggiore
presentano raramente
frequenza hanno una pù
tendono a indebolirsi
alta probabilità di essere
connesse
Apprendimento guidato dall’errore
• Algoritmo della
retropropagazione
– Durante il periodo di
apprendimento, per un
dato input si confronta
l’output fornito dalla
rete con quello
desiderato
– Si calcola la
discrepanza e si
modificano i pesi in
base alla regola e di
backpropagation
– Si ripete il ciclo fino a
portare a zero l’errore
Esempi:
• discriminare
– i numeri: pari/dispari
– volti di persone
giovani/anziane
– Verbi: regolari/irregolari
• Apprendimento di
regole grammaticali
– Concordanza di genere
e numero tra nome e
aggettivo, o tra nome e
verbo
Apprendimento e sviluppo
nelle reti neurali
• Elman ha osservato
che la capacità della
rete di modificare la
propria configurazione
risulta vincolata
dall’apprendimento
precedente relativo a
stringhe più corte
• Le nuove informazioni
modificano
continuamente la
struttura della
conoscenza già
esistente
Cosa e come si sviluppa?
• Nel corso del tempo si modifica la struttura
stessa della rete attraverso l’apprendimento
• Recupero della visione costruttivista
piagetiana
• Modificazione delle rappresentazioni che la
rete si costruisce dell’ambiente
Lo sviluppo cognitivo è un processo
dominio-generale o dominio-specifico?
• Da un lato i modelli
connessionisti usano
gli stessi algoritmi di
apprendimento per
categorie di input
diverse
• Dall’altro ogni rete
codifica una sola
categoria di input in
relazione a uno
specifico compito
• Esempio
– Acquisizione del
linguaggio
– Conoscenza del numero
– Conoscenza dell’oggetto
• Le reti neurali sono
– dominio-specifiche da un
punto di vista
rappresentazionale
– dominio-generali dal
punto di vista delle
risoorse
Natura ed esperienza
• Posizione anti-innatista
nel connessionismo
classico
– Assegnazione di pesi
arbitrari
• Recupero di posizioni
innatiste
– pesi preassegnati
– numero di strati e/o di
unità per strato
– La velocità con la quale
i pesi si modificano
• Rivalutazione dei
periodici critici: the
importance of starting
small
– Esempio, l’acquisizione
di regole grammaticali
(Elman, 1993)
– Disporre della capacità
di elaborare un ridotto
numero di informazioni,
facilita la rete
nell’individuare semplici
regolarità statistiche
presenti nell’ambiente
Continuità/discontinuità
• L’apprendimento è
l’unico fattore dello
sviluppo
– Procede in modo
continuo e graduale
– Segue però traiettorie
non lineari
(cambiamento stadiale)
• Esempio: compito della
bilancia di Siegler
• Le reti neurali spiegano
– Cambiamenti stadiali
– Cambiamenti evolutivi a U
• Es ipercorrettismi come nel
caso del participio passato
– Comportamento
linguistico come risultato
di meccanismi distinti
– Insorgenza di disordini
evolutivi
– Emergenza di processi di
specializzazione
Limiti del connessionismo
• Limiti della
metodologia della
simulazione
– Le reti
connessionistiche
simulano il
funzionamento del
cervello solo
metaforicamente
• Le competenze
procedurali delle reti
– le conoscenze e le
rappresentazioni nelle
reti neurali rimangono
sempre a un livello
implicito
– Le reti neurali sanno
fare molte cose ma
non hanno nessuna
idea su come riescano
a farlo (Mandler, 1988)
CONCETTI DEL CONNESSIONISMO
• Analogie tra rete neurale e cervello
CONCETTI DEL CONNESSIONISMO
• Elementi di una rete
neurale
– Unità di elaborazione
– Connessioni
• Eccitatorie
• Inibitorie
• Pesi delle connessioni
– Strati
• Input
• Unità nascoste
• output
– Soglia di attivazione
• Funzione non lineare
CONCETTI DEL CONNESSIONISMO
attività rappresentativa nelle reti neurali
• Subsimbolo
• Rappresentazione
distribuita
CONCETTI DEL CONNESSIONISMO
attività rappresentativa nelle reti neurali
• Subsimbolo
• Rappresentazione distribuita
CONCETTI DEL CONNESSIONISMO
attività rappresentativa nelle reti neurali
• Subsimbolo
• Rappresentazione distribuita
CONCETTI DEL CONNESSIONISMO
apprendimento nelle reti neurali
• Apprendimento
associativo
– Estrarre regolarità
• Apprendimento guidato
dall’errore
– Retropropagazione
CONCETTI DEL CONNESSIONISMO
apprendimento nelle reti neurali
• Apprendimento associativo
– Estrarre regolarità
CONCETTI DEL CONNESSIONISMO
apprendimento nelle reti neurali
• Apprendimento associativo
– Estrarre regolarità
CONCETTI DEL CONNESSIONISMO
apprendimento nelle reti neurali
• Apprendimento guidato dall’errore
– Retropropagazione
CONCETTI DEL CONNESSIONISMO
apprendimento nelle reti neurali
• Apprendimento guidato dall’errore
– Retropropagazione
CONCETTI DEL CONNESSIONISMO
connessionismo e cambiamento evolutivo
•
•
•
•
Modificazioni nella struttura della rete
Traiettorie non lineari
Cambiamento stadiale
Curva a U
