Promemoria sul concetto di Rete e sue Analogie

Promemoria sul concetto di Rete e
sue Analogie
Prof. Alessandro Burgognoni
Docente di Reti Neurali
Fondazione J.Von Neumann
Roma
La rete
La rete ha da sempre attraversato la nostra
storia.
Dalle realizzazioni più semplici e utili nella
vita quotidiana alle più complesse forme di
astrazione.
La prima astrazione formalizzata
La prima formalizzazione di una rete astratta è riconducibile
al matematico Leonhard Euler ed al problema dei ponti di
Königsberg.
Il problema si presenta per Euler sotto forma di un “grafo”
cioè una serie di punti (nodi/vertici) uniti da linee che
definiamo archi.
La prima astrazione del neurone
La prima forma di astrazione, a partire dal neurone
biologico, nella direzione del neurone artificiale si
deve a Pitts e McCulloch che nel 1943 si ispirarono
per il loro modello a quanto descritto e analizzato da
Alan M. Turing nel suo “On Computable Numbers”
Un po' di storia
STORIA DEL CONNESSIONISMO
Anni Trenta: Norbert Wiener fonda la Cibernetica, ispirandosi
alle analogie tra sistemi naturali e sistemi Artificiali.
Un po' di storia
STORIA DEL CONNESSIONISMO
1943: McCulloch e Pitts (University of Chicago) propongono un
primo modello matematico di neurone artificiale (combinatore
lineare a soglia) e la connessione di un gran numero di queste
unità in reti neuronali nel loro documento “A logical calculus of
ideas imminent in nervous activity”
Un po' di storia
STORIA DEL CONNESSIONISMO
1943: McCulloch e Pitts (University of Chicago) descrivono il loro
modello matematico di rete neuronale artificiale come costituita
da N neuroni <i> interconnessi in cui ognuno dei componenti ha
le seguenti caratteristiche:
E' dotato di una soglia di eccitazione θi
Ad un determinato istante t si trova in un certo stato si(t)
Può essere eccitato da altri neuroni <j> ai quali risulta connesso con
intensità pari al peso sinaptico wij
Un po' di storia
STORIA DEL CONNESSIONISMO
1949: D.O. Hebb (McGill University, Montreal) propone come
meccanismo di apprendimento delle reti neuronali la modifica
delle connessioni tra i neuroni (pesi sinaptici) secondo la regola
di aumentare il peso della connessione tra due neuroni se
questi sono, per più volte di seguito, contemporaneamente attivi
o inattivi;
Un po' di storia
STORIA DEL CONNESSIONISMO
1958: F. Rosenblatt (Cornell University) propone la macchina
Perceptron (ADAline) per il riconoscimento e la classificazione
di forme (Patterns);
Un po' di storia
STORIA DEL CONNESSIONISMO
1969: M. Minsky e S. Papert (MIT) dimostrano che il Perceptron
non può risolvere molte classi di problemi (tutti quelli
linearmente non separabili) e bloccano di fatto per venti anni
gli ulteriori sviluppi del connessionismo in favore del
paradigma simbolico;
Un po' di storia
STORIA DEL CONNESSIONISMO
1982: J.J. Hopfield (CalTech) propone un nuovo modello di
rete neuronali a connessione totale, adatto sia alla
realizzazione di memore associative, sia alla risoluzione di
problemi di ottimizzazione combinatoria, sia alla
modellazione di sistemi complessi fisici e biologici;
Un po' di storia
STORIA DEL CONNESSIONISMO
1985: D.E. Rumelhart, G. Hinton e R.J. Williams propongono un potente
algoritmo di apprendimento a retropropagazione dell’errore (EBP,
Error Back Propagation) che consente di superare le limitazioni del
Perceptron e rilancia, le prospettive per le reti neuronali e il
connessionismo contribuendo al fiorire di un grande numero di
applicazioni commerciali. Nel 1971 la teoria era stata già in qualche
modo anticipata da una tesi di dottorato resa nota solo in tempi
successivi.
Anni ‘80 - La svolta
STORIA DEL CONNESSIONISMO
In sintesi negli anni '80 nell’evoluzione delle reti artificiali:
Rumelhart con il modello EBP supera le limitazioni dei
primi modelli di rete
Kohonen le formalizza in maniera rigorosa
Hopfield ne definisce le proprietà fisiche
Grossberg realizza importanti applicazioni
Settori di Applicazione
Non ha senso impiegare le reti neurali dove i computer sono eccellenti
(calcoli, basi di dati, word-processing, etc.)
E’ opportuno adottarle invece dove i computer falliscono
Dove le informazioni da trattare risultano:
Incomplete
Contraddittorie
Imprecise
Distorte
Vaghe
Dove manca un algoritmo adeguato (apprendimento)
Dove il processo trattato richiede parallelismo e/o velocità
Settori di Applicazione
Ottimizzazione combinatoria e Graph Partitioning;
Metodologie di revisione;
Visione artificiale e riconoscimento;
Riconoscimento Vocale;
Linguaggio naturale;
Robotica e veicoli autonomi;
Controllo di processo;
Antivirus e Videogiochi;
Settori di Applicazione
Riconoscimento/classificazione di immagini, testi, voce, segnali, patterns;
Filtri di rumore su segnali;
Sintesi del parlato;
Pianificazione/Ottimizzazione;
Controllo di processo e di qualità;
Supporto alle decisioni;
Analisi finanziaria;
Diagnostica medica e industriale;
Previsioni meteorologiche;
Compressione/trasmissione di dati.
Una analogia esplicita tra la rete e il
reticolo atomico
In seguito al lavoro di Hebb, la proposta più stimolante sulle
proprietà degli insiemi di neuroni fu quella di B.G. Cragg e
H.N.V. Temperley descritta in un articolo del 1954 intitolato
“The organisation of neurons: a cooperative analogy.”
Rif. CRAGG, B.G., TEMPERLEY, H.N.V.
(1954) “The organisation of neurons: a cooperative analogy.”
EEG Clin. Neurophysiol., 6, 85-92.
Una analogia esplicita tra la rete e
il reticolo atomico
Essi notarono che, proprio come i neuroni
possono essere attivati (emettendo potenziali
d'azione) o quiescenti (a riposo), così gli atomi
appartenenti a un certo insieme, o reticolo,
possono trovarsi in uno di due stati energetici
(per esempio, con lo spin verso l'alto o verso il
basso).
Una analogia esplicita tra la rete e il
reticolo atomico
Inoltre, proprio come i neuroni si eccitano o si
inibiscono reciprocamente, così un atomo
esercita sui suoi vicini forze di tipo magnetico,
che tendono a orientare gli altri spin nella
stessa direzione, oppure nella direzione
opposta.
Una analogia esplicita tra la rete e il
reticolo atomico
Quindi le proprietà dei neuroni in una rete
densamente connessa dovrebbero essere
analoghe a quelle degli atomi in un reticolo.
Una prospettiva scientifica
“Possiamo scrutare in avanti solo a breve
distanza, ma possiamo vedere che lì è
pieno di cose da fare.”
A.M. Turing
Fine
Grazie per la Vs. Attenzione