Dinamica di una rete neurale a tempo discreto

Università degli Studi di Firenze
Facoltà di Scienze Matematiche, Fisiche e Naturali
TESI DI LAUREA SPECIALISTICA IN FISICA
Dinamica di una rete neurale a tempo discreto
Relatore:
Prof. Antonio Politi
Laureando: Gianbiagio Curato
Anno Accademico 2009/2010
Indice
Introduzione
i
1 Neuroni e modelli di reti neurali
1
1.1 Elementi di neurosiologia . . . . . . . . . . . . .
1.1.1 Struttura del neurone e delle sinapsi . . .
1.1.2 Dinamica di neuroni e sinapsi . . . . . . .
1.1.3 Il problema della codica neurale . . . . .
1.2 Modelli di reti neurali . . . . . . . . . . . . . . .
1.2.1 Modello di Hodgkin-Huxley . . . . . . . .
1.2.2 Modello leaky integrate-and-re . . . . . .
1.2.3 Modello di tasso di attività a stati continui
1.2.4 Modello a stati binari . . . . . . . . . . . .
2 Reti neurali simmetriche
.
.
.
.
.
.
.
.
.
2.1 Equazioni stocastiche e modello di Ising . . . . . .
2.1.1 Equazioni stocastiche ed ergodicità . . . . .
2.1.2 Dinamica asincrona stocastica . . . . . . . .
2.1.3 Il modello di Ising e la dinamica di Glauber
2.2 Energia libera e dinamica di rilassamento . . . . . .
2.2.1 Energia libera dinamica e di equilibrio . . .
2.2.2 Il modello di Hopeld . . . . . . . . . . . . .
3 Reti neurali asimmetriche
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 2
. 2
. 4
. 5
. 7
. 7
. 9
. 11
. 13
.
.
.
.
.
.
.
17
18
18
21
22
26
26
27
30
3.1 Modello a tempo continuo . . . . . . . . . . . . . . . . . . . . . . 31
3.2 Modello a tempo discreto . . . . . . . . . . . . . . . . . . . . . . . 38
3.2.1 Teoria dinamica di campo medio . . . . . . . . . . . . . . 40
I
INDICE
II
3.2.2 Analisi di stabilità dei punti ssi . . . . . . . . . . . . . . 47
4 Dinamica di un modello a tempo discreto
4.1
4.2
4.3
4.4
Dinamica di campo medio . . . . . . . . .
Attività della rete . . . . . . . . . . . . . .
Mappa di campo medio 2D . . . . . . . . .
Spettri di Lyapunov . . . . . . . . . . . .
4.4.1 Esponente massimo . . . . . . . . .
4.4.2 Disordine congelato . . . . . . . . .
4.4.3 Disordine generato dinamicamente
4.5 Caos estensivo . . . . . . . . . . . . . . . .
4.5.1 Dimensione di Kaplan-Yorke . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
51
53
66
74
78
81
87
95
98
100
Conclusioni
103
Bibliograa
106
Ringraziamenti
109
Introduzione
Il presente lavoro di tesi rientra nell'ambito di un'ampia attività di ricerca,
che ha visto, negli ultimi anni, un numero crescente di sici orientarsi verso
problematiche che un tempo erano dominio di biologi, biochimici o siologi. In
particolare, a partire dagli studi pionieristici di A.L.Hodgkin e A.F.Huxley sulla
siologia del neurone, per i quali ottennero il premio Nobel nel 1963, si è avuto
un trasferimento continuo ed una sempre più vasta applicazione di metodologie
propriamente siche e matematiche al campo delle neuroscienze. Questo ha
portato alla realizzazione di analisi sempre più accurate delle proprietà strutturali
e dinamiche sia dei singoli neuroni che di reti neurali, presenti in varie aree del
cervello.
L'obiettivo del lavoro di tesi è l'analisi e la caratterizzazione della dinamica collettiva e microscopica di un modello di rete neurale a tempo discreto. In
particolare, intendiamo caratterizzare la dinamica microscopica identicando gli
attrattori e il loro grado di caoticità. Inoltre, siamo interessati alla ricerca di
regimi dinamici collettivi non banali. Lo stato della rete viene descritto dall'attività dei singoli neuroni. In base a questa descrizione, il modello appartiene alla
categoria dei modelli di tasso di attività, che sono deniti da quantità mediate
nel tempo. Ci avvarremo, quindi, di metodologie proprie dei sistemi dinamici per
investigare questo modello non lineare di rete neurale, che contiene del disordine
nella distribuzione delle connessioni.
Il primo capitolo è dedicato alla presentazione dei concetti di base della neurosiologia e ad una breve panoramica dei possibili modelli di rete neurale. I
concetti di base di neurosiologia riguardano una breve descrizione della struttura e della dinamica del neurone e delle sinapsi. Tali informazioni sono essenziali
al ne della realizzazione di un modello matematico che descriva una rete neurale. Trattiamo, inoltre, brevemente il problema della codica neurale. Il quale
i
Introduzione
ii
induce la presenza di due tipi di modelli di rete neurale: i modelli di tasso di
attività e i modelli ad impulsi. Successivamente presentiamo alcuni modelli di
rete, che si basano su uno specico modello di singolo neurone. I modelli sono
ordinati in modo che la schematizzazione di singolo neurone utilizzata diventi via
via più semplicata.
Nel secondo capitolo illustriamo come sia possibile, nel caso di modelli in cui
lo stato del neurone sia descritto da variabili binarie, utilizzare la meccanica statistica di equilibrio per caratterizzare lo stato asintotico della rete. I modelli di
rete a stati binari sono stati sviluppati negli anni '80 come una generalizzazione
dei modelli ferromagnetici. I modelli più recenti sono, invece, quelli ad impulsi.
Nonostante questo, il presente lavoro di tesi ha come origine proprio questo tipo
di modelli a stati binari. Una caratteristica importante è che tali modelli sono
deniti utilizzando matrici delle connessioni sinaptiche simmetriche. In questo
modo è possibile utilizzare tutto il bagaglio di conoscenze proprio della meccanica statistica di equilibrio. Si può utilizzare l'energia libera per caratterizzare
lo stato di equilibrio della rete. Questa tecnica è ecace nell'individuare i punti
ssi della rete. A tal ne abbiamo illustrato brevemente il modello di Hopeld,
che rappresenta un modello di memoria associativa. I punti ssi possono, infatti,
essere interpretati come memorie immagazzinate nella rete. Il modello che studiamo nella tesi, invece, è denito da una matrice delle connessioni sinaptiche
senza alcuna simmetria. L'ipotesi di assenza di simmetrie deriva dall'osservazione delle reti biologiche, in cui si ha asimmetria nella comunicazione tra i neuroni.
Questa asimmetria ci costringe ad abbandonare gli strumenti di analisi della
meccanica statistica. In questo caso vengono utilizzati i metodi della teoria dei
sistemi dinamici.
Nel terzo capitolo presentiamo due modelli, che si basano su una matrice delle
connessioni priva di simmetria. Il primo modello, dovuto a Sompolinsky et al., è il
progenitore di questa famiglia di modelli di rete deniti da matrici asimmetriche.
I neuroni sono deniti da variabili continue e l'evoluzione temporale è denita da
un sistema di equazioni dierenziali. In tale modello si introduce un disordine,
dovuto al fatto che la matrice delle connessioni sinaptiche è una matrice casuale,
denita da un pressata distribuzione di probabilità. Il secondo modello presentato, dovuto a Cessac et al., è l'oggetto di analisi della tesi. Esso rappresenta
una versione a tempo discreto del modello precedente. In questo modo si passa
Introduzione
iii
da un modello descritto da equazioni dierenziali ad un modello basato su un
mappa, in cui l'evoluzione temporale avviene a tempo discreto. Questo porta ad
una semplicazione per quanto riguarda l'analisi numerica del sistema. Viene
introdotta una nuova variabile che rappresenta la soglia di potenziale della membrana neuronale, tale variabile era assente nel modello precedente. Le variabili di
soglia sono descritte nel modello come variabili aleatorie. Presentiamo i risultati
analitici ottenuti nel quadro della teoria dinamica di campo medio, che è stata
sviluppata per questo sistema. Tale teoria permette di studiare gli attrattori del
sistema nel limite termodinamico, considerando anche il carattere aleatorio della
matrice delle connessioni e delle variabili di soglia. I risultati analitici si basano
fondamentalmente sull'analisi di una mappa bidimensionale. Tale teoria è fondata su alcune ipotesi di scorrelazione, che sono state solo parzialmente vericate
precedentemente.
Il quarto capitolo è dedicato ad un'analisi numerica della rete, eettuata per
mezzo di simulazioni nei vari regimi dinamici. Tali studi hanno come obiettivo la caratterizzazione della dinamica collettiva e microscopica della rete. In
questo modo è possibile anche vericare le previsioni della teoria di campo medio. Abbiamo eettuato simulazioni per valori crescenti della taglia e dal loro
andamento abbiamo estrapolato il comportamento del sistema nel limite termodinamico. Una prima analisi ha riguardato lo studio della dinamica di campo
medio, al ne di caratterizzare gli attrattori della dinamica collettiva della rete.
Questo studio si è basato sulla determinazione delle uttuazioni temporali della
variabile di campo medio. Una seconda analisi è stata condotta per studiare la
struttura della rete indotta dalla dinamica. Bisogna ricordare che il sistema studiato non ha un ordinamento delle variabili, come ad esempio può essere quello
presente in un modello come quello di Ising. Abbiamo caratterizzato i singoli
neuroni in base alla loro attività media nel tempo, studiando come e quanto essa
vari al variare del parametro di controllo. Tale analisi è stata condotta utilizzando varie realizzazioni della matrice delle connessioni. Successivamente abbiamo
studiato la dinamica di campo medio prevista dalla teoria nel caso di una mappa
bidimensionale, al ne di determinare comportamenti collettivi caratteristici. In
studi precedenti è stato indagato unicamente il caso semplicato della mappa
unidimensionale. Inne abbiamo condotto una analisi basata sullo studio degli
spettri di Lyapunov del sistema, che permette una descrizione quantitativa dei
Introduzione
iv
vari attrattori. Prima abbiamo studiato l'esponente di Lyapunov massimo del
sistema al variare del parametro di controllo, ssando gli altri parametri che
deniscono la dinamica. Questo ci ha permesso di determinare il tipo di attrattore. Dopo abbiamo determinato gli spettri, in un regime caotico, utilizzando
due tipi diversi di disordine: quello congelato e quello generato dinamicamente.
Il secondo tipo di disordine rappresenta, in eetti, una modica nella denizione
della dinamica del modello, che era stato denito con disordine congelato. Nel
primo caso abbiamo studiato la convergenza dello spettro medio e l'andamento
delle uttuazioni al crescere della taglia. Le uttuazioni sono dovute alle varie
realizzazioni della matrice delle connessioni. In questo modo è possibile vericare
l'eventuale presenza di proprietà di automedia. Nel secondo caso otteniamo un
solo spettro per un ssato valore della taglia, dato che la matrice delle connessioni cambia ad ogni passo di iterazione della mappa. Anche per questo disordine
abbiamo studiato la convergenza dello spettro all'aumentare della taglia, al ne
di estrarre lo spettro nel limite termodinamico. Il caso di disordine dinamico
può essere usato in modo da vericare indirettamante le ipotesi su cui si basa
il campo medio. Abbiamo basato questa verica sull'analisi del confronto degli
spettri ottenuti nei due casi. La struttura dei due tipi di spettro ha, inoltre,
evidenziato che il sistema possiede la proprietà di caos estensivo. Tale proprietà
è stata ulteriormente analizzata studiando le proprietà di scala della dimensione
di Kaplan-Yorke dell'attrattore caotico del sistema.
Capitolo 1
Neuroni e modelli di reti neurali
I neuroni sono cellule altamente specializzate che si distinguono dalle altre
per la loro abilità nel far propagare segnali elettrici su grandi distanze. In questo capitolo si introducono alcuni concetti basilari relativi alla neurosiologia del
neurone, concentrandoci su due aspetti: la sua morfologia e la modalità di trasmissione dei segnali elettrici. Caratteristiche morfologiche salienti del neurone
sono i dendriti, che ricevono i segnali provenienti dagli altri neuroni, e l'assone,
che porta il segnale in uscita dal neurone verso le altre cellule.
Dedichiamo, inoltre, alcuni brevi cenni alla codica neurale, che aronta il
problema di come l'informazione sia codicata all'interno dei segnali elettrici
scambiati dai neuroni. A seconda della modalità con cui questo problema viene
arontato, vengono introdotti due tipi di modelli di rete neurale: modelli ad
impulsi e modelli di tasso di attività (il modello da noi studiato appartiene alla
famiglia dei modelli di tasso di attività).
Prima di tutto, vengono illustrati alcuni modelli di singolo neurone e di reti, in modo da inquadrare in un contesto più generale il sistema studiato nella
tesi. Più precisamente, introduciamo brevemente il modello di Hodgkin-Huxley,
che descrive abbastanza realisticamente la dinamica del neurone singolo. Successivamente si illustrano alcuni modelli di singolo neurone più semplicati e il
corrispondente modello di rete. Fra l'altro, introduciamo il modello di neurone leaky integrate-and-re, che descrive la dinamica del potenziale di membrana.
Tale modello viene utilizzato per denire un'esempio di rete ad impulsi. I modelli
di tasso di attività vengono illustrati attraverso due esempi, uno a stati continui
1
Elementi di neurosiologia
2
ed uno a stati discreti. In questi modelli la dinamica del potenziale di membrana
dei singoli neuroni si riduce ad una dinamica di rilassamento. Il modello descritto
nella tesi si basa, appunto, su una rete a stati continui, in cui l'attività denisce
lo stato del singolo neurone.
1.1 Elementi di neurosiologia
1.1.1 Struttura del neurone e delle sinapsi
Il nostro obiettivo è la costruzione di un modello matematico di una rete
neurale, dunque è necessario conoscere una descrizione qualitativa della struttura
di una rete neurale biologica. Le reti neurali biologiche sono caratterizzate dal
fatto che i neuroni scambiano fra loro segnali elettrici. Gli elementi di base sono
i neuroni e le sinapsi. Esiste una grande varietà di tipi di neuroni appartenenti
al sistema nervoso umano; le dierenze sono sia morfologiche che funzionali. Il
neurone ha una struttura composta da tre parti principali: l'albero dendritico, il
soma e l'assone. L'albero dendritico è la struttura che riceve i segnali dagli altri
neuroni, il soma li elabora e l'assone trasmette il segnale prodotto dal singolo
neurone. Un'immagine al microscopio di un neurone è mostrata in gura 1.1.
Per quanto riguarda le dimensioni, il soma, ad esempio, può avere dimensioni
comprese tra i 4 e 100µm.
Figura 1.1: Immagine al microscopio di un neurone. La scala indica una lunghezza pari a
10µm.
I neuroni comunicano attraverso le sinapsi, particolari strutture che permettono lo scambio del segnale elettrico tra i neuroni. Tale segnale è composto da
Elementi di neurosiologia
3
una sequenza di impulsi elettrici. Normalmente ogni neurone pre-sinaptico ha un
unico assone, il quale si ramica, nel suo tratto nale, al ne di comunicare con
i neuroni post-sinaptici. La struttura della sinapsi è costituita dalla connessione
tra una delle ramicazioni terminali dell'assone e da una parte di dendrite del
neurone post-sinaptico, come illustrato in gura 1.2. In alcuni casi la connessione
può essere localizzata sul soma del neurone post-sinaptico.
Il dato anatomico più importante è che il singolo neurone può formare no a
104 connessioni sinaptiche con gli assoni dei neuroni pre-sinaptici. A sua volta
l'assone di ogni neurone si dirama, in modo da formare quasi lo stesso numero di
connessioni con i dendriti dei neuroni post-sinaptici. Si può, dunque, concludere
che i neuroni formano una struttura caratterizzata da un numero elevato di
connessioni.
Figura 1.2: Comunicazione sinaptica fra neuroni. Sono visibili alcune strutture interne alla sinapsi. Le vescicole sinaptiche rilasciano i neurotrasmettitori nella fessura
sinaptica.
Elementi di neurosiologia
4
1.1.2 Dinamica di neuroni e sinapsi
La comunicazione tra neuroni è un processo dinamico, composto da varie fasi.
Una proprietà fondamentale è lo stato dell'assone neurale. L'assone neurale può
presentarsi o in uno stato attivo o in uno stato inattivo. Nello stato attivo l'assone
propaga un segnale elettrico, che viene chiamato potenziale d'azione (PA). La
forma e l'ampiezza del segnale propagato sono stabili durante la trasmissione;
inoltre essi vengono replicati nei punti di diramazione dell'assone. L'ampiezza del
segnale è dell'ordine delle decine di mV , mentre la durata temporale è dell'ordine
del ms, come indicato in gura 1.3. In media, la propagazione dell'impulso
Figura 1.3: Potenziale di azione
elettrico avviene con una velocità di 100m/s. Quando il neurone è nello stato
inattivo non viene propagato alcun segnale lungo l'assone. Il segnale relativo a
questo stato è un potenziale di riposo. La presenza di un impulso lungo l'assone
blocca la trasmissione di un secondo, cioè l'assone può propagare un impulso
elettrico alla volta.
Quando l'impulso elettrico giunge agli estremi delle ramicazioni dell'assone e dunque sulla sinapsi, esso provoca il rilascio di neuro-trasmettitori, par-
Elementi di neurosiologia
5
ticolari sostanze chimiche, all'interno della fessura sinaptica, vedi gura 1.2. I
neuro-trasmettitori si legano ai recettori, posti all'interno della fessura sinaptica.
Questo provoca l'ingresso di una corrente ionica all'interno del neurone postsinaptico. La quantità di corrente penetrata per impulso pre-sinaptico misura
l'ecienza della sinapsi. L'ingresso della corrente ionica genera un potenziale
post-sinaptico(PPS) che giunge nel soma del neurone post-sinaptico. I vari PPS,
dovuti ai diversi neuroni pre-sinaptici, vengono integrati all'interno del soma e
formano il potenziale di membrana del neurone. Un singolo PPS ha un'ampiezza
dell'ordine del mV. Questi impulsi possono essere eccitatori o inibitori, in relazione alla natura eccitatrice o inibitrice della sinapsi. Se l'impulso è eccitatorio, la
probabilità che il neurone emetta un impulso aumenta. Se l'impulso è inibitorio,
la probabilità che il neurone emetta un impulso diminuisce. Il soma eettua un
somma dei PPS che giungono all'interno di un intervallo temporale di 1 − 2 ms.
Se la somma supera una certa soglia, che è un livello di potenziale sopra il quale la membrana del neurone diventa instabile, la probabilità di emissione di un
impulso diventa signicativa. L'ordine di grandezza della soglia è delle decine di
mV. Questo implica che sia necessario sommare diversi PPS al ne di avere una
probabilità di emissione non nulla. Il ciclo temporale di un neurone biologico è di
1 − 2 ms. Tale intervallo di tempo viene anche chiamato periodo refrattario del
neurone. Dopo che uno impulso è stato emesso, il neurone non può emetterne
un altro all'interno del periodo refrattario.
Il potenziale d'azione, dunque, costituisce l'unità elementare associata alla
trasmissione dei segnali neuronali. Tipicamente quando ci si riferisce al segnale emesso da un neurone si intende la sequenza temporale di questi potenziali
d'azione, detta anche treno di impulsi.
1.1.3 Il problema della codica neurale
Il cervello dei mammiferi contiene più di 1010 neuroni connessi fra loro. In
ogni piccolo volume della corteccia (1mm3 ) vengono emessi migliaia di impulsi
ogni millisecondo. Un esempio di treno di impulsi, registrato da una rete di trenta
neuroni, è mostrato in gura 1.4. Ci si può domandare quale sia l'informazione
contenuta in una simile rappresentazione spazio-temporale degli impulsi. Questo
problema è conosciuto come il problema della codica neurale, che rappresenta
Elementi di neurosiologia
6
uno degli argomenti fondamentali delle neuroscienze. Al momento non è stata
trovata una soluzione denitiva a questo problema. Una prima ipotesi è quella di
ritenere che la maggior parte dell'informazione sia contenuta nel tasso di sparo
medio del neurone. Il tasso di sparo è usualmente denito attraverso una media
temporale. I biologi sperimentali impostano una nestra temporale di ampiezza
∆t = 100ms o ∆t = 500ms e misurano la frequenza degli impulsi:
ν[Hz] =
nsp (∆t)
,
∆t
(1.1)
dove nsp è il numero di impulsi. Il concetto del tasso di sparo medio è stato
applicato con successo nello studio delle proprietà di molti tipi di neuroni corticali o sensoriali. È chiaro, comunque, che un approccio basato su una media
Figura 1.4: Impulsi di 30 neuroni in funzione del tempo. L'asse temporale si estende su un
intervallo temporale di 4000 ms
temporale trascura tutta l'informazione contenuta nell'esatta sequenza temporale degli impulsi. Il concetto del tasso di sparo è stato ripetutamente criticato
negli anni e ha dato vita ad un dibattito ancora in corso. Il problema della
codica neurale è fondamentale per la realizzazione dei modelli matematici che
descrivano la dinamica delle reti neurali. I modelli che si basano sul tasso di
sparo sono indicati come modelli di tasso di attività[18]. I modelli che si basano
su una descrizione dettagliata del treno di impulsi, dove non viene eettuata una
Modelli di reti neurali
7
media temporale, sono indicati come modelli ad impulsi[19]; questi sono anche i
più recenti. In questa tesi viene analizzato in dettaglio un particolare modello di
tasso di attività.
1.2 Modelli di reti neurali
1.2.1 Modello di Hodgkin-Huxley
Il primo modello realistico di singolo neurone è stato sviluppato nel 1952 da
Hodgkin e Huxley per l'assone gigante del calamaro [2],[3]. Tali studi valsero
loro il premio Nobel per la medicina nel 1963. Hodgkin e Huxley derivarono il
loro modello in maniera fenomenologica, in modo da poter riprodurre la siologia dell'assone gigante del calamaro e gli andamenti sperimentali non lineari
delle conduttanze associate alle correnti ioniche di membrana. Alcuni dei primi
studi sui potenziali di equilibrio delle principali specie ioniche furono fatti sull'assone gigante del calamaro, perché questo ha un diametro dell'ordine di 1mm
ed è dunque molto grande rispetto al soma di un neurone di un mammifero,
che è dell'ordine di 70µm, quindi si presta meglio a studi di elettrosiologia. In
particolare, questo modello è costituito da un sistema di quattro equazioni differenziali del primo ordine. Tali equazioni descrivono la dinamica del potenziale
di membrana e delle tre correnti ioniche fondamentali: la corrente del sodio, la
corrente del potassio e la corrente di perdita, dovuta principalmente al cloro. Il
modello riproduce il meccanismo di generazione dei potenziali di azione, inoltre
fornisce una spiegazione per l'esistenza di una soglia di potenziale e di un periodo
refrattario. Le schematizzazioni sviluppate da Hodgkin e Huxley hanno trovato
negli anni passati, e anche oggi, applicazione in centinaia di modelli per neuroni
delle più diverse tipologie.
Presentiamo ora sinteticamente il modello, che è un modello di singolo neurone. Non trattiamo le reti formate a partire da tale modello. Questo è un
modello realistico, perché illustra la dinamica del potenziale di membrana h in
funzione delle correnti ioniche che la attraversano. La membrana cellulare del
neurone possiede dei canali attraverso i quali possono passare specie ioniche speciche. La membrana viene caratterizzata da una capacità elettrica C , mentre i
canali ionici da conduttanze, che deniremo successivamente. La corrente totale
Modelli di reti neurali
8
Figura 1.5: Schema elettrico del modello di Hodgkin-Huxley. Le proprietà elettriche passive
della membrana cellulare sono descritte da una capacità C e da una resistenza R.
Le conduttanze segnate con una freccia hanno un valore dipendente dal voltaggio
applicato.
I(t) che viene applicata al neurone può essere divisa in una parte che carica la
capacità Ic ed in ulteriori componenti Ik , che passano attraverso i canali ionici:
I(t) = Ic (t) +
3
X
Ik (t),
(1.2)
k=1
dove la somma viene eseguita sugli indici che indicano i canali ionici. Nel modello
standard ci sono tre tipi di canali ionici: un canale del sodio (N a), un canale del
potassio (K ) ed un canale di perdita caratterizzato da una resistenza R. Questo
schema può essere rappresentato da un circuito elettrico, come mostra la gura
1.5. Scriviamo l'equazione del potenziale di membrana in termini delle correnti:
3
X
dh
=−
Ik (t) + I(t).
C
dt
k=1
(1.3)
I canali sono deniti dalle rispettive conduttanze g = 1/R; avremo dunque gL ,gN a
e gK . La conduttanza gL del canale di perdita è indipendente dal potenziale di
membrana, mentre le conduttanze degli altri canali ionici ne sono dipendenti.
I valori gN a e gK indicano il massimo valore raggiungibile dalle conduttanze. I
canali ionici non sono sempre aperti. La probabilità che un canale sia aperto è
descritta dalle variabili addizionali: m, n e u. In base a queste variabili possiamo
Modelli di reti neurali
9
denire la precedente somma sulle correnti ioniche:
3
X
Ik = gN a m3 u(h − EN a ) + gK n4 (h − EK ) + gL (h − EL ),
(1.4)
k=1
dove i parametri EN a , EK e EL sono potenziali determinati empiricamente [19].
Le tre variabili m, n e u evolvono secondo le seguenti equazioni:
dm
= αm (h)(1 − m) − βm (h)m,
dt
dn
= αn (h)(1 − n) − βn (h)n,
dt
du
= αu (h)(1 − u) − βu (h)u.
dt
(1.5)
Le funzioni α e β del potenziale di membrana sono funzioni determinate empiricamente. Le equazioni 1.3-1.5 deniscono la dinamica del modello. Esistono
versioni più avanzate che possono comprendere anche un centinaio di correnti
di membrana. Quindi è possibile realizzare modelli estremamente dettagliati del
singolo neurone.
1.2.2 Modello leaky integrate-and-re
Il modello integrate-and-re è stato proposto da Lapicque nel 1907[1], molto
prima che fosse compreso il meccanismo di generazione dei potenziali d'azione. Questo modello rappresenta tuttora una descrizione estremamente utile dell'attività neuronale sottosoglia. Può essere considerato, a posteriori, come una
versione unidimesionale molto semplicata del modello di Hodgkin-Huxley.
Il modello leaky integrate-and-re (LIF ) è un modello formale in cui, partendo dal presupposto che un potenziale d'azione sia un evento stereotipato, viene
descritta solo la dinamica sottosoglia, cioè prima dell'insorgenza del potenziale
d'azione. La forma del potenziale d'azione non viene descritta in questo modello. L'insorgenza del potenziale è caratterizzata solo dal tempo di sparo tf . La
dinamica di tale modello si schematizza come quella di un integratore con una
corrente di perdita(in ingleseleak ) ovvero un circuito RC , dove R è una resistenza
e C un condensatore in parallelo, percorso da una corrente I(t) che rappresenta
l'input che arriva al neurone. I parametri R e C riassumono e schematizzano le
Modelli di reti neurali
10
Figura 1.6: Schema elettrico del modello LIF. L'operazione di reset viene eettuata dal tasto
indicato dalla lettera θ, che scarica la capacità C . Si rappresenta il potenziale
d'azione con un impulso denito da una funzione δ .
proprietà elettriche passive della membrana, mentre V (t) rappresenta il potenziale di membrana. Introducendo la costante di tempo della membrana τm = RC ,
possiamo scrivere l'equazione per il potenziale di membrana:
τm
dV (t)
= −V (t) + RI(t).
dt
(1.6)
La tensione V (t) viene paragonata ad una tensione di riferimento θ, che rappresenta la soglia per l'innesco del potenziale d'azione. Il potenziale d'azione viene
emesso all'istante tf in cui V (tf ) = θ. Subito dopo l'emissione, il potenziale viene
resettato ad un valore di riposo :
V (t+
f ) = Vr .
(1.7)
Per t > tf l'evoluzione ricomincia seguendo l'equazione 1.6. Questa operazione
è una caratteristica fondamentale del modello. Anche in questo caso si può
rappresentare il sistema come un circuito elettrico, vedi gura 1.6. La denizione
di una rete di neuroni LIF si basa sulla schematizzazione di un treno di impulsi,
che i neuroni si scambiano. Più precisamente, la dinamica di una rete ad impulsi
composta da N neuroni LIF è rappresentata dal seguente sistema:
N
XX
dVi
= a − Vi +
Jij δ(t − tkj ),
dt
j=1 k
(1.8)
dove a, R e C sono uguali per tutti i neuroni. Tale equazione è valida per Vi < θ.
L'equazione 1.8, inoltre, è scritta riferendoci a una scala temporale in cui il tempo
Modelli di reti neurali
11
unitario è dato da τm = RC . La doppia sommatoria tiene conto dell'eetto di
tutti gli impulsi emessi dai neuroni connessi a quello di riferimento (l'i-esimo).
In assenza di interazione e prima di raggiungere la soglia, la soluzione di 1.8 è:
Vi (t) = a 1 − e−t .
(1.9)
La matrice Jij rappresenta le ecienze sinaptiche, mentre tkj rappresenta l'istante
di ricezione del k-esimo impulso ricevuto dal neurone j . L'evento di ricezione
dell'impulso viene schematizzazto da una δ di Dirac. Non entreremo nei dettagli
di questi modelli basati sui treni di impulsi[19].
1.2.3 Modello di tasso di attività a stati continui
Descriviamo ora un modello di tasso in cui la variabile che denisce lo stato del
neurone è il potenziale di membrana hi . L'evoluzione della variabile hi , in assenza
di interazione, è descritta dall'equazione 1.6, (con V sostituito da hi ) senza però
che esista una soglia. Inoltre, a dierenza del modello precedente, l'interazione
viene denita in funzione dell'attività ai del neurone i-esimo. L'attività viene
denita come una funzione del potenziale hi da:
ai = a0 f (hi ),
(1.10)
dove a0 ha le dimensioni di una frequenza. L'attività, o tasso di sparo, viene denita dall'equazione 1.1 su una nestra temporale. In base a questa, a0
rappresenta il massimo numero di impulsi possibile nell'intervallo di tempo. La
funzione f rappresenta la non linearità dell'operazione svolta nel soma. Tale funzione deve essere monotona crescente e limitata tra 0 e 1. Una scelta possibile
per la funzione è:
1
f (h) = [1 + tanh(gh)] .
(1.11)
2
dove g è il fattore di guadagno, che misura il livello di non linearità. Tale fattore è
un numero reale positivo. Nel limite g → ∞ l'attività del neurone può assumere
solo due valori 0 o a0 , cioè il neurone o è inattivo (a = 0), o massimamente attivo
(a = a0 ). L'aspetto di f (h) è illustrato nella gura 1.7, dove viene rappresentata
per vari valori del parametro g . Assumendo che le soglie di potenziale dei neuroni
Modelli di reti neurali
12
siano nulle, le variabili hi deniscono la dinamica del sistema attraverso:
N
X
dhi
hi
=
Ci
Ji,j ai (hi ) − .
dt
Ri
j=1,j6=i
(1.12)
Questo è un sistema di N equazioni dierenziali ordinarie, dove Ci indica la
capacità del neurone, Ri indica la resistenza della sua membrana cellulare e Jij
rappresenta l'ecienza della connessione tra i e j . Come si può osservare, le
funzioni ai quanticano il termine di somma, che rappresenta l'interazione tra
gli elementi della rete. Nell'equazione 1.8, invece, l'interazione è determinata
dalle funzioni δ , che rappresentano gli impulsi. Si può, quindi, aermare che la
dierenza di base presente tra le due categorie di modelli consista nel termine di
interazione.
Figura 1.7: La gura illustra la funzione f(h) per vari valori del parametro g; in blu g=10, in
nero g=1, in rosso g=0.5, in verde g=0.3.
Modelli di reti neurali
13
1.2.4 Modello a stati binari
Illustriamo ora un modello di rete in cui lo stato dei neuroni è rappresentato da
una variabile discreta binaria. Il modello di singolo neurone che utilizziamo è noto
come percettrone ed è stato denito da Rosenblatt [4]. La variabile che denisce
lo stato del singolo neurone è l'attività istantanea dell'assone neurale. Possiamo,
quindi, introdurre una variabile intera discreta σi , dove il pedice si riferisce all'iesimo neurone della rete. Tale variabile assume valore 1 se l'assone propaga un
impulso o il valore 0 se l'assone è in uno stato di riposo. Un neurone così denito è
un neurone binario. Si denisce, inoltre, un campo hi agente sul neurone i-esimo;
tale campo rappresenta il PPS totale agente nel soma del neurone. In questa
rappresentazione tale campo si può identicare con il potenziale di membrana.
La dinamica della rete è denita dai potenziali di membrana attraverso le seguenti
equazioni:
σi (t + 1) = Θ(hi (t) − ti ),
(1.13)
hi (t) =
N
X
Ji,j σj (t).
(1.14)
j=1
Le sinapsi vengono rappresentate da una matrice di ecienze sinaptiche J. Gli
elementi di matrice Ji,j sono variabili reali , che rappresentano l'ecienza della
connessione sinaptica tra il neurone i e il neurone j . Il segno dell' elemento di
matrice indica la natura della sinapsi: se essa è eccitatrice l'elemento è positivo,
se è inibitrice l'elemento è negativo. Il termine di somma indica l'interazione fra
i neuroni e rappresenta anche l'operazione di integrazione svolta all'interno del
soma.
L'interazione viene denita dall'attività, la quale è una funzione del potenziale, come viene indicato nell'equazione 1.13. Tale funzione è la funzione a gradino
di Heaviside Θ. La soglia di potenziale, descritta precedentemente, viene indicata dalla variabile reale ti . Le variabili σi , hi e ti hanno le dimensioni di un
potenziale elettrico, ma qui verrano adimensionalizzate con un fattore di scala
pari ad 1mV. Le varibili Ji,j sono invece adimensionali. L'unità temporale è data dal ciclo biologico del neurone (1 − 2ms). Abbiamo così denito un sistema
dinamico a tempo discreto che descrive la rete di neuroni.
In questo caso la regola di aggiornamento dei neuroni è sincrona, tutti i
neuroni vengono aggiornati contemporaneamente. Questa dinamica non è mol-
Modelli di reti neurali
14
to realistica, ma questo problema sarà arontato successivamente. Si possono
denire dei vincoli sulla matrice J:
Ji,i = 0.
(1.15)
Ji,j = Jj,i .
(1.16)
Il primo vincolo indica che il neurone i-esimo non è connesso a se stesso. La
simmetria della matrice è una ipotesi semplicatrice, che è necessaria se si vuole
usare la meccanica statistica di equilibrio nella descrizione del sistema. Questa
ipotesi, però, non ha alcuna validità da un punto di vista biologico. Successivamente, infatti, verranno studiate reti che non sono caratterizzate da matrici
simmetriche.
Dinamica deterministica
È utile eettuare il seguente cambiamento di variabile:
Si (t) = 2σi (t) − 1.
(1.17)
In questo modo le variabili σi vengono sostituite dalle variabili di spin Si . Il
sistema di neuroni diventa così l'analogo di un sistema magnetico, descritto da
variabili di spin. L'analogia con il sistema magnetico si fonda sulla simmetria della matrice J, che in un sistema magnetico rappresenta le interazioni di scambio.
Lo stato del neurone e il campo agente PPS su di esso ora diventano:
Si (t + 1) = sgn (hi (t) − ti ),
hi (t) =
N
1 X
Ji,j (Sj (t) + 1) ,
2 j=1,j6=i
(1.18)
(1.19)
dove la funzione sgn è la funzione segno. Il campo agente sul neurone può essere
separato in due parti:
hi (t) = hli (t) + hei (t).
(1.20)
dove
hli (t)
N
1 X
Ji,j Sj (t).
=
2 j=1,j6=i
(1.21)
Modelli di reti neurali
hei (t)
N
1 X
= (
Ji,j ) − ti .
2 j=1,j6=i
15
(1.22)
Il primo termine è il campo locale agente sul neurone, dovuto all'interazione
con tutti gli altri. Il secondo termine è un campo esterno, che non dipende
dall'interazione del neurone i-esimo con gli altri.
Dinamica stocastica
Nel modello rappresentato dalle equazioni 1.3 e 1.4 abbiamo trattato il processo di trasmissione sinaptica come un processo deterministico. In realtà è
stato osservato sperimentalmente che tale processo è stocastico, a causa di varie
sorgenti di rumore. Il potenziale di membrana non è determinato univocamente, dunque ad esso può essere assegnata la seguente distribuzione di probabilità
Gaussiana:
(h − h̄i )2
1
exp −
.
(1.23)
Pr(hi = h) = √
2
2
2πδ
2δ
dove la denizione del valor medio h̄i coincide con quella dell'equazione 1.19.
La varianza δ 2 della distribuzione viene determinata in base alle varie sorgenti
di rumore presenti. La probabilità che l'i-esimo neurone emetta un potenziale
d'azione è pari alla probabilità che il campo hi superi la soglia ti :
Z
∞
Pr(Si = 1) =
ti
1
h̄i − ti
√
Pr(hi = h) dh =
1 + erf
.
2
δ 2
(1.24)
mentre la probabilità che il neurone non emetta il potenziale d'azione è:
h̄i − ti
1
√
1 − erf
Pr(Si = −1) = 1 − Pr(Si = 1) =
.
2
δ 2
(1.25)
Utilizzando le equazioni 1.18, 1.20, 1.21 e imponendo che il campo esterno sia
nullo:
hei = 0.
(1.26)
otteniamo un' espressione per la distribuzione di probabilità dell'attività del
neurone:
l
hi (t)Si
1
√
Pr(Si )(t + 1) =
1 + erf
.
(1.27)
2
δ 2
Modelli di reti neurali
16
Quest'ultima può essere approssimata entro l'1% dalla seguente espressione:
exp(βhli (t)Si )
1
Pr(Si )(t + 1) ∼
1 + tanh(βhli (t)Si ) =
,
=
2
exp(βhli (t)Si ) + exp(−βhli (t)Si )
dove
(1.28)
√
β −1 = 2 2δ.
(1.29)
Se nell'equazione 1.28 eettuiamo la sostituzione:
T = β −1 ,
(1.30)
otteniamo la distribuzione di probabilità che denisce la dinamica di singolo
spin per un sistema di Ising a contatto con un bagno termico di temperatura
T . La distribuzione 1.28 denisce la dinamica di Glauber [5], la quale fornisce
il collegamento tra la dinamica di una rete neurale e la meccanica statistica dei
sistemi ferromagnetici.
Capitolo 2
Reti neurali simmetriche
In questo capitolo si utilizzano tecnihe di meccanica statistica per analizzare
modelli di reti neurali. Questa operazione è possibile quando la matrice delle
connessioni sinaptiche è simmetrica. Anche se questa ipotesi è in contrasto con
le osservazioni sperimentali, risulta comunque utile, perché permette di ricavare
risultati analitici (anche se in un contesto molto speciale). I modelli di reti
simmetriche sono stati largamente studiati, in particolare durante gli anni '80.
L'interesse verso questo tipo di modelli viene soprattutto dal fatto che sono
caratterizzati da una multistabilità che persiste anche nel limite termodinamico. In altre parole i vari minimi sono separati da barriere di energia libera, che
persistono anche quando la taglia del sistema diventa innita. Questa proprietà
permette di aermare che tali reti sono utili come modelli di memoria associativa. Infatti, da una parte, l'essere in un minimo dell'energia libera può essere
interpretato come il riconoscimento di un dato segnale (rispetto ad altri che corrispondono agli altri minimi). D'altra parte, la convergenza verso un dato punto
sso stabile, può essere interpretato come il fatto che partendo da una conoscenza parziale del segnale stesso (cioè da una condizione iniziale diversa dal punto
sso), si riesce a ricostruire (ricordare) l'informazione mancante.
Nel primo paragrafo si presenta la dinamica stocastica di un sistema generico
in cui gli stati sono descritti da variabili binarie. In questo caso, si fa riferimento
ad un modello asincrono, cioè in cui i neuroni vengono aggiornati sequenzialmente
in un'ordine casuale. Con lo scopo di illustrare la connessione fra il modello
stocastico ed una descrizione di tipo meccanico-statistico, facciamo riferimento
17
Equazioni stocastiche e modello di Ising
18
al modello di Ising.
Nel secondo paragrafo viene illustrato sinteticamente uno dei primi modelli di
rete neurale: il modello di Hopeld. Tale sistema è stato ampiamente studiato.
Esso è denito da una matrice simmetrica casuale, i cui elementi sono ssati da
una distribuzione di probabilità specica. Il sistema è il prototipo dei modelli
di memoria associativa. La presenza di una matrice casuale rappresenta un disordine nel sistema. In questo caso si introduce un nuovo concetto: la media
sul disordine. Quando si ssa la realizzazione, questo disordine viene `congelato'. Si denisce allora una operazione di media sul disordine congelato al ne di
studiare le proprietà del sistema. Nel caso in cui le caratteristiche del sistema
non dipendano dalla realizzazione del disordine si dice che il sistema possiede la
proprietà dell'automedia. È stato dimostrato che il modello di Hopeld gode di
tale proprietà nel limite termodinamico. Le operazioni di media sul disordine
congelato e lo studio della eventuale presenza di proprietà di automedia caratterizzano in generale i sistemi disordinati. Questi strumenti vengono utilizzati nei
capitoli successivi per analizzare il caso di reti asimmetriche.
2.1 Equazioni stocastiche e modello di Ising
2.1.1 Equazioni stocastiche ed ergodicità
Una rete a stati binari, come quella descritta nel paragrafo 1.2.4, è descritta
dalla collezione degli stati dei neuroni ad un certo istante. Tale stato viene
indicato con SiI , dove l'apice indica la rete e il pedice il singolo neurone. In una
rete composta da N neuroni sono possibili 2N congurazioni distinte. Il singolo
neurone somma i segnali provenienti dai neuroni pre-sinaptici (vedi le equazioni
1.18 e 1.19). Tale operazione viene eseguita in un intervallo di tempo pari al ciclo
biologico del neurone. Nel seguito ci riferiamo ad un sistema generico denito da
variabili binarie, senza far riferimento ad una rete specica di neuroni. In questo
modo si introduce un formalismo che può essere utilizzato per sistemi diversi da
quelli delle reti, come ad esempio i sistemi ferromagnetici.
Il nostro obiettivo è quello di studiare la dinamica asintotica (t → ∞) del
sistema. In presenza di rumore stocastico, il sistema viene descritto in termini di
una distribuzione di probabilità che evolve nel tempo. In questo caso lo studio
Equazioni stocastiche e modello di Ising
19
della dinamica asintotica conduce alla ricerca di un distribuzione di probabilità
stazionaria. Nel caso della dinamica stocastica, la proprietà di avere una memoria
associativa signica che esistono diverse distibuzioni di equilibrio. Ognuna di
queste viene denita su una parte dello spazio delle congurazioni del sistema.
Questo signica una rottura di ergodicità del sistema.
Il sistema inizia ad evolvere al tempo t = 0 e procede a intervalli temporali
pari a δt. Indichiamo con ρJ (n) la probabilità che il sistema sia nello stato J
al tempo nδt. Indichiamo con W la matrice di probabilità di transizione tra gli
stati. L'evoluzione dinamica, quindi, viene descritta da:
ρI (n + 1) =
X
W (I|J)ρJ (n).
(2.1)
J
dove la somma su J è eettuata su tutti i 2N stati possibili. L'equazione
precedente può essere riscritta nella seguente forma compatta:
ρ̄(n + 1) = W ρ̄(n).
(2.2)
dove ρ̄(n) è un vettore con 2N componenti. Le normalizzazioni di ρ̄ e W sono
rispettivamente:
X
ρI (n) = 1.
(2.3)
I
X
W (I|J) = 1.
(2.4)
I
Utilizzando la normalizzazione, possiamo riscrivere l'equazione 2.1:
ρI (n + 1) = ρI (n) +
X
[W (I|J)ρJ (n) − W (J|I)ρI (n)] .
(2.5)
J6=I
Quest'ultima ha la forma di una equazione maestra. Se iteriamo l'equazione 2.2
otteniamo:
ρ̄(n) = W n ρ̄(0).
(2.6)
Al ne di studiare il comportamento asintotico del sistema si può utilizzare lo
spettro della matrice W . La matrice W ha autovalori:
|λ| ≤ 1.
(2.7)
Equazioni stocastiche e modello di Ising
20
e possiede come autovalore massimo λ = 1. L'autovettore sinistro relativo
all'autovalore λ = 1 ha la seguente proprietà:
L
Vλ=1
(I) = 1.
(2.8)
Se la matrice è irriducibile allora l'autovalore massimo non è degenere e il sistema
è ergodico. Illustriamo brevemente il signicato di questa aermazione. La
matrice W possiede la seguente decomposizione spettrale:
N
W (I|J) =
2
X
λi VλLi (J)VλRi (I).
(2.9)
i=1
dove gli apici L e R indicano gli autovettori sinistro e destro, relativi allo stesso
autovalore λ. Gli autovettori sinistro e destro costituiscono una decomposizione
dell'identità:
X
VλLi (I)VλRj (I) = δλi λj .
(2.10)
I
Utilizzando l'equazione precedente riscriviamo per componenti l'equazione 2.6:
N
ρI (n) =
2
XX
J
λni VλLi (J)VλRi (I)ρJ (0).
(2.11)
i=1
Prendendo il limite n → ∞ e utilizzando l'equazione 2.8 otteniamo:
ρI (n) =
X
R
R
Vλ=1
(I)ρJ (0) = Vλ=1
(I).
(2.12)
J
Questo implica che, dopo un tempo abbastanza lungo, il sistema dimentica la sua
storia. Ogni distribuzione di probabilità iniziale raggiunge la stessa distribuzione
asintotica. Se l'autovalore massimo fosse degenere, ad esempio degenere due
volte, avremmo:
ρI (n) =
2 X
X
i=1
ViL (J)ViR (I)ρJ (0).
(2.13)
J
In questo caso la distribuzione asintotica dipende da quella iniziale, quindi è
possibile una rottura di ergodicità.
Equazioni stocastiche e modello di Ising
21
2.1.2 Dinamica asincrona stocastica
A questo punto deniamo una dinamica per il sistema, ovvero la regola di
aggiornamento temporale delle variabili S I e le relative probabilità di transizione W (I|J). Esistono due tipi di dinamica: la dinamica sincrona e la dinamica
asincrona. La prima consiste nell'aggiornare lo stato di tutte le variabili Si simultaneamente. L'aggiornamento avviene a passi temporali discreti. Il valore delle
variabili Si al tempo t + δt viene determinato dal valore delle stesse al tempo t.
Questa dinamica può essere denita anche come dinamica parallela. La seconda
consiste nell'aggiornare sequenzialmente una variabile Si per volta, in un certo
ordine o in un ordine casuale. In questo caso due stati diversi del sistema differiscono per lo stato di una unica variabile Si . Queste due dinamiche, a loro
volta, possono essere o deterministiche o stocastiche. In questo capitolo ci concentriamo sulla dinamica asincrona stocastica, per quanto riguarda la dinamica
sincrona vedi [15].
La dinamica asincrona stocastica è denita da un processo di Markov, con
probabilità di transizione non nulle solo tra stati della rete che dieriscono per
una singola variabile Si . Indichiamo con W (I|J) l'elemento della matrice di
transizione dallo stato J allo stato I , ricordiamo che W è una matrice 2N × 2N .
L'elemento di transizione è denito dal prodotto di due termini:
W (I|J) = p(I|J) Pr(I|J).
(2.14)
dove Pr(I|J) rappresenta la probabilità che SiI abbia un determinato valore a
partire da S J . Il fattore p(I|J) rappresenta la probabilità di aggiornare la variabile Sk , che consente di passare dallo stato S I allo stato S J . Questa probabilità
denisce la regola di aggiornamento delle singole variabili Si . La forma esplicita
di Pr(I|J) nel caso di aggiornamento della variabile Si è denita da:
Pr(I|J) =
exp(βhJi SiI )
.
exp(βhJi SiI ) + exp(−βhJi SiI )
(2.15)
dove gli apici indicano lo stato del sistema e hi è il campo totale agente su Si .
La forma esplicita di hi dipende dal sistema analizzato, ad esempio nel caso della
rete a stati binari è rappresentato da 1.20. Osserviamo che l'equazione 2.15 è
l'analoga dell'equazione 1.28. L'unica dierenza è che nel caso attuale gli stati
indicati dagli apici J e I si riferiscono rispettivamente al tempo t e t + δt, mentre
Equazioni stocastiche e modello di Ising
22
in 1.28 si ha un riferimento esplicito all'istante di tempo. Nel caso della rete
neurale abbiamo visto che una scala temporale importante è il ciclo biologico del
neurone. Se assumiamo che, in media, durante tale intervallo di tempo tutti gli
N neuroni vengono aggiornati, allora ricaviamo un'altra scala temporale:
δt =
τb
.
N
(2.16)
dove τb è il ciclo biologico o periodo refrattario. Nel caso specico di una rete
a stati binari dotata di dinamica asincrona, questa scala può essere scelta come
passo per l'evoluzione a tempo discreto.
2.1.3 Il modello di Ising e la dinamica di Glauber
Un modello di rete neurale a stati binari, dotato di matrice sinaptica simmetrica, è analogo al modello di Ising, che descrive un ferromagnete. L'analogia si
basa sulla simmetria della matrice sinaptica, i cui elementi sono l'anologo delle
interazioni di scambio nel modello di Ising. Per semplicità consideriamo solo il
caso ferromagnetico. L'Hamiltoniana del modello di Ising è data da:
N
N
X
1 X
H(S̄) = −
Jij Si Sj −
hei Si .
2 ij,j6=i
i=1
(2.17)
Jij = Jji .
(2.18)
Jij ≥ 0.
(2.19)
Le variabili di spin Si rappresentano i momenti magnetici e hanno valore 1 o −1,
mentre S̄ è un vettore N-dimensionale che indica una congurazione di spin. La
variabile hei rappresenta il campo magnetico esterno agente sullo spin i. Ogni
spin è soggetto ad un campo totale:
hti =
N
X
Jij Sj + hei .
(2.20)
ij,j6=i
Si può notare l'analogia con le equazioni 1.20-1.22, che ,però, si riferiscono ad un
processo dinamico. Il modello di Ising è adatto ad illustrare gli argomenti che
abbiamo introdotto nel paragrafo 2.1.1. Nel quadro della meccanica statistica di
equilibrio, noi trattiamo il modello di Ising nell'insieme canonico. Nell'insieme
Equazioni stocastiche e modello di Ising
23
canonico, il sistema è a contatto con un bagno termico di temperatura T e lo
stato di equilibrio del sistema è descritto dalla distribuzione di probabilità di
Gibbs:
S̄)
)
exp(− H(
kb T
,
G(S̄) = P
H(S̄)
exp(−
)
S̄
kb T
(2.21)
dove kb è la costante di Boltzmann e la somma viene eettuata su tutte le possibili
congurazioni del sistema. Il valore di una osservabile O del sistema si ottiene
come media sulla distribuzione di equilibrio:
P
hOi =
S̄)
O(S̄) exp(− H(
)
kb T
.
P
H(S̄)
)
exp(−
S̄
kb T
S̄
(2.22)
Nel caso di un sistema ergodico, questa media coincide con la media temporale
di O all'equilibrio termodinamico. Questa equivalenza si può studiare in termini
di processi stocastici. Ricordando le denizioni del paragrafo 2.1.1, il sistema
raggiunge una distribuzione di equilibrio asintotica, se la matrice W è ergodica
e in più soddisfa la proprietà del bilancio dettagliato. La proprietà del bilancio
dettagliato è rappresentata dalla seguente condizione su gli elementi della matrice
di transizione:
W (I|J)ρeq (J) = W (J|I)ρeq (I).
(2.23)
Riferendosi alla equazione maestra 2.5, la condizione indicata in equazione 2.23
rappresenta il raggiungimento di una distribuzione di equilibrio. Per collegare la
proprietà del bilancio dettagliato alla meccanica statistica di equilibrio dobbiamo
richiedere:
ρeq = G.
(2.24)
La distribuzione asintotica del processo stocastico deve coincidere con la distribuzione di probabilità di Gibbs. Uno modo per garantire questa uguaglianza è
quello di dotare il modello di Ising di una dinamica di Glauber [5]. La dinamica
di Glauber consiste nel modicare lo stato di un singolo spin ad ogni passo temporale, altrimenti chiamato spin ip. La probabilità di transizione associata alla
dinamica di Glauber si ottiene a partire dall'equazione 2.15, dove β rappresenta
la temperatura inversa. Questa è una dinamica asincrona. Al ne di denire
la matrice W è necessario denire l'ordine in cui gli spin vengono aggiornati.
Equazioni stocastiche e modello di Ising
24
In questo caso la regola è random, ogni spin ha la stessa probabilità di essere
aggiornato, dunque:
1
(2.25)
p(I|J) = ,
N
Pr(I|J)
,
W (I|J) =
N
(2.26)
dove Pr(I|J) è data dalla 2.15. Ora possiamo vericare la condizione di bilancio
dettagliato, valutando il seguente rapporto:
hJ S I
exp( kib Ti )
W (I|J)
Pr(I|J)
2hi Si
G(S I )
=
=
=
exp(
)
=
.
I
J
h S
W (J|I)
Pr(J|I)
kb T
G(S J )
exp( kib Ti )
(2.27)
Nell'equazione 2.27 hIi = hJi = hi dato che essi rappresentano il campo agente
sullo stesso spin. La dinamica di Glauber, dunque, verica il bilancio dettagliato
con una distribuzione di probabilità di equilibrio di Gibbs.
Il caso particolare di temperatura nulla
Consideriamo il caso di un sistema di Ising a T = 0. In questo caso la
funzione rappresentata dall'equazione 2.15 diventa una θ di Heaviside. Nel caso
in cui hi 6= 0 abbiamo che:
Si (t + δt) = sgn(hi ).
(2.28)
con probabilità uno. Se invece hi = 0 allora:
Si (t + δt) = ±1.
(2.29)
oqnuno dei due con probabilità 21 . In entrambi i casi il prodotto hi Si ≥ 0, dunque
la variazione di energia è:
∆H = −2hi Si ≤ 0.
(2.30)
Quindi a T = 0 i punti ssi della dinamica sono i minimi dell'energia. Abbiamo
una dinamica di rilassamento verso i minimi dell'energia. Nel caso T 6= 0 dovremo
usare l'energia libera.
Equazioni stocastiche e modello di Ising
25
Primo esempio di rottura di ergodicità
Un caso particolare del modello di Ising aiuta ad illustrare il meccanismo
di rottura di ergodicità. Trattiamo il modello di campo medio, in cui ogni spin
interagisce con tutti gli altri, con un'interazione di scambio pari a J/N . La scelta
di un tale fattore di scala è necessaria per rendere l'energia una quantità estensiva,
cioè proporzionale a N nel limite termodinamico. Siamo, infatti, interessati a
trattare il sistema nel limita termodinamico N → ∞. L'Hamiltoniana diventa:
N
N
X
J X
e
Si .
Si Sj − h
H(S̄) = −
2N ij,j6=i
i=1
(2.31)
In questo caso è possibile studiare analiticamente l'evoluzione temporale della
magnetizzazione per spin:
N
1 X
m(t) =
Si (t).
N i=1
(2.32)
Bisogna considerare l'evoluzione temporale della media della magnetizzazione
sulla distribuzione ρ:
X
m(S̄)ρ(S̄, t).
(2.33)
hmi (t) =
S̄
Dove la somma è estesa su le 2 congurazioni possibili. È stato dimostrato [15]
che nel limite termodinamico si ottiene la seguente equazione:
N
d hmi
δt
= − hmi (t) + tanh
dt
J hmi (t) + he
kb T
,
(2.34)
dove δt è l'intervallo di evoluzione a tempo discreto di 2.5. Quando l'equilibrio è
stato raggiunto otteniamo:
hmi = tanh
J hmi + he
kb T
.
(2.35)
che rappresenta l'equazione di campo medio di Weiss. In una condizione di
campo he = 0 e al di sotto di una temperatura critica Tc = kJb , sono possibili
due stati distinti di magnetizzazione media più una soluzione a magnetizzazione
nulla. Studiando l'energia libera del sistema [21],[15] si deduce che le prime due
sono soluzioni stabili mentre la soluzione nulla è instabile. Se è presente un
Energia libera e dinamica di rilassamento
26
campo esterno innitesimo che rompe la simmetria dell'Hamiltoniana, allora la
magnetizzazione di equilibrio è quella che ha lo stesso segno del campo esterno.
Se non è presente un campo esterno, le condizioni iniziali diventano determinanti
nella scelta della magnetizzazione media di equilibrio. In questo caso siamo in
presenza di una rottura di ergodicità.
2.2 Energia libera e dinamica di rilassamento
2.2.1 Energia libera dinamica e di equilibrio
In questo paragrafo spieghiamo brevemente come sia possibile utilizzare l'energia libera di equilibrio per descivere la dinamica di rilassamento di un sistema.
Stiamo studiando i nostri sistemi nell'insieme canonico, dunque la termodinamica aerma che tali sistemi hanno come congurazione di equilibrio il minimo
dell'energia libera F :
F = E − T S,
(2.36)
dove E è l'energia del sistema, T è la temperatura e S è l'entropia. Utilizzando
la distribuzione degli stati del sistema al tempo t, possiamo denire una energia
libera dinamica:
F (ρ (t)) =
X
ρI (t)E(I) + kb T
X
ρI (t) ln(ρI (t)) = hEi (t) − T hSi (t), (2.37)
I
I
dove abbiamo introdotto i valori medi dell'energia e dell'entropia. Si può dimostrare, nel caso particolare del modello di Ising di campo medio, che l'energia
libera dinamica è inferiormente limitata e decresce durante l'evoluzione asincrona
[15]. Il dato notevole è che le congurazioni di equilibrio, raggiunte dinamicamente, coincidono con le congurazioni corrispondenti a minimi dell'energia libera
di equilibrio, determinata dalla meccanica statistica di equilibrio. Nel caso della
catena chiusa, si dimostra esplicitamente[15], [21] che l'equazione di rilassamento
è data da:
dm
∂f (m, h, T )
δt
=−
,
(2.38)
dt
∂m
dove m è la magnetizzazione media, f è la densità di energia libera, h è il campo
magnetico esterno, T è la temperatura, e δt è il passo indicato in equazione 2.34.
Le congurazioni di equilibrio sono indicate da valori particolari dei parametri
Energia libera e dinamica di rilassamento
27
d'ordine, ad esempio nel modello di Ising si ha la magnetizzazione media. Nel
caso di h 6= 0 si ha una rottura di simmetria del sistema; di conseguenza i minimi
dell'energia libera non sono più degeneri. Nel caso della meccanica statisitca di
equilibrio, lo stato nale del sistema è individuato dal minimo assoluto. Gli
altri minimi locali sono denominati stati metastabili. Nell'analisi dinamica del
sistema gli stati metastabili sono, invece, fondamentali. Tali minimi metastabili,
infatti, identicano le diverse distribuzioni asintotiche raggiunte dal sistema. In
questi casi le distribuzioni di equilibrio raggiunte si identicano con quella di
Gibbs, ma le medie delle osservabili non vanno eseguite su tutto lo spazio delle
congurazioni ma solo su alcuni settori. Questi settori individuano le regioni
dello spazio delle congurazioni in cui il sistema resta connato per t → ∞. Le
condizioni iniziali del sistema determinano quale sia il settore sul quale eettuare
le medie.
2.2.2 Il modello di Hopeld
Il modello di Hopeld è un modello di vetro di spin di campo medio, che ha
la proprietà di memoria associativa. Si ritiene che questa sia una delle proprietà
fondamentali di una rete neurale. Il modello di Hopeld relativo a N neuroni è
denito dalla seguente Hamiltoniana:
H=−
N
1X
Jij Si Sj ,
2 i,j=1
(2.39)
dove Si sono variabili di spin, p è un intero minore di N e:
p
1 X µ µ
ξ ξ .
Jij =
N µ=1 i j
(2.40)
Jii = 0.
(2.41)
Abbiamo p vettori ξ µ aventi dimensione N , gli elementi di ogni vettore sono variabili aleatorie identicamente distribuite. Ogni elemento può assumere il valore
±1 con probabilità 1/2. Le connessioni Jij sono variabili aleatorie, ma non sono
tra loro indipendenti. L'equazione 2.40 rappresenta la regola di apprendimento
di Hebb. Questa regola specica la matrice J in base alle congurazioni ξiµ me-
Energia libera e dinamica di rilassamento
28
morizzate dalla rete1 . Le congurazioni sono memorizzate nel senso che, nel caso
di assenza di rumore (T = 0), rappresentano dei punti ssi della dinamica. Nel
caso di presenza di rumore (T 6= 0) il sistema non raggiunge un punto sso e
bisogna usare gli argomenti del paragrafo 2.2.1. Le congurazioni di equilibrio
saranno determinate dai minimi locali dell'energia libera.
Il modello di Hopeld è, dunque, un sistema disordinato. Ad ogni realizzazione del disordine si ha una congurazione congelata (in inglese quenched )
delle connessioni Jij . I parametri d'ordine, utilizzati per descrivere il modello,
sono le sovrapposizioni delle generiche congurazioni del sistema con le varie
congurazioni ξiµ memorizzate:
mµ =
N
1 X µ
ξ Si .
N i=1 i
(2.42)
Tali variabili hanno valori compresi tra −1 e 1, esse costituiscono l'analogo della
magnetizzazione per spin nel modello di Ising. Queste variabili caratterizzano
i minimi locali dell'energia libera. Quando si analizza un sistema disordinato, il valore di una osservabile è determinato dalla media sulle realizzazioni del
disordine[21]. Il disordine viene caratterizzato da una distribuzione di probabilità
P . Nel caso attuale abbiamo una P (J) che rappresenta la probabilità associata
ad una particolare realizzazione della matrice J. In generale in meccanica statistica di equilibrio, ricordando la denizione di media di insieme 2.22, la media
sul disordine di una osservabile O è denita da:
hOiD = hhOiI iD ,
(2.43)
dove hiI è la media di insieme valutata con 2.22, mentre hiD rappresenta la media
sul disordine. Il sistema può anche possedere la propriètà di automedia. Questa
proprietà implica che, nel limite termodinamico (N → ∞), la media sul disordine
coincida con la media di insieme, eettuata con una particolare realizzazione
del disordine. Il modello di Hopeld gode della proprietà di automedia [15].
In questo caso è possibile studiare l'energia libera associata ad una particolare
realizzazione del disordine. I minimi locali di questa energia libera rappresentano
le congurazioni di equilibrio tipiche della rete. Il numero di minimi dipende dal
1 Queste
oggetti.
congurazioni (patterns) possono indicare, ad esempio, delle immagini associate ad
Energia libera e dinamica di rilassamento
29
numero p dei pattern. Quando p è nito e siamo al di sotto di una temperatura
critica Tc = 1/kb , nel limite termodinamico l'energia libera presenta 2p minimi
degeneri più vari minimi locali[9]. Questo rappresenta un esempio di modello
dotato di multistabilità. Il modello può anche presentare un numero di pattern
proporzionale alla taglia dl sistema (p = αN ). In questo caso si ha la proprietà
di memoria associativa per α < αc , dove αc ≥ 0.14, caratterizzata dalla presenza
di 2p minimi degeneri nell'energia libera[10]. Bisogna sottolineare che ora siamo
in presenza di un numero macroscopico di minimi, che tende all'innito nel limite
termodinamico.
Capitolo 3
Reti neurali asimmetriche
Le reti neurali asimmetriche individuano una categoria di modelli in cui la
matrice delle connessioni sinaptiche non possiede alcuna simmetria, per cui non
è più possibile utilizzare la meccanica statistica di equilibrio nell'analisi dell'attrattore della rete. Il primo modello in cui è stata introdotta una matrice di
connessioni asimmetrica è dovuto a Sompolinsky et al.. Esso consiste in un sistema di equazioni dierenziali, che descrive l'interazione tra gli N elementi non
lineari della rete. Tale interazione avviene attraverso una matrice casuale asimmetrica. Attraverso una teoria dinamica di campo medio è possibile studiare il
sistema nel limite termodinamico. La teoria si basa su alcune ipotesi di scorrelazione, che si ipotizza diventino esatte nel limite termodinamico. Secondo tale
teoria gli attrattori possibili del sistema possono essere o un punto sso o un
attrattore caotico, in funzione del valore assunto dal parametro di controllo. Il
secondo modello che viene presentato è dovuto a Cessac et al. .
Questo modello costituisce l'oggetto dell'analisi del presente lavoro di tesi.
Esso riprende il modello di Sompolinsky introducendo come semplicazione l'utilizzo di una mappa invece che un sistema di equazioni dierenziali. L'evoluzione
temporale sarà, quindi, a tempo discreto. Anche il modello di Cessac viene denito da una matrice di connessioni casuale asimmetrica. Viene introdotta una
nuova variabile, che indica i livelli di attività del potenziale di membrana. Questa variabile è un vettore casuale di dimensione N . Lo studio della dinamica nel
limite termodinamico viene eettuato attraverso l'introduzione di una opportuna
teoria dinamica di campo medio. Quest'ultima si basa sulle medesime ipotesi di
30
Modello a tempo continuo
31
scorrelazione della corrispondente teoria a tempo continuo. Questo approccio dinamico di campo medio viene utilizzato per determinare i punti ssi del sistema
e per studiare la stabilità lineare di tali punti ssi.
Lo studio della stabilità viene eseguito aancando la teoria dinamica di campo medio al teorema di Girko, che è un risultato appartenente alla teoria degli
autovalori di matrici casuali. Questo studio permette di ricostruire il diagramma
di biforcazione per particolari valori dei parametri che deniscono il sistema.
3.1 Modello a tempo continuo
Il modello che presentiamo ora è stato introdotto da Sompolinsky et al.[14] e
da ora in poi esso viene indicato come modello SCS. Il modello SCS schematizza
l'evoluzione dinamica di N neuroni globalmente accoppiati. Il sistema evolve in
uno spazio delle congurazioni N-dimensionale. Lo stato del singolo neurone è
denito dalla sua attività (tasso di sparo), indicata dalla varibile continua Si ,
dove −1 ≤ Si ≤ 1. L'attività Si è legata al potenziale di membrana hi (dove
−∞ ≤ hi ≤ +∞), dalla relazione:
(3.1)
Si (t) = φ(hi (t)),
dove φ è una funzione non lineare che rispetta i vincoli:
φ(±∞) = ±1,
(3.2)
φ(−x) = −φ(x).
La funzione scelta è la tangente iperbolica:
(3.3)
φ(x) = tanh(gx),
dove la costante g > 0 misura il livello di non linearità dell'operazione svolta dal
soma del neurone. La dinamica della rete è denita da un sistema di N equazioni
dierenziali del primo ordine, simili a quelle per un circuito elettrico:
N
N
X
X
dhi
= −hi +
Jij Sj = −hi +
Jij φ(hj ),
dt
j=1
j=1
(3.4)
Modello a tempo continuo
32
dove J è la matrice delle ecienze sinaptiche e Jii = 0. Il sistema di equazioni 3.4
è uguale alle equazioni 1.12 a meno di una riscalatura della variabile temporale.
Il sistema 1.12 può essere riscritto nella forma :
RC
N
X
dhi
0
=
Ji,j
f (hj ) − hi .
dt
j=1,j6=i
(3.5)
0
dove R e C sono uguali per tutti i neuroni e Ji,j
= a0 RJi,j . Se riscaliamo
la variabile t per un fattore pari al tempo caratteristico τ = RC , otteniamo
l'equazione 3.4. La matrice delle ecienze sinaptiche è una matrice casuale.
Gli elementi di matrice Jij sono varibili aleatorie indipendenti e identicamente
distribuite, la distribuzione scelta è la Gaussiana. La Gaussiana è caratterizzata
dai seguenti valori di media e momento secondo:
hJij i = 0,
2
J2
,
Jij =
N
(3.6)
la media viene scelta pari a zero per motivi di semplicità, mentre J è una costante che determina la varianza. Ls scelta del fattore 1/N è dovuta al termine
di sommatoria presente nell'equazione 3.4. Le variabili Si sono di ordine uno;
dunque ipotizzando che le Jij siano indipendenti dalle Si , otteniamo
q
che il ter√
mine di somma ha media nulla e uttuazioni di ordine N × Jij2 . Il fattore
1/N garantisce che tali uttuazioni rimangano nite nel limite termodinamico.
Utilizzando i due parametri introdotti precedentemente, possiamo denire come
unico parametro di controllo il prodotto gJ . Studieremo la dinamica del sistema
al variare di tale parametro. Se la matrice J fosse simmetrica (Jij = Jji ), si
avrebbe una dinamica di rilassamento di tipo gradiente :
ḣ = −∇ (E (h)) ,
(3.7)
dove h è un vettore N-dimensionale che rappresenta lo stato della rete e E è
l'energia del sistema. L'energia ha la seguente forma:
Z hi
N
N X
1X
0
0
Jij φ (hi ) φ (hj ) +
φ (hi ) hi −
φ (h ) dh ,
E=−
2 i,j=1
0
i=1
(3.8)
e i suoi minimi locali individuano i punti ssi stabili della dinamica [7]. Possiamo
osservare che il secondo termine si annulla nel limite g → ∞. In questo limite lo
Modello a tempo continuo
33
stato Si del neurone può essere +1 o −1 e ritroviamo l'espressione dell'energia
valida per i vetri di spin. Nel nostro caso, invece, l'elemento Jij è in generale
diverso da Jji e la matrice J non ha simmetrie, dunque non si ha una dinamica di
rilassamento. La dinamica asintotica (t → ∞) dipende dalla particolare realizzazione della matrice J. Come abbiamo visto nel paragrafo 2.2.2, anche in questo
caso è possibile fare una media sulle relizzazioni del disordine ed ottenere, nel
limite termodinamico (N → ∞), una dinamica tipica del sistema. Il comportamento asintotico del sistema 3.4 è stato studiato per mezzo della teoria di campo
medio dinamica, sviluppata nell'ambito dei vetri di spin[6],[12]. Le ipotesi su cui
si basa la teoria sono le seguenti:
hSi (t)Sj (t + τ )i = δij hSi (t)Si (t + τ )i ,
(3.9)
hSk (t)Jij i = 0,
dove le variabili Si vengono considerate variabili indipendenti con varianza indipendente dall'indice i, e si trascurano le correlazioni tra gli elementi Jij e le
Si . Si suppone che queste ipotesi diventino valide nel limite N → ∞. Sotto
queste ipotesi possiamo considerare il termine di somma, presente in 3.4, come
un rumore gaussiano a media nulla, dovuto alle possibili realizzazioni di J:
ηi (t) =
N
X
Jij Sj (t).
(3.10)
j=1
Il momento secondo viene denito in base alla funzione di correlazione:
hηi (t)ηl (t + τ )i .
(3.11)
Se riscriviamo l'equazione 3.6 come correlazione:
hJij Jlk i = δil δjk
J2
,
N
(3.12)
Modello a tempo continuo
34
e utilizziamo le ipotesi 3.9 otteniamo per la correlazione 3.11:
*
hηi (t)ηl (t + τ )i =
+
N
X
Jij Jlk Sj (t)Sk (t + τ ) ,
k,j=1
=
N
X
hJij Jlk i hSj (t)Sk (t + τ )i ,
k,j=1
=
=
N
X
k,j=1
δil J 2
δil δjk
J2
δjk hSj (t)Sj (t + τ )i ,
N
hSj (t)Sj (t + τ )i ,
(3.13)
dove nell'ultima uguaglianza j può essere un indice qualunque. Deniamo l'autocorrelazione delle variabili di attività Si come:
C(τ ) = hSj (t)Sj (t + τ )i ,
(3.14)
dove in C non si ha la dipendenza da t perché ipotizziamo di essere in un regime
stazionario. La correlazione del rumore η diventa inne:
hηi (t)ηl (t + τ )i = δil J 2 C(τ ),
(3.15)
dove le varibili η caratterizzate da indici diversi sono diventate variabili indipendenti caratterizzate dalla stessa varianza. Il sistema di equazioni per t → ∞ e
N → ∞ viene ridotto ad un sistema di N equazioni disaccoppiate:
dhi
= −hi (t) + ηi (t).
dt
(3.16)
dove le ηi sono variabili aleatorie indipendenti ed identicamente distribuite. La
soluzione formale di queste equazioni, che hanno la struttura dell'equazione di
Langevin, è data da:
Z
t
0
et −t ηi (t0 ) dt0 .
hi (t) =
(3.17)
−∞
Deniamo l'autocorrelazione del potenziale di membrana del neurone:
∆(τ ) = hhi (t)hi (t + τ )i ,
(3.18)
dove ∆ non riporta l'indice i, perché le proprietà statistiche di hi non dipendono
dall'indice sotto le ipotesi di campo medio. Anche in questo caso ∆ è indipendente da t perché ipotizziamo di essere in un regime stazionario. Ora studiamo
Modello a tempo continuo
35
la relazione che intercorre tra le autocorrelazioni C(τ ) e ∆(τ ). Utilizzando le
equazioni 3.15 e 3.17 scriviamo la 3.18 in forma integrale:
Z
t
Z
t+τ
hhi (t)hi (t + τ )i =
t0 −t t00 −(t+τ )
e
Z
e
−∞ −∞
Z t+τ
t0 −t t00 −(t+τ )
t
=
−∞
−∞
= J 2 e−(2t+τ )
e
Z
t
−∞
e
Z
t+τ
0
00
0
00
ηi (t )ηi (t ) dt dt
,
hηi (t0 )ηi (t00 )i dt0 dt00 ,
0
00
e(t +t ) C(t00 − t0 ) dt0 dt00 ,
(3.19)
−∞
dove abbiamo scambiato l'ordine di integrazione, svolgendo prima le integrazioni
sulla distribuzione dei Jij e poi le integrazioni temporali. Le integrazioni temporali sono formali, dato che per il momento C è una funzione generica. La
funzione C è presente in 3.19 sotto il segno di integrale. Svolgendo delle operazioni di derivazione su ∆ rispetto alla variabile τ è possibile portare la funzione
C all'esterno dell'operazione di integrazione: osserviamo che le derivate coinvolgono l'integrale con estremo (t + τ ). Questo risultato si ottiene nella derivata
seconda di ∆, sfruttando la seguente integrazione formale per parti:
Z
t
t0 dC
e
−∞
dτ
0
0
Z
t
t
(t + τ − t ) dt = −e C(τ ) +
0
et C(t + τ − t0 ) dt0 ,
(3.20)
−∞
che consente alcune semplicazioni che portano a:
d2 ∆
= J 2 e−(2t+τ )
dτ 2
Z
t
Z
−∞
t+τ
0
00
e(t +t ) C(t00 − t0 ) dt0 dt00 − J 2 C(τ ).
(3.21)
−∞
Si ottiene, inne, la seguente equazione per la variabile ∆ :
∆ (τ ) −
d2 ∆
= J 2 C (τ ) ,
2
dτ
(3.22)
che ne descrive l'evoluzione in funzione della variabile τ . In questa equazione
C(τ ) è una funzione generica. Per chiudere l'equazione è necessario esprimerla
in termini di ∆. Riscriviamo l'equazione 3.14:
C (τ ) = hφ (hj (t)) φ (hj (t + τ ))i ,
(3.23)
dove la correlazione è valutata sulla distribuzione dei Jij . Utilizzando l'equazione 3.17 è possibile valutare la correlazione 3.23 sulla distribuzione del rumore
Modello a tempo continuo
36
gaussiano η . Questa operazione è valida se le ipotesi di scorrelazione 3.9 sono
vericate. In questo modo è possibile esprimere C in funzione di ∆. L'equazione
che descrive la dinamica di ∆ viene ridotta alla seguente:
1
V (∆) = − ∆2 +
2
2
d∆
dV
,
= −
2
dτ
d∆
Z
+∞
Z
+∞
1/2
DxΦ (∆(0) − |∆|)
Dz
−∞
1/2
x + |∆|
z
2
,
−∞
(3.24)
dove il fattore dierenziale, che rappresenta la misura gaussiana, e la funzione Φ
sono deniti da:
exp (−z 2 /2)
p
,
(2π)
Z x
ln (cosh (gJx))
Φ (x) =
dyφ (y) =
.
gJ
0
Dz = dz
(3.25)
L'equazione 3.24 rappresenta un moto unidimensionale determinato dal potenziale newtoniano V (∆). La soluzione ∆(τ ) deve essere una funzione pari se
ipotizziamo che l'autocorrelazione dipenda solo dalla separazione temporale:
∆ (−τ ) = ∆ (τ ) ,
d∆
(0) = 0,
dτ
(3.26)
questo implica che l'orbita debba avere energia cinetica iniziale nulla. Inoltre
la soluzione deve essere limitata se ipotizziamo che l'autocorrelazione decresca
all'aumentare della separazione temporale:
|∆(τ )| ≤ ∆(0).
(3.27)
Il potenziale V è denito parametricamente dal valore ∆(0), dunque è un potenziale autoconsistente, nel senso che deve determinare una soluzione ∆(τ ) consistente con il valore del parametro. Il parametro gJ determina la forma del
potenziale e quindi il tipo di soluzione. Per gJ < 1 il potenziale ha la forma
indicata in gura 3.1 per ogni valore del parametro ∆(0). L'unica traiettoria che
rispetta i vincoli è ∆(τ ) ≡ 0. Questo implica che il sistema 3.4 abbia un punto
sso h = 0. Un'analisi di stabilità lineare del sistema porta a concludere che tale
punto sso è stabile. Nel caso gJ < 1 l'unico attrattore è il punto sso h = 0.
Modello a tempo continuo
37
Figura 3.1: Forma caratteristica del potenziale V (∆) per i valori del parametro gJ < 1. Il
punto sulla curva rappresenta l'unica soluzione limitata.
Figura 3.2: Forma caratteristica del potenziale V (∆) per i valori del parametro gJ > 1 e
0 < ∆(0) < ∆1 . Il punto sulla curva rappresenta una generica condizione iniziale
per l'energia.
Nel caso gJ > 1 la forma del potenziale non è unica ma dipende dal valore
assunto da ∆(0). Esiste un valore ∆1 (gJ) tale che nell'intervallo 0 < ∆(0) < ∆1
il potenziale assume la forma mostrata in gura 3.2. In tale caso le soluzioni
sono orbite periodiche. Se ∆(0) > ∆1 il potenziale ha la forma mostrata in gura 3.3. In questo caso la soluzione con energia più bassa, indicata con a in
gura 3.3, corrisponde ad una soluzione di punto sso non nullo per il sistema
3.4. Le soluzioni ∆(τ ) ad energia negativa, indicate con b, sono orbite periodiche,
mentre le soluzioni ad energia positiva sono oscillazioni intorno all'origine, indicate dalla lettera c. La soluzione ad energia nulla, indicata con d, rappresenta
una soluzione che si avvicina asintoticamente all'origine per τ → ∞. Lo studio
della stabilità di queste soluzioni mostra che nessuna delle precedenti soluzioni
Modello a tempo discreto
38
Figura 3.3: Forma caratteristica del potenziale V (∆) per i valori del parametro gJ > 1 e
∆(0) > ∆1 . Le lettere a,b,c,d indicano le energie corrispondenti a vari tipi di
soluzione.
è stabile, tranne quella di energia nulla. In questo caso l'andamento a zero della funzione di autocorrelazione indica che la traiettoria corrispondente per 3.4
è caotica. Utilizzando un'analisi relativa all'esponente di Lyapunov massimo, è
stato dimostrato che la soluzione caotica è l'unica soluzione stabile del sistema
3.4, per gJ > 1. La teoria di campo medio e l'analisi di stabilità forniscono,
dunque, una descrizione qualitativa degli attrattori del sistema per N → ∞. Lo
spettro di Liapunov di questo sistema non è stato studiato, ma ci sono degli indizi
teorici che fanno ipotizzare che il numero di esponenti di Lyapunov positivi fosse
macrosopico, cioè proporzionale ad N . Le simulazioni numeriche eseguite dagli
autori, condotte ad N nito (no ad una taglia N = 1000), hanno confermato i
risultati teorici relativi agli attrattori. Si aerma, inoltre, che ad N nito esiste
un intervallo di valori del parametro, all'interno del quale l'attrattore è un orbita
periodica. Questo intervallo separa una fase, che ha come attrattore un punto
sso, da una fase in cui l'attrattore è caotico. Al crescere di N questo intervallo
si restringe e si ritrova la transizione di fase per gJ = 1.
3.2 Modello a tempo discreto
Il modello a tempo discreto è dovuto a Cessac et al. [17]. Tale modello trae
la sua origine dal modello di Sompolinsky, ma ci sono alcune dierenze fonda-
Modello a tempo discreto
39
mentali. Il modello descrive la dinamica di una rete di N neuroni globalmente
connessi. Lo stato del neurone i-esimo viene rappresentato da un variabile continua xi , che rappresenta l'attività del neurone(tasso di sparo ). Le variabili xi
sono denite nell'intervallo [0, 1]. La dinamica viene descritta da una mappa,
dunque l'evoluzione avviene a tempo discreto:
xi (t + 1) = f
N
X
!
Jij xj (t) − θi
,
(3.28)
j=1
dove Jij sono gli elementi della matrice di ecienze sinaptiche e i parametri θi rappresentano le soglie di potenziale del neurone i-esimo. La funzione di guadagno
f è scelta di classe C ∞ e invertibile, inoltre deve soddisfare i vincoli:
lim f (x) = 1,
x→+∞
lim f (x) = 0.
x→−∞
(3.29)
Nelle simulazioni numeriche abbiamo adottato la seguente:
1
f (x) = [1 + tanh(gx)],
2
(3.30)
dove g è un parametro di controllo, vedi gura 1.7. Le variabili xi sono analoghe
alle variabili Si denite nel modello SCS, a parte l'intervallo di denizione delle
variabili. La matrice J non è simmetrica e i suoi elementi di matrice Jij sono
variabili casuali indipendenti e identicamente distribuite. Le simulazioni numeriche sono state svolte utilizzando una distribuzione gaussiana caratterizzata da
media e varianza:
J¯
hJij i = ,
(3.31)
N
J2
(Jij − hJij i)2 =
,
(3.32)
N
denite dai parametri J¯ e J . Il fattore 1/N presente nel termine di media è dovuto
alla sommatoria presente in 3.28. Il valor medio di tale termine, nell'ipotesi che
le Jij siano indipendenti dalle xi , è di ordine hJij i N dato che le varibili xi sono
di ordine uno. Il fattore 1/N rende il termine di somma di ordine uno nel limite
N → ∞, altrimenti si avrebbe una dinamica banale in cui gli stati delle variabili
xi sono 0 o 1. La presenza dello stesso fattore nella varianza ha una ragione
simile, serve a garantire che la varianza del termine di sommatoria resti di ordine
Modello a tempo discreto
40
uno nel limite termodinamico, come abbiamo già notato nel modello SCS. Il
sistema può essere studiato utilizzando una teoria dinamica di campo medio,
dove la distribuzione dei Jij è arbitraria, sebbene rispetti i precedenti vincoli di
media e varianza. Non imponiamo Jii = 0, perché nel limite termodinamico il
contributo dovuto a questo termine è trascurabile. Le soglie θi sono variabili
casuali gaussiane indipendenti e identicamente distribuite caratterizzate da:
hθi i = θ̄,
(3.33)
(θi − hθi i)2 = σθ2 .
(3.34)
3.2.1 Teoria dinamica di campo medio
Il sistema dinamico descritto dall'equazione 3.28 ha un carattere aleatorio,
dovuto alle distribuzioni di probabilità degli elementi di matrice Jij e delle soglie θi . L'evoluzione delle variabili xi (t) dipende dalla realizzazione della rete
e delle soglie. Utilizzando questo approccio, possiamo ottenere una evoluzione
temporale in cui si considerano le varie realizzazioni del disordine. In questo
modo le variabili xi risultano essere caratterizzate da una distribuzione di probabilità funzione del tempo. Questa distribuzione di probabilità è determinata
dall'evoluzione del sistema 3.28 e dalle distribuzioni di probabilità degli elementi
di matrice Jij e delle soglie θi . Nella teoria di campo medio si semplica questa descrizione, in modo che la distribuzione di probabilità dipenda da un'unica
variabile x, che rappresenta lo stato di un qualsiasi neurone. Passiamo concettualmente ad una descrizione del sistema in termini della probabilità P (x, t) che
un neurone qualunque occupi lo stato x al tempo t. Questo approccio è utile per
determinare i punti ssi stabili del sistema, ma fornisce utili informazioni anche
quando la struttura dell'attrattore è più complessa.
Tale teoria si basa su alcune ipotesi di scorrelazione tra le variabili aleatorie
xi , Jij e θi . Le ipotesi riguardanti le variabili xi e Jij sono analoghe alle 3.9
utilizzate nel modello SCS. Riferendoci all'equazione 3.28 osserviamo che le variabili xi (t) sono funzioni dei pesi sinaptici Jij , attraverso la somma pesata, e
dei θi . Questa struttura dell'equazione implica che le variabili aleatorie xi siano
tra loro correlate. Nel limite termodinamico (N → ∞) si può ipotizzare che le
correlazioni tra le variabili xi e i pesi Jij vadano a zero, inoltre si ipotizza che le
Modello a tempo discreto
41
correlazioni tra le variabili xi (t) si annullino. Nella teoria di campo medio si assume che il sistema evolva come se le variabili aleatorie xi (t) fossero indipendenti
fra loro e anche dai Jij . Si assume anche che le soglie θi siano indipendenti dalla
P
somma Nj=1 Jij xj (t) per ogni i. Assumiamo, inoltre, che le varibili xi siano identicamente distribuite. A questo punto lo studio del sistema 3.28 si riconduce allo
studio della distribuzione P (x, t), che rappresenta la probabilità che un neurone
i-esimo sia nello stato x al tempo t. Non riportiamo il pedice i sulla variabile
perché le xi sono identicamente distribuite. Ricordiamo che la variabile x è denita nell'itervallo [0, 1]. È conveniente eseguire un cambiamento di variabile che
riporti tale intervallo a [−∞, +∞]. Il vantaggio di questa trasformazione consiste
nel poter ipotizzare che la nuova variabile abbia una distribuzione Gaussiana.
Eseguiamo il seguente cambiamento di variabile sulle xi :
ui (t) = f −1 (xi (t)),
(3.35)
dove f −1 è la funzione inversa di f . La dinamica di ui evolve secondo il sistema:
ui (t + 1) =
N
X
Jij f (uj (t)) − θi .
(3.36)
j=1
Le variabili ui descrivono il potenziale di membrana del neurone, quindi sono
analoghe alle variabili hi del modello SCS. Anche nel modello a tempo discreto
ci concentriamo sullo studio del potenziale per descrivere la dinamica del sistema.
Le variabili ui sono variabili aleatorie che, in base alle ipotesi fatte sulle xi , si
assumono indipendenti e identicamente distribuite. Allo stesso modo ipotizziamo
P
l'indipendenza tra le ui e le Jij e tra la somma Nj=1 Jij f (uj (t)) e le soglie θi .
Sotto tali ipotesi e in base al teorema del limite centrale, il termine di somma
diventa una variabile gaussiana per N → ∞. Nella somma, infatti, sono presenti i
prodotti Jij f (uj (t)), che possono essere considerati indipendenti e identicamente
distribuiti.
Possiamo utilizzare l'equazione 3.36 per formulare una ipotesi di auto-consistenza.
L'ipotesi consiste nel considerare le varibili ui distribuite secondo una Gaussiana. Essa si basa sull'osservazione che ad ogni istante le ui sono determinate
dalla dierenza di due variabili gaussiane, ricordiamo che le soglie sono varibili
gaussiane. La semplicazione portata dalla sostituzione di variabile consiste nel
Modello a tempo discreto
42
passaggio dalla distribuzione P (x, t) ad una distribuzione gaussiana per le varibili ui , che è caratterizzata dai primi due momenti della distribuzione. Nel caso
del sistema 3.28 non possiamo ipotizzare per la P una distribuzione Gaussiana
a causa della presenza della funzione f , che ha il termine di somma come suo
argomento. La media e la varianza di ui (t) sono indicate da µN (t) e da νN (t),
dove il pedice N indica la taglia del sistema. Nel limite termodinamico avremo
le variabili senza pedice µ(t) e ν(t). Queste due quantità sono sucienti per descrivere una distribuzione Gaussiana. Sotto tali ipotesi è possibile determinare
la media di un'osservabile del sistema. D'ora in poi eliminiamo il pedice i in ui ,
dato che esse sono variabili indipendenti e identicamente distribuite. Indichiamo con O = O(u) una qualunque osservabile del sistema, integrabile rispetto
alla misura gaussiana. Sotto le ipotesi di campo medio il valore di aspettazione
dell'osservabile è dato da:
Z
hO(u(t))iN =
+∞
−∞
Z
+∞
=
−∞
[h − µN (t)]2
p
exp −
dh
2νN (t)
2πνN (t)
p
2
O(h νN (t) + µN (t))
h
√
exp −
dh,
2
2π
O(h)
(3.37)
dove il pedice N indica la taglia nita del sistema. Nel limite termodinamico
abbiamo:
Z
lim hO(u(t))iN =
N →∞
+∞
−∞
p
2
O(h ν(t) + µ(t))
h
√
exp −
dh.
2
2π
(3.38)
Possiamo scegliere come osservabili il momento primo mN (t) e il momento secondo qN (t) della distribuzione di probabilità delle variabili xi :
Z
+∞
mN (t) =
−∞
+∞
Z
qN (t) =
−∞
p
2
f (h νN (t) + µN (t))
h
√
exp −
dh,
2
2π
p
2
f 2 (h νN (t) + µN (t))
h
√
exp −
dh,
2
2π
(3.39)
dove abbiamo usato la denizione riportata in equazione 3.35. Vogliamo determinare un'equazione dinamica nel limite termodinamico per le quantità m(t) e
q(t). A tal ne determiniamo prima le equazioni per µN (t) e ν(t). Utilizzando le
precedenti denizioni e le ipotesi di scorrelazione, è possibile calcolare la media
Modello a tempo discreto
43
e la varianza della variabile u(t) :
*
N
X
µN (t + 1) =
Jij xj (t) − θi
!+
,
j=1
= N hJij i hxj (t)i − hθi i ,
¯ N (t) − θ̄,
= Jm
(3.40)
che nel limite termodinamico diventa:
¯
µ(t + 1) = Jm(t)
− θ̄.
(3.41)
L'equazione per la varianza è data da:
N
X
νN (t + 1) = σ 2
!
Jij xj (t) − θi ,
j=1
= N σ (Jij xj (t)) + σθ2 ,
J¯2 = J 2 qN (t) +
qN (t) − mN (t)2 + σθ2 ,
N
2
(3.42)
dove mN (t) e qN (t) appartengono all'intervallo [0, 1] per ogni valore della taglia
N. Nel limite termodinamico abbiamo:
ν(t + 1) = J 2 q(t) + σθ2 .
(3.43)
Riassumendo, abbiamo ottenuto le due equazioni dinamiche:
¯
µ(t + 1) = Jm(t)
− θ̄,
ν(t + 1) = J 2 q(t) + σθ2 .
(3.44)
Utilizzando queste ultime all'interno dell'equazione 3.39, otteniamo una mappa
che descrive la dinamica per il momento primo e secondo della distribuzione degli
xi (t) nel limite termodinamico:
Z
+∞
m(t + 1) =
−∞
+∞
Z
q(t + 1) =
−∞
p
¯
− θ̄) (−h2 /2)
f (h J 2 q(t) + σθ2 + Jm(t)
√
e
dh, ,
2π
p
¯
f 2 (h J 2 q(t) + σθ2 ) + Jm(t)
− θ̄) (−h2 /2)
√
e
dh, (3.45)
2π
Modello a tempo discreto
44
le variabili m(t) e q(t) sono denite all'interno dell'intervallo [0, 1]. Con la stessa
procedura è possibile determinare l'evoluzione dinamica anche degli altri momenti della distribuzione; per ora ci arrestiamo ai primi due. Lo studio svolto dagli
autori si era concentrato al caso in cui J¯ = 0. In questo caso le due equazioni
precedenti si disaccoppiano:
Z
+∞
m(t + 1) = Φ(q(t)) =
Z
−∞
+∞
q(t + 1) = Γ(q(t)) =
−∞
p
f (h J 2 q(t) + σθ2 − θ̄) (−h2 /2)
√
e
dh, ,
2π
p
f 2 (h J 2 q(t) + σθ2 ) − θ̄) (−h2 /2)
√
e
dh, (3.46)
2π
e la dinamica del sistema si riduce alla dinamica della mappa unidimensionale:
q(t + 1) = Γ(q(t)). I punti ssi della mappa di campo medio si determinano dallo
studio di:
Z
+∞
q = Γ(q) =
−∞
p
2
f 2 (h J 2 q + σθ2 ) − θ̄)
h
√
exp −
dh,
2
2π
(3.47)
dove l'integrale non può essere svolto analiticamente, a causa delle proprietà della
funzione tangente iperbolica. Gli studi eettuati dagli autori e nel presente lavoro
di tesi si basano su una risoluzione numerica dell'integrale indicato nell'equazione
3.47. La distribuzione dei punti ssi stabili della mappa di equazione 3.28 viene
descritta, almeno per quanto riguarda momento primo e secondo, dai punti ssi
stabili dell'equazione 3.47.
Quando nella mappa 3.28 abbiamo un attrattore diverso dal punto sso (ad
esempio cicli limite o attrattori caotici), la mappa di campo medio 3.47 non è
più suciente nella descrizione di tali attrattori. In tali casi, infatti, la mappa
di campo medio descrive, per t → ∞, una variabile che rappresenta la media di
insieme degli stati che rappresentano l'attrattore. Questo comporta la perdita
dell'informazione relativa al tipo di attrattore posseduto dal sistema. Bisogna
sottolineare che l'eventuale presenza di più punti ssi stabili nella mappa di
campo medio indica una rottura di ergodicità nel sistema.
Gli autori hanno studiato la mappa 3.47 nel caso σθ = 0 e J = 1. L'ultima
condizione non implica una perdita di generalità, perché i parametri fondamentali
del sistema sono i prodotti: gJ e θ̄/J . Ora la mappa dipende solo da due
parametri: g e θ̄. Si trova che la funzione Γ(q) è strettamente crescente, dunque
ammette solo punti ssi. Le biforcazioni della mappa vengono studiate ssando
Modello a tempo discreto
45
un valore di θ̄ e variando g . Il regime scelto è quello in cui il parametro θ̄ è
positivo. Per valori negativi si trova che la mappa possiede sempre un punto
sso e non presenta biforcazioni.
Nel caso di θ̄ > 0 si osserva che il sistema possiede sempre un punto sso
stabile. Variando il parametro g la mappa può avere una biforcazione del tipo
nodo-sella. Si passa da un punto sso stabile a due punti ssi stabili ed uno
instabile. L'andamento di Γ(q) quando θ̄ = 0.347 è rappresentato in gura 3.4:
Figura 3.4: La funzione Γ(q) nel caso θ̄ = 0.347. La curva superiore corrisponde al valore
g = 3.5, quella centrale a g = 3.8 e quella inferiore a g = 4.5. Nel box è indicato il
caso g = 3.5.
le curve corrispondenti a g = 3.5 e g = 4.5 indicano la presenza di un punto
sso stabile, per g = 4.5 l'intersezione con la bisettrice non è visibile; mentre
il caso per g = 3.8 indica la presenza di due punti ssi stabili e di un punto
sso instabile, dunque è presente una biforcazione di tipo nodo-sella. È possibile realizzare dei diagrammi di biforcazione per la variabile m e q , in cui sono
rappresentati i punti ssi stabili in funzione del parametro g , come il seguente,
realizzato per θ̄ = 0.2 : Il parametro θ̄ possiede due valori critici, θ̄ ∼
= 0.1 e
∼
θ̄ = 0.385, al di sotto e al di sopra dei quali non si hanno biforcazioni nodo-sella
ma solo un punto sso stabile. I risultati ottenuti si riassumono in un diagramma
nel piano (θ̄, g) dove sono rappresentati i due regimi e le curve critiche, indicate
con gsd1 e gsd2 .
Modello a tempo discreto
46
Figura 3.5: Biforcazione nel caso θ̄ = 0.2. Sono mostrati i punti ssi stabili in funzione del
parametro g .
Figura 3.6: Diagramma di biforcazione nel piano (θ̄, g), sono indicate le curve critiche gsd1 e
gsd2 .
Nella regione 1 è presente un punto sso stabile, mentre nella regione 2 si
hanno due punti ssi stabili e un punto sso instabile, l'attraversamento delle
curve critiche corrisponde alla transizione nodo-sella. L'area delimitata dalle due
linee verticali indica una regione in cui, pensando ad un parametro g crescente,
si ha una biforcazione nodo-sella seguita da una inversa, inne si ha un'ultima
biforcazione nodo-sella. La regione 2 nello spazio dei parametri è una regione
in cui si ha una rottura di ergodicità nel sistema. Le simulazioni eettuate
dagli autori sul sistema N dimensionale si riferiscono ad una taglia del sistema
N = 100. Le simulazioni consistono nel tentativo di riprodurre i graci del tipo
Modello a tempo discreto
47
di gura 3.5, attraverso la variabile mnet denita da:
mnet
N
1 X
=
xi .
N i=1
(3.48)
I valori di xi sono stati determinati facendo evolvere il sistema, dopo che sia
trascorso un numero di iterazioni transitorio, trascorso il quale il sistema si trova
su un attrattore. Al ne di eettuare una media sulle realizzazioni della matrice
J, sono state utilizzate 30 realizzazioni diverse della matrice. Tali simulazioni
numeriche sono in accordo solo parziale con le aermazioni fatte utilizzando il
campo medio. Dalle simulazioni a taglia nita si conclude che il sistema non ha
come attrattori solo i punti ssi.
3.2.2 Analisi di stabilità dei punti ssi
La teoria di campo medio esposta precedentemente non è suciente a descrivere gli attrattori del sistema, quando questi sono diversi dal punto sso. Quando
il sistema è in una regione dei parametri nella quale, per ogni realizzazione del
disordine, si raggiunge un punto sso, allora anche la dinamica di campo medio
raggiungerà un punto sso. Non è vero il contrario, un punto sso stabile della
mappa di campo medio non implica che l'attrattore corrispondente del sistema
sia un punto sso. Si potrebbero avere cicli limite o attrattori caotici. La teoria
di campo medio, però, può essere utilizzata per studiare la stabilità dei punti
ssi del sistema, perché fornisce i momenti della distribuzione dei punti ssi del
sistema. Come abbiamo visto la distribuzione dei punti ssi può anche non essere
unica. In questo senso il campo medio viene usato per descrivere la statica del
sistema e non la sua dinamica. Ricordiamo che ogni studio basato sul campo
medio implica che il sistema venga trattato nel limite termodinamico N → ∞.
Assumiamo che J¯ = 0. Eettuiamo una analisi di stabilità lineare dei punti ssi
[20],[23] della mappa di Eq.(3.13). La matrice Jacobiana associata alla mappa,
calcolata nel punto sso x∗ , si scrive come il prodotto di due matrici:
D(x∗ ) = 2gΛ(x∗ )J,
(3.49)
dove Λ è una matrice diagonale di componenti:
Λij (x∗ ) = (x∗i − x∗2
i )δij ,
(3.50)
Modello a tempo discreto
48
Un punto sso è stabile quando il raggio spettrale della matrice D(x∗ ) è strettamente inferiore ad uno. Esiste un valore critico del parametro di controllo gc corrispondente alla destabilizzazione dei punti ssi stabili, tale valore è determinato
da:
2gc ρ(Λ(x∗ )J) = 1,
(3.51)
dove ρ indica il raggio spettrale. La matrice random che studiamo è:
Y = Λ(x∗ )J,
Yij = (x∗i − x∗2
i )Jij ,
(3.52)
denita a partire dalla matrice casuale J e dal vettore casuale di soglie θi . Utilizziamo anche in questo caso le stesse ipotesi di scorrelazione della teoria di campo
medio. Le variabili casuali Yij diventano identicamente distribuite secondo una
distribuzione caratterizzata da media e varianza:
hYij i = 0,
J2 ∗
2
[(xi − x∗2
(3.53)
(Yij − hYij i)2 =
i ) ] .
N
Gli elementi di matrice Yij non sono tra loro indipendenti, si ha una indipendenza
solo tra le righe della matrice J. Se tali elementi fossero indipendenti, il raggio
spettrale della matrice Y si potrebbe valutare nel limite termodinamico grazie al
teorema di Girko[11]. Nonostante questo il teorema di Girko viene utilizzato. Si
verica numericamente che il raggio spettrale di matrici come la Y sia in accordo
con il teorema di Girko [17]. Sono stati compiuti anche altri studi numerici
riguardanti le matrici random nel campo dell'analisi di reti neurali[22].
Il teorema di Girko aerma che se A è una matrice di dimensione N con
elementi indipendenti ed identicamente distribuiti, tali che:
hAij i = 0,
σ2
(Aij − hAij i)2 =
,
(3.54)
N
allora nel limite termodinamico (N → ∞) il raggio spettrale è dato da σ . In
eetti il teorema di Girko dà ulteriori informazioni sulla densità spettrale degli
autovalori nel piano complesso, ma qui non approfondiamo oltre. Utilizzando
questo teorema otteniamo il raggio spettrale della matrice Y:
q
2
ρ(Y) = J h[(x∗i − x∗2
i ) ]i,
(3.55)
Modello a tempo discreto
49
dove la media viene eseguita utilizzando la teoria di campo medio, in questo caso
non sono più sucienti i primi due momenti della distribuzione:
∗
2
[(xi − x∗2
i ) ] = q − 2M3 + M4 ,
Z
+∞
Mk =
−∞
p
2
f k (h J 2 q + σθ2 ) − θ̄)
h
√
dh, k = 3, 4.
exp −
2
2π
(3.56)
Inne il raggio spettrale della matrice Jacobiana D(x∗ ) è dato da:
ρ(D(x∗ )) = 2gJ
p
q − 2M3 + M4 ,
(3.57)
dove dobbiamo usare la soluzione di punto sso stabile della variabile q in funzione del parametro g : q = q(g); per ottenere ρ = ρ(g). Ricordiamo che la funzione
q = q(g), come anche m = m(g), possono non essere uniche. L'equazione che
determina il valore critico di g in cui si ha la destabilizzazione dei punti ssi
stabili è allora:
4g 2 J 2 (q(g) − 2M3 (g) + M4 (g)) = 1.
(3.58)
Utilizzando i valori delle soluzioni di questa equazione al variare di θ̄, ssando J =
1 e σθ = 0, otteniamo una nuova curva nel piano (θ̄, g). Tale curva viene indicata
con gdest , essa separa una zona dei parametri in cui si hanno come attrattori
punti ssi da un'altra in cui sono presenti attrattori caotici. Questa aermazione
non è stata vericata da simulazioni numeriche nel lavoro originale, l'esecuzione
di tali simulazioni numeriche costituisce una parte del presente lavoro di tesi.
Attraverso le simulazioni numeriche è possibile vericare tutta una serie di ipotesi
semplicatrici che ci hanno condotto al presente quadro teorico. Il diagramma
di fase ricavato teoricamente nel limite di N → ∞ è riportato in gura 3.7, dove
sono visibili le tre curve di biforcazione gsd1 , gsd2 e gdest . La curva gdest indica
una biforcazione di Hopf, attraverso la quale si passa da un punto sso stabile ad
un attrattore caotico. Le due linee verticali indicano l'intervallo di valori della
soglia 0.1 < θ̄ < 0.385 all'interno del quale il campo medio ha biforcazioni di tipo
nodo-sella. Le quattro zone colorate indicano il tipo di attrattore presente. La
zona arancione chiaro indica la presenza di un punto sso stabile, mentre quella
arancione scuro la presenza di due punti ssi stabili. La zona verde indica la
presenza di un attrattore caotico, in quella azzurra è presente sia un attrattore
caotico che un punto sso stabile.
Modello a tempo discreto
50
Figura 3.7: Diagramma di fase nel piano (θ̄, g) nel caso J = 1, J¯ = 0 e σθ = 0. Le curve gsd1 e
gsd2 indicano le biforcazioni nodo-sella di campo medio, mentre gdest è la curva di
destabilizzazione dei punti ssi. Le curve verticali rappresentano gli asintoti delle
curve gsd . I vari numeri e colori indicano il tipo di attrattore: l'arancione chiaro e
(1) indicano un punto sso, l'arancione scuro e (4) indica due punti ssi stabili, il
verde e (2) un attrattore caotico, l'azzuro e (3) un attrattore caotico e un punto
sso.
Capitolo 4
Dinamica di un modello a tempo
discreto
Questo capitolo è dedicato ad un'analisi numerica del modello microscopico
3.28. In questo modo ci ripromettiamo di testare la correttezza della teoria di
campo medio. Gli obiettivi principali sono lo studio della dinamica microscopica
e collettiva della rete. La dinamica microscopica viene studiata per mezzo degli
esponenti di Lyapunov, i quali determinano le caratteristiche degli attrattori del
sistema. La dinamica collettiva della rete viene, invece, caratterizzata studiando l'evoluzione temporale di opportuni campi medi (dove per media si intende
una media di insieme sugli stati istantanei dei singoli oscillatori). In particolare
si intende studiare la possibile nascita di dinamiche collettive `non banali' del
sistema. Per `non banale' si intendono oscillazioni delle variabili macroscopiche
in presenza di una dinamica microscopica caotica. Infatti, in tali condizioni si
sarebbe portati ad ipotizzare che i singoli oscillatori evolvono in maniera completamente scorrelata (a causa del caos deterministico). Invece, studi fatti su
modelli astratti di mappe accoppiate hanno mostrato che anche in queste condizioni è possibile l'esistenza di moti collettivi [8]. Inoltre, è presumibile che nel
cervello siano presenti varie dinamiche su diversi livelli di risoluzione.
Il capitolo è organizzato in cinque sezioni.
Nella prima, gli attrattori del campo medio sono studiati inizialmente in
modo qualitativo. Variando g da 0 a 10 si osservano la nascita di comportamenti
periodici, quasiperiodici e caotici. Successivamente, nel caso J¯ = 0, vengono
51
52
studiate le uttuazioni temporali della variabile di campo medio in funzione del
parametro di controllo g . La natura di tali uttuazioni permette di determinare
l'eventuale presenza di una dinamica collettiva. Questa analisi viene condotta
per vari valori della taglia del sistema. In questo modo è possibile estrapolare
l'informazione riguardante la dinamica collettiva nel limite termodinamico. Il
risultato di tali analisi è che il moto collettivo è presente per valori niti della
taglia. Nel limite termodinamico, invece, esso tende a zero.
La seconda sezione è dedicata allo studio dell'attività media dei singoli neuroni. L'attività temporale media di ogni neurone viene utilizzata al ne di caratterizzare la struttura dell'attrattore del sistema. I neuroni sono etichettati da un
indice che è sostanzialmente arbitrario. Risulta conveniente ordinare i neuroni
in base alla loro attività media. L'ordinamento risultante dipende ovviamente dal parametro di controllo g (con N e J ssati). Allo scopo di confrontare
ordinamenti e quindi strutture diverse, introduciamo una variabile che misura opportunamente la distanza tra gli ordinamenti corrispondenti a due valori diversi
di g . Lo studio di reti con taglie diverse suggerisce che, nel limite termodinamico,
l'ordinamento e quindi la struttura varia poco (al massimo del 6% variando g da
2 a 10).
Per J¯ = 0, le equazioni di campo medio si riducono ad una mappa unidimensionale (che è l'unico caso studiato no ad ora [17]) che coinvolge solo la
variabile q . In questo caso si trova che la mappa possiede come attrattori solo
dei punti ssi. La terza sezione riguarda lo studio della dinamica di campo medio
per J¯ 6= 0; in questo caso la mappa rimane bidimensionale e coinvolge due variabili, m e q . Una ulteriore complicazione è che l'iterazione della mappa richiede
il calcolo di due integrali che devono essere svolti necessariamente in modo numerico. A dierenza del caso studiato in [17] troviamo anche orbite di periodo
due. Lo studio successivo della dinamica microscopica ci porta a concludere che
la dinamica collettiva di periodo due è relativamente banale. Infatti, si trova che
ogni neurone segue un'orbita di periodo due esso stesso. Questo signica che i
neuroni sono tutti mutuamente sincronizzati.
La quarta sezione tratta lo studio degli esponenti di Lyapunov del sistema
partendo dalla denizione dei medesimi. Lo studio dell'esponente di Lyapunov
massimo in funzione del parametro di controllo g (e con gli altri valori dei parametri scelti come nelle sezioni precedenti) permette di identicare in maniera
Dinamica di campo medio
53
accurata le varie biforcazioni e transizioni (da punto sso a dinamica quasiperiodica e la nascita del comportamento caotico). Inoltre si trova che l'esponente di
Lyapunov massimo rimane nito nel limite termodinamico. Estendendo il calcolo
a tutto lo spettro degli esponenti di Lyapunov, si trova anche che il numero di
esponenti positivi cresce con la taglia del sistema. Inoltre, lo studio dello spettro
per diverse realizzazioni della matrice delle connessioni J mostra una dipendenza degli esponenti di Lyapunov dalla realizzazione del disordine. Si trova, però,
che nel limite termodinamico queste uttuazioni tendono a scomparire. Quindi è
ragionevole ipotizzare che nel limite termodinamico lo spettro di Lyapunov automedi. L'ultima parte della quarta sezione è dedicato allo studio dello spettro di
Lyapunov per una rete in cui le ecienze sinaptiche variano in modo casuale nel
tempo. Gli spettri risultano sostanzialmente equivalenti a quelli medi ottenuti
in una rete con disordine congelato. Questo risultato conferma indirettamente la
validità delle ipotesi di indipendenza statistica fatte nello sviluppo della teoria
di campo medio.
L'ultima sezione è dedicata ad una breve analisi della dinamica caotica al
variare di N . Gli spettri di Lyapunov risultano sovrapposti se vengono plottati
in funzione dell'indice i riscalato per la taglia N del sistema. In altre parole il
caos generato dalla rete neurale risulta essere `estensivo'. Questa è una proprietà
tipica di sistemi dinamici non lineari su reticolo ma del tutto nuova nell'ambito
di sistemi globalmente accoppiati. Una conseguenza della estensività del caos è
che il numero di gradi di liberta attivi, misurati dalla formula di Kaplan-Yorke,
è proporzionale alla taglia del sistema.
I codici dei programmi sono stati realizzati utilizzando il linguaggio di programmazione C in ambiente GNU-Linux.
4.1 Dinamica di campo medio
Studiamo la dinamica del campo medio del sistema 3.28 per i seguenti valori
dei parametri: J = 1, J¯ = 0, σθ = 0, 0.3 e θ̄ = 0. Il campo medio del sistema di
N neuroni è denito da:
N
1 X
xi (t).
m(t) =
N i=1
(4.1)
Dinamica di campo medio
54
La variabile m(t) descrive la dinamica collettiva del sistema. Il primo scopo della
simulazione è quello di ottenere una rappresentazione graca dell'attrattore. Le
simulazioni sono state realizzate ssando la taglia del sistema, una realizzazione
casuale della matrice J ed una condizione iniziale casuale. La mappa viene
iterata per 60000 passi ed in graco vengono scartati i primi 3000 passi, che
rappresentano un intervallo transitorio prima del raggiungimento dell'attrattore.
I graci sono stati realizzati in modo che sui due assi vengano riportati m(t +
1) verso m(t). In questo modo è possibile evidenziare caratteristiche come la
quasiperiodicità o la caoticità. Una volta che la matrice J è stata ssata, si è
vericato che l'attrattore non dipenda dalla condizione iniziale. Nel caso θ̄ =
0 l'attrattore ha come bacino di attrazione l'intero spazio delle congurazioni,
indipendentemente dal parametro g . Nel caso θ̄ = 0.3, in funzione del parametro
g , si possono avere uno o due bacini di attrazione. A taglia nita la forma e anche
il tipo di attrattore può dipendere dalla realizzazione della matrice J. In linea
di principio si possono osservare quattro tipi di attrattore: il punto sso, l'orbita
periodica, l'orbita quasiperiodica e l'orbita caotica. Si ricorda che la mappa
di equazione 3.28 è una versione a tempo discreto del modello SCS. Bisogna
ricordare che un punto sso della mappa può corrispondere ad un punto sso o
ad un orbita periodica nel corrispondente sistema a tempo continuo.
Illustriamo ora qualitativamente la struttura degli attrattori presenti nei vari regimi. L'evoluzione del sistema è stata simulata nel caso θ̄ = 0 per le
taglie:N = 128, 256, 512, 1024. Per ogni valore di N sono stati trovati tre regimi dinamici al crescere di g : punto sso, orbita quasiperiodica e orbita caotica.
Indipendentemente dalla taglia, al di sotto di g = 4 si ha un punto sso della
mappa. Nell'intervallo di valori 4 < g < 6 si hanno come attrattori delle orbite
quasiperiodiche. I graci relativi agli attrattori quasiperiodici e caotici sono riportati nelle gure 4.1, 4.2 e 4.3, per due valori di N . I graci degli attrattori
quasiperiodici sono caratterizzati da curve chiuse. L'eettiva traiettoria salta
in modo discontinuo da un punto all'altro della curva. Nel caso dell'attrattore di gura 4.1, al ne di rappresentare il moto tipico della variabile di campo
medio, si è riportata una sequenza composta da cinque iterate della mappa. Si
può osservare che il moto sull'attrattore è discontinuo. La forma dell'attrattore
quasiperiodico diventa più complessa nel caso di gura 4.2. Si riporta, inne, in
gura 4.3 il graco relativo ad un attratore caotico.
Dinamica di campo medio
55
Figura 4.1: Attrattore quasiperiodico per N = 1024, g = 5, θ̄ = 0, J¯ = 0, σθ = 0. L'attrattore
è rappresentato dalla curva in nero. I punti indicati con i simboli di diamante in
rosso rappresentano una sequenza di 5 iterate della mappa. L'ordine nella sequenza
è indicato dai numeri in rosso.
Figura 4.2: Attrattore quasiperiodico per N = 512, g = 6, θ̄ = 0, J¯ = 0, σθ = 0.
Dinamica di campo medio
56
Figura 4.3: Attrattore caotico per N = 1024, g = 6, θ̄ = 0, J¯ = 0, σθ = 0.
Secondo la teoria di campo medio ci deve essere una biforcazione dal punto
sso ad un attrattore caotico nell'intorno di g = 5 per θ̄ = 0, come viene indicato qualitativamente nel graco 3.7. Qualitativamente questo è stato vericato
simulando il sistema per un valore della taglia N = 1024 e per valori crescenti di
g . Per valori di g superiori a g = 5 l'attrattore quasiperiodico diventa caotico.
Bisogna sottolineare che se la mappa di campo medio, per ssati valori di N ,
possiede un attrattore caotico, questo non implica che tale sia l'attrattore del
campo medio anche per N → ∞. Abbiamo visto nel paragrafo 3.2.1, infatti, che
teoricamente il campo medio ha solo punti ssi stabili.
Dinamica di campo medio
57
Figura 4.4: Scaling per il caso g = 6, θ̄ = 0, J¯ = 0, σθ = 0: ad N = 128 corrisponde il graco
di colore nero, ad N = 256 quello di colore rosso, ad N = 512 quello di colore
verde e ad N = 1024 quello di colore azzurro. L'estensione dell'attrattore decresce
al crescere della taglia.
Le uttuazioni del campo medio, quindi, devono essere un eetto di taglia
nita, sia che rappresentino un attrattore quasiperiodico che un attrattore caotico. Nella simulazione numerica questo deve implicare che all'aumentare della
taglia l'estensione dell'attrattore decresca. Si è studiato questo andamento qualitativo nel caso dell'attrattore caotico per g = 6 all'aumentare della taglia, come
indicato in gura 4.4. Come si può osservare, si ha una eettiva diminuzione
delle uttuazioni all'aumentare della taglia. Se si estrapola questo andamento
per N → ∞ si ottiene che le uttuazioni vanno a zero. Questa conclusione è in
accordo con la teoria. Si sottolinea che gli attrattori ottenuti per i vari valori
delle taglie si riferiscono rispettivamente ad un unica realizzazione di J. Studiando varie realizzazioni di J , ssando la taglia, si è vericato che l'estensione degli
attrattori precedenti è quella caratteristica delle varie taglie.
Scegliendo θ̄ diverso da zero (θ̄ = 0.3) si ritrova sostanzialmente il comportamento dinamico qualitativo del caso θ̄ = 0, con tre tipi di attrattori al crescere di
g . L'intervallo di valori di g in cui si hanno attrattori quasiperiodici diminuisce
al crescere della taglia. Inoltre si osserva che la dimensione dell'attrattore caotico
Dinamica di campo medio
58
Figura 4.5: Scaling per il caso g = 6, θ̄ = 0.3, J¯ = 0, σθ = 0: ad N=128 corrisponde il graco di
colore nero, ad N=256 quello di colore rosso, ad N=512 quello di colore verde e ad
N=1024 quello di colore azzurro. L'estensione dell'attrattore decresce al crescere
della taglia.
diminuisce al crescere della taglia del sistema, vedi gura 4.5. Questo signica
che nel limite termodinamico si ottiene come attrattore un punto sso.
La teoria di campo medio aerma, inoltre, che per g = 6 e θ̄ = 0.3 si devono
avere due attrattori e dunque due bacini di attrazione nello spazio delle congurazioni (vedi il graco 3.7). Fissando una realizzazione della matrice J per
N = 1024 e variando le condizioni iniziali abbiamo trovato due attrattori: un
punto sso ed un attrattore caotico, (vedi gura 4.6). L'attrattore caotico viene
raggiunto ssando i valori iniziali delle xi secondo una distribuzione di probabilità piatta tra 0 e 1, mentre il punto sso viene ottenuto scegliendo gli xi con
una distribuzione piatta tra 0 e 0.01. In base a questi dati, relativi al caso g = 6
e θ̄ = 0, 0.3, nel limite termodinamico l'attrattore caotico sembra diventare un
punto sso.
Al ne di rendere le osservazioni precedenti più quantitative è conveniente
introdurre la varianza dei valori assunti dalla variabile m(t):
2
σm
= (m(t) − hm(t)i)2 ,
(4.2)
Dinamica di campo medio
59
Figura 4.6: I due attrattori nel caso g = 6 e θ̄ = 0.3: punto sso e attrattore caotico.
dove le medie sono temporali. La valutazione della varianza richiede, quindi,
idealmente la conoscenza di m(t) per t → ∞. La variabile σm misura le uttuazioni del campo medio quando il sistema ha raggiunto l'attrattore. Il caso
σm = 0 implica che non ci sono oscillazioni e siamo dunque in presenza di un
punto sso, altrimenti si può essere in presenza di un attratore quasiperiodico o
caotico. La variabile σm è stata determinata numericamente utilizzando 60000
passi di iterazione e scartando un intervallo transitorio di = 3000 iterate.
Al ne di valutare la varianza, una volta ssati il valore di N e la realizzazione
della matrice J, in funzione del parametro di controllo si introduce la funzione
σm (g, N ). L'andamento di tale funzione al crescere di N dà una informazione
quantitativa sulla presenza o meno di dinamica collettiva. La funzione viene
determinata numericamente. La funzione viene calcolata determinando il valore
della 4.2 in funzione del parametro g . I valori di g sono ssati partendo da
un valore minimo gm , il quale viene incrementato a passi costanti pari a ∆g
no ad un valore massimo gM . Per ogni valore di g l'evoluzione del sistema ha
come condizione iniziale lo stato nale ottenuto dall'evoluzione corrispondente
a (g − ∆g). Nel caso di gm la condizione iniziale è scelta in modo casuale. Le
uttuazioni devono dipendere solo dal valore di g e non dalle condizioni iniziali.
Inoltre, non devono dipendere dalla direzione in cui vengono fatti gli incrementi
Dinamica di campo medio
60
Figura 4.7: Graci della funzione σm (g, N ) nel caso N = 1024 e θ̄ = 0 per una realizzazione
di J. Sono presenti due graci, che corrispondono al verso scelto sull'asse g per
determinare i valori della funzione.
∆g . Queste due condizioni si riassumono riferendosi all'assenza del fenomeno di
isteresi. Il fenomeno di isteresi si ha quando i valori della funzione dipendono
dal verso con il quale vengono determinati. Per vericare questa indipendenza
si utilizzano le condizioni nali dell'evoluzione per gM come condizioni iniziali
per la determinazione delle uttuazioni per (gM − ∆g) e cosi via no a gm . In
questo modo si realizzano due funzioni σm (g, N ). Se siamo in presenza di assenza
di isteresi, le due funzioni coincidono e si verica eettivamente l'indipendenza
della funzione dalle condizioni iniziali e dal verso con la quale viene calcolata.
Si riporta in gura 4.7 un esempio in cui la funzione σm (g, N ) viene calcolata,
utilizzando i due versi possibili, per una realizzazione di J e per N = 1024,
θ̄ = 0. Si ricorda, inoltre, che J = 1. Tale graco rappresenta un andamento
tipico per N = 1024. Nell'esempio riportato l'isteresi è quasi assente. I due
graci della funzione σm (g, N ) presentano piccole dierenze per g > 5, dove è
presente il regime caotico. Si osserva che al crescere della taglia, i valori sono
N = 128, 256, 512, 1024, l'isteresi diminuisce no quasi a scomparire.
Una volta che viene ssato il valore di N la funzione σm (g, N ) dipende dalla
realizzazione della matrice J. Al ne di condensare l'informazione che si può
Dinamica di campo medio
61
Figura 4.8: Funzioni σm (g, N ) nel caso θ̄ = 0. In nero è riportato il caso N = 128 con i simboli
di cerchio, in rosso N = 256 con i simboli di quadrato, in verde N = 512 con i
simboli di diamante, in blu N = 1024 con i simboli di triangolo.
ottenere considerando le varie realizzazioni della matrice si denisce la seguente
funzione:
Nr
1 X
σ̄m (g, N ) =
σm,i (g, N ),
Nr i=1
(4.3)
dove Nr è il numero di realizzazioni della matrice J sul quale viene eseguita la
media. Questa funzione è la media sulle realizzazioni della funzione σm (g, N ).
In questo modo la funzione σ̄m (g, N ) rappresenta l'andamento tipico della deviazione standard per un ssato valore di N . Utilizzando la denizione 4.3 e
le osservazioni riguardanti l'isteresi, si possono ottenere due funzioni medie, che
corrispondono ai due versi in cui essa può essere determinata. In questo modo è
possibile fare un controllo di isteresi mediato sulle realizzazioni. Si riportano in
gura 4.8 i graci corrispondenti alle varie taglie per θ̄ = 0. Dove la media per
N = 128 è stata realizzata per Nr = 128, la media per N = 256 per Nr = 64,
la media per N = 512 per Nr = 64 e la media per N = 1024 per Nr = 89.
La presenza dell'isteresi diminuisce progressivamente all'aumentare della taglia
del sistema. Come si può osservare il comportamento collettivo diminuisce al
crescere della taglia.
Dinamica di campo medio
62
Figura 4.9: Scalatura della funzione σ̄m (g, N ) nel caso θ̄ = 0. In graco viene riportato il
√
prodotto σ̄m (g) × N , in nero è riportato N = 128, in rosso N = 256, in verde
N = 512, in blu N = 1024.
È possibile riscalare il valore delle funzioni in modo da cercare un fattore
√
che sia una funzione di N . Si utilizza il fattore N al ne di determinare una
sovrapposizione tra i graci corrispondenti alle diverse taglie. Riportiamo in
gura 4.9 il caso θ̄ = 0. La sovrapposizione indica che la funzione σ̄m (g, N )
√
√
scala con un fattore pari a 1/ N . Il fattore di scala 1/ N viene confermato
per N = 256, 512, 1024, mentre per N = 128 si ha minore compatibilità. Se
questi risultati vengono estrapolati al limite termodinamico N → ∞ la dinamica
√
collettiva tende a zero come 1/ N .
Il secondo caso esaminato è quello di soglia non nulla θ̄ = 0.3 dove le medie
corrispondenti a vari valori di N sono eseguite sullo stesso numero di realizzazioni
tranne nel caso N = 1024 dove la media viene eseguita per Nr = 54. Anche
in questo caso i risultati delle simulazioni sono compatibili con un fattore di
√
scala 1/ N per i valori N = 256, 512, 1024 come riportato in gura 4.10, per
N = 128 si ha minore compatibilità. Per N = 128 si osserva anche la presenza
di isteresi, sottolineamo, però, che questo valore di N è abbastanza piccolo e
Dinamica di campo medio
63
Figura 4.10: Scalatura della funzione σ̄m (g, N ) nel caso θ̄ = 0.3. In graco viene riportato il
√
prodotto σ̄m (g, N ) × N , in nero è riportato N = 128, in rosso N = 256, in verde
N = 512, in blu N = 1024.
Dinamica di campo medio
64
non ci aspettiamo che dia indicazioni signicative per l'andamento nel limite
termodinamico. Abbiamo osservato precedentemente che per θ̄ = 0.3, anche per
valori di g > 5, possiamo avere come attrattore un punto sso che ha un bacino
attrattivo limitato ad un intorno dell'origine. Non si ha evidenza di tale regime
studiando la funzione σ̄m (g, N ). Il motivo può essere il fatto che i graci sono
stati realizzati utilizzando delle condizioni iniziali in cui è poco probabile che
tutte le componenti xi siano prossime all'origine.
I dati rappresentati nelle gure 4.9 e 4.10 danno anche un idea qualitativa del
valore di g in cui si ha la destabilizzazione del punto sso, non forniscono però
una informazione esatta a causa delle operazioni di media. Per avere un'idea
più precisa dei valori di destabilizzazione abbiamo usato un semplice algoritmo
che ricerca il valore di g per il quale σm > 10−5 ; per diverse realizzazioni della
matrice J. Si ottiene un insieme di valori di g dai quali ricaviamo una media
aritmetica e una deviazione standard nei casi θ̄ = 0 e θ̄ = 0.3. Nel caso θ̄ = 0
si sono usati i seguenti valori della taglia: N = 128, 256, 512, 1024. Il numero di
realizzazioni della matrice su cui vengono fatte le medie sono rispettivamente:
Nr = 107, 63, 64, 63. I risultati ottenuti si possono riassumere in gura 4.11, dove
sono riportati il valor medio e le uttuazioni in funzione di N . Si può osservare
che al crescere di N i valori medi si avvicinano al valore gd = 5. Tale valore è
consistente con quello previsto dalla teoria, come si può vedere in gura 3.7. Le
uttuazioni, inoltre, tendono a diminuire al crescere della taglia. Questo implica
che nel limite termodinamico ogni realizzazione della matrice determina lo stesso
valore per gd .
Nel caso θ̄ = 0.3 il sistema è stato simulato per dei valori di N che coincidono
con il caso precedente. Il numero di realizzazioni della matrice su cui vengono
fatte le medie sono rispettivamente: Nr = 118, 126, 64, 64. I risultati ottenuti
si possono riassumere in gura 4.12, dove sono riportati il valor medio e le uttuazioni in funzione di N . Anche in questo caso l'andamento del valor medio
è consistente con la previsione della teoria, che prevede un valore gd ≈ 4 (vedi
gura3.7). I risultati ottenuti nei due regimi analizzati, quindi, confermano le
previsioni della teoria di campo medio.
Dinamica di campo medio
65
Figura 4.11: In gura i punti rappresentano la media gd dei valori di destabilizzazione del
punto sso nel caso θ̄ = 0 in funzione di N . Le barre di errore sono determinate dalle uttuazioni, che sono valutate dalla deviazione standard dei valori di
destabilizzazione.
Figura 4.12: In gura i punti rappresentano la media gd dei valori di destabilizzazione del
punto sso nel caso θ̄ = 0.3 in funzione di N . Le barre di errore sono determinate dalle uttuazioni, che sono valutate dalla deviazione standard dei valori di
destabilizzazione.
Attività della rete
66
4.2 Attività della rete
La struttura degli attrattori del sistema può essere caratterizzata attraverso
la media e le uttuazioni dell'attività dei singoli neuroni. La media e la varianza
dell'attività del neurone i-esimo sono denite da:
āi = hxi i ,
(4.4)
2
= (xi − hxi i)2 ,
σa,i
(4.5)
dove le medie sono temporali. I vari neuroni sono identicati da un indice. Gli
indici rappresentano le etichette da attribuire ai vari neuroni. La conoscenza delle
variabili āi permette di ordinare i neuroni da quello con attività maggiore a quello
con attività minore. Questa scelta nell'ordinamento dei neuroni è una delle tante
possibili. Essa, però, ci permette di caratterizzare gli attrattori attraverso lo stato
medio della rete. In questo modo si ha una caratterizzazione semplice e diretta
in base alla dinamica del sistema. I diversi attrattori inducono degli ordinamenti
diversi. Il confronto di questi ordinamenti permette di confrontare tra loro la
struttura degli attrattori in funzione del parametro g . Le uttuazioni, invece,
permettono di caratterizzare il tipo di attrattore. Fluttuazioni nulle implicano il
raggiungimento di un punto sso, mentre uttuazioni non nulle possono indicare
un attrattore quasiperiodico, periodico o caotico.
Nelle simulazioni numeriche le medie indicate da 4.4 e 4.5 sono eseguite su
un intervallo temporale nito, suciente a descrivere il moto sull'attrattore. Il
sistema viene fatto evolvere su 10000 passi temporali scartando un intervallo
transitorio iniziale di 3000 passi. Sono stati studiati alcuni casi tipici. Esaminiamo il caso in cui i valori dei parametri siano: J = 1, J¯ = 0, θ̄ = 0, σθ = 0
e N = 1024. Anche in questo caso si eettua la simulazione scegliendo una
realizzazione della matrice J. Nei programmi si è utilizzato un algoritmo di ordinamento contenuto nelle librerie GSL. Riportiamo nelle gure 4.13 e 4.14 le
attività medie e le deviazioni standard nei casi g = 2 e g = 6. Nel primo abbiamo
come attrattore un punto sso mentre nel secondo un attrattore caotico.
Nella gura 4.13 possiamo osservare l'andamento dell'attività media. La scelta dell'ordinamento dei neuroni implica che la curva sia monotona decrescente. Il
valore degli estremi della curva, però, sono dovuti alle caratteristiche del sistema.
La curva può essere interpretata qualitativamente in termini della probabilità di
Attività della rete
67
Figura 4.13: L'attività media e la deviazione standard dei neuroni nel caso g = 2, dove la
curva che indica la sd è ordinata allo stesso modo della curva di attività media.
L'attività media è indicata in nero, mentre la sd è nulla.
Figura 4.14: L'attività media e la deviazione standard dei neuroni nel caso g = 6, la curva nera
indica l'attività media mentre la rossa indica la deviazione standard.
Attività della rete
68
trovare un neurone in uno stato di attività alta o bassa. Il graco implica che il
numero di neuroni con un'attività media compresa tra ã e ã + ∆a sia quasi costante. Sarebbe esattamente costante nel caso in qui la curva fosse approssimata
da una retta. Questo implica che se scelgo un neurone a caso, la sua probabilità
di assumere un certo valore ã è quasi costante nell'intervallo [0, 1].
Nel caso dell'attrattore caotico rappresentato in gura 4.14 si ha un andamento dierente. Possiamo osservare in gura che sono presenti all'incirca 250
neuroni con attività alta e altrettanti con attività bassa, entrambi con uttuazioni quasi nulle. Circa la metà dei neuroni ha un'attività media che copre l'intero
intervallo di valori [0, 1] con uttuazioni comprese nell'intervallo [0, 0.3]. Una
interpretazione in termini di probabilità implica che sia più probabile, rispetto
al caso precedente, osservare un neurone molto attivo o poco attivo.
Abbiamo ottenuto graci simili a quello di gura 4.14 nel caso g = 8 e g = 10.
Si deve sottolineare, però, che i casi corrispondenti a g = 2 e g = 6 sono stati
confrontati soltanto in termini del valore di attività assunto da un certo gruppo
di neuroni. In questo caso, infatti, si ha un ordinamento diverso dei neuroni, che
corrisponde al valore di g utilizzato. L'ordinamento, però, consente di ricavare
una informazione diretta sulla probabilità che un neurone abbia una certa attività
media, una volta che si sia ssato il valore di g .
Per confrontare gli attrattori in base alle attività medie ottenute per valori
diversi di g , bisogna scegliere un ordinamento di riferimento per gli indici i. I
neuroni sono indicati dall'indice i, ci si può domandare se una singola realizzazione della matrice J possa indurre un ordinamento nei neuroni indipendente
dal parametro g . Si sceglie l'ordinamento di riferimento del caso g = 2, che
corrisponde ad una congurazione di punto sso. Tale scelta, comunque, rimane
arbitraria. Utilizzando l'ordinamento di riferimento per riordinare i valori delle
curve relative al caso g = 6, otteniamo il graco in gura 4.15.
Le gure 4.14 e 4.15 sono diverse; l'ultima è caratterizzata da valori dell'attività distribuiti su una curva con ampie uttuazioni. Si può osservare che
l'aspetto complessivo della curva di attività media e deviazione standard di gura 4.15 è ancora caratterizzato da un insieme di neuroni con attività alta ed
uno con attività bassa, con scarse uttuazioni. Quello che è più signicativo è
paragonare i graci di gura 4.13 e 4.15. Se paragoniamo le due curve di attività
media possiamo osservare che gli stessi neuroni hanno nel regime caotico un'atti-
Attività della rete
69
Figura 4.15: L'attività media e la deviazione standard nel caso g = 6. In questo caso è stato
usato l'ordinamento del caso g = 2. La curva nera a tratto continuo indica
l'attività media, mentre quella rossa tratteggiata indica la deviazione standard.
vità media che uttua attorno a quella relativa al regime di punto sso. Questo
avviene anche per i graci ottenuti per i valori g = 8 e g = 10.
Questo implica che si ha una relazione tra le attività medie relative ai diversi
valori del parametro g . Rendiamo quantitativa questa osservazione denendo la
seguente variabile:
N
1 X
D(g) = 2
|Cg (i) − Cḡ (i)| ,
N 1=1
(4.6)
dove C è un vettore N-dimensionale in cui l'elemento Cg (i) rappresenta la posizione del neurone i nell'ordinamento denito in base all'attività media. Il valore
di riferimento di g rispetto al quale si calcola la variabile D è indicato da ḡ .
La variabile D misura una sorta di distanza tra i vettori Cg , se gli ordinamenti
dovuti all'attività fossero uguali per due valori di g diversi, allora la variabile D
sarebbe nulla.
Possiamo rappresentare in un graco (vedi un esempio nella gura 4.16) le
coppie di punti [Cg (i), Cg0 (i)]. Se gli ordinamenti fossero uguali si otterrebbe una
bisettrice, altrimenti se fossero completamente scorrelati si dovrebbe ottenere una
distribuzione uniforme di punti. Nel graco sono riportati i valori corrispondenti
Attività della rete
70
Figura 4.16: Distribuzione di punti costruita in base ai vettori Cg , per i valori g = 2 e g = 6.
a g = 2 e g = 6. Si osserva una distribuzione di punti addensata attorno alla
bisettrice. Tale distribuzione di punti indica che gli ordinamenti nei due casi
sono simili, nel senso che si ottiene un valore D ≈ 5.65 × 10−2 , ricordiamo che il
valore massimo di D è 1.
Si può costruire anche una funzione D(g) una volta ssato ḡ . La funzione
D(g) può essere mediata sulle realizzazioni della matrice J in modo da ottenere
la funzione:
Dm (g) =
Nr
1 X
Di (g),
Nr i=1
(4.7)
dove Nr è il numero di realizzazioni della matrice J. Inoltre è possibile denire
una deviazione standard Dsd dei valori di Di (g) al ne di valutare le uttuazioni
attorno alla media. Da queste due funzioni è possibile estrarre una informazione
che dipende solo dal valore di g e di N . Abbiamo eettuato questa operazione per N = 128, 256, 512, 1024, 2048 utilizzando rispettivamente un numero di
realizzazioni Nr = 128, 64, 64, 32, 32 ssando ḡ = 2, come riportato in gura 4.17.
Le curve che rappresentano le medie sono limitate dal valore 0.06. Tali curve
sono tra loro simili. I graci relativi ad N = 1024 e N = 2048 sono quasi
Attività della rete
71
Figura 4.17: Valor medio e deviazione standard della funzione D(g) eettuate per ḡ = 2 per i
valori N = 128, 256, 512, 1024, 2048, le curve superiori rappresentano i valor medi
mentre le curve inferiori reppresentano le deviazioni. Alle varie taglie corrispondono diversi simboli e vari colori: ad N = 128 è associato il nero con i simboli di
cerchio, ad N = 256 il rosso con i simboli di quadrato, ad N = 512 il verde con i
simboli di diamante, ad N = 1024 il blu con i simboli di triangolo e ad N = 2048
il magenta con i simboli di triangolo sinistro. I punti dei graci sono calcolati con
un passo ∆g = 0.5.
coincidenti. Questo implica la convergenza ad una curva limite per N → ∞,
comunque limitata dal valore 0.06. Il massimo della curva limite, che viene
identicato con il graco ottenuto per N = 2048, ha un massimo per il valore
g ≈ 5, che corrisponde approssimativamente al valore per il quale la teoria di
campo medio prevede la biforcazione dal punto sso all'attrattore caotico.
Le curve relative alle deviazioni standard hanno valori decrescenti al crescere
di N . In base a questi dati è possibile ipotizzare che tali curve scalino con una
legge a potenza. Si trova che le curve di deviazione scalano approssimativamente
con un fattore N −1/2 , come illustrato in gura 4.18. Questo signica che la
funzione D(g) possiede la proprietà dell'automedia. Nel limite termodinamico la
funzione media converge ad una funzione limite e le uttuazioni vanno a zero.
In questo modo ad ogni realizzazione della matrice si associa la stessa funzione
D(g).
Attività della rete
72
Figura 4.18: Deviazioni standard della funzione D(g) moltiplicate per il fattore di scala N 1/2
per θ̄ = 0 e per N = 128, 256, 512, 1024, 2048. Alle varie taglie corrispondono
diversi simboli e vari colori: ad N = 128 è associato il nero con i simboli di
cerchio, ad N = 256 il rosso con i simboli di quadrato, ad N = 512 il verde con i
simboli di diamante, ad N = 1024 il blu con i simboli di triangolo e ad N = 2048
il magenta con i simboli di triangolo sinistro.I punti dei graci sono calcolati con
un passo ∆g = 0.5.
Attività della rete
73
Figura 4.19: Matrice D. nel caso N = 1024 per J¯ = 0, θ̄ = 0 e σθ = 0. Le tonalità di grigio
indicano il valore degli elementi di matrice.
Oltre alla funzione D(g), denita in base al valore ḡ , possiamo denire una
matrice D i cui elementi di matrice sono deniti da:
Dm,n =
N
1 X
|Cgm (i) − Cgn (i)| .
N 2 1=1
(4.8)
In questo modo è possibile paragonare gli ordinamenti per ogni valore della coppia
(gm , gn ). La matrice D è una matrice simmetrica con Dm,m = 0. Si è eettuata
una simulazione in cui la realizzazione della matrice J è la stessa di quella utilizzata nella simulazione precedente. La matrice Dm,n è stata determinata per
valori di g compresi nell'intervallo [2, 21.5] a passi ∆g = 0.5, come riportato in
gura 4.19.
Tale immagine riporta con diverse tonalità di grigio il valore di ogni elemento
della matrice D. Sono, inoltre, riportate delle linee di livello della funzione che
interpola il valore degli elementi di matrice, che sono interpretati come valori
di un graco di funzione f (gm , gn ) = Dm,n . I valori massimi degli elementi di
matrice si concentrano nella riga individuata da gm = 5.5 e nella colonna da
gn = 5.5, entrambi sono limitati dal valore di attività media 0.058. Questo
risultato conferma che la scelta del valore ḡ nella funzione D(g) non altera il
Mappa di campo medio 2D
74
valore massimo raggiungibile da quest'ultima. La scelta di ḡ , quindi, può essere
arbitraria. La proprietà di automedia conduce alla conclusione che nel limite
termodinamico la struttura dell'attrattore dipende debolmente dal parametro g ,
dato che il valor massimo della variabile D è D ≈ 0.06.
4.3 Mappa di campo medio 2D
Le equazioni di campo medio 3.45 sono state studiate numericamente nel
regime J¯ = 0 e σθ = 0. Qui si vogliono studiare alcuni casi in cui J¯ 6= 0 e
σθ 6= 0 . Quando J¯ = 0 le equazioni di campo medio si semplicano riducendosi
ad una mappa bidimensionale. Si studia il caso J¯ 6= 0 al ne di indagare la
dinamica collettiva. Il caso della mappa unidimensionale è caratterizzaato da
una dinamica collettiva che ha come attrattore un punto sso. Nel caso della
mappa bidimensionale potrebbero nascere comportamenti collettivi diversi dal
caso precedente. Inoltre, anche la dinamica microscopica potrebbe essere diversa
da quella del caso J¯ = 0. Al ne di vericare le previsioni che otteniamo dalle
simulazioni della mappa di campo medio, vengono svolte delle simulazioni di
campo medio uguali a quelle che hanno condotto alle gure 4.1 e 4.3 del paragrafo
4.1. La mappa di campo medio è denita da due integrali, i quali non si risolvono
analiticamente. È necessario allora eseguire una integrazione numerica per la
quale è stato utilizzato un algoritmo di calcolo basato sulla regola di Simpson
estesa; la quale è rappresentata dalla formula seguente:
Z
hN
"
4
2
4
1
f1 + f2 + f3 + f4 + . . .
3
3
3
3
#
1
2
4
1
+ fN −2 + fN −1 + fN + O
,
3
3
3
N4
f (h) dh =∆h
h1
(4.9)
dove l'intervallo di integrazione [h1 , hN ] viene diviso in N − 1 intervalli di
uguale ampiezza ∆h e f (hi ) = fi . L'algoritmo che implementa questa tecnica è
riportato in [16]. L'approssimazione che viene utilizzata nella simulazione consiste nell'approssimare gli integrali indeniti presenti in 3.45 con i corrispondenti
integrali deniti, che vengono eseguiti nell'intervallo [−50.50]. Tale approssimazione è resa possibile dal fattore Gaussiano presente all'interno della funzione
integranda. Facciamo notare, infatti, che il valore exp (−1250) è praticamente
Mappa di campo medio 2D
75
Figura 4.20: Graco di biforcazione per J¯ = 0 e θ̄ = 0.2. Le due curve indicano i punti ssi
stabili della mappa, la biforcazione si ha per g ≈ 9.
uguale 0. Inoltre il termine trascurato può avere importanza solo nel caso in cui
la dinamica di campo medio evidenziasse un comportamento caotico. Utilizzando questa approssimazione si è scritto un algoritmo che simula l'evoluzione della
mappa di campo medio, di cui vogliamo studiare gli attrattori. Si sono costruiti
dei graci in cui la variabile m viene riportata in funzione del parametro g . Per
ogni valore del parametro g è stato escluso un intervallo temporale transitorio
prima di determinare il tipo di attrattore. Utilizzando tale procedura nel caso
J¯ = 0 e θ̄ = 0.2 si è ottenuto un risultato consistente con quello del lavoro di
Cessac, rappresentato dal confronto tra la gura 3.5 e la gura 4.20. Il graco
mostra i punti ssi stabili del sistema e una biforcazione per g ≈ 9. Nella regione
dove si hanno due punti ssi si hanno due bacini attrattivi; quello relativo al
punto sso con valore di m minore ha una estensione ridotta ed è localizzato nel
quadrato ([0, 0.05], [0, 0.05]).
Nel caso J = −1 e θ̄ = 0.2 si osserva un graco di biforcazione qualitativamente simile al precedente, come riporatato in gura 4.21. Anche in questo caso
si osservano due bacini attrattivi per i valori del parametro g ≥ 6.5. Per vericare questo andamento si studia la dinamica di campo medio, vedi equazione 4.1,
per il valore N = 1024 per g = 2, 6, 7. Per g = 2 si trova un punto sso mentre
Mappa di campo medio 2D
76
Figura 4.21: Graco di biforcazione per J¯ = −1 e θ̄ = 0.2. Le due curve indicano i punti ssi
stabili della mappa, la biforcazione si ha per g ≈ 6.5.
per g = 6 un attrattore caotico. Questo risultato è compatibile con la teoria di
campo medio nell'ipotesi che la dimensione dell'attrattore decresca all'aumentare di N , che è il comportamento trovato per J¯ = 0. Studiando l'attrattore per
le taglie N = 128, 256, 512, 1024 si conclude che tale ipotesi è corretta anche in
questo regime. Nel caso g = 7 si riscontra la presenza di due attrattori: un punto
sso ed un attrattore caotico. Il punto sso si ottiene usando delle condizioni
iniziali prossime all'origine. Di nuovo l'attrattore caotico è compatibile con il
campo medio solo se esso tende a scomparire all'aumentare della taglia del sistema. Anche in questo caso le simulazioni per i vari valori di N hanno confermato
questo andamento.
Nel caso J = −5 e θ̄ = 0.2 si ha un cambiamento qualitativo nel tipo di
attrattori della mappa. Si osserva la presenza di orbite di periodo due su un
ampio intervallo di valori del parametro g , come illustrato in gura 4.22. Si
ha una prima biforcazione per g ≈ 1, che è del tipo raddoppiamento del periodo
diretta, mentre la seconda per g ≈ 8.2 è dello stesso tipo ma inversa. La teoria di
campo medio aerma, dunque, che nell'intervallo tra le due biforcazioni è presente
una dinamica collettiva periodica. Lo studio del campo medio per N = 1024
evidenzia la presenza di due tipi di attrattore: punto sso e orbita di periodo
Mappa di campo medio 2D
77
Figura 4.22: Graco di biforcazione per J¯ = −5 e θ̄ = 0.2. Si osservano due biforcazioni,
la regione compresa tra le due biforcazioni è caratterizzata da un attrattore di
periodo due.
due. Il punto sso si ottiene per i valori di g inferiori alla prima biforcazione e
per valori maggiori della seconda. Tra le due biforcazioni si conferma un'orbita
di periodo due.
La simulazione di campo medio, però, non determina se la dinamica collettiva
è o meno banale. A tal ne si può analizzare la dinamica dei singoli neuroni.
Tale analisi conferma che le singole variabili seguono un'orbita di periodo due.
Questo indica una dinamica collettiva banale. Tale dinamica collettiva banale e
stata individuata anche nei casi J¯ = −5, θ̄ = 0.3 e J¯ = −2.5, θ̄ = 0.1, σθ = 0.01,
quest'ultimo è rappresentato in gura 4.23. L'ultimo caso rappresenta un regime
dinamico in cui ogni neurone è caratterizzato da un valore diverso della soglia.
L'analisi del campo medio per N = 1024 ha evidenziato tre tipi di attrattore:
punto sso, orbita di periodo due e attrattore caotico. Il punto sso si ha per i
valori g ≤ 2, mentre l'orbita periodica per i valori 2 ≤ g ≤ 6. Anche in questo
regime si eseguono delle simulazioni di singolo neurone al ne di determinare
la dinamica microscopica. Tale analisi ha confermato un orbita di periodo due
nell'intervallo 2 ≤ g ≤ 6.
La dinamica di campo medio, inoltre, conferma la presenza dell'attrattore
Spettri di Lyapunov
78
Figura 4.23: Graco di biforcazione per J¯ = −2.5, θ̄ = 0.1 e σθ = 0.01. Si osservano due
biforcazioni, la regione compresa tra le due biforcazioni è caratterizzata da un
attrattore di periodo due.
caotico per i valori g > 6. In questo caso si può avere accordo con la teoria
solo se l'attrattore caotico scompare nel limite termodinamico. Le simulazioni
eettuate per i vari valori di N hanno confermato la riduzione dell'estensione
dell'attrattore. Si può concludere che le simulazioni di campo medio confermano
le previsioni fornite dalle simulazioni della mappa di campo medio in tutti i regimi
studiati. La presenza, inoltre, dei parametri non nulli J¯ e σθ rivela la presenza
di una dinamica collettiva banale del sistema.
4.4 Spettri di Lyapunov
Gli esponenti di Lyapunov costituiscono un strumento per caratterizzare gli
attrattori di un sistema dinamico. Indichiamo con M una mappa generica che
descrive un sistema dinamico in uno spazio N-dimensionale:
x(t + 1) = M(x(t)),
(4.10)
dove il vettore N-dimensionale x(t) descrive lo stato del sistema e il tempo t ≥ 0
è un numero intero. Scegliendo una condizione iniziale x0 determiniamo una
Spettri di Lyapunov
79
particolare orbita x(t) nello spazio delle congurazioni. Consideriamo lo spazio
tangente all'orbita nel punto x0 e scegliamo un vettore tangente innitesimo y0 .
L'evoluzione dell'orbita avente condizione iniziale x0 + y0 è data da x(t) + y(t),
dove y(t) è descritto dalla mappa:
y(t + 1) = D (x(t)) y(t),
(4.11)
dove D(x) è la matrice Jacobiana associata alla mappa M(x). In particolare
il rapporto y(t)/ |y(t)| fornisce la direzione dello spostamento innitesimo dall'orbita imperturbata x(t), mentre il rapporto |y(t)| / |y0 | denisce il fattore di
crescita o di contrazione dello spostamneto innitesimo. L'equazione 4.11 può
essere riscritta in termini della condizione iniziale nello spazio tangente:
dove
y(t) = Dt (x0 ) y0 ,
(4.12)
Dt (x0 ) = D (x(t − 1)) · D (x(t − 2)) · ... · D (x0 ) .
(4.13)
Deniamo l'esponente di Lyapunov per una condizione iniziale x0 e una direzione
iniziale u0 = y0 / |y0 |, denita dal vettore innitesimo nello spazio tangente,
come:
|y(t)|
1
h(x0 , u0 ) = lim ln
t→∞ t
|y0 |
1
= lim ln Dt (x0 ) · u0 .
t→∞ t
(4.14)
Data una mappa N-dimensionale avremo un numero massimo N di esponenti di
Lyapunov distinti per un dato x0 . Tali esponenti caratterizzano le N direzioni espandenti denite nello spazio tangente ad ogni punto della traiettoria del
sistema. Bisogna sottolineare che le direzioni di espansione possono dipendere
dal punto sulla traiettoria. Ad esempio la direzione di espansione massima può
variare da punto a punto sulla traiettoria. Tale concetto si può illustrare gracamente. Se si distribuiscono uniformemente delle condizioni iniziali in un intorno
sferico I(x0 ) di raggio innitesimo e si lascia evolvere il sistema, la sfera iniziale
evolve in un ellissoide. Questo è illustrato in gura 4.24 per il caso N = 2 e
h1 (x0 ) > 0 > h2 (x0 ). Nel limite t → ∞ gli esponenti di Lyapunov forniscono
il tasso temporale della crescita, o decrescita, esponenziale degli assi principali
dell'ellissoide in evoluzione.
Spettri di Lyapunov
80
Figura 4.24: Evoluzione di un intorno sferico di condizioni iniziali. Viene rappresentata l'nesima iterata della mappa M.
L'insieme degli esponenti di Lyapunov hi denisce lo spettro di Lyapunov.
Sotto ipotesi molto generali, vedi [20] e [23], gli esponenti hi non dipendono dalla condizione iniziale x0 all'interno di un determinato bacino attrattivo. Si può
parlare di spettro di Lyapunov di un attrattore senza riferirsi ad una specica
condizione iniziale. Un attrattore viene denito caotico se il suo esponente di
Lyapunov massimo è positivo. Nel caso di esponente massimo negativo si ha
come attrattore un'orbita periodica. Il caso nullo corrisponde ad un attrattore
rappresentato da un'orbita quasiperiodica. La eventuale orbita periodica include
il caso di periodo uno, che si riferisce ad un punto sso. Si sottolinea che questa
classicazione degli attrattori in base al segno del massimo esponente di Lyapunov si riferisce ad un sistema dinamico descritto da una mappa, nel caso di un
sistema di equazioni dierenziali la classicazione è diversa.
Lo spettro di Lyapunov può essere determinato numericamente attraverso varie tecniche, noi useremo quella sviluppata da Benettin et al.(1980) riportata in
[20]. Tale algoritmo fornisce lo spettro hi ordinato dal valore massimo al valore
minimo. Il problema principale nella determinazione numerica degli esponenti
risiede nel fatto che se si considerano due generici vettori iniziali indipendenti
u0,1 e u0,2 , la loro orientazione diventa indistinguibile dopo un numero non elevato di iterate della mappa. Questo avviene perché il fattore di crescita lungo
le direzioni di espansione è esponenziale, dunque la componente lungo la dire-
Spettri di Lyapunov
81
zione di massima espansione diventa dominante. Questo problema viene risolto
rinormalizzando, per un idoneo intervallo di iterate della mappa, con la procedura di Gram-Schmidt i vettori indipendenti che evolvono nello spazio tangente.
Si ricorda che il numero di vettori indipendenti necessario è pari al numero di
esponenti che si vogliono calcolare.
Al ne di calcolare l'evoluzione nello spazio tangente abbiamo utilizzato la
seguente espressione della matrice jacobiana della mappa:
Dij
1
= sech2 g
2
N
1 X
√
Jik xk − θi
N k=1
!! g
√ Jij ,
N
(4.15)
dove J = 1, J¯ = 0. Questa espressione coincide, attraverso opportune sostituzioni, con quella riportata in equazione 3.49. Nel caso J¯ 6= 0 si utilizza l'equazione
4.15 senza il fattore 1/N davanti la sommatoria, perché non è più conveniente
estrarre questo fattore.
4.4.1 Esponente massimo
Nel paragrafo 4.1 si è osservato che le simulazioni di campo medio indicano
l'esistenza di tre regimi dinamici in funzione del parametro g . Questi tre regimi
possono essere caratterizzati in base all'esponente di Lyapunov massimo. L'analisi dell'esponente di Lyapunov massimo in funzione del parametro g permette,
infatti, di determinare il tipo di attrattore della mappa 3.28.
L'analisi numerica dello spettro richiede un controllo di convergenza del limite
indicato in 4.14. I valori degli esponenti, infatti, si ottengono facendo evolvere il
sistema per un numero nito di passi. Studiando l'andamento dell'esponente di
Lyapunov massimo nel tempo, si è concluso che 60000 iterate sono sucienti alla
convergenza del limite entro un errore ∆h = 10−5 per i vari valori di N utilizzati.
Pertanto tutte le simulazioni sono state eettuate su questo intervallo temporale.
Si studia l'esponente massimo per θ̄ = 0, con 2 ≤ g ≤ 8, per i valori N =
128, 256, 512, 1024, 2048, dove abbiamo utilizzato una realizzazione della matrice
J.
Tali simulazioni, dunque, rappresentano gli andamenti qualitativi caratteristici per i vari valori di N . Le simulazioni utilizzano, per ogni valore di g , delle
condizioni iniziali che coincidono con le condizioni nali ottenute per il valore di
Spettri di Lyapunov
82
Figura 4.25: Esponente di Lyapunov massimo in funzione del parametro g , nel caso θ̄ = 0 e
N = 1024, 2048. In nero con i simboli di cerchio è riportato il caso N = 1024 e in
rosso con i simboli di quadrato è riportato il caso N = 2048. Il valore del passo
utilizzato è ∆g = 0.1.
g immediatamente precedente. Per il primo valore di g si impiegano delle condizioni iniziali casuali. Riportiamo in gura 4.25 il risultato ottenuto per N = 1024
e N = 2048. Possiamo distinguire i tre attrattori: punto sso, orbita quasiperio-
dica e attrattore caotico. In gura possiamo osservare una regione piatta dove gli
esponenti sono quasi nulli. I valori da noi determinati sono dell'ordine di 10−6 ,
dunque considerando un errore dell'ordine di 10−5 questi valori sono consistenti
con lo zero. Questo intervallo di valori di g corrisponde ad una regione in cui
si hanno attrattori quasiperiodici. La transizione dal punto sso all'attrattore
caotico è caratterizzata da un andamento quasiperiodico. Tale intervallo è centrato attorno al valore g = 5, che è approssimativamente il valore previsto dal
campo medio per la biforcazione tra punto sso e attrattore caotico, come si può
osservare in gura 3.7.
I risultati ottenuti per gli altri valori di N sono simili. L'ampiezza dell'intervallo di g in cui si ha l'orbita quasiperiodica è aprossimativamente costante:
∆g ≈ 0.5. Questo risultato non concorda con i risultati della teoria di campo
medio. Non si ha consistenza perché l'intervallo ∆g non diminuisce al crescere
di N . Questo potrebbe essere in parte dovuto al fatto che gli intervalli ∆g sono
Spettri di Lyapunov
83
ottenuti senza eettuare una media sulle realizzazioni di J.
Nel caso θ̄ = 0.3 le simulazioni vengono eseguite per gli stessi valori N . Il
risultato per N = 1024, 2048, entrambe realizzate con una realizazione di J, è riportato in gura 4.26. Per entrambi i valori di N è presente un intervallo di valori
Figura 4.26: Esponente di Lyapunov massimo in funzione del parametro g , nel caso θ̄ = 0.3
e N = 1024, 2048, per una realizzazione di J. In nero con i simboli di cerchio è
riportato il caso N = 1024 e in rosso con i simboli di quadrato è riportato il caso
N = 2048. Il valore del passo utilizzato è ∆g = 0.1.
del parametro di controllo g in cui si ha la presenza di attrattori quasiperiodici.
Tale intervallo è localizzato nella zona dova la teoria di campo medio prevede
la presenza della biforcazione punto sso-attrattore caotico, come si osserva in
gura 3.7. Anche in questo caso si ha una transizione dal punto sso all'attratore
caotico attraverso un andamento quasiperiodico. I risultati della teoria di campo medio prevedono la presenza di due valori critici per il parametro g nel caso
θ̄ = 0.3. Questi valori di g si possono osservare qualitativamente nella gura 3.7.
Il primo indica la biforcazione punto sso-attrattore caotico, il secondo indica la
presenza di due bacini di attrazione, che hanno rispettivamente come attrattore
un punto sso e un orbita caotica. La presenza dell'attrattore caotico è evidente
nel graco 4.26 per i valori g > 4.5.
Per evidenziare la presenza del secondo valore critico di g possiamo utilizzare
delle condizioni iniziali opportune. La scelta più conveniente è quella di usare
Spettri di Lyapunov
84
Figura 4.27: Esponente di Lyapunov massimo in funzione del parametro g , nel caso θ̄ = 0.3 e
N = 1024, per valori diversi delle condizioni iniziali. La curva in nero con i simboli
di cerchio indica gli esponenti determinati con condizioni iniziali casuali, mentre
la curva in rosso con i simboli di quadrato indica gli esponenti determinati con le
condizioni iniziali x0,i = 0.0001. L'ingrandimento mostra la zona che individua la
nascita di due bacini di attrazione. Il valore del passo utilizzato è ∆g = 0.1.
delle condizioni iniziali in un intorno dell'origine. La simulazione è stata eettuata con le condizioni iniziali x0,i = 0.0001 per N = 1024 per ogni valore di g . Ci
si aspetta che tale condizione iniziale dia luogo alla seguente serie di attrattori:
punto sso, attrattore caotico e inne punto sso. L'ultimo punto sso è dovuto
alla presenza dei due bacini di attrazione, previsti dalla teoria di campo medio.
Il valore di g in cui appare il secondo punto sso indica il secondo valore critico.
Si è, quindi, realizzato il graco 4.27 in cui si hanno gli esponenti di Lyapunov
corrispondenti ai due tipi di condizioni iniziali. L'intervallo di valori di g in cui
le due curve si sovrappongono corrisponde alla presenza di un unico bacino di
attrazione, mentre per g ∼
= 5 si ha un ulteriore bacino di attrazione, corrispondente ad un punto sso. Tale valore critico di g è coerente con le previsioni di
campo medio, vedi il diagramma di fase in gura 3.7.
Gli esponenti massimi si possono utilizzare per caratterizzare gli attrattori
nel caso J¯ 6= 0 e σθ 6= 0. Vengono studiati i casi corrispondenti ai parametri
considerati nel paragrafo 4.3. Questa analisi consente una ulteriore verica nu-
Spettri di Lyapunov
85
Figura 4.28: Esponente di Lyapunov massimo in funzione del parametro g , nel caso J¯ = −1,
θ̄ = 0.2 e N = 1024, per valori diversi delle condizioni iniziali. La curva in nero
con i simboli di cerchio indica gli esponenti determinati con condizioni iniziali
casuali, mentre la curva in rosso con i simboli di quadrato indica gli esponenti
determinati con le condizioni iniziali x0,i = 0.0001. Il valore del passo utilizzato
è ∆g = 0.1.
merica della teoria di campo medio nel caso della mappa bidimensionale 3.45. Le
simulazioni vengono eettuate per N = 1024. Si utilizza la stessa realizzazione
di J che è stata usata nel paragrafo 4.3 per le simualzioni di campo medio e per
quelle di singolo neurone. Nel caso σθ 6= 0 si utilizza la stessa realizzazione delle
soglie casuali θi .
Nel caso J¯ = −1 e θ̄ = 0.2 otteniamo il graco in gura 4.28. Tale graco deve
essere confrontato con quello di gura 4.21. Al ne di individuare i due bacini di
attrazione, il sistema evolve utilizzando condizioni iniziali diverse. Esse vengono
determinate con lo stesso metodo indicato sopra nel caso J¯ = 0 e θ̄ = 0.3. La
simulazione evidenzia la presenza dei due diversi bacini di attrazione previsti
dalla teoria di campo medio, uno caratterizzato da un attrattore caotico e l'altro
da un punto sso. La simulazione determina un valore g ≈ 6.4 per la nascita
dei due bacini, tale valore è in accordo con il valore previsto dalla teoria, come
si evince dal graco 4.21. Anche in questo caso si nota un'intervallo di valori
di g in cui si hanno attrattori quasi-periodici. Qualitativamente l'andamento
Spettri di Lyapunov
86
Figura 4.29: Esponente di Lyapunov massimo in funzione del parametro g , nel caso J¯ = −5,
θ̄ = 0.2 e N = 1024. Il valore del passo utilizzato è ∆g = 0.1.
dell'esponente di Lyapunov è uguale a quello del caso J¯ = 0 e θ̄ = 0.3.
Si ha un andamento qualitativamente diverso nel caso J¯ = −5 e θ̄ = 0.2 come
possiamo osservare in gura 4.29. Tale graco deve essere confrontato con quello
di gura 4.22. L'esponente di Lyapunov è sempre minore o uguale a zero. Questo
è compatibile con la presenza di attrattori del tipo orbita periodica. Utilizzando
le simulazioni di singolo neurone eseguite precedentemente si possono distinguere
tre intervalli di valori di g . Il primo intervallo (0 < g < 0.8) corrisponde ad un
attrattore del tipo punto sso, il secondo (0.8 < g < 8.3) corrisponde ad un
orbita di periodo due, inne il terzo (g > 8.3) corrisponde nuovamente ad un
punto sso. I punti g = 0.8, 8.3 corrispondono a biforcazioni di raddoppiamento
del periodo rispettivamente diretta e inversa. Questo è in pieno accordo con
quanto previsto dai risultati teorici, indicati in gura 4.22. In questo regime e
per i valori del parametro di controllo utilizzati non si ha un comportamento
caotico.
Nel caso J¯ = −2.5, θ̄ = 0.1, σθ = 0.01 si ha un andamento dell'esponente
ancora diverso dai precedenti, come riportiamo in gura 4.30. Si nota una zona
di valori del parametro in cui l'esponente è negativo o nullo e una zona in cui è
positivo. La prima zona viene separata in due parti dal punto di azzeramento
g ≈ 2. I valori di g < 2 sono compatibili, utilizzando anche le simulazioni di
Spettri di Lyapunov
87
Figura 4.30: Esponente di Lyapunov massimo in funzione del parametro g , nel caso J¯ = −2.5,
θ̄ = 0.1, σθ = 0.01 e N = 1024. Il valore del passo utilizzato è ∆g = 0.1.
singolo neurone, con un attrattore di tipo punto sso. I valori 2 < g < 6.2 sono
compatibili con un attrattore periodico di periodo due. I valori g > 6.2 corrispondono ad un attrattore caotico. Il punto di biforcazione g ≈ 2 rappresenta
una biforcazione di raddoppiamento del periodo ed è compatibile con il punto di
biforcazione individuato dalla teoria. Il secondo punto di biforcazione g ≈ 6.2 è
anche lui compatibile con il valore di g previsto dalla teoria, come indicato dalla
gura 4.23.
4.4.2 Disordine congelato
L'obiettivo dell'ananlisi condotta nel paragrafo è quello di deteminare lo spettro di Lyapunov del sistema di equazione 3.28, considerando le varie realizzazioni della matrice J. Quando ci riferiamo ad un disordine congelato (in inglese
quenched ) l'evoluzione dinamica del sistema avviene ssando una specica realizzazione della matrice J. Consideriamo solo il caso J¯ = 0. Il disordine dovuto
alle soglie casuali non viene studiato, dunque siamo in un regime in cui σθ = 0.
Studiamo i due casi θ̄ = 0, 0.3 entrambi per g = 6. La teoria di campo medio
prevede per θ̄ = 0 che il sistema sia caotico, mentre per θ̄ = 0.3 che il sistema
Spettri di Lyapunov
88
abbia un attrattore caotico ed un punto sso. L'analisi dello spettro consente
una descrizione quantitativa dell'attrattore.
Anche in questo caso analizziamo il sistema a varie taglie, al ne di estrarre il
suo comportamento nel limite termodinamico. Come si è sottolineato nel paragrafo 4.4.1 gli esponenti vengono calcolati utilizzando 60000 iterate della mappa,
con un errore di 10−5 sulla determinazione del singolo esponente. Un ulteriore
controllo di convergenza è stato eseguito direttamente sullo spettro. Si è calcolato lo spettro su 4 intervalli temporali ∆t = 15000, 30000, 45000, 60000. Si è
constatato che in tutti i casi esaminati gli spettri sono praticamente coincidenti. Questo implica che utilizzando 60000 iterate si ottiene la convergenza dello
spettro.
Abbiamo simulato il sistema per i seguenti valori della taglia N = 128, 256,
512, 1024, 2048. Le condizioni iniziali del moto sono scelte in modo casuale sia
nello spazio delle congurazioni che nello spazio tangente. Il passo di rinormalizzazione usato, riferendoci alla procedura di Gram-Schmidt, è stato sempre
∆p = 2. Per ogni valore della taglia abbiamo calcolato lo spettro per varie realizzazioni della matrice J. Il numero di realizzazioni varia secondo la taglia a causa
dei tempi di calcolo necessari. Per i valori N = 1024, 2048 abbiamo calcolato
rispettivamente i primi 64 e 128 esponenti, che sono gli esponenti maggiori nello
spettro. Anche questa scelta è dovuta a tempi di calcolo richiesti.
Vogliamo studiare l'andamento dello spettro mediato sui contributi dovuti
alle varie realizzazioni di J. A tal ne la simulazione determina il valor medio di
ogni esponente:
hm,i
Nr
1 X
hk,i ,
=
Nr k=1
(4.16)
dove Nr è il numero di realizzazioni, l'indice k numera le realizzazioni e i =
0, ..., N −1 indica la posizione all'interno dello spettro. Le uttuazioni dovute alle
realizzazioni sono rappresentate dalla deviazione standard hsd,i degli esponenti,
eseguita per ogni valore dell'indice i. Lo studio degli spettri medi in funzione della
taglia N consente la ricerca di una eventuale legge di scala per gli spettri, che
può essere utilizzata per le considerazioni riguardanti il limite termodinamico. In
questa analisi sono fondamentali le uttuazioni attorno alla media. Nel caso in cui
le uttuazioni andassero a zero con l'aumentare della taglia, il sistema avrebbe la
proprietà dell'automedia. In questo caso una eventuale legge di scala determinata
Spettri di Lyapunov
89
dallo spettro medio sarebbe valida, nel limite termodinamico, indipendentemente
dalla realizzazione di J.
Cominciamo con il caso θ̄ = 0. Il graco di gura 4.31 riporta sull'asse delle
ascisse il valore i/(N − 1) in modo da avere un fattore di scala basato sulla taglia
del sistema. Questo permette di confrontare tra loro spettri ottenuti a valori
diversi di N . Questo fattore di scala, inoltre, permette di capire se lo spettro è
estensivo o meno.
Le medie sono state eettuate per N = 128 su un numero di realizzazioni
Nr = 128, per N = 256 su Nr = 64, per N = 512 su Nr = 64, per N = 1024 su
Nr = 64 e per N = 2048 su Nr = 62. Osserviamo che non è presente una legge
di scala che lega gli spettri per i vari valori di N . Al crescere di N gli spettri
convergono su un'unica curva. Questo è ben visibile nell'ingrandimento dove
sono rappresentati gli spettri per 5 valori diversi di N . Questo comportamento
evidenzia che lo spettro possiede la proprietà di estensività. Osserviamo che gli
spettri convergono ad una curva limitata. L'esponente massimo, in particolare, al
crescere di N resta nito. Tutti gli spettri indicano che il sistema è caotico, infatti
la loro parte iniziale è positiva. Se l'ipotesi di convergenza degli spettri, dedotta
dalle simulazioni, è corretta, dobbiamo aspettarci che nel limite termodinamico
il sistema sia caotico e che lo spettro sia limitato.
Le uttuazioni corrispondenti, invece, diminuiscono al crescere della taglia
del sistema. Le uttuazioni crescono al crescere dell'indice i per un valore ssato
di N . Le uttuazioni vengono rappresentate nel graco di gura 4.32 in modo
da evidenziare una eventuale legge di scala. Anche in questo caso l'asse delle
ascisse è riscalato di un fattore (N − 1). Nel graco riportiamo sull'asse delle
ordinate hsd,i × s dove s è un fattore di scala. Si sceglie un fattore di scala pari
ad una potenza della taglia s = N α . I valori della potenza che portano ad una
sovrapposizione sono compresi nell'intervallo: 1/2 ≤ α ≤ 2/3. In graco viene
riportato il caso α = 2/3. Nell'ingrandimento sono visibili le deviazioni standard
dovute ai 5 valori diversi di N . La decrescita che si osserva per i valori dell'indice
i prossimi a (N − 1) è un eetto numerico. Questo ultimo tratto della curva non
deve essere considerato attendibile.
L'informazione importante è che l'esponente α è positivo. Questo implica che
nel limite termodinamico la curva delle deviazioni standard vada a zero come
N −α . Questa osservazione assieme alla precedente ipotesi di convergenza degli
Spettri di Lyapunov
90
Figura 4.31: Spettri di Lyapunov medi per i valori N = 128, 256, 512, 1024, 2048 e per θ̄ = 0.
La taglia N = 128 viene rappresentata in nero, N = 256 in rosso, N = 512 in
verde, N = 1024 in blu e N = 2048 in magenta. Le curve continue sono delle
spezzate che collegano i valori degli esponenti. L'ingrandimento rappresenta la
parte iniziale degli spettri. I colori utilizzati corrispondono ai precedenti. La
taglia N = 128 è rappresentata con i simboli di cerchio, N = 256 è indicata
dai simboli di quadrato, N = 512 è indicata dai simboli di triangolo, nel caso
N = 1024, 2048 si utilizzano simboli di cerchio con diametro inferiore. Gli spettri
sono completi solo per N = 128, 256, 512.
Spettri di Lyapunov
91
Figura 4.32: Deviazioni standard degli spettri di Lyapunov moltiplicate per il fattore di scala
s = N 2/3 , per i vari valori di N per θ̄ = 0. La taglia N = 128 viene rappresentata
in nero con il tratto continuo, N = 256 in rosso utilizzando una linea tratteggiata,
N = 512 in verde utilizzando la linea tratto-punto, N = 1024 in blu e N = 2048
in magenta con tratto continuo. Le curve sono delle spezzate che collegano i
valori delle deviazioni. L'ingrandimento rappresenta la parte iniziale delle curve
di deviazione. I colori utilizzati corrispondono ai precedenti. La taglia N = 128 è
rappresentata con i simboli di cerchio, N = 256 è indicata dai simboli di quadrato,
N = 512 è indicata dai simboli di triangolo, nel caso N = 1024, 2048 si utilizzano
simboli di cerchio con diametro inferiore. Le curve di deviazione sono complete
solo per N = 128, 256, 512.
Spettri di Lyapunov
92
spettri implica che questo sistema, per θ̄ = 0, possiede la proprietà dell'automedia. Nel limite termodinamico la struttura dell'attrattore caotico non dipende
più dalla singola realizzazione della matrice J.
Esaminiamo ora il caso θ̄ = 0.3. Presentiamo i due graci riportati in gura
4.33 e 4.34, ottenuti con la stesse procedure utilizzate sopra. Anche nel caso
di soglia non nulla gli spettri tendono a convergere ad una curva limite, come
si può osservare nel graco 4.33 e nell'ingrandimento. Notiamo che lo spettro
medio corrispondente ad N = 128 ha esponente massimo nullo. Studiando i
singoli spettri, corrispondenti alle varie realizzazioni di J, abbiamo osservato che
circa la metà hanno esponente massimo negativo mentre l'altra metà possiede
esponente massimo positivo. Questo è coerente con le osservazioni dei precedenti
paragra, perché indica la presenza di un attrattore caotico e di un punto sso.
Ricordiamo che gli esponenti sono calcolati in base ad una evoluzione che ha
una condizione iniziale x0 scelta in modo casuale, dove gli x0,i sono determinati
con una distribuzione piatta nell'intervallo [0, 1]. Al crescere della taglia, gia
a partire da N = 256, gli spettri con esponente massimo negativo non sono
più presenti. È possibile ottenerli forzando le condizioni iniziali dello spazio
delle congurazioni ad essere nell'intorno di x = 0, ecco perché non è possibile
individuarli con il metodo precedente, dato che la probabilità di ottenere una
tale condizione iniziale è molto bassa. I risultati delle simulazioni portano a
concludere che al crescere di N il bacino di attrazione del punto sso si riduce
ad un intorno dell'origine. Si sceglie di utilizzare condizioni iniziali casuali. Con
questa scelta lo spettro di Lyapunov medio si riferisce unicamente all'attrattore
caotico.
In questa analisi i dati relativi al caso N = 128 diventano meno signicativi,
ma vengono comunque riportati nel graco 4.33. I dati riportati nel graco sono
stati ottenuti utilizzando un numero di realizzazioni dipendente dalla taglia. Nel
caso N = 128 la media è stata eseguita su su un numero di realizzazioni pari a
Nr = 128, nel caso N = 256 si ha Nr = 64, nel caso N = 512 si ha Nr = 50,
nel caso N = 1024 si ha Nr = 64 e nel caso N = 2048 si ha Nr = 18. Il valore
ridotto di Nr corrispondente al caso N = 2048 è dovuto al tempo di simulazione
necessario per questo valore della taglia.
Le uttuazioni sono rappresentate in gura 4.34, dove abbiamo usato un
fattore di scala s = N 1/3 . Anche in questo caso le uttuazioni crescono al
Spettri di Lyapunov
93
Figura 4.33: Spettri di Lyapunov medi per i valori N = 128, 256, 512, 1024, 2048 e per θ̄ = 0.3.
La taglia N = 128 viene rappresentata in nero, N = 256 in rosso, N = 512 in
verde, N = 1024 in blu e N = 2048 in magenta. Le curve continue sono delle
spezzate che collegano i valori degli esponenti. L'ingrandimento rappresenta la
parte iniziale degli spettri. I colori utilizzati corrispondono ai precedenti. La
taglia N = 128 è rappresentata con i simboli di cerchio, N = 256 è indicata dai
simboli di quadrato, nel caso N = 512, 1024, 2048 si utilizzano simboli di cerchio
con diametro inferiore. Gli spettri sono completi solo per N = 128, 256, 512.
Spettri di Lyapunov
94
Figura 4.34: Deviazioni standard degli spettri di Lyapunov moltiplicate per il fattore di scala
s = N 1/3 , per i vari valori di N per θ̄ = 0.3. La taglia N = 128 viene rappresentata
in nero con il tratto continuo, N = 256 in rosso utilizzando una linea tratteggiata,
N = 512 in verde utilizzando la linea tratto-punto, N = 1024 in blu e N = 2048 in
magenta con tratto continuo. Le curve continue sono delle spezzate che collegano
i valori delle deviazioni. L'ingrandimento rappresenta la parte iniziale delle curve
di deviazione nei casi N = 512, 1024, 2048. I colori utilizzati corrispondono ai
precedenti. La taglia N = 512 è indicata dai simboli di cerchio, nel caso N =
1024, 2048 si utilizzano simboli di cerchio con diametro inferiore. Le curve di
deviazione sono complete solo per N = 128, 256, 512.
Spettri di Lyapunov
95
crescere dell'indice i. I graci di deviazione ottenuti per N = 512, 1024, 2048
sono coerenti con il fattore di scala s, come si può osservare nell'ingrandimento
di gura 4.34. Quello che si osserva, infatti, è una sovrapposizione quasi completa
delle curve. I graci relativi a N = 128, 256, invece, non sono consistenti con
questo fattore di scala. Il fattore di scala viene ritenuto comunque valido, perché
i valori bassi della taglia non rappresentano correttamente il sistema nel limite
termodinamico. Se ipotizziamo che questo fattore di scala valga al crescere di N ,
nel limite termodinamico la curva di deviazione standard andrebbe a zero come
N −1/3 . Allora anche nel caso di soglia θ̄ = 0.3 il sistema manifesta una proprietà
di automedia per quanto riguarda la struttura dell'attrattore caotico.
4.4.3 Disordine generato dinamicamente
In questo paragrafo descriviamo la struttura degli attrattori nel caso di disordine generato dinamicamente (in inglese annealed ). Tale disordine consiste
nel generare una realizzazione della matrice J ad ogni passo di iterazione della
mappa 3.28. Questo rappresenta, in eetti, una modica nella denizione della
dinamica del modello. Questa modica, però, può essere utile al ne di vericare
una delle ipotesi su cui si basa la teoria di campo medio, quella di indipendenza
tra le variabili xi (t) e Ji,j nel limite termodinamico. Nel caso del disordine dinamico si ha evidentemente solo la dipendenza tra Ji,j (t) e xi (t + 1) e l'evoluzione
del sistema non dipende da un'unica realizzazione della matrice. In questo modo
la correlazione tra una realizzazione di J e lo stato xi tende a zero. Questo rappresenta in modo approssimato l'indipendenza della traiettoria x(t) dalla singola
realizzazione di J. Studiamo il sistema per gli stessi valori dei parametri usati
nel paragrafo 4.4.2.
Vogliamo, dunque, confrontare gli spettri determinati con i due metodi nei
casi θ̄ = 0, 0.3. Abbiamo esaminato il sistema per i valori N = 128, 256, 512,
1024, 2048 per determinare le proprietà di scala, questi sono riportati nelle gure
4.35 e 4.36. Osserviamo che gli spettri tendono a convergere ad una curva limite
al crescere di N per i due valori di θ̄. Il confronto tra i graci di gura 4.31 e 4.35
e tra quelli di gura 4.33 e 4.36 indica che gli spettri medi sono praticamente
coincidenti con quelli determinati mediante il disordine dinamico.
Si può utilizzare un metodo molto semplice per paragonare gli spettri per un
Spettri di Lyapunov
96
Figura 4.35: Spettro di Lyapunov determinato con disordine generato dinamicamente per θ̄ =
0. Ai vari valori di N corrispondono vari colori: ad N = 128 è associato il nero,
ad N = 256 il rosso, ad N = 512 il verde, ad N = 1024 il blu, ad N = 2048 il
magenta. Nell'ingrandimento sono rappresentate le parti iniziali degli spettri. Gli
spettri sono completi per N = 128, 256, 512.
Figura 4.36: Spettro di Lyapunov determinato con disordine generato dinamicamente per θ̄ =
0.3. Ai vari valori di N corrispondono vari colori: ad N = 128 è associato il nero,
ad N = 256 il rosso, ad N = 512 il verde, ad N = 1024 il blu, ad N = 2048 il
magenta. Nell'ingrandimento sono rappresentate le parti iniziali degli spettri. Gli
spettri sono completi per N = 128, 256, 512.
Spettri di Lyapunov
97
Figura 4.37: Confronto tra lo spettro di Lyapunov medio(in nero) e lo spettro di Lyapunov
determinato con disordine dinamico(in rosso), nel caso θ̄ = 0. Le barre di errore
attribuite allo spettro medio rappresentano la deviazione standard dovuta alle
varie realizzazioni di J.
valore ssato di N . Confrontiamo, ad esempio, lo spettro medio e lo spettro ottenuto con disordine dinamico per N = 2048. Si utilizzano i graci di deviazione
4.32 e 4.34 per ottenere delle barre di errore sullo spettro medio, vedi gure 4.37
e 4.38. Per semplicità attribuiamo agli esponenti la stessa barra di errore, che
rappresenta l'ordine di grandezza delle uttuazioni. Ricordiamo che in questo
caso si considerano i primi 256 esponenti, ai quali si associa una uttuazione
quasi costante. Si ottiene per θ̄ = 0 una barra ∆h = 0.01 mentre per θ̄ = 0.3
una barra ∆h = 0.02. Si tenga presente che le uttuazioni corrispondenti al
caso θ̄ = 0.3 sono valutate su un numero ridotto di realizzazioni. Gli spettri con
disordine dinamico sono ampiamente contenuti all'interno delle barre di errore,
questo implica che i due tipi di spettro sono tra loro consistenti. Se estraiamo
questo andamento ad N → ∞ otteniamo che i due tipi di spettro tendono a coincidere. Questo può essere interpretato come una conferma numerica dell'ipotesi
di scorrelazione precedentemente citata.
Caos estensivo
98
Figura 4.38: Confronto tra lo spettro di Lyapunov medio(in nero) e lo spettro di Lyapunov
determinato con disordine dinamico(in rosso), nel caso θ̄ = 0.3. Le barre di errore
attribuite allo spettro medio rappresentano la deviazione standard dovuta alle
varie realizzazioni di J.
4.5 Caos estensivo
Nei paragra 4.4.2 e 4.4.3 è stato osservato che gli spettri di Lyapunov del sistema 3.28, ottenuti per diversi valori di N, si sovrappongono se scaliamo l'indice
i per un fattore N . Tale comportamento è stato osservato sia nel caso di disordine congelato sia nel caso di disordine dinamico. Questo fattore di scala, relativo
agli indici degli esponenti, implica che il sistema 3.28 possieda la proprietà di
caos estensivo. In questa sezione si introduce sinteticamente il concetto di caos
estensivo nel caso di un reticolo unidimensionale di mappe accoppiate. In questo
caso particolare, infatti, sono stati già ottenuti risultati sia teorici che numerici.
Tale modello, però, è denito da interazioni di corto raggio. Questo costituisce
una dierenza fondamentale rispetto al modello di equazione 3.28, in cui le interazioni sono a lungo raggio. Si sottolinea che la proprietà di caos estensivo in
questi sistemi non è stata ancora pienamente compresa a livello teorico.
Introduciamo il modello che descrive un reticolo unidimensionale di N mappe
accoppiate[8]. Il modello è denito dalla seguente mappa N-dimensionale:
xkt+1 = F xkt + D xk+1
− 2xkt + xk−1
,
t
t
(4.17)
Caos estensivo
99
dove l'apice k indica la mappa k-esima e il pedice t indica il tempo discreto. La
funzione F individua la natura della singola mappa unidimensionale. L'interazione è caratterizzata da una costante di accoppiamento D. Come si può osservare
l'accoppiamento è a primi vicini. Le mappe possono essere considerate come localizzate su una catena unidimensionale, in cui si ha una interazione solo tra siti
primi vicini. L'interazione è scelta in modo tale da risultare l'approssimazione
discreta di un Laplaciano, la cui presenza è caratteristica di un processo diusivo. L'equazione 4.17 può, infatti, essere introdotta nell'ambito dei fenomeni
diusivi. Essa è l'analoga nel discreto delle equazioni per i sistemi continui che
presentino fenomeni di reazione-diusione:
∂t ρ(x, t) = G(ρ) + D∇2 ρ(x, t),
(4.18)
dove ρ può essere la concentrazione di una specie chimica. In questo caso la
reazione viene descritta da una certa funzione G.
Gli studi numerici e teorici considerano nello specico le mappe accoppiate
nella forma seguente:
+ F xk−1
,
xkt+1 = (1 − ) F xkt + F xk+1
t
t
2
(4.19)
dove è l'analogo del coeciente D dell'equazione 4.17. Il parametro è compreso tra i valori 0, che indica mappe disaccoppiate, e 1, che indica siti pari
disaccoppiati dai siti dispari. La mappa F è in generale caratterizzata da un
parametro di controllo g . In generale al variare del parametro di controllo g e
della costante di accoppiamento si osservano diversi regimi dinamici.
Il modello di equazione 4.19 è stato ampiamente studiato in corrispondenza
di vari tipi di dinamica locale F . In particolare si può studiare lo spettro di
Lyapunov dei sistemi di mappe accoppiate. Si osserva che lo spettro possiede un
limite termodinamico nito [13]. In questo caso, se L indica la lunghezza della
catena, il limite termodinamico coincide con la condizione: L → ∞. I risultati
numerici suggeriscono che gli esponenti di Lyapunov abbiano la seguente legge
di scala:
hi (L) = lim h (i/L) ,
(4.20)
L→∞
dove i = 1 . . . N e la funzione h indica i valori dello spettro determinati utilizzando il fattore di scala 1/L. L'indice i ordina gli esponenti in modo decrescente.
Caos estensivo
100
Il fatto che lo spettro sia una quantità estensiva può essere spiegato qualitativamente attraverso semplici argomenti basati sulle interazioni di corto raggio. La
natura delle interazioni implica che la catena di lunghezza L, ad esempio, possa
essere considerata equivalente alla somma di due sottosezioni di lunghezza L/2,
oppure di sottosezioni di lunghezza inferiore. I termini di interazione presenti nei
punti in cui la catena viene divisa, infatti, possono essere considerati trascurabili
nel limite termodinamico. In questo modo le proprietà del sistema scalano in
modo proporzionale a N .
Se lo spettro segue la legge di scala 4.20 e siamo in presenza di un regime
dinamico in cui si ha un attrattore caotico, allora il sistema possiede la proprietà
di caos estensivo.
In base ai risultati ottenuti nei paragra 4.4.2 e 4.4.3 e alla legge di scala
4.20 possiamo aermare che il sistema 3.28 ha la proprietà di caos estensivo. In
questo caso, però, le interazioni sono di lungo raggio. Nel sistema 3.28 i neuroni
sono globalmente connessi attraverso gli elementi della matrice J. Non è aatto
ovvio che un sistema del genere presenti la proprietà di caos estensivo.
4.5.1 Dimensione di Kaplan-Yorke
La dimensione di Kaplan-Yorke è una delle possibili denizioni di dimensione
frattale di un attrattore caotico. La dimensione di Kaplan-Yorke permette di
esprimere il valore della dimensione frattale in base agli esponenti di Lyapunov.
Si assume che gli esponenti hi siano ordinati dal massimo al minimo e che l'indice
abbia i valori i = 1 . . . N , dove N è la dimensione del sistema. Sia K l'indice più
grande per il quale risulta vera la seguente disuguaglianza:
K
X
(4.21)
hj ≥ 0.
j=1
La dimensione frattale di Kaplan-Yorke dell'attrattore è denita da:
DKY = K +
1
K
X
|hK+1 |
j=1
hj ≥ 0.
(4.22)
La dimensione di Kaplan-Yorke rappresenta il numero di gradi di libertà attivi
dell'attrattore. Questo implica che la dinamica caotica si svolga su una varietà
di dimensione DKY .
Caos estensivo
101
Figura 4.39: In gura i cerchi neri rappresentano il valore della dimensione di Kaplan-Yorke
in funzione di N . Il graco corrisponde al caso di disordine congelato per i valori
dei parametri: g = 6, θ̄ = 0, J¯ = 0 e σθ = 0. La retta tratteggiata in rosso
rappresenta la retta di regressione lineare ottenuta con i cinque punti.
Se il sistema possiede la proprietà di caos estensivo la legge di scala 4.20
implica che la dimensione di Kaplan-Yorke DKY sia una quantità estensiva. In
questo caso, allora, è possibile denire una densità di dimensione frattale:
DKY (N )
.
N →∞
N
ρKY = lim
(4.23)
In base ai risultati illustrati nel paragrafo 4.4.2 possiamo calcolare la dimensione
DKY in funzione di N nel caso di disordine congelato per g = 6, θ̄ = 0, J¯ = 0
e σθ = 0. Si calcola la dimensione DKY sui dati relativi agli spettri medi, che
sono rappresentati in gura 4.31. Si riporta il risultato ottenuto in gura 4.39.
Vengono riportati cinque valori della dimensione DKY e la retta di regressione
lineare. La retta di regressione indica che i cinque valori sono consistenti con
un andamento lineare. In base alla denizione 4.23 la densità di dimensione è
rappresentata dal coeciente angolare della retta di regressione. In questo caso
si ottiene il valore:
ρKY ∼
(4.24)
= 0.058.
Caos estensivo
102
Si ricorda che questo valore è stato determinato in base agli spettri medi. I singoli
spettri, determinati dalle realizzazioni di J, sono caratterizzati da valori di DKY
che uttuano attorno al valore 0.058. Il sistema, però, presenta la proprietà
di automedia, che implica che le uttuazioni degli spettri vadano a zero nel
limite termodinamico. In questo modo, nel limite termodinamico, la dimensione
dell'attrattore caotico viene caratterizzata dal valore 0.058 per ogni realizzazione
di J. Tale valore della dimensione implica che l'attrattore occupi una parte
ridotta dello spazio delle congurazioni del sistema. L'attrattore, infatti, occupa
all'incirca il 6% degli N gradi di libertà possibili.
Conclusioni
L'attività di ricerca originale di questo lavoro di tesi ha avuto come scopo la
caratterizzazione della dinamica microscopica e collettiva di una rete neurale a
tempo discreto. Tale studio ha permesso sia una verica della validità della teoria
di campo medio, sviluppata per tale modello, sia lo studio di regimi dinamici non
studiati precedentemente.
Lo studio delle uttuazioni temporali del campo medio del sistema porta a
concludere che la dinamica collettiva sia presente per ogni valore nito della
taglia. Al variare del parametro di controllo, tale dinamica collettiva è, infatti,
caratterizzata dalla presenza di vari tipi di attrattori. Si può avere un punto
sso, un'orbita quasiperiodica, un'orbita periodica o un attrattore caotico. Al
crescere della taglia le uttuazioni, che caratterizzano il moto collettivo, possono
presentare due andamenti. In un caso le simulazioni mostrano che le uttuazioni
√
decrescono con un fattore 1/ N . Nel limite termodinamico, quindi, il sistema è
caratterizzato dall'assenza di dinamica collettiva. Nel secondo caso le uttuazioni
rimangono nite. Si osservano, infatti, alcuni regimi dinamici in cui la varibile di
campo medio, nel limite termodinamico, ha come attattore un orbita di periodo
due. Tale dinamica collettiva, però, è banale, infatti, l'orbita di periodo due è
dovuta al fatto che ogni variabile microscopica è caratterizzata da un orbita di
periodo due. Questo è confermato, anche, dallo studio eseguito per mezzo degli
esponenti di Lyapunov. Esiste, dunque, un regime in cui tutti gli oscillatori della
rete sono caratterizzati da un'orbita di periodo due. Tale regime dinamico non
era stato individuato in analisi precedenti.
Gli attrattori della rete sono stati studiati per mezzo dell'attività media dei
singoli neuroni. Tale metodo di analisi ha portato a concludere che la struttura
dell'attrattore dipende debolmente dal parametro di controllo. Si è stimato che
la dierenza massima nella struttura degli attrattori del sistema è pari all'incirca
103
Conclusioni
104
al 6%, ciò implica che l'attività della rete nel regime caotico è poco diversa da
quella del regime di punto sso.
La dinamica microscopica è stata analizzata per mezzo degli esponenti di
Lyapunov del sistema. In particolare lo studio dell'esponente massimo, al variare dei parametri, ha permesso di determinare gli attrattori e le biforcazioni
presenti. In generale, si possono avere quattro tipi di attrattore: punto sso,
orbita periodica, orbita quasiperiodica e orbita caotica. I tipi di attrattore, così
determinati, sono consistenti con quelli previsiti della teoria di campo medio in
tutti i regimi dinamici analizzati, tranne che in un caso specico: l'orbita quasiperiodica. La presenza di questo tipo di orbita è importante. Si trova, infatti, che
la transizione dal punto sso all'orbita caotica è caratterizzata da un andamento
quasiperiodico.
Successivamente, si è studiato l'intero spettro di Lyapunov per un valore del
parametro di controllo corrispondente al regime caotico, nel caso di disordine
congelato. In questo caso il sistema ha mostrato di possedere la proprietà di
automedia nel limite termodinamico, dato che le uttuazioni degli spettri decrescono al crescere della taglia del sistema. L'intero spettro di Lyapunov è stato
anche studiato nel caso di disordine dinamico, per gli stessi valori dei parametri
considerati nel caso di disordine congelato.
Un risultato interessante è che i due tipi di spettri sono compatibili, in realtà
sono quasi coincidenti, una volta ssata la taglia del sistema e il valore dei parametri. Questo può essere interpretato come una verica indiretta delle ipotesi
di scorrelazione su cui si basa la teoria di campo medio. La struttura dei due
tipi di spettro ha mostrato, inoltre, che il sistema possiede la proprietà del caos
estensivo in presenza di entrambi i tipi di disordine.
Un'ulteriore verica della proprietà di caos estensivo è stata fornita dall'analisi della dimensione di Kaplan-Yorke dell'attrattore caotico, nel caso di disordine
congelato. Tale analisi è stata condotta nello stesso regime in cui sono stati determinati gli spettri. La dimensione di Kaplan-Yorke risulta essere una quantità
estensiva e viene stimato un valore per la densità di dimensione pari a 0.058.
Uno dei possibili sviluppi del modello studiato consiste nell' analisi teorica e
numerica della proprietà di caos estensivo. Quest' analisi può essere interessante,
perché il sistema è caratterizzato da interazioni a lungo raggio. In questo caso,
infatti, mancano ancora degli argomenti teorici che permettano una spiegazione
Conclusioni
105
della proprietà di caos estensivo.
È importante menzionare inne che, per lo svolgimento di questo lavoro di
tesi, sono stati sviluppati codici originali in linguaggio C, al ne di eettuare le
simulazioni numeriche riportate in precedenza.
Bibliograa
[1] L.Lapicque, Recherches quantitatives sur l'excitation electrique des nerfs
traitee comme une polarization, J.Physiol.Pathol.Gen. 9, 620(1907).
[2] A.L.Hodgkin, A.F.Huxley, Currents carried by sodium and potassium
ion throught the membrane of the giant axon of Loligo, J.Physiol. 116,
449(1952).
[3] A.L.Hodgkin, A.F.Huxley, A quantitative description of membrane current
and its application to conduction and excitation in nerve, J.Physiol. 117,
500(1952).
[4] F. Rosenblatt, Principles of Neurodynamics, Spartan Books, 1962.
[5] R.J. Glauber, Time dependent statistics of the Ising model, Journal of
Mathematical Physics 4, 294(1963).
[6] H.Sompolinsky, Annette Zippelius, Relaxational dynamics of the EdwardsAnderson model and the mean-eld theory of spin-glasses, Physical Review
B 25, 6860(1982).
[7] J.J.Hopeld, Neurons with graded response have collective computational properties like those of two-state neurons, Proceedings of the National
Academy of Sciences USA 81, 3088(1984).
[8] K.Kaneko, Progress of Theoretical Physics 72, 480(1984).
[9] Daniel J.Amit, H.Gutfreund, H.Sompolinsky, Spin-glass models of neural
networks, Physical Review A 32, 1007(1985).
106
BIBLIOGRAFIA
107
[10] Daniel J.Amit, H.Gutfreund, H.Sompolinsky, Storing Innite Numbers of
Patterns in a Spin-Glass Model of Neural Networks, Physical Review Letters
55, 1530(1985).
[11] V.L.Girko, Circular law, Theory of Probability and its Application(USSR)
29, 694-706(1985).
[12] A.Crisanti, H.Sompolinsky, Dynamics of spin systems with randomly asymmetric bonds: Langevin dynamics and a spherical model, Physical Review
A 36, 4922(1987).
[13] H.Kantz, P.Grassberger, Physics Letters 123, 437(1987).
[14] H.Sompolinsky, A.Crisanti, H.J.Sommers, Chaos in Random Neural
Networks, Physical Review Letters 61, 259(1988).
[15] Daniel J.Amit, Modeling Brain Function, Cambridge University Press, 1989.
[16] William H.Press, Saul A.Teukolsky, William T.Vetterling, Brian P.Flannery,
Numerical Recipes in C, Cambridge University Press, 1992.
[17] B.Cessac, B.Doyon, M.Quoy, M.Samuelides, Mean-eld equations, bifurcation map and route to chaos in discrete time neural networks, Physica D
74, 24-44(1994).
[18] Peter Dayan, L.F.Abbott, Theoretical Neuroscience-computational and
mathematical modeling of neural systems, The MIT Press, 2000.
[19] Wulfram Gerstner, Werner M.Kistler, Spiking Neuron Models, Cambridge
University Press, 2002.
[20] Edward Ott, Chaos in Dynamical Systems, Cambridge University Press,
2002.
[21] Luca Peliti, Appunti di meccanica statistica, Bollati Boringhieri, 2003.
[22] Kanaka Rajan, L.F.Abbott, Eigenvalue Spectra of Random Matrices for
Neural Networks, Physical Review Letters 97, 188104(2006).
BIBLIOGRAFIA
108
[23] Massimo Cencini, Fabio Cecconi, Angelo Vulpiani, Chaos, from simple
models to complex systems, World Scientic, 2010.
Ringraziamenti
Al professore Antonio Politi per aver creduto in questo lavoro, per avermi
aiutato e sostenuto nei momenti `critici'...e per l'innita pazienza. Ringrazio
sentitamente Stefano Luccioli, Alessandro Torcini, Gian Piero Puccioni e Alessandra Giannasi per il sostegno e per aver risposto alle mie innite domande.
Grazie alla mia mamma e al mio papà per avermi dato la possibilità di realizzare
questo sogno e per il loro amore incondizionato. Ringrazio zia Teresa, zio Franco,
zia Maria, nonna Concetta, i nonni che non ci sono più e tutti i miei parenti che
mi sono stati accanto nonostante la distanza. Grazie ad Ilenia per l'amicizia e
la simpatia. Grazie a Imma, che mi è stata sempre vicino in tutti questi anni.
Inne, grazie ad Annamaria per il suo amore e il suo sostegno `inniti'.
109