Spiking Neurons - Home di homes.di.unimi.it

Spiking Neurons
Pietro Mele 2004
[email protected]
www.geocities.com/pietromele
Spiking neurons...
...in italiano:
neuroni basati su potenziali d'azione
Spiking Neurons - Pietro Mele 2004 - [email protected]
1
Modello di neurone
y = f(x, t)
Spiking Neurons - Pietro Mele 2004 - [email protected]
Spiking Neurons - Pietro Mele 2004 - [email protected]
2
Spiking Neurons - Pietro Mele 2004 - [email protected]
Spiking Neurons - Pietro Mele 2004 - [email protected]
3
Sistema reale (es.: neurone)
Modello matematico
Algoritmo
Codice
Simulazione
Spiking Neurons - Pietro Mele 2004 - [email protected]
Sistema reale (es.: neurone)
Approssimazioni
Modello matematico
(es. con equazioni differenziali)
Approssimazioni
(es. Eulero, Runge-Kutta, ...)
Algoritmo
Approssimazioni
(troncamenti, arrotondamenti, ...)
Codice
Simulazione
Spiking Neurons - Pietro Mele 2004 - [email protected]
4
Modelli matematici
Realismo / complessità
Compartmental models
Hodking-Huxley
Integrate and fire
Spiking Neuron
Rate models
Spiking Neurons - Pietro Mele 2004 - [email protected]
Modelli matematici
Realismo / complessità
Compartmental models
Struttura spaziale, ...
Hodking-Huxley
Correnti ioniche
Integrate and fire
R e C in parallelo, f(V)
Spiking Neuron
Funzione di
Rate models
Grande scala temporale
Spiking Neurons - Pietro Mele 2004 - [email protected]
5
Modelli matematici
Realismo / complessità
Compartmental models
Hodking-Huxley
Equazioni differenziali
Integrate and fire
Spiking Neuron
Rate models
Integrale / sommatoria su t
Equazioni algebriche
Spiking Neurons - Pietro Mele 2004 - [email protected]
Rate models
- Grande scala temporale.
- Il comportamento del neurone viene approssimato con una
media su un intervallo di tempo molto lungo.
- Vantaggi:
- Semplicità del modello.
- Svantaggi:
- Più è lungo l'intervallo di tempo, più sono i dettagli del
funzionamento del neurone che vengono persi.
- Non realistico in molte situazioni: possiamo identificare
un'immagine in meno di 100 ms --> non c'è tempo di fare
medie!
Spiking Neurons - Pietro Mele 2004 - [email protected]
6
Rate models
Un modello non dipendente dal tempo: Multi-layer Perceptron
Funzione di trasferimento g:
Spiking Neurons - Pietro Mele 2004 - [email protected]
Nel cervello:
- La durata di uno spike è dell'ordine di 1-2 ms.
- In genere gli spikes sono simili tra loro, quindi
l'unica informazione che trasmettono è contenuta
nell'istante di tempo in cui sono generati.
Spiking Neurons - Pietro Mele 2004 - [email protected]
7
Spiking Neuron
- Vengono considerati i singoli spikes.
- Uno spike è rappresentato con un valore binario ad un certo
tempo t.
- Uno spike incrementa il potenziale del neurone.
- Il potenziale decade nel tempo.
- Se il potenziale raggiunge una certa soglia, il neurone “spara”.
Spiking Neurons - Pietro Mele 2004 - [email protected]
Spiking Neuron
in
out
in
t
out
Spiking Neurons - Pietro Mele 2004 - [email protected]
8
Notazione:
j
i
...
Spiking Neurons - Pietro Mele 2004 - [email protected]
Notazione:
istante in cui il neurone i ha generato lo spike f
potenziale del neurone i
peso sinaptico tra i neuroni j e i
Spiking Neurons - Pietro Mele 2004 - [email protected]
9
Potenziale (1)
Spiking Neurons - Pietro Mele 2004 - [email protected]
Potenziale (2)
Refractory function
Spiking Neurons - Pietro Mele 2004 - [email protected]
10
Potenziale (3)
Refractory function
PSP
Spiking Neurons - Pietro Mele 2004 - [email protected]
Spiking Neurons - Pietro Mele 2004 - [email protected]
11
Spiking Neurons - Pietro Mele 2004 - [email protected]
Spiking Neurons - Pietro Mele 2004 - [email protected]
12
Sinapsi
Pre
Post
Spiking Neurons - Pietro Mele 2004 - [email protected]
Spiking Neurons - Pietro Mele 2004 - [email protected]
13
Rete di spiking neurons
I
Iinput
Ioutput
Spiking Neurons - Pietro Mele 2004 - [email protected]
Rete di spiking neurons
Spiking Neurons - Pietro Mele 2004 - [email protected]
14
Rete di spiking neurons
Sequenza di spikes in ingresso
Sequenza di spikes in uscita
Spiking Neurons - Pietro Mele 2004 - [email protected]
Apprendimento
Una possibile definizione: un sistema apprende quando, sulla base di
segnali in ingresso, è in grado di modificare i suoi parametri interni
per raggiungere un determinato “scopo”.
Tipi di apprendimento:
- Supervisionato
(cervelletto)
- Con rinforzo
(gangli basali)
- Non supervisionato
(corteccia)
Spiking Neurons - Pietro Mele 2004 - [email protected]
15
Apprendimento (1.1)
Modifica dei seguenti parametri:
Pesi sinaptici:
Soglia:
Axonal transmission delays:
Spiking Neurons - Pietro Mele 2004 - [email protected]
Apprendimento (1.2)
Modifica dei seguenti parametri:
Pesi sinaptici:
Soglia:
Axonal transmission delays:
Spiking Neurons - Pietro Mele 2004 - [email protected]
16
Apprendimento (2)
Spiking Neurons - Pietro Mele 2004 - [email protected]
Apprendimento (2.1)
Finestra di apprendimento W
1.0
W
0.0
-1.0
-40
0
40
ms
Spiking Neurons - Pietro Mele 2004 - [email protected]
17
Apprendimento (2.2)
(Potenziamento e depressione a lungo termine)
Spiking Neurons - Pietro Mele 2004 - [email protected]
Apprendimento (3)
Stability / Plasticity dilemma
Spiking Neurons - Pietro Mele 2004 - [email protected]
18
Stability / Plasticity dilemma
Sistema stabile
memoria
apprendimento
Sistema plastico
Spiking Neurons - Pietro Mele 2004 - [email protected]
Stability / Plasticity dilemma
Sistema stabile
memoria
dilemma
Sistema plastico
apprendimento
Spiking Neurons - Pietro Mele 2004 - [email protected]
19
Stability / Plasticity dilemma
Sistema stabile
memoria
dilemma
Sistema plastico
Come puo' un sistema
essere stabile e plastico
contemporaneamente?
apprendimento
Spiking Neurons - Pietro Mele 2004 - [email protected]
Apprendimento (3.1)
Lo stato di un sistema “pseudo-binario”:
0
1
Spiking Neurons - Pietro Mele 2004 - [email protected]
20
Apprendimento (3.2)
Un sistema “perturbato”:
0
1
Spiking Neurons - Pietro Mele 2004 - [email protected]
Apprendimento (3.3)
Stabilità
0
1
Spiking Neurons - Pietro Mele 2004 - [email protected]
21
Apprendimento (3.4)
Plasticità
0
1
Spiking Neurons - Pietro Mele 2004 - [email protected]
Fine
Spiking Neurons - Pietro Mele 2004 - [email protected]
22