Algoritmi di controllo per la navigazione basati su spiking networks

POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Algoritmi di controllo per la navigazione
basati su spiking networks
CRISTIANO ALESSANDRO
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Outline
• Neurone biologico
• Neurone Spiking
• Learning ed esperimento di Pavlov
• Spike Timing Dependent Plasticity (STDP)
• Applicazione per il Path Planning con Obstacle Avoidance
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Neurone Biologico
• Potenziale di membrana
• Potenziale pre-sinaptico
Efficacia
sinaptica
• Potenziale post-sinaptico
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Neurone Biologico
(Funzionamento)
Meccanismo di trasmissione dell’informazione quasi completamente di natura
elettrica.
Il potenziale di membrana è la differenza di potenziale negativa presente fra
l’interno e l’esterno della cellula. Tale potenziale è soggetto a variazioni dovute
alla “trasmissione di informazioni” con altri neuroni:
• iperpolarizzanti: fanno aumentare il potenziale di membrana;
• depolarizzanti: fanno diminuire il potenziale di membrana.
Il Neurite è l’unica parte della cellula capace di GENERARE segnali: spike o
potenziali di azione.
Si tratta di segnali impulsivi della durata di 1-2 ms non graduabili (digitali).
Le sinapsi sono connessioni unidirezionali tra l’uscita di un neurone e
l’ingresso dell’altro. Esse modulano l’ampiezza del segnale trasmesso in base
alla loro efficacia sinaptica (pesi delle sinapsi). VARIABILE NEL TEMPO!
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Neurone Biologico
(Funzionamento)
Il potenziale pre-sinaptico è il segnale presente prima della sinapsi.
Il potenziale post-sinaptico rappresenta il segnale di uscita al neurone,
ovvero il potenziale pre-sinaptico modulato dalla efficacia sinaptica.
L’ingresso del generico neurone è, quindi, la sommatoria di tutti i potenziali
post-sinaptici dei neuroni che lo precedono. Questo viene tradotto in una
variazione del suo potenziale di membrana: se l’efficacia sinaptica è
eccitatrice, il potenziale post-sinaptico causa una depolarizzazione altrimenti,
in caso di efficacia inibitrice, causa una iperpolarizzazione.
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Neurone Biologico
(Funzionamento)
Se il potenziale di membrana supera una certa soglia di innesca un processo
autonomo di depolarizzazione che determina nell’assone la formazione di uno
spike.
In risposta ad esso viene generato un segnale (potenziale pre-sinaptico) in
accordo con la seguente funzione.
 t 1−τt

ε (t ) = τ e
0
Ingresso al neurone j
x j (t ) = ∑ wij ε (t − t i )
i∈Γ j
if t > 0
if t ≤ 0
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Neurone Spiking
• Modello di Izhikevich
v′ = 0.04v 2 + 5v + 140 − u + I
u ′ = a (bv − u )
if
v ← c
v ≥ +30 mV ⇒ 
u ← u + d
v = Potenziale di membrana
u = Variabile di recupero
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Neurone Spiking
Possono essere definiti vari tipi di
neuroni in base alla scelta di a,b,c,d.
Class 1 excitable: la frequenza di
spike aumenta proporzionalmente
del segnale in ingresso.
Informazione contenuta nella
frequenza con cui gli spike vengono
emessi.
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Learning
• Sinapsi di Hebb
L’efficacia sinaptica non è statica e rappresenta la capacità di
memorizzazione di una rete neurale biologica (plasticity).
Le sinapsi di Hebb variano la loro efficacia in funzione dello
sfasamento temporale fra due impulsi: se lo spike pre-sinaptico
avviene prima del post-sinaptico essa viene rinforzata, viceversa
viene indebolita.
• Classical Conditioning
Permette di sviluppare associazioni fra stimoli incondizionati a
stimoli condizionati.
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Learning
(Classical conditioning)
Stimoli incondizionati (US)
Stimoli condizionati (CS)
US
UR
CS
CR
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Learning
(Hebb)
PRE
POST
L’attività del neurone PREsinaptico (sensoriale) attivato dal suono del campanello si accoppia
all’attività del neurone POSTsinaptico (effettore) attivato dalla presenza di cibo.
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Spike Timing Dependent Plasticity
Valore dinamico dell’efficacia
 A+ exp(∆t )
τ+

∆W = 
− ∆t )
− A− exp(
τ−

if
∆t < 0
if
∆t ≥ 0
∆t = t pre − synaptic − t post − synaptic
decay-rate
Sistema
adattativo
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Spike Timing Dependent Plasticity
Generalizzando, nel caso in cui vi siano n e m spike, rispettivamente pre e post
sinapsi...
∆t ij

A
exp(
 +
τ + ) if ∆t < 0
, 1 ≤ i ≤ n ;1 ≤ j ≤ m
δWij = 
− ∆t ij
− A− exp(
) if ∆t ≥ 0
τ

−
n
m
∆W = ∑∑ δwij
i =1 j =1
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
STDP
Problema irrisolto: come trattare le n*m
coppie di spike?
• All-to-All interaction
• Nearest-neighbor interaction
• Postsynaptic-centric interaction
• Presynaptic-centric interaction
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Applicazione
Realizzazione di un algoritmo di controllo bioispirato per la navigazione di robot
Robot
Ambiente
(sensori)
(target e ostacoli)
Local Navigation
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Applicazione
Ambiente dinamico, soggetto a cambiamenti
Algoritmo adattativo…
…biologicamente ispirato
• struttura (Modello di Izhikevich)
• apprendimento (STDP)
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Applicazione
Behavior del Robot:
• Path Planning per il raggiungimento di target
• Camera – CS
• Sensori di target - US
• Obstacle Avoidance
• Sensori di distanza - CS
•Sensori di contatto - US
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Applicazione
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Applicazione
MNL
MNR
Terzo livello
Secondo livello
RFL RFR CDL CDR
TDL TDR
Primo livello
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Applicazione
(Esperimento 1)
Prima...
...Dopo
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Applicazione
(Esperimento 1)
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Applicazione
(Esperimento 2)
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Applicazione
(Esperimento 2)
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Sviluppi futuri
Implementazione di un algoritmo di navigazione basato non solo sulle
informazioni sensoriali che il robot riceve istantaneamente dall’ambiente, ma
anche su una rappresentazione topologica e metrica dello stesso, che
permetta di pianificare la traiettoria da compiere per il raggiungimento di un
determinato obbiettivo.
Way-finding Navigation
POLITECNICO DI MILANO
Robotica 2 – a.a. 2006/07
Cristiano Alessandro
Bibliografia
P. Arena, L. Fortuna, M. Frasca, L. Patanè, C. Alessandro, D. Barbagallo, “Learning high
sensors from reflexes via spiking networks in roving robots”, 8th international IFAC symposium on
robot control, IFAC Syrco ’06 - 06/08/2006 Bologna, Italy.
Cristiano Alessandro. Algoritmi di controllo per la navigazione basati su spiking networks. Tesi di
laurea – Relatori: Paolo Arena, Mattia Frasca, Luca Patanè – DIEES University of Catania
Donato Barbagallo. Un ambiente per la simulazione di algoritmi di navigazione basati sulla
visione. Tesi di laurea – Relatori: Paolo Arena, Mattia Frasca, Luca Patanè – DIEES University of
Catania
Fabio Danieli. STDP per il controllo della navigazione. Tesi di Laurea – DIEES University of
Catania
Paolo Arena, Luigi Fortuna, Mattia Frasca, Luca Patanè. Navigation Control based on Spiking
Networks. DIEES University of Catania
E.M. Izhikevich. Simple Model of Spiking Neurons, IEEE Transactions on Neural Networks, Vol
14, n°6, pages 1569-1572, 2003.
http://www.nsi.edu/users/izhikevich/
Dominique Luzeaux, Andrè Dalgalarrondo. Hybrid Architecture for Autonomous Robots, Based
on Rappresentation, Perception and Intelligent Control. Recent Advances in Intelligent Paradigms
and Application. Pages 37-39, 2002
Oliver Trullier. Biologically-based Artificial Navigation System: Review and prospects. Progress in
Neurobiology, pages 1-10.
U. R. Karmarkar,M. T. Najarian, and D. V. Buonomano, Mechanismus and significance of spiketiming dependent plasticity, Biol. Cybern., vol. 87, pp. 373–382, 2002.