Diss. ETH No. 16578
A Neuromorphic VLSI System for Modeling
Spike–Based Cooperative Competitive Neural
Networks
A dissertation submitted to the
SWISS FEDERAL INSTITUTE OF TECHNOLOGY
(ETH ZURICH)
for the degree of
Doctor of Natural Sciences
presented by
ELISABETTA CHICCA
Dipl.-Phys. Università di Roma “La Sapienza”
born April 1, 1972
citizen of Rome, Italy
accepted on the recommendation of
Prof. Dr. Rodney J. Douglas, examiner
Dr. Giacomo Indiveri, co-examiner
Dr. Daniel Kiper, co-examiner
2006
Abstract
Neuromorphic engineering is an emerging research field which explores methodologies for
implementing biologically inspired systems in hardware. It has a key role in neuroscience
as a means for testing hypotheses concerning the computation carried out by the brain,
while at the same time it promotes the development of artificial systems capable of achieving performance figures comparable to those of biological neural systems. I am interested
in applying neuromorphic engineering methods as a tool for understanding cortical computation and its relation to recurrent intra-cortical connectivity.
This thesis describes the development and testing of a neuromorphic VLSI implementation of a spiking recurrent cortical network model and the hardware/software infrastructure
required to operate it. The local connectivity of my neural network is an abstract representation of the cooperative–competitive connectivity observed in cortex, which is believed
to play a major role in shaping cortical responses and selecting the relevant signal among
distractors and noise. The hardware/software infrastructure allows us to build multi–chip
systems, to configure the inter–chip and intra–chip connectivity, to provide external stimuli
to the multi–chip system and to monitor the activity of all chips, providing a highly flexible
tool for testing complex systems.
I performed software simulations and real–time experiments with the working chip to
demonstrate that the spiking network exhibits the complex behaviors predicted by well
known theoretical studies on more abstract models (e.g. dynamic field theory, rate model)
of similar architectures. I carried out experiments with both artificially generated, well controlled stimuli and “real” sensory data generated by a silicon retina chip. In the latter case, I
implemented (in collaboration with my collegue Patrick Lichtsteiner) and tested a two chip
vision based system for exploring computational models of feature selectivity in a realworld scenario, and so demonstrated the feasibility of real-time inter-chip communication
through our hardware/software infrastructure. Such a feasibility proof is a necessary step
for evolving the neuromorphic systems developed so far into complex and scalable systems
endowed with sophisticated computational capabilities.
The VLSI spiking recurrent network and the hardware/software infrastructure described
in this thesis provide a highly flexible platform to test the computational properties of cooperative competitive neural networks in real–time, and allows us to test the role of spike
timing with real–world stimuli.
The insights gained through with this work, the technology developed and the methodologies derived provide an important stepping stone toward the understanding and practical
application of recurrent, cooperative–competitive neural networks.
i
ii
Abstract
Keywords: neuromorphic, VLSI, neural networks, Integrate–and–Fire (I&F) neuron, Address Event Representation, cooperative competitive networks, orientation selectivity.
Prefazione
L’ingegneria neuromorfa è un campo di ricerca emergente che esplora le metodologie per
progettare sistemi fisici prendendo ispirazione dalla biologia. Essa ha un ruolo fondamentale come mezzo per valutare ipotesi riguardo la computazione eseguita dal cervello e, allo
stesso tempo, promuove lo sviluppo di sistemi artificiali capaci di raggiungere prestazioni
confrontabili a quelle dei sistemi neurali biologici. Il mio interesse principale riguarda l’utilizzo delle metodologie dell’ingegneria neuromorfa come strumento per comprendere i
processi computazionali che avvengono nella corteccia cerebrale e la loro relazione con la
connettività ricorrente corticale.
Questa tesi descrive lo sviluppo e l’analisi di una trasposizione in VLSI neuromorfo
di un modello di rete ricorrente corticale e l’infrastruttura hardware/software per farla funzionare. La connettività locale della rete neurale rappresenta in modo astratto la connettività di natura cooperativa e competitiva presente nella corteccia cerebrale, la quale si pensa
abbia un ruolo fondamentale nel plasmare l’attività corticale e nell’amplificare i segnali
che codificano l’informazione, sopprimendo quelli che derivano da distrattori e rumore.
L’infrastruttura hardware/software sviluppata ci permette di costruire sistemi multi–chip,
configurare la connettività inter–chip ed intra–chip, fornire stimoli esterni al sistema multi–
chip e monitorare l’attività di tutti i chip, fornendo cosı̀ uno strumento flessibile per testare
sistemi complessi.
In questo lavoro ho eseguito simulazioni software ed esperimenti con il chip in tempo
reale per dimostrare che la rete neurale artificiale esibisce gli stessi comportamenti complessi descritti da studi analitici su modelli di architetture simili. In questi esperimenti la rete
ricorrente è stata stimolata sia con stimoli generati artificialmente sia con stimoli percettivi
“reali” generati da una retina artificiale. In quest’ultimo caso, ho realizzato e caratterizzato
(in collaborazione con Patrick Lichtsteiner) un sistema visivo composto da due chip per studiare possibili modelli computazionali per la selettività a caratteristiche dello stimolo visivo
(come ad esemprio, orientamento) in uno scenario realistico. Questo sistema dimostra la
funzionalità della comunicazione tra chip in tempo reale attraverso l’infrastruttura sviluppata. Questa prova di funzionalità rappresenta un passo fondamentale per lo sviluppo di
sistemi neuromorfi in architetture complesse e scalabili dotate di proprietà computazionali
elaborate.
La rete VLSI ricorrente realizzata con neuroni integrate–and–fire e l’infrastruttura
hardware/software descritte in questa tesi costituiscono uno strumento flessibile per indagare le proprietà computazionali delle reti neurali, cooperative e competitive, in tempo
reale e permette di verificare ipotesi riguardo al ruolo delle temporizzazioni tra gli impulsi
iii
iv
Prefazione
neuronali attraverso l’uso di stimoli realistici.
I risultati ottenuti con questo lavoro, la tecnologia sviluppata e la metodologia proposta
rappresentano un ulteriore passo verso la comprensione e l’applicazione pratica delle reti
neurali competitive e cooperative.
Parole chiave: neuromorfo, VLSI, reti neurali, neurone Integrate–and–Fire (I&F),
Address Event Representation (AER), reti cooperative e competitive, selettività
all’orientamento.
