neuroni corteccia

Lezione 10
BCI device
Cos’è una BCI





BCI = Brain Computer Interface
Basato sulla lettura di dati (segnali) provenienti da
elettroencefalogramma
Presente come
 Tecnologia invasiva (in neurochirurgia)
 Tecnologia non invasiva (neurologia e altre
applicazioni)
Derivato da applicazione di macchine per
encefalogramma
… torneremo sulle BCI più avanti.
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Elettroencefalogramma


Un elettroencefalogramma fornisce la misura delle
fluttuazioni di voltaggio del cervello rilevate da
elettrodi posti sul cranio
Viene rilevata un’approssimazione dell’attività
elettrica cumulativa dei neuroni.
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Origine dell’EEg




Neuroni corticali organizzati a formare ammassi colonnari a
orientamento perpendicolare alla superficie della corteccia
cerebrale, di cui costituiscono unità funzionali elementari.
EEG: espressione dei processi sinaptici (potenziali elettrici
pre- e post-sinaptici), di potenziali dendritici e probabilmente
anche di potenziali della neuroglia (cellule di sostegno).
Potenziali rilevabili con EEG sono quelli associati a correnti
all'interno dell'encefalo che fluiscono perpendicolarmente
rispetto allo scalpo.
Tecnica complementare: magnetoencefalografia (MEG)
 permette di misurare le correnti che fluiscono
parallelamente allo scalpo.
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Elettroencefalogramma - usi


per ottenere neurofeedback

Per il trattamento della ADHD (Disturbo da Deficit di

Attenzione/Iperattività, disturbo evolutivo
dell'autocontrollo)
Giudare la meditazione
per Brain Computer Interface
 Persone con inadeguato controllo muscolare
 Persone con ALS (sclerosi laterale amiotrofica), o
traumi spinali
 Alta precisione
 bassa bandwidth (bit rate)
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Elettroencefalogramma - strumenti

EEG richiede elettrodi posizionati sul cranio



Attivi (con gel)
Passivi (senza gel)
Richiede connessione ad elaboratore


Fisica
Radio
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Posizionamento degli elettrodi


Sistema standard “10-20”
Regioni contraddistinte da lettere (una
o due) per regione corteccia esplorata:






F – lobo Frontale (Fp – Frontopolare)
T – lobo Temporale
P – lobo Parietale
C - Centrale
O – lobo Occipitale
Si aggiunge numero posizioni
per identificare emisfero



Numeri dispari - sinistra
Numeri pari – destra
Z - linea mediana.
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Posizionamento degli elettrodi (2)

Vista dettagliata
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Sistema internazionale 10-20 (1)

elettrodi applicati sullo scalpo secondo posizionamento standard
"sistema internazionale 10-20".


10% o 20% con rif a 100% distanza tra due punti cranici "inion"
(prominenza alla base dell'osso occipitale) e "nasion" (attaccatura
superiore del naso), distanza di solito da 30 a 36 cm. (variabilità
interpersonale).
19 elettrodi, lungo cinque linee:
1.
2.
3.
4.
5.
6.
P1: longitudinale esterna
P2: long. interna destra
Centrale
P1: longitudinale esterna
P2: long. interna di sinistra
linea trasversa T4-C4-Cz-C3-T3 denominata montaggio P3, sempre
con regola del 10-20%.
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Sistema internazionale 10-20 (2)






elettrodi fronto-polari sopra le sopracciglia
frontali su stessa linea dei fronto-polari ma più su del 20%
centrali (+ 20%)
parietali (+ 20%)
occipitali (+ 20%)
Totale del 90% della distanza nasion-inion, a distanza del 10%
dall'inion
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Ritmi cerebrali


Differenza di potenziale tra cellule nervose del cervello misurata
come differenza in voltaggio
 onde generate valutate per loro differenza in ampiezza (in microVolt)
e in frequenza (in cicli per secondo o Hz).
Ritmi maggiori: alfa, beta, theta, delta:
 onde alfa caratteristiche in condizioni di veglia e di riposo mentale,
ma assenti nel sonno.
 soggetto sottoposto ad attività cerebrale maggiore  presenza onde
beta.
 dominanti in soggetto ad occhi aperti, in stati di allerta e in sonno
REM.
 onde theta dominanti nel neonato. Possono rappresentare tensioni
emotive.
 onde delta predominanti nell'infanzia, in anestesia generale e in
alcune malattie cerebrali.
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Ritmo cerebrale alfa

Ritmo di base: ritmo alfa ("ritmo di Berger")




Se soggetto apre gli occhi,



frequenza di 8-12 Hz (cicli/sec)
ampiezza media 40-50 microVolt
registrato a occhi chiusi in soggetto sveglio, soprattutto tra elettrodi occipitali
e parietali.
attività alfa scompare, sostituita da attività di basso voltaggio più rapida (beta)
Elettroencefalogramma normale: onde alfa prevalenti a livello
parietale e occipitale.
In stato di sonno presenti sia onde beta che onde delta e theta
(theta in sonno non-REM).
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Raggruppamenti dei ritmi cerebrali

Onde raggruppate per frequenza (l’ampiezza è
circa 100µV massimo)
Type
Frequency
Location
Use
Delta
<4 Hz
everywhere
occur during sleep, coma
Theta
4-7 Hz
temporal and parietal
correlated with emotional stress
(frustration & disappointment)
Alpha
8-12 Hz
occipital and parietal
reduce amplitude with sensory
stimulation or mental imagery
Beta
12-36 Hz
parietal and frontal
can increase amplitude during
intense mental activity
Mu
9-11 Hz
frontal (motor
cortex)
diminishes with movement or
intention of movement
Lambda
sharp,
jagged
occipital
correlated with visual attention
Vertex
Prof. R. Folgieri
higher incidence in patients with
epilepsy or encephalopathy
Realtà Virtuali aa 2010/2011
L’elettroencefalografia
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Onde alfa e beta





Studiate dagli anni ’20
Rilevate nella corteccia parietale e frontale
Stato di relax -> maggiore ampiezza alfa
Stato di eccitazione -> maggiore ampiezza beta
Relaxed -> Excited
Alpha -> Beta
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Onde Mu (1)




Studiate dagl anni ‘30
Rilevate nella corteccia motoria
L’ampiezza è soppressa dai movimenti fisici o
dalle intenzioni di movimento (fisico)
Wolpaw, et al, 1991: addestramento di soggetti
nel controllare il ritmo mu visualizzando
un’attività di movimento attraverso il moto di un
cursore verso l’alto e verso il basso (1
dimensione)
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Onde Mu (2)
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Onde Mu e beta

Wolpaw e McFarland, 2004 usano una
combinazione lineare di onde Mu e beta per
controllare un cursore 2D
 I pesi sono appresi dagli utenti in tempo reale
 Il cursore si muove ogni 50ms (20 Hz)
 92% “hit rate” in media1.9 sec
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
P300 – evoked potentials




Avvengono in risposta ad eventi significaivi ma
con bassa probabilità
300 millisecondi dopo lo stimolo target
Trovati nel 1965 da Sutton et al., 1965; Walter,
1965
focus specifico
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
P300 – esperimenti





Farwell e Donchin, 1988
95% accuratezza per 1 carattere per 26s
Esempio:
http://www.intendix.com/
C’è anche VEP (Visual Evoked Potential), simile a
P300, rileva cambiamenti in corteccia visiva
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Generalizzazione modello – S of A







Modelli EEG non ancora in grado di seguire il
cambiamento della natura dell’utente.
Curran et al, 2004: propongono l’uso di algoritmi di
Adaptive Filtering
Necessari ancora molti adattamenti manuali (es.
posizionamento elettrodi)
Gli utenti devono adattarsi al sistema e non viceversa
Tecniche attuali apprendono modelli separati per
ciascun utente
Müller, 2004: machine learning per ridurre necessità
training
Support Vector Machines (SVM) eRegularized Linear
Discriminant Analysis (RLDA)
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Caratteristiche da considerare per BCI

Un utente deve essere in grado di controllare
l’output:



Utilizzando una caratteristica dell’output EEG che si
possa modificare (onde)
Evocando una risposta EEG con uno stimolo esterno
(evoked potential)
Un elettroencefalogramma standard misur l’ttività
elettrica del cervello in modo non invasivo. L’EEG
consente di misurare:


L’attività neurale spontanea
L’attività neurale evocata (potenziali evento-correlati,
ERP)
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Cos’è una BCI?

Un sistema che legge segnali elettrici cerebrali o altre
manifestazioni dell’attività cerebrale e li trasforma in
forme digitali che un elaboratore può comprendere,
processare e convertire in azioni di qualche tipo

BCI può aiutare persone con disabilità a controllare
computer, sedie a rotelle, televisioni, o altri device,
mediante l’attività cerebrale
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Cos’è una BCI?

Definizione di J.R.Wolpaw:





“A BCI is a communication system in which messages or commands
that an individual sends to the eternal world do not pass through the
brain’s normal output pathways of peripheral nerves and muscles.”
Un sistema BCI assegna ai neuroni corticali un ruolo generalmente
svolto dai neuroni spinali
Interpreta l’intenzionalità da parte dell corteccia e delega il controllo
del processo ad un Hw o ad un Sw
Un sistema che legge segnali elettrici cerebrali o altre
manifestazioni dell’attività cerebrale e li trasforma in forme
digitali che un elaboratore può comprendere, processare e
convertire in azioni di qualche tipo
BCI può aiutare persone con disabilità a controllare computer,
sedie a rotelle, televisioni, o altri device, mediante l’attività
cerebrale
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Componenti di un BCI (1)
Mezzi per misurare
i segnali neurali
cerebellari
Prof. R. Folgieri
Metodi ed algoritmi
per decodificare stati
cerebrali/intenzioni
dai segnali rilevati
Metodologie ed algoritmi per
“mappare” l’attività cerebrale
decodificata in attitudini o
intenzioni di azione
Realtà Virtuali aa 2010/2011
Componenti di un BCI (2)
Sistema di
acquisizione
Signal
preprocessing
Feedback visivo
e/o tattile
BCI
applications
Signal analysis
Controller
attuatore
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
BCI invasivo e non invasivo

Tecniche invasive con elettrodi impiantati
direttamente nel cervello del paziente

Tecniche non invasive, nelle quali i device di scan
medici o i sensori montati su cuffie o headband
leggono i segnali cerebrali
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
BCI invasivo: vantaggi e svantaggi
Vantaggi
Svantaggi
Alta risoluzione
Intervento chirurgico in anestesia
totale
Possibilità di esaminare singoli
gruppi di neuroni
Contatto di microelettrodi con
corteccia può causare infezioni
Immune da errori
A lungo termine possibili problemi
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
BCI non invasivo: vantaggi e svantaggi
Vantaggi
Svantaggi
Facilità applicazioni
Dipendenza da materiale/tipo
elettrodi
Alta portabilità. Mobile
Bassa risoluzione
Tecnica economica
Alta sensibilità a rumore ed errori
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Paradigmi BCI

Passivo endogeno: specifica attività mentale
legata all’immaginazione.
Es. immaginazione di moto o calcolo mentale

Attivo endogeno: neurofeedback attico e immaginazione
mentale senza restrizioni utilizzando il principio operante
condizionante – cognitivo “non specifico”, giusto un
principio “do it”
Passivo esogeno: risposte stimoli esterni per evocare
specifiche risposte cerebrali (event-related potentials,
ERP)
Attivo esogeno: risposte modificate coscientemente in
base a stimoli esterni, spesso combinate con
neurofeedback


Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Cosa rileva BCI
… dipende dai modelli
 Onde:






Alfa
Beta
Theta
Gamma
Delta
anche:



espressioni facciali
eye tracking
movimenti craniali (gyroscope)
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Vari modelli BCI

Qui consideriamo
 Emotiv Epoc
 Mindwave Neurosky
nati per applicazioni di entertainment, gioco

A disposizione anche tool per sviluppo e ricerca:




registrazione dati
librerie per creazione applicazioni e interfacce
Ancora agli inizi in ricerca e sviluppo
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Emotiv Epoc: funzionalità

Legge onde Delta (1-4 Hz), Theta (4-7 Hz), Alpha (7-13 Hz), e Beta
(13-30Hz)
 anche segnale da ogni sensore separatamente
 funzioni di giroscopio
 lettura espressioni facciali
 eye tracking
 mappa e consente lettura livelli attentivi, stato mentale e
rilassamento
Tipo di ritmo Frequenza Hz Ampiezza (mV)
delta
teta
alfa
0,5-3
3-7
8-13
20-200
5-100
10-200
beta
14-30
1-20
Prof. R. Folgieri
Stati mentali, livelli di
coscienza
Condizioni patologiche
Sonno profondo
Rilassamento mentale
Attenzione, concentrazione,
aree corticali attivate
Realtà Virtuali aa 2010/2011
Emotiv Epoc: caratteristiche tecniche
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Emotiv Epoc: tool registrazione e sviluppo




Real-time display data stream, including EEG, FFT, gyro,
wireless packet acquisition/loss display, marker events.
Record and replay files in binary EEGLAB and .csv format.
Timed markers,
on-screen
buttons and
serial port
events. Markers
displayed in real
time and
playback modes.
Marker
definitions can
be saved and
reloaded.
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Neurosky Mindwave: funzionalità

EEG Measurements:
- Raw EEG
- Neuroscience defined EEG power spectrum (Alpha, Beta,
etc.)
- eSense meter for Attention
- eSense meter for Meditation
- eSense Blink Detection
- On-head detection
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Neurosky Mindwave: caratteristiche
tecniche








EEG signal processing
Lightweight
Wireless
Safe passive biosensors
Portable EEG brainwave headset
TGAM1 module, with TGAT1 ASIC
Automatic wireless computer pairing
Static headset ID
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Neurosky Mindwave: tool registrazione
e sviluppo



EEG data acquisition tool
measures raw, powerband and algorithm output for use with
BCI2000, MATLAB and proprietary applications
developer kits for capacitive
sensors, multi-channel
sensors and Steady State
Visually Evoked Potentials
(SSVEP)
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
XWave per iPhone
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
BCI: discipline coinvolte








Nanotechnology
Biotechnology
Information technology
Cognitive science
Computer science
Biomedical engineering
Neuroscience
Applied mathematics
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
BCI: discipline interessate









Neuroscience, Neuromarketing
Cognitive science. Psychology
Medicine, Rehabilitation
Decision theory, game theory
Applied mathematics
Automatic learning, Machine learning, A.I., Robotics
Communication, Cultural heritage, e-learning
Biotechnology
Information technology, Computer science, Virtual
Reality, advanced human computer interfaces (HCIs)
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
BCI: utenti target

Ricercatori (neuroscienziati, psicologi, clinici,
economisti, esperti di signal processing…)

Operatori tecnici (terapisti, operatori sanitari)

Utenti finali (persone con disabilità o che hanno
subito traumi inabilitanti)

Utenti casuali (es. entertainment)
Prof. R. Folgieri
Realtà Virtuali aa 2010/2011
Trend attuali e futuri per BCI non invasivo





Da unimodale a multimodale, cioé monitoring simultaneo
di attività cerebrali mediante utilizzo di più device e
combinando BCI con HCI
Semplici tool di signal-processing per data maining
avanzato multidimensionale e mediante machine
learning
Contollo con maggiori gradi di libertà
Combinazione di neurofeedback con HCI multimodali
Test di laboratorio con immersione in (rumore) mondo
reale confrontato con mondo virtuale
Some references
1.
2.
3.
4.
5.
Sixto Ortiz Jr., "Brain-Computer Interfaces: Where Human and
Machine Meet," Computer, vol. 40, no. 1, pp. 17-21, Jan., 2007
Andrzej Cichocki, Yoshikazu Washizawa, Tomasz Rutkowski,
Hovagim Bakardjian, Anh-Huy Phan, Seungjin Choi, Hyekyoung
Lee, Qibin Zhao, Liqing Zhang, Yuanqing Li, "Noninvasive BCIs:
Multiway Signal-Processing Array Decompositions," Computer, vol.
41, no. 10, pp. 34-42, Oct., 2008
Anton Nijholt, Desney Tan, Gert Pfurtscheller, Clemens Brunner,
Jos del R. Mill, Brendan Allison, Bernhard Graimann, Florin
Popescu, Benjamin Blankertz, Klaus-R. M?, "Brain-Computer
Interfacing for Intelligent Systems," IEEE Intelligent Systems, vol.
23, no. 3, pp. 72-79, May/Jun, 2008
1. F. Babiloni, A. Cichocki, and S. Gao, eds., special issue, “BrainComputer Interfaces: Towards Practical Implementations and
Potential Applications,” ComputationalIntelligence and
Neuroscience, 2007;
P. Sajda, K-R. Mueller, and K.V. Shenoy, eds., special issue, “Brain
Computer Interfaces,” IEEE Signal Processing Magazine,Jan. 2008.