Emozioni e risposte corporee:
misurazione dell’attività autonomica
Corso di Interazione Naturale Prof. Giuseppe Boccignone
Dipartimento di Informatica
Università di Milano
[email protected]
boccignone.di.unimi.it/IN_2017.html
Sistema nervoso autonomo
Sistema nervoso autonomo
//struttura e regolazione: da SNC a SNA
Corteccia
Sistema
limbico
e ipotalamico
Tronco
Sistema nervoso autonomo
//misurazione dell’attività
Segnali che si manifestano come variazioni di campo elettrico
Sistema nervoso autonomo
//misurazione dell’attività
Segnali che si manifestano come variazioni di campo elettrico
Sistema nervoso autonomo
//misurazione dell’attività
Segnali che si manifestano come variazioni di impedenza
Sistema nervoso autonomo
//misurazione dell’attività
Segnali meccanici
Segnali biomagnetici
Sistema nervoso autonomo
//misurazione dell’attività
Electrocardiogram: measure the average action potential on the
skin
Heart rate variability (HRV) refers to the oscillation of the
interval between consecutive heartbeats
Respiration: RSP belt used to capture the breathing activity of
the subjects. It can be worn either thoracically or abdominally
over clothing. The amount of stretch in the elastic is measured as a
voltage change and recorded. The rate of RSP and depth of breath
are the most common measures of RSP
Skin Conductivity sensor measures the skin’s
ability to conduct electricity
Electromyogram measures muscle activity by detecting surface
voltages that occur when a muscle is contracted.
Sistema nervoso autonomo
//misurazione dell’attività:
dell’attività sensoristica
Sistema nervoso autonomo
//misurazione dell’attività:
dell’attività sensoristica
Sistema nervoso autonomo
//misurazione dell’attività: obiettivi
Sistema nervoso autonomo
//misurazione dell’attività cardiaca
Sistema nervoso autonomo
//misurazione dell’attività cardiaca
Sistema nervoso autonomo
//misurazione dell’attività cardiaca
QRS waveform in an ECG signal. Usual lengths: P-wave (0.08-0.10 s),
QRS (0.06-0.10 s),
PR-interval (0.12-0.20 s), and
QTc-interval
Sistema nervoso autonomo
//misurazione dell’attività cardiaca
• Elettrocardiogramma (ECG): registrazione
grafica dell'attività elettrica del cuore prodotta
dalla polarizzazione e depolarizzazione delle
cellule cardiache
Sistema nervoso autonomo
//misurazione dell’attività cardiaca
• Il tracciato ECG è formato da
"onde": • Onda P: ha piccole dimensioni
prodotta dalla depolarizzazione
degli atri • Complesso QRS: insieme di tre
onde prodotte dalla
depolarizzazione dei ventricoli • Onda T: onda di piccole
dimensioni prodotta dalla
ripolarizzazione dei ventricoli Sistema nervoso autonomo
//misurazione dell’attività cardiaca
“onda” di depolarizzazione -> contrazione
“onda” di ripolarizzazione -> rilassamento
Sistema nervoso autonomo
//misurazione dell’attività cardiaca
Sistema nervoso autonomo
//misurazione dell’attività cardiaca
• Gli impulsi nel miocardio generano differenze
di potenziale che variano nello spazio nel
tempo e che possono essere registrate tramite
degli elettrodi posti sulla superficie corporea
formando delle derivazioni
Sistema nervoso autonomo
//misurazione dell’attività cardiaca
Sistema nervoso autonomo
//misurazione dell’attività cardiaca
Sistema nervoso autonomo
//misurazione dell’attività: Heart Rate Variability
QRS waveform in an ECG signal. Usual lengths: P-wave (0.080.10 s), QRS (0.06-0.10 s), PR-interval (0.12-0.20 s), and QTc-interval
Raw ECG signal with RSP (respiration) artifacts
Detrended signal
Detected RR interbeats
Interpolated HRV time series using RR intervals
Sistema nervoso autonomo
//misurazione dell’attività: Heart Rate Variability
Sistema nervoso autonomo
//misurazione dell’attività: Heart Rate Variability
a marker of excitation and
intrinsic in sympathetic
activation
marker of inhibition and
quiet and linked to vagal
predominance
Sistema nervoso autonomo
480
N. Selvaraj et al.
//misurazione dell’attività: Heart Rate Variability
of autonomic control of the peripheral vascular tone [5 – 8].
protocol was explained
As the pulse period of blood volume pulse is directly related
was obtained. The prot
to the cardiac activity, the physiological information
tional ethics committee
derived from RR intervals of ECG can also be derived
Sciences, New Delhi, I
from the pulse period of PPG (figure 1). The PP interval
ducted at Autonomic
Thevariability
Pulse and
Blood
allows you toInstitute of Medical S
of Oxygen
the PPG in
signal
wasSensor
proven(SPO2)
to be reasonably
measure
thecompared
amount of
dissolved
in blood.
accurate
to Oxygen
RR interval
variability
of ECG
subjects were given a r
signal with high correlation [9,10]. The authors suggested
to the study.
Blood
volume pulse
(BVP): measures
indirectlyusing
the heart
the possibility
of determining
HRV parameters
PPG rate.
technique. Selvaraj et al. [11] and Bolanas et al. [12] have
2.1. Experimental set-up
thetechnique
same idea. of this sensor ‘Photoplethysmography’
Thesupported
underlying
of the
heart (ECG)
followed
by andThe photoplethysmogra
sendsElectrical
infraredactivity
light with
a specific
wave is
length
(990nm)
spread
of
the
pulsatile
wave
of
blood
to
the
periphery.
The
Systems, Inc., CA, US
measures the reflected amount of light.
pulse travel time shows very minor (a few milliseconds)
marily designed for fi
beat-to-beat fluctuations [13 – 15], such that heartbeat
matched infrared emitte
The rest of the light will be absorbed by the hemoglobin in the blood.
intervals derived from ECG and PPG are very similar but
photo diode to detect
they are not exactly the same. Such small variations in the
resulting from blood flo
With
this measurement
youthe
cantwo
indirectly
the heart rate
heartbeat
interval between
methodscalculate
do not appear
strapped on to the righ
withtoalternating
vasodilatation
vasoconstrictions.
be significant
in the timeand
domain
analysis but may
connected to the PPG
potentially and significantly affect the frequency domain
shielded cable to recor
Thisand
signal
correlates
highly
with the
nonlinear
analysis
of HRV.
Thisheart
issuerate
has measured
not been via ECG
waveform with band-p
addressed in previous studies. In the present study, a
10 Hz and gain of 100
comprehensive and systematic analysis of PPG based HRV
were used to record s
as compared to ECG based HRV has been conducted to
ECG amplifier (ECG10
demonstrate the feasibility and reliability of deriving all the
signal with band-pass c
traditional HRV parameters from the PPG based method.
and gain of 1000. The
computer-based data a
AcqKnowledge1 3.8.2,
2. Materials and methods
lead II ECG and PPG
rate of 1 kHz. The dat
Ten healthy subjects (age 21 – 28 years, nine males and one
five minutes under rela
female) with no history of cardiovascular diseases and
processing techniques
hypertension were included in this study. The experimental
Matlab1 7.0 (The Math
Sistema nervoso autonomo
//misurazione dell’attività: Heart Rate Variability
2.2. Data analysis
The recorded ECG a
separately. The short-te
beats, missing data and
ECG signal were ide
representing heartbeat
following HRV measur
tachogram.
1.
Figure 1. The RR interval (RRI) and PP interval (PPI)
representing cardiac beat-to-beat interval extracted from
the simultaneously recorded ECG and PPG signals
respectively.
2.
Time domain HRV
(NN) interval, mea
interval (SDNN), th
differences of succ
standard deviation
NN interval (SDSD
of successive NN in
and the proportion
total number of NN
Frequency domain
normalized very low
was removed and then the power spectrum was obtained
using discrete Fourier transform (DFT). The HRV power
spectrum was divided into three bands: VLF (0.003 –
0.04 Hz), LF (0.04 – 0.15 Hz) and HF (0.15 – 0.4 Hz) to
evaluate the sympathetic and parasympathetic activities of
the ANS [1]. The Poincaré plot, one of the most accepted
techniques of nonlinear HRV analysis, is a diagram which
plots each RR interval against the previous interval. The
standard deviations of the distances of the HR intervals to
the lines y ¼ x and y ¼ 7x þ 2 6 mean (RR intervals) were
quantified as SD1 and SD2 respectively [16].
The systolic peaks of the PPG signal were identified and
a PP tachogram was constructed from the time difference
between successive systolic peak instances of PPG signal.
The time domain and frequency domain and Poincaré plot
parameters were obtained for PP tachogram by the above
mentioned procedures used for ECG based HRV analysis.
The Pearson correlation coefficient was determined to
correlate the beat-to-beat changes of RR interval and PP
interval derived from ECG and PPG respectively.
The absolute difference (actual error) between the values
of each HRV parameter derived by two methods was
forphotoplethysmography
each individual. Then, the overall actual 481
Heart ratecalculated
variability using
error for each parameter was calculated as mean + SD
high frequency (HF) band powers
and the
LF/ group of 10 subjects. The agreement between two
from
methods for every derived HRV parameter was assessed
plot measures: short-term HRV (SD1), longV (SD2) and SD ratio (SD1/SD2).using Bland-Altman technique by GraphPad Prism version
4.00 for Windows (GraphPad Software, USA). Further,
y domain analysis, the series of RR
intervals
paired
t-test was used to test any significant difference
rpolated and re-sampled at 4 Hz [2], as RR
between each parameter derived from two methods.
Sistema nervoso autonomo Figure 2. The Pearson correlation coefficient between beatto-beat changes of ECG-derived RR intervals and PPGderived PP
intervals for
a representative male subject of
//misurazione dell’attività: Heart
Rate
Variability
age 22.
non-uniformly spaced according to the
vals. The DC component of the HRV signal
and then the power spectrum was obtained
3. Results
Fourier transform (DFT). The HRV power
divided into three bands: VLF
(0.003 –2 – 5 show the HRV parameters derived from ECG
Figures
(0.04 – 0.15 Hz) and HF (0.15 – 0.4 Hz) to
and
PPG based methods for a representative subject (male,
ympathetic and parasympathetic activities of
22accepted
years). A high correlation (0.998) was found between
The Poincaré plot, one of the most
nonlinear HRV analysis, is a diagram
which
beat-to-beat
RR intervals and PP intervals (figure 2).
Figure 2. The Pearson correlation coefficient between beatR interval against the previous interval.
FigureThe
3 shows
a good
betweenRRPPintervals
tachogram
to-beat
changesmatch
of ECG-derived
and PPGtions of the distances of the HR intervals to
and RR tachogram.
Similarly,
thea HRV
power male
spectrum
derived
PP
intervals
for
representative
subject of
and y ¼ 7x þ 2 6 mean (RR intervals) were
22.
Poincaré
plot (figure 5) were well matched
SD1 and SD2 respectively [16]. (figure 4) andage
between
peaks of the PPG signal were identified
andthe two methods.
m was constructed from the time difference
For 10 subjects, the mean correlation between RR and
ssive systolic peak instances of PPG
signal.
PP intervals
was 0.87 + 0.19 with median of 0.97. Table 1
ain and frequency domain and Poincaré plot
shows
the
various
HRV parameters derived by the two
re obtained for PP tachogram by the above
methods.
cedures used for ECG based HRV
analysis. The mean NN interval derived from PP
correlation coefficient was determined
to
variability
was accurate with actual error *0.1 ms
beat-to-beat changes of RR interval and PP
d from ECG and PPG respectively.
e difference (actual error) between the values
parameter derived by two methods was
each individual. Then, the overall actual
h parameter was calculated as mean + SD
p of 10 subjects. The agreement between two
very derived HRV parameter was assessed
ltman technique by GraphPad Prism version
dows (GraphPad Software, USA). Further,
was used to test any significant difference
Figure 3. Comparison of tachograms derived from RR
parameter derived from two methods.
intervals (RRI) of ECG signal (top) and PP intervals (PPI)
Figure 3. Comparison of tachograms derived from RR
intervals (RRI) of ECG signal (top) and PP intervals (PPI)
of PPG (bottom) represented in figure 1 after cubic
interpolation at 4 Hz. The PP variability matched RR
variability all along the time scale.
compared to RR variability. The error analysis also showed
insignificant differences between all the HRV indices
obtained by the two methods. More over, all the HRV
parameters showed no significant difference (p 5 0.05)
between the two methods.
The degree of agreement between two methods was
assessed using Bland-Altman analysis (figure 6). The BlandAltman plot showed the mean difference of NN interval,
LF/HF ratio and SD ratio as 70.02 ms, 70.02 and
0.02 respectively and their corresponding 95% limits of
Sistema nervoso autonomo
//misurazione dell’attività: Heart Rate Variability
how the HRV parameters derived from ECG
d methods for a representative subject (male,
high correlation (0.998) was found between
RR intervals and PP intervals (figure 2).
ws a good match between PP tachogram
gram. Similarly, the HRV power spectrum
Poincaré plot (figure 5) were well matched
wo methods.
ects, the mean correlation between RR and
as 0.87 + 0.19 with median of 0.97. Table 1
ious HRV parameters derived by the two
e mean NN interval derived from PP
as accurate with actual error *0.1 ms
482
N. Selvaraj et al.
of PPG (bottom) represented in figure 1 after cubic
interpolation at 4 Hz. The PP variability matched RR
variability all along the time scale.
compared to RR variability. The error analysis also showed
insignificant differences between all the HRV indices
obtained by the two methods. More over, all the HRV
parameters showed no significant difference (p 5 0.05)
between the two methods.
The degree of agreement between two methods was
assessed using Bland-Altman analysis (figure 6). The BlandAltman plot showed the mean difference of NN interval,
LF/HF ratio and SD ratio as 70.02 ms, 70.02 and
0.02 respectively and their corresponding 95% limits of
Figure 4. The comparison of discrete Fourier transform
based HRV power spectra of RR (top) and PP (bottom)
tachograms represented in figure 2. The frequency characteristics of RR and PP tachograms were found to be
Sistema nervoso autonomo
//misurazione dell’attività elettrodermica (EDA)
Sistema nervoso autonomo
//misurazione dell’attività elettrodermica (EDA)
• L’EDA si riferisce a tutti i
fenomeni elettrici della pelle, attivi
e passivi. • EDL (electrodermal level): livello
tonico (attività nel lungo termine):
• legata ad attività sudoripara,
temperatura • EDR (electrodermal response):
livello fasico (attività nel breve
periodo, dipende da stimolo) : • legata alle emozioni e al livello di
arousal
• Sistema nervoso autonomo
//misurazione dell’attività elettrodermica (EDA)
• Indici: • SR (Skin resistance): resistenza della pelle al passaggio di una corrente
continua: • SRL (Skin resistance level): livello tonico • SRR (Skin resistance response): livello fasico • SC (Skin conductance): conduttanza della pelle al passaggio di una corrente
continua: • SCL (Skin conductance level): livello tonico • SCR (Skin conductance response): livello fasico Sistema nervoso autonomo
//misurazione dell’attività elettrodermica (EDA)
• La Skin conductance: • Si misura in microsiemens (μS) con un
dispositivo dotato di due elettrodi da applicare
sulla pelle • Varia con il livello di umidità della pelle • Poiché le ghiandole sudoripare eccrine sono
innervate dal sistema nervoso simpatico, la SC
è un buon indice di arousal e viene considerata
la misura d’elezione dell’orienting response • le ghiandole eccrine sono presenti un tutta la
superficie del corpo ma in una densità
maggiore nei palmi delle mani e nelle piante dei
piedi
Sistema nervoso autonomo
//misurazione dell’attività elettrodermica (EDA)
• La Skin conductance: • Si misura in microsiemens (μS) con un
dispositivo dotato di due elettrodi da
applicare sulla pelle • Varia con il livello di umidità della pelle • Poiché le ghiandole sudoripare eccrine
sono innervate dal sistema nervoso
simpatico, la SC è un buon indice di
arousal e viene considerata la misura
d’elezione dell’orienting response • le ghiandole eccrine sono presenti un
tutta la superficie del corpo ma in una
densità maggiore nei palmi delle mani e
nelle piante dei piedi
Sistema nervoso autonomo
//misurazione dell’attività elettrodermica (EDA)
Sistema nervoso autonomo
//misurazione dell’attività elettrodermica (EDA)
• L'EDA aumenta: • In risposta ad un evento improvviso (Orienting
response) • Con l'aumentare del carico di lavoro mentale • In corrispondenza di stati emotivi sia positivi
che negativi (arousal)
Sistema nervoso autonomo
//misurazione dell’attività elettrodermica
Sistema nervoso autonomo
//misurazione dell’attività respiratoria
• La frequenza respiratoria: • Si misura in numero di respiri al minuto • Si misura con un sensore (stretch sensor)
applicato ad una fascia toracica o maglia:
• l’allungamento elastica è misurata come una
variazione di tensione
• Aumenta con il carico di lavoro (anche mentale) • Riflette stati emotivi dicotomici: calmaeccitamento, rilassamento-tensione
Sistema nervoso autonomo
//misurazione dell’attività respiratoria
Sistema nervoso autonomo
//misurazione dell’attività respiratoria
Sistema nervoso autonomo
//misurazione dell’attività respiratoria
Sistema nervoso autonomo
//misurazione dell’attività muscolare
• Elettromiografia: • Tecnica per registrare il potenziale elettrico
generato dalle cellule dei muscoli scheletrici (e
mimici del volto). Si distinguono: • Intramuscolar EMG: richiede l'inserimento di
elettrodi a spillo nel tessuto muscolare.
• Permette il monitoraggio dell'attività anche di
poche fibre muscolari. • Surface EMG (sEMG): richiede l'applicazione di
elettrodi sulla pelle. • Permette il monitoraggio dell'attività generale del
muscolo. Sistema nervoso autonomo
//misurazione dell’attività muscolare
Sistema nervoso autonomo
//misurazione dell’attività muscolare
• Emozioni di base: • GIOIA: (Orbicularis oculi + Zygomaticus
major) • SORPRESA: (Frontalis + Levator palpebrae
superioris) • PAURA: (Frontalis + Corrugator supercilii +
Levator Palpebrae superioris) • RABBIA: (Corrugator supercilii + Levator
palpebrae Superioris + Orbicularis oculi) • TRISTEZZA: (Frontalis + Corrugator supercilii
+ Depressor anguli oris) • DISGUSTO: (Levator labii superioris +
Levator labii Superioris alaeque nasi)
Sistema nervoso autonomo
//misurazione dell’attività muscolare
• Emozioni di base:
Sistema nervoso autonomo
//misurazione dell’attività muscolare
• Emozioni di base:
Sistema nervoso autonomo
//misurazione dell’attività muscolare
• Emozioni di base:
Sistema nervoso autonomo
//misurazione dell’attività muscolare
• Emozioni di base:
Sistema nervoso autonomo
//misurazione dell’attività muscolare
• Emozioni di base:
Sistema nervoso autonomo
//misurazione dell’attività muscolare
• Emozioni di base:
Sistema nervoso autonomo
//misurazione dell’attività muscolare
• Startle response:
Sistema nervoso autonomo
//misurazione dell’attività muscolare
• L'attività del corrugator supercilii e del muscolo trapezio: • la loro tensione aumenta con lo stress
Sistema nervoso autonomo
//misurazione dell’attività muscolare
Sistema nervoso autonomo
//integrazione dei sensori
Sistema nervoso autonomo
//integrazione dei sensori
e-Health Sensor Shield V2.0
for Arduino, Raspberry Pi
and Intel Galileo
Sistema nervoso autonomo
//integrazione dei sensori
Sistema nervoso autonomo
//dataset disponibili
• Dataset disponibili su web:
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • DEAP
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • DEAP
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • DEAP
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • DEAP
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • DEAP
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • DEAP
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • DEAP
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • DEAP
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • DEAP
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • MAHANOB-HCI
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • MAHANOB-HCI
• per il tagging
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • MAHANOB-HCI
• per il tagging
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • MAHANOB-HCI
• per il tagging
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • MAHANOB-HCI
• per il tagging
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • MAHANOB-HCI
• per il tagging
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
• Dataset disponibili su web: • MAHANOB-HCI
• per il tagging
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
Fearful
Sistema nervoso autonomo
//dataset disponibili (in laboratorio)
disgusting
stimulus
subject
