Mirko Grimaldi – Barbara Gili Fivela
Università del Salento
PDF created with pdfFactory trial version www.pdffactory.com
Principali caratteristiche
•
Copresenza di strumentazione diversificata e
altamente sofisticata;
•
Questa tipologia di strumenti identifica due
aree di ricerca interconnesse fra loro:
–
Lo studio della natura acustico-uditiva e articolatorioaerodinamica del linguaggio e la sua relazione con le
proprietà mentali dei suoni.
–
Lo studio, con tecniche moderne, dell’organizzazione
cerebrale del linguaggio, in special modo rispetto
all’antico problema delle basi biologiche del linguaggio.
PDF created with pdfFactory trial version www.pdffactory.com
…Ne consegue che il CRIL
• È il luogo ideale per individuare spazi di ricerca di confine, non
ancora ben delineati fra discipline:
• linguistiche, mediche, e ingegneristiche che pur partendo da
presupposti e tradizioni diverse sono interessate a studiare la natura
del linguaggio verbale umano (anche a livello patologico).
• Questa vocazione a un approccio interdisciplinare dovrà portare:
q A sviluppare un modello coerente del processo di produzione e percezione
del linguaggio;
q A scoprire i primitivi neurali che giocano un ruolo nella percezione e
produzione del linguaggio.
q A formulare una teoria neurale del linguaggio che spieghi come
avvengono le computazioni linguistiche nel cervello.
PDF created with pdfFactory trial version www.pdffactory.com
Strumenti
• Neuroscienze
– Stimolazione Magnetica
Transcranica ripetitiva (rTMS)
– Elettroencefalografia
– Elettromiografia
– Potenziali evento-correlati
(ERPs)
– Eye Tracker
– Software di navigazione
stereotassica
– Software di presentazione degli
stimoli
PDF created with pdfFactory trial version www.pdffactory.com
• Fonetica e fonologia
– Camera insonorizzata
– Software and hardware per
analizzare le caratteristiche
acustiche del parlato
– Laryngografo
– Analisi relative al flusso d’aria
– Indagini dei movimenti della
lingua con ultrasuoni
– Articulografo - 3D
– Elettropalatografo
Neuroscienze
• Stimolazione Magnetica Transcranica (TMS):
– Un generatore di corrente di elevata intensità e un coil
mobile posto a diretto contatto dello scalpo del paziente.
– Il generatore produce un campo elettrico che viene veicolato
lungo la sonda.
Il campo elettrico a sua volta
produce un campo magnetico che
ha la proprietà di poter passare
attraverso le strutture dello scalpo
in modo indolore e raggiungere le
strutture cerebrali sottostanti, in
particolare la corteccia cerebrale,
modificandone l’attività elettrica.
PDF created with pdfFactory trial version www.pdffactory.com
Stimolazione Magnetica Transcranica
• In clinica
diagnostico:
neurologica
è
uno
strumento
– alterazione della funzionalità di diverse strutture
nervose;
– consente di stabilire se esistano delle lesioni di diversa
natura (infiammatoria, ischemica, compressiva,
tumorale) lungo la via motoria.
Pazienti affetti da patologia neurologica che
venivano sottoposti a TMS a fini diagnostici e
che presentavano associato un disturbo del
tono dell’umore (depressione) possono
presentare un miglioramento del quadro
depressivo.
PDF created with pdfFactory trial version www.pdffactory.com
Stimolazione Magnetica Transcranica
• La TMS sia a singolo stimolo che ripetitiva viene utilizzata
nell’uomo sano anche per studiare le funzioni cognitive:
– per capire se una data area cerebrale è cruciale per un determinato
compito cognitivo: parlare, sentire, elaborare concetti, ecc.
– in base alla funzione cognitiva studiata ed ai parametri di
stimolazione utilizzati - frequenza, durata, intensità di stimolazione
e sito - la TMS può sia attivare che disattivare una determinata
funzione cognitiva.
– meglio di quanto avvenga con la MEG, la PET e la fMRI la rMTS,
con la TMS si può capire se un’area coinvolta durante
l’espletamento di una attività cognitiva è esclusivamente deputata a
quella determinata attività.
In letteratura sono presenti alcuni lavori che
dimostrano come la TMS possa migliorare alcune
funzioni cognitive o possa servire come trattamento
complementare per alcune patologie, quali negligenza
spaziale unilaterale, afasia, e recentemente anche per i
disturbi del linguaggio provocati dal morbo di
Alzheimer.
PDF created with pdfFactory trial version www.pdffactory.com
Potenziali evocati ed evento-correlati (ERPs)
• La registrazione dell’attività elettrica cerebrale è uno
dei modi a disposizione per collegare alcuni eventi
fisici alle dinamiche dei processi cognitivi: quando un
soggetto, per esempio, riceve stimoli uditivi, visivi,
ecc. In particolare:
– La registrazione del potenziale evocato è un’estrazione
selettiva del segnale elettroencefalografico che si registra in
seguito a stimolazione sensoriale.
– Si può così seguire nel tracciato la risposta elettrica del
cervello agli eventi esterni: i potenziali evento-correlati.
PDF created with pdfFactory trial version www.pdffactory.com
ERPs
• Gli ERPs riflettono l’attività
sincrona (nel tempo) di un ampio
numero di neuroni che rispondono
alla presentazione di uno stimolo e
che sono coinvolti nella sua
elaborazione.
• La registrazione di un potenziale
evocato ha inizio circa 100 ms
prima della presentazione dello
stimolo e termina all’incirca 1000ms
dopo la variazione che viene
registrata.
• Tale variazione è molto piccola e
per rendere più facile la sua
individuazione è necessario estrarre
il segnale dal rumore di fondo, ad
esempio con la tecnica “averaging”.
PDF created with pdfFactory trial version www.pdffactory.com
Le componenti che compongono un ERPs vengono distinte
in Negative o Positive a seconda se il picco è rivolto verso
l’alto o verso il basso e la latenza viene indicata con un
numero.
Violazioni del significato: N400
1. Ho messo i nuovi libri nella
biblioteca
2. *Ho mangiato i nuovi libri nella
biblioteca …………
ü La parola semanticamente inattesa
dà luogo ad una negatività con picco
400msec dopo l’evento.
PDF created with pdfFactory trial version www.pdffactory.com
Violazioni sintattiche e rianalisi della frase: P600
1. Gli amici hanno telefonato alle cinque
2. * Gli amici ha telefonato alle cinque
ü Una violazione morfosintattica, per es. dell’accordo soggetto- verbo,
mostra una positività con picco a 600msec dopo l’evento.
PDF created with pdfFactory trial version www.pdffactory.com
Elettromiografia applicata allo studio del linguaggio
• L’elettromiografia è un esame molto
utilizzato in neurologia (in quanto
complementare a risonanza, ecografia,
ecc.).
• Scopo dell’EMG è lo studio dell’attività
motoria muscolare controllata dai neuroni
attraverso le terminazioni nervose.
• Con questa tecnica si possono studiare le
contrazioni delle fibre muscolari coinvolte
nel dare forma particolare all’apparato
fonatorio durante il processo di fonazione.
PDF created with pdfFactory trial version www.pdffactory.com
• In genere si analizza la durata
complessiva della contrazione
muscolare oppure si osserva la
fase iniziale o finale della
contrazione rispetto agli altri
muscoli coinvolti o al tipo di
suono prodotto.
• Parametri
importanti
sono
l’intensità della contrazione, la
velocità, e così via.
• Un’importante prospettiva di
studio riguarda la relazione fra i
processi di contrazione delle fibre
muscolari e i fenomeni che
avvengono a livello fonetico e
fonologico,
soprattutto
nei
pazienti
affetti
da
afasie,
balbuzie, ecc.
PDF created with pdfFactory trial version www.pdffactory.com
Alcuni muscoli facciali
Studio dei movimenti oculari
• Lo studio dei movimenti oculari ha contribuito a far luce sulle attività
cognitive umane in numerosi campi.
• I movimenti oculari di un soggetto ci possono dire esattamente dove egli sta
guardando, cosa sta osservando e per quanto tempo.
• Sulla base di queste premesse si può affermare che l’analisi dei movimenti
oculari può essere proficuamente utilizzata negli studi riguardanti l’attenzione
visiva, l’esplorazione, la lettura, ecc. E questi fatti possono essere
sistematicamente correlati con l’attività cerebrale compiuta in relazione a
quella particolare attività cognitiva.
PDF created with pdfFactory trial version www.pdffactory.com
Studio dei movimenti oculari
• Il CRIL dispone di sistema a
raggi infrarossi per lo studio dei
movimenti oculari e saccadici,
con ottiche remote, controllo di
inquadratura ed inclinazione
(funzionante a 120, 240, e
360Hz).
• Il sistema consente al soggetto
una libertà di movimento della
testa di circa 30 cm quadrati,
eliminando la necessità di
utilizzare sostegni per il
fissaggio della testa.
PDF created with pdfFactory trial version www.pdffactory.com
Studio dei movimenti oculari: campi applicativi
• Studio e cura delle dislessie
• Ricerca applicata:
– ausili ai disabili (sistemi
informatizzati controllabili con i
soli movimenti oculari)
• Web design
• Spot pubblicitari
• Comportamento del consumatore
• Incremento e miglioramento dei
processi
di
formazione e
produzione nell‘industria.
PDF created with pdfFactory trial version www.pdffactory.com
Analisi acustico-articolatoria
Audio
• Area di 11mq per
registrazioni audio di alta
qualità e somministrazione
di stimoli uditivi
• Forte abbattimento del
rumore (sino a 40 dB) e
connessioni I/O audio, video
e internet
• Postazione (esterna) PC, due
speaker e monitor interni.
PDF created with pdfFactory trial version www.pdffactory.com
Audio
• Area di 11mq per
registrazioni audio di
alta qualità e
somministrazione di
stimoli uditivi
• Forte abbattimento del
rumore (sino a 40 dB) e
connessioni I/O audio,
video e internet
• Postazione (esterna) PC,
due speaker e monitor
interni.
PDF created with pdfFactory trial version www.pdffactory.com
Audio – alcuni strumenti
• Registratori DAT da
tavolo e portatili:
TASCAM e SONY
• Registratori MINIDISK
portatili: SONY
• Acquisizione su hard
disk
• Microfoni: Shure e
Sennheiser
• Cuffie: AKG e
Sennheiser
• Casse: ADAM
PDF created with pdfFactory trial version www.pdffactory.com
Acustica / percezione
• Registrazioni di buona qualità
• Analisi del segnale acustico: parole, frasi, dialoghi
•
•
•
•
Durata
Valori formantici
Frequenza fondamentale
Intensità
• Somministrazione di
stimoli sonori e raccolta
delle risposte dei soggetti
0.9564
0
-0.946
0
8000
500
4.04036
Time (s)
Frequency (Hz)
– Correlati fonetici di entità
fonologiche, con valore
linguistico
0
0
4.04036
Time (s)
– Differenze categoriche vs. differenze graduali
PDF created with pdfFactory trial version www.pdffactory.com
Acustica
• Computerized Speech Lab
(CSL) 4500:
– prodotto dalla Kayelemetrics in
New Jersey, è caratterizzato da
hardware e software molto
avanzati, per l’analisi del segnale
verbale.
– specifico per misurazioni
acustiche di alta precisione
– analisi in tempo reale (sonagramma,
curva di F0 ecc)
http://www.kayelemetrics.com
PDF created with pdfFactory trial version www.pdffactory.com
Acustica
• Il CSL del CRIL comprende vari pacchetti software e
database
• Analysis-Synthesis Laboratory
(ASL)
• Applied Speech Science for
Voice & Resonance Disorder
• Auditory Feedback Tools
• Disordered Voice Database
• Games
• Motor Speech Profile
• Multi-Dimensional Voice
Program
PDF created with pdfFactory trial version www.pdffactory.com
• Paltometer Database
• Phonetic & Perception
Simulation Programs
• Respiration, Phonation and
Prosody Simulation
• Signal Enhancement Program
• Sona-Match
• Synthesis (ASL)
• Video Phonetics Program and
Database
• Voice Range Profile
Laringografia
http://www.laryngograph.com/
• Laryngograph
– Misura la frequenza del contatto
tra le pliche vocali, grazie a due
elettrodi posti sul collo che
registrano le variazioni del
passaggio di segnale elettrico tra
le pliche vocali stesse
– La forma d’onda fornita dal
sistema permette lo studio delle
caratteristiche principali della
fonazione normale e patologica
PDF created with pdfFactory trial version www.pdffactory.com
Laringografia
• La forma d’onda permette di
stimare la fase di chiusura per
ognuno dei cicli di apertura e
chiusura della glottide
• Il sistema permette di studiare
la regolarità della vibrazione
delle corde vocali, le singole
fasi di apertura e chiusura, il
rapporto tra le due o la loro
forma.
PDF created with pdfFactory trial version www.pdffactory.com
Apertura/chiusura delle corde vocali
Analisi del flusso d’aria
• SCICON R&D
– Per mezzo di due maschere
separate ed un microfono
permette di effettuare misurazioni
relative a:
• flusso d’aria orale
• flusso d’aria nasale
• segnale audio
http://www.sciconrd.com
– Per parlato normale e patologico
• Sincronizzazione delle fasi
di emissione o immissione
dell’aria rispetto al segnale
sonoro
• Volume d’aria inspirato
ed espirato
PDF created with pdfFactory trial version www.pdffactory.com
Ultrasuoni
• Toshiba Aplio XVhttp://www.medical.toshiba.com/
– immagini prodotte grazie alle proprietà di
riflessione delle onde sonore
– onde ad alta frequenza, emesse da cristalli
– la sonda è posta ad un vertice dell’oggetto e
l’onda lo attraversa sino a raggiungerne la
superficie opposta, dove l’onda viene riflessa
Da Shaker et al. (1984)
– Si ottengono buone
immagini della
superficie della lingua,
prevedendo un metodo
per il sostegno della
sonda
PDF created with pdfFactory trial version www.pdffactory.com
Da Hedrick et al. (1995)
Ultrasuoni
– L’Aplio consente di ricavare da 5 a 120 immagini al
secondo
– Sonda in posizione fissa
– Utile per lo studio dei movimenti della
lingua nel parlato
– Potenzialmente, può essere usato nella
riabilitazione per disturbi e patologie
del parlato
PDF created with pdfFactory trial version www.pdffactory.com
Analisi cinematiche
• Electromagnetic articulography
AG500 - 3D system
Carstens Medizinelektronik
– Registrazioni audio
– Dati cinematici, grazie al rilevamento
della posizione di 12 sensori
all’interno di un campo magnetico
– Sei trasmettitori producono il campo
magnetico
http://www.articulograph.de/
PDF created with pdfFactory trial version www.pdffactory.com
Analisi cinematiche
• Corrente alternata nei sensori, fissati
sugli organi articolatori
• La corrente nei sensori è più o meno
potente a seconda della distanza del
sensore dal trasmettitore
• Individuata la posizione dei sensori,
incollati ad esempio sulle labbra e
sulla lingua, è possibile ricavare
valori di parametri quali l’ampiezza
e la velocità del gesto articolatorio
• Studio della produzione del parlato e
del controllo motorio
PDF created with pdfFactory trial version www.pdffactory.com
Elettropalatografia
• Articulate Instruments EPG
system
– Audio
– Contatto tra lingua e palato,
grazie all’utilizzo di palati di
resina sulla superficie dei quali http://www.articulateinstruments.com
sono stati posizionati 62 elettrodi
• Percentuale e durata del contatto,
visualizzata in tempo reale e
registrata con l’audio
• Studio delle caratteristiche fonetiche
del parlato e riabilitazione dei
disturbi articolatori
PDF created with pdfFactory trial version www.pdffactory.com
Sommario
CRIL – per la ricerca interdisciplinare
Neuroscienze
– Stimolazione Magnetica Transcranica ripetitiva (rTMS)
– Elettroencefalografia
– Elettromiografia
– Potenziali evento-correlati (ERPs)
– Eye Tracker
Fonetica e fonologia
– Acustica/Percezione
– Laringografia
– Flusso d’aria orale e nasale
– Immagini ecografiche della lingua
– Dati cinematici per la lingua, le labbra e mascella
– Elettropalatografia per contatto lingua-palato
PDF created with pdfFactory trial version www.pdffactory.com
