Linguistica Computazionale
27 settembre 2016
Obiettivi del corso
l
Introduzione ai principali metodi di linguistica
computazionale e di “Natural Language
Processing” (NLP)
l
Docenti
l
l
Alessandro Lenci (Dip. di Filologia, Letteratura e Linguistica)
Felice Dell’Orletta (ILC-CNR)
2
Modalità d’esame
l
Prove scritte agli appelli di esame + progetto
l
l
l
Le prove scritte possono essere sostenute come prove in
itinere
l
l
la prova scritta è divisa in 2 parti, che possono essere date
simultaneamente o in appelli diversi
il progetto deve essere svolto INDIVIDUALMENTE
NB: SOLO PER FREQUENTANTI
Per superare l’esame è necessario conseguire almeno 18/30
in ciascuna delle prove scritte + idoneità sul progetto
l
il voto d’esame è dato dalla media dei voti delle prove scritte + bonus
per il progetto (1 o 2 punti)
3
Esercitazioni di laboratorio
l
Mercoledì 8.30 – 10.00
l
Laboratorio M - Polo Fibonacci
l
l
l
chi non possiede un account deve farne richiesta al Centro di
Calcolo presso il Polo Fibonacci
Inizio: Mercoledì 28 settembre
Temi delle esercitazioni
l
l
l
l
l
introduzione a Natural Language Toolkit (NLTK)
espressioni regolari
estrazione ed analisi di dati linguistici da corpora
esercizi di statistica del testo
annotazione linguistica automatica del testo con NLTK4
Esercitazioni di laboratorio
l
Esperimento di annotazione semantica
l
l
l
annotazione semantica di Named Entities in testi della
pubblica amministrazione, nell’ambito del progetto
SEMPLICE
l’annotazione verrà realizzata attraverso un’interfaccia web
sviluppata da ETI3
Assistente
l
Dott. Lucia Passaro
5
Informazioni e contatti
l
Ricevimento
l Prof. Alessandro Lenci
l
giovedì 15.00-17.00
Dipartimento di Filologia, Letteratura e Linguistica, Via Santa Maria 36
e-mail: [email protected]
tel.: 050-2215638
www: http://colinglab.humnet.unipi.it/people/lenci/
l
Dott. Felice Dell’Orletta
l
venerdì16.00-18.00
Istituto di Linguistica Computazionale CNR, Via Moruzzi 1 (stanza 21)
e-mail: [email protected]
tel.: 050-3152847
l
E-learning
l
Moodle: http://polo4.elearning.unipi.it/
l
informazioni sul corso, materiale didattico, avvisi, prove di esame, ecc.
l NB: tutti gli studenti del corso devono registrarsi
6
Testi di esame
l
A. Lenci, S. Montemagni, V. Pirrelli (2005), Testo e
Computer. Elementi di linguistica computazionale, Roma,
Carocci
l
D. Jurafsky e J.H. Martin (2008), Speech and Language
Processing, (second edition), Prentice Hall
l
l
capp. 1, 2, 3, 4.10-4.11, 5.1-5.4, 12, 13.1-13.3, 13.5, 19
S. Bird, E. Klein, E. Loper (2009), Natural Language
Processing with Python, O’Reilly (liberamente scaricabile da
http://www.nltk.org/book/)
l
capp. 1, 2, 3, 7, 8
7
Crediti e programmi
l
12 CFU
l
l
l
tutte le lezioni ed esercitazioni
due prove in itinere
progetto finale
l
l
creazione di un corpus, analisi computazionale con
NLTK e annotazione semantica di Named Entities
testi di esame
l
l
Testo e Computer
Speech and Language Processing
8
Cosa è la linguistica
computazionale?
linguaggio
naturale
l
La linguistica computazionale è un settore di
ricerca che vede coinvolti linguisti, informatici e
scienziati cognitivi per raggiungere due obiettivi
principali:
l
l
applicare la matematica e l'informatica allo studio del
linguaggio umano e dei testi
dotare i computer della capacità di usare il linguaggio
come noi
9
La linguistica computazionale a Pisa
l
Pisa è stata la culla della linguistica computazionale italiana
ed è tuttora uno dei maggiori centri di ricerca in questo settore
CoLing Lab (Uni. Pisa)
ILC-CNR
http://colinglab.fileli.unipi.it
http://www.ilc.cnr.it/
10
Big (linguistic) data
Cosa può fare il computer per lo
studio del linguaggio?
l
Come studiare …
l
l
l
l
l
la distribuzione della parole in un autore letterario
i mutamenti semantici delle parole
le differenze linguistiche tra vari registri (es. linguaggio scritto e
parlato)
il lessico e le costruzioni grammaticali di una lingua
Digital humanities
l
l
l
quantità crescenti di testi sono disponibili in formato digitale per la
ricerca linguistica
i testi digitali sono fonti di dati per la ricerca linguistica e filologica
è necessario disporre di metodologie per la rappresentazione, la
ricerca e l’analisi dei dati testuali digitali
12
Analisi computazionale dei
dati linguistici
l
La linguistica computazionale permette di affrontare
queste ricerche attraverso
l
l
metodi e strumenti informatici per la rappresentazione e
gestione di grandi quantità di dati linguistici
l rappresentazione digitale del testo
l codifica e annotazione di informazione linguistica
ricerche ed esplorazioni avanzate del testo
l
l
l
metodi matematici e statistici
l
l
ricerche di informazioni testuali e dati linguistici
visualizzazione dell’informazione nel testo
analisi quantitative dei dati linguistici
Le potenzialità “standard” del computer possono essere usate
per la gestione e l’analisi dei dati linguistici… ma non bastano!
13
Analisi computazionale dei
dati linguistici
Il computer non conosce il linguaggio naturale
ovvero
non ha alcuna conoscenza riguardo alla sua struttura
l
forme superficiali vs. lessemi:
l
l
ambiguità morfosintattiche
l
l
NAVIGARE {navigo, navighi, … , navigava, … , navigato …}
stato
{stato, m.s. -> STATO, N}
{stato, part. pass -> ESSERE, V}
{stato, part. pass -> STARE, V}
ambiguità semantiche
l
navigare {andare per mare}
{visitare pagine web su Internet}
14
Cosa può fare il linguaggio per
il computer?
l
Il Natural Language Processing (NLP) o Trattamento
Automatico del Linguaggio (TAL) cerca di dotare il
computer di conoscenze linguistiche allo scopo di:
l
progettare programmi e sistemi informatici che
assistano l’uomo in “compiti linguistici”
l
l
l
l
traduzione
gestione dei testi, ecc.
interazione con essere umani in maniera “naturale”
estrazione automatica di informazioni da testi o da altri media
15
Natural Language Processing
(NLP)
l
Quali conoscenze linguistiche deve possedere il computer?
l
articolare e decodificare i suoni di una lingua
l
l
conoscere le parole di una lingua, la loro struttura e la loro
organizzazione
l
l
sintassi
assegnare significati alle espressioni linguistiche semplici e
complesse
l
l
lessico e morfologia
comporre le parole in espressioni linguistiche complesse
(sintagmi, frasi, ecc.)
l
l
fonetica articolatoria e acustica, fonologia, prosodia, ecc.
semantica (lessicale e composizionale)
usare le frasi nei contesti, situazioni e modi appropriati agli scopi
comunicativi
l
pragmatica
16
Natural Language Processing (NLP)
Alcune applicazioni
l
l
Correttori ortografici, grammaticali, ecc.
Recupero “intelligente” di documenti
l
l
Riconoscimento automatico del parlato
l
l
Question Answering (QA)
Traduzione (semi)-automatica di testi
l
l
Information Extraction (IE)
Interrogare documenti attraverso domande in linguaggio naturale
l
l
Text-To-Speech (TTS)
Estrazione automatica di informazione da testi
l
l
Automatic Speech Recognition (ASR)
Sintesi automatica della voce
l
l
Information Retrieval
Machine translation
Interazione (conversazione) uomo-macchina multimodale
17
Computer che parlano e AI
rispondere a domande
riconoscere la voce e
dialogare
tradurre
18
L’alba di una nuova era … ovvero
il “ritorno” dell’AI
NLP - traduzione automatica
Google
traduzione
automatica
20
… ma si (ci) fanno capire
NLP - question-answering
Watson, sistema di QuestionAnswering dell’IBM
Nel febbraio 2011 ha sconfitto i
campioni di Jeopardy!
Watson ha accesso a centinaia
di milioni di documenti da cui
estrae le informazioni per
rispondere alle domande
attraverso tecniche di NLP
22
HAL e Samantha sono ancora
lontani, ma …
l
Molti applicativi di NLP sono ormai
disponibili (anche commercialmente)
come componenti di sistemi di AI:
l
l
l
crescente impatto sociale
notevole impatto tecnologico ed
economico (Ingegneria del Linguaggio)
nuovi strumenti dotati di “capacità
linguistiche” a disposizione per l’analisi dei
dati linguistici e per l’ausilio nella gestione
e nel trattamento dell’informazione
23
