Text Mining

Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Intro
Information Overload
Migliaia di documenti vengono prodotti ogni
giorno:
80% testuali
20% numerici
[email protected]
2
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Intro
Information Overload
Internet/Intranet, DB, ...
HTML, XML, PDF, Word, TXT, …
Inglese, Francese, Tedesco, Italiano,
Arabo, Cinese, Russo…
[email protected]
3
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Intro
Information Overload
Brevetti, Pubblicazioni scientifiche
E-mail
WEB
Telefonate
Stampa
Percezione e Conoscenza della
realtà che ci circonda
[email protected]
4
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Che cosa è il Text Mining
Insieme di tecniche linguistico-matematiche per

Analizzare fonti testuali
Strutturare e classificare automaticamente il
contenuto


Trovare l’informazione nascosta
Supporto nel
Processo Decisionale
[email protected]
5
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Che cosa non è il Text Mining

Non è analisi puntuale di un testo, ma
analisi quantitativa e qualitativa di un
insieme esteso di testi.

Non è una metodologia di archiviazione
di testi in argomenti predefiniti, noti a
priori. Non è routing dell’informazione.
[email protected]
6
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Informazione
come Supporto nel
Processo Decisionale
Text Mining per

Ottenere una visione di insieme degli argomenti

Accedere all’informazione su base tematica

Trovare l’informazione nascosta
Trovare l’informazione
d’interesse
[email protected]
7
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Come gestire migliaia di documenti?
Banche
dati
Database
Internet
[email protected]
8
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Come gestire migliaia di documenti?
Innovazione online
Back-end
Banche
dati
Modelli
Dizionari
Grammatiche
SEARCHBOX+TWIDEXPERT
(Analisi linguistica, statistica)
STALKER/OML server
Front-end
Ufficio1
Internet
Search engine
Banca dati
Intranet
Ufficio3
Clustering engine
Ufficio2
[email protected]
9
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Architettura (STALKER)
Banche
dati
SearchBox
Crawler
Lexical
plugin
TWID
plugin
Modelli
Dizionari
Grammatiche
TWIDExpert
TWIDExpert
Internet
Stalker server
Reverse
indexes
Search engine
Banca dati
[email protected]
Clustering engine
10
Intro
Text Mining
STALKER/OM
L
Analisi dati
Analisi risultati
Il processo produttivo
Back-end

Scelta e preparazione dei dati

Analisi dei dati e storage
Front-end

Ricerca e Analisi dei risultati
Monitoraggio, consultazione e
approfondimento
[email protected]
11
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Scelta e Preparazione dati (BackEnd)

Scelta:

Preparazione:
[email protected]
12
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Preparazione dei Dati (BackEnd)
(brevetti, pubblicazioni, e-mail, …)
Analisi Lessicale per
Distinguere “ciò che è detto” da
“come viene detto”
trovare convergenze nel significato
cogliere l’informazione da classificare
[email protected]
13
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Preparazione dei Dati (BackEnd)
(Analisi lessicale)
Analisi Morfo-sintattica e/o
Terminologica
rimuovere Ambiguità
Analisi Logica
Analisi Semantica
trovare Sinonimi
espandere Acronimi
raggruppare Varianti Grafiche
estrarre Espressioni Composte
[email protected]
Identicazione
automatica
dei descrittori
per ciascun
documento
14
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Preparazione dei Dati (BackEnd)
(Analisi lessicale - Morfo-sintattica)
DETTI
DETTO: nome, masc. plur.
DETTARE: verbo, ind. pres. 2a pers. sing.
DARE: verbo, ind. pass. rem. 1a pers. sing.
DIRE: verbo, part. pass. masc. plur.
TRATTO
TRATTO, TRATTARE
Analisi Grammaticale riduce le ambiguità
Lemma
invio, inviati, invia  inviare [verb]
capi stazione  capo stazione [noun]
15
[email protected]
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Preparazione dei Dati (BackEnd)
(Analisi lessicale - Morfo-sintattica)
[email protected]
16
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Preparazione dei Dati (BackEnd)
(Analisi lessicale - Semantica)
( $, dollaro, biglietto verde, … )
trovare Sinonimi
espandere Acronimi
( ANP  Autorità Nazionale
Palestinese )
( visto, veduto )
raggruppare Varianti Grafiche
estrarre Espressioni Composte ( carta di credito,
Ministro degli Esteri )
trovare convergenza nel significato
[email protected]
17
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Preparazione dei Dati (BackEnd)
Identificazione della
lingua
Lemmatizer/
Parsing, lemmatizzazione
Teminology detector
Mono-lingual
Dictionaries,
Grammars
Estrazione terminologica
Multilingual Teminology
Allineamento multilingua
matcher
Multi-lingual
Dictionaries
Indicizzazione terminologica
Ricerca e clustering
Indexer
Documents DB
non solo lemmi,
ma soprattutto
[email protected]
18
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Preparazione dei Dati (BackEnd)
(Analisi lessicale - Morfo-statistica)
Analisi Morfologica + pattern matching
(n+base(n)  credit card, fuel cell, … )
( base(n)+prep+n+prep+n  arma di distruzione di massa, ... )
Analisi Statistica
• Soglia di Frequenza
• Soglia di Significatività
(n > 1, 1 = f(SW-MW,nTot,…) )
( log((1/n) * (nTot/nDoc) * f(POS)*...) > 2 )
Trovare l’informazione rilevante
[email protected]
19
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Preparazione dei Dati (BackEnd)
guanto[NOUN]
paraffina [NOUN]
guanto di paraffina [NOUN]
rilevare [VERB]
traccia[NOUN]
polvere[NOUN]
polvere da sparo[NOUN]
non solo lemmi, ma terminologie
[email protected]
20
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Analisi Statistica
Identificazione della
lingua
Lemmatizer/
Parsing, lemmatizzazione
Teminology detector
Mono-lingual
Dictionaries,
Grammars
Estrazione terminologica
Multilingual Teminology
Allineamento multilingua
matcher
Multi-lingual
Dictionaries
Indicizzazione terminologica
Ricerca e clustering
Indexer
Documents DB
[email protected]
21
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Analisi Statistica
[email protected]
22
Intro
Text Mining
STALKER/O
ML
Analisi dati
Analisi risultati
Ricerca e Classificazione
Ricerca per chiavi
ed accesso puntuale
Raggruppamento in
classi affini per contenuto
Concatenazione fra
classi correlate
[email protected]
23
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Analisi dei risultati
Mappe
Liste ordinate
[email protected]
24
Intro
Text Mining
STALKER/OML
Analisi dati
Analisi risultati
Scoperta di risultati inaspettati
Consultare documenti per tema
Trovare relazioni nascoste
[email protected]
25
Intro
Text Mining
STALKER/OML
Analisi dati
New
I nuovi sviluppi: motore di ricerca in
linguaggio naturale multilingua
[email protected]
26
Intro
Text Mining
STALKER/OML
Analisi dati
New
I nuovi sviluppi: document analyser
[email protected]
27
Intro
Text Mining
STALKER/OML
Analisi dati
Info
Indirizzi utili
Trovare l’informazione
[email protected]
http://www.synthema.it/textmining
http:// www.spi-rit.net
[email protected]
28