Presentazione di PowerPoint
annuncio pubblicitario
TEXT MINING Una miniera di documenti… C’è stata una enorme crescita nel volume dei documenti on line (WWW, Intranet, Biblioteche elettroniche) Vi è la necessità di strumenti che permettano di ottenere informazione a partire dai dati Web Mining Text Mining Il Text Mining Processo che ha lo scopo di trovare informazioni interessanti a partire da testi non strutturati servendosi di tecniche statistiche, informatiche, linguistiche Si serve di tecniche automatiche (linguistiche, statistiche, lessicometriche) “Setacciare” l’informazione codificata nel testo OUTCOMES: Definire e rilevare le competenze professionali per la transizione UniversitàUniversità-Lavoro Data Mining e Text Mining (1) :: Data Mining è un processo atto a: scoprire correlazioni, relazioni, tendenze nuove e significative, a partire da grandi quantità di dati immagazzinati nei repository, usando tecniche di riconoscimento delle relazioni e tecniche statistiche e matematiche E il TEXT Mining Data Mining e Text Mining (2) :: Data Mining DATI SRUTTURATI Text Mining DATI NON STRUTTURATI SOTTO FORMA DI TESTO Linguaggio Naturale: Naturale: è difficile da modellizzare per la sua complessità Gli obiettivi del Text Mining :: Organizzare, classificare, categorizzare :: Creare sintesi ed estratti :: Identificare tendenze nel tempo :: Identificare dipendenze e relazioni non note :: Creare indicatori specifici per il Decision Making :: Visualizzare le proprietà dei dati, degli insiemi di dati e le relazioni tra dati e “collezioni” Le fasi di un processo di Text Mining Information Retrieval Information Extraction Information Mining Interpretazione Le tecniche di Text Mining Necessità di tecniche che permettano: • Il retrieval delle informazioni contenute in testi • La visualizzazione dell’informazione • La classificazione di documenti • L’identificazione di patterns e relazioni tra i dati testuali Uno strumento di Text Mining dovrebbe permettere: La ricerca: essere in grado di recuperare la porzione di testo o l’informazione interessante per l’applicazione ; La visualizzazione: essere in grado di ottenere una rappresentazione grafica dell’informazione; L’esplorazione: avere una piattaforma che permetta all’utente di navigare attraverso il testo costruendo propri percorsi di navigazione e di ricerca Compiti del Text Mining Scopo => Aiutare l’utente a soddisfare il suo bisogno informativo attraverso :: Ricerca :: Browsing (Navigazione) :: Visualizzazione ::Altri compiti compiti:: Overview dell’intera collezione, Zoom, Filtering, Selezione e Dettaglio, Log delle azioni per permettere azioni di undo/redo, Raffinamento progressivo, Identificazione su sub sub--popolazioni Ricerca :: Nella ricerca l’utente formula una domanda al sistema sotto forma di query richiedendo di localizzare i documenti corrispondenti :: L’utente non sempre sa bene cosa cercare (scarsa conoscenza del linguaggio e del vocabolario appropriato, richieste vaghe) Motori di ricerca Es.. Google, Altavista Es Browsing L’utente naviga all’interno della base di dati testuali Il browsing permette al navigatore di soddisfare bisogni informativi vaghi poiché non è richiesta un’esplicita descrizione dei suoi bisogni informativi :: Links tra documenti :: Structure guided browsing Es. le directory di Yahoo! :: Flat browsing Es. le mappe di documenti Visualizzazione Esistono bisogni informativi che richiedono la considerazione di similarità, differenze, interrelazioni tra collezioni di documenti Nella visualizzazione si usa qualcosa di “familiare” per illustrare qualcosa ancora non familiare L’utilizzo di adeguate tecniche di visualizzazione permette la comunicazione rapida ed intuitiva delle intricate relazioni tra grandi collezioni di testi Es. mappe fattoriali, SOM Ambiti di applicazione :: Motori di ricerca (in generale, information retrieval) :: Applicazioni aziendali: analisi delle e-mail ricevute, analisi di report aziendali e sulla concorrenza, analisi di risposte a questionari con domande aperte, analisi dei reclami :: Ambito letterario :: Ambito politicopolitico-sociale :: CRM :: Case Based Reasoning Tecniche utilizzate :: :: :: :: :: Analisi statistica dei dati testuali Linguistica Computazionale AI (Intelligenza artificiale) Machine Learning Interazione tra: Statistica Computer Science Linguistica
