Barbieri Marco 16653 Anno accademico 2001-2002 Tesina di Gestione dei Sistemi Informativi Aziendali - Text Mining e sue applicazioni - Docente . ing. Zanasi 1 Prefazione Con l'avvento di un'era sofisticata e complessa ma allo stesso tempo tecnologicamente avanzata quale il secondo millennio , si possono tracciare molteplici disegni chiarificatori all'interno di un qualunque settore per mostrarne i punti deboli e quelli forti , i legami intrinsechi con altri settori o sottosettori, le rivalità che si arriverebbero ad affrontare , le partnership che invece si potrebbero abbracciare e tutti i molteplici argomenti che porterebbero ad una buona spinta economica ; Questo ultimo punto , oltre a essere costituito da innumerevoli parti , offre ,in buona parte, gli elementi più importanti di osservazione per una azienda che si trova ad affrontare, all' entrata di un mercato sempre più saturo , la concorrenza ; ma non solo : una adeguata analisi serve anche a non soccombere davanti ai problemi e alle necessità che ci si potrebbe trovare ad affrontare nel corso del tempo . A tutti questi quesiti e alle difficoltà di reperimento , organizzazione e analisi delle informazioni , troviamo risposta nell'utilizzo delle più forti tecniche di estrazione delle informazioni e di esplorazione dei dati . Barbieri Marco . 2 Concetti Generali Il text mining rende completo il processo di estrazione di informazioni significative dalla massa di dati che circolano nelle aziende e che costituiscono l’intelligenza su cui si basano le imprese per la costruzione della propria strategia, in particolare quando i dati si presentano sotto forma di testo. Il data mining è lo standard nell’analisi dell’esplorazione dei dati e la costruzione di relazioni tra essi al fine di supportare le attività decisionali delle aziende. L’integrazione tra data mining e text mining è la naturale evoluzione tecnologica dell’analisi dei dati di mercato e permette operazioni di: classificazione di testi estrazione di conoscenza dai documenti interpretazione automatica di email provenienti dai clienti comprensione e valutazione automatica di testi (Web, stampa, indagini di mercato, ecc…) Applicazioni di text mining e di data mining Tra le più svariate opportunità che offre il mercato , il text mining e il data mining hanno fatto la fortuna di alcune società che tutt’ora procedono verso una grande espansione data dall’aumento del valore che l’informazione ha acquisito in questo secolo. L’analisi , la ricerca e l’elaborazione di essa portano le aziende che ne fanno uso a condizioni molto vantaggiose nei confronti delle altre che invece non ne fanno uso affatto . Diverse sono pertanto le società nate nell’era della new-economy e tra queste si è venuta a creare una differenziazione dei ruoli da parte di ognuna . Moltissime di queste createsi per fornire un ruolo di consiglio per le industrie che lo richiedevano hanno trovato successivamente una specializzazione all’interno del loro settore e col passare del tempo alcune di esse sono divenute leader mondiali per determinati settori . La storia di ACNielsen Nata per offrire misure e analisi delle dinamiche di mercato oggi ne è divenuta leader mondiale e le diverse prerogative date dai loro clienti hanno segmentato la società in diversi settori di applicazione ognuno con un proprio e adeguato sistema di lavoro . Misurazione delle vendite È uno degli elementi fondamentali che compongono lo studio delle dinamiche di marketing e consiste nella continua e assidua osservazione delle variabili economiche e dei suoi indici per poi riuscire tramite opportuni sistemi di previsione a trarre grafici chiarificatori per il futuro , a visualizzare gli elementi economici più promettenti di altri e dove cercare per avere una buona espansione economica dell’azienda . 3 Come descritto in precedenza oltre a un supporto formidabile di market – management (m.m)la ACNielsen decise , sotto richieste pervenute da clienti che volevano altro dal consuetudinario m.m. , di introdurre elementi nuovi adatti a soddisfare tutte le esigenze del mercato : Consumer Panels Questo servizio è divenuto molto presto noto non solo per il suo formidabile risultato data da un “nuovo punto di vista” ma anche per il suo utilizzo all’interno di un contesto di data mining . Il suo successo di vedere il mercato da parte del consumatore e non più del venditore ha fatto si che si comprendessero a pieno le esigenze e le richieste del mercato. A questo proposito un interessante spunto lo possiamo vedere da questo ritaglio multimediale nel quale si dimostra che anche solo una lieve analisi di mercato avrebbe portato un aumento di vendite sicuro : Luca Meyer il 3/22/2002 È successo a me e mia moglie pochi giorni fa. Stavamo cercando una sedia sdraio per il giardinetto davanti a casa e ci imbattiamo in queste funzionali e comode sedie sdraio con materassino incorporato, ad un buon prezzo. Siamo quasi convinti ad acquistarle quando un particolare ci colpisce: il materassino e la fodera sono cucite sulla struttura della sedia per cui è impossibile lavare la fodera ed il materassino in lavatrice! Essendo noi amanti degli animali ed avendo in casa un cane e due gatti, è impossibile pensare di acquistare una sedia a sdraio il cui materassino non possa essere rimosso e lavato periodicamente! Peccato: le sedie ci piacevano proprio e, forse, con un poco più di ricerca e test con i consumatori, il produttore delle sedie avrebbe realizzato qualche vendita in più... Possiamo quindi osservare che vi sono casi in cui reperire informazioni sulle esigenze del consumatore diventa uno strumento utile e soprattutto profittevole ! Ma quello che davvero serve , potrebbe trasformarsi in una ricerca poco gratificante considerando i modesti risultati , anzi il più delle volte coronata da molteplici insuccessi e da deludenti aspettative in quanto il materiale che ci si riesce a procurare diventa illeggibile e impossibile da consultare . L’informazione in sé apporta utilità solo quando si riesce ad usarla per un proprio fine altrimenti risulta totalmente inutile . Il text-mining può portare una grande speranza in un mondo sovraccaricato di informazioni e quindi una maggiore soddisfazione sia nelle esigenze del consumatore ma anche al portafoglio del produttore . A scopo di ciò analizzeremo come un prodotto nuovo si possa difficilmente affacciare sul mercato quando altri prodotti più noti ne creano una forte competizione . Il modo migliore per inserirsi e aggredire una fetta di consumatori è quello di fare uso di queste tecniche di mining e appropriarsi di un patrimonio di conoscenze che ci porteranno in vantaggio rispetto ad altri e ci semplificheranno di molto il lavoro … 4 C R A (Costumer Relationship Management) COMBATTERE PER L’ENTRATA DI UN NUOVO PRODOTTO 1. Alla ricerca delle informazioni Come già visto in precedenza una giusta osservazione nell’ottica del consumatore non può che giovare al nostro prodotto e per tanto una ricerca di cosa la gente vuole e cosa la gente non desidera per un determinato campione X risulterà molto utile . I modi di trarre informazioni sono diversi : 1. Richiedere le fonti da ditte che fanno paneling e analisi marketing di quel prodotto ; 2. Richiedere percentuali e dati , per un campione di persone che di quel prodotto fanno uso , da centri statistici ; 3. Osservare le risposte dirette della gente facendo indagini porta a porta ; 4. Osservare le risposte della gente chattando su internet ; 5. Analizzare forum o bullettin board ; 6. Entare a fare parte di news-group che trattano della categoria di prodotti a noi interessata . Per ognuno di questo elementi le informazioni che si possono trarre sono davvero vaste ma per questo non c’è problema perché successivamente ci torneranno utili gli elementi di text-mining a estrarre solo le informazioni più ‘ significative e tralasciare quelle più obsolete . 1. Richiedere le fonti da ditte che fanno paneling e analisi marketing di quel prodotto ; Una tra le prime ditte , come già discusso in precedenza è la ACNielsen , la quale offre , oltre a servizi di monitoraggio di compra-vendita , anche numerosi altri servizi di analisi del mercato in cui si vuole approdare : supporti di decisione , mercanteggio , test di marketing , ricerche personalizzate , modelli di mercato e analisi ecc … Potere giungere alle loro ricerche e ai loro documenti sarebbe uno tra i migliori inizi ; del resto ci semplificherebbero il lavoro di molto per il fatto che loro stessi sono una garanzia nella ricerca di informazioni “utili” e le loro banche dati sono un vero e proprio pullulare di conoscenze di mercato ! 2. Richiedere percentuali e dati , per un campione di persone che di quel prodotto fanno uso, da centri statistici ; Molti centri di calcolo mettono a disposizione della clientela svariati database , su supporto cartaceo o informatico , utili ad un ampliamento della nostra conoscenza di mercato . Da questi elementi , che per la maggior parte delle volte sono il frutto di censimenti , possiamo trarre informazioni sul numero di clienti che all’incirca compongono il settore che stiamo analizzando , su che marca si riversano maggiormente per l’acquisto di un prodotto , quanti di loro sono femmine e quanti sono maschi ecc … e quindi dopo avere osservato le percentuali di tali fenomeni adeguarsi di conseguenza : 5 Il mercato delle saponette da bagno mette in mostra che alla domanda :<< che odore ti piace abbia una saponetta da bagno ? >> Rispondono I maschi : nel 56% dei casi non mi importa basta che pulisca e non puzzi . Nel 12% non mi interessa del profumo basta che pulisca . Nel restante valore percentuale (22%)vi sono suddivise le diverse fragranze : lavanda; rosa Le donne : nel 10% dei casi non mi importa basta che pulisca e non puzzi . Nel 2% non mi interessa del profuma basta che pulisca . Nel restante valore percentuale (88%) vi sono suddivise le diverse fragranze : lavanda ; albicocca ; rosa ; limone ; gelsomino ; mela Ciò dimostra chiaramente come in un mercato delle saponette la fragranza emanata dal prodotto sia una variabile forte per le donne e invece un parametro quasi futile per gli uomini . Oltre a ciò possiamo anche vedere il tipo di fragranza che è stato scelto per la maggiore parte dei casi e portare così il prodotto ad uno stadio più evoluto , più ragionato e quindi più comprabile per la gente . Entrare con delle saponette che profumeranno di rosa o lavanda sarà una mossa probabilmente remunerativa a differenza di scegliere un profumo a caso . Oltre a ciò si potranno analizzare gli altri parametri fondamentali di una saponetta , che oltre all’odore sono: le dimensioni , l’aspetto , la composizione e decidere anche per questi il valore che ne massimizzerà il prodotto . 3. Osservare le risposte dirette della gente facendo indagini porta a porta ; Le indagini porta a porta sono un elemento molto importante e fruttuoso ma poco sfruttato per la sua difficoltà di un diretto e immediato approccio con la gente . Del resto anche nel marketing troviamo le vendite porta a porta come migliore modo per vendere la mercanzia ma complicate dal punto di vista sociologico in quanto prevedono l’esposizione del prodotto e ulteriori esplicazioni alla persona interessata e invece una meticolosa coltivazione del rapporto per le persone meno inclini all’acquisto . Insomma , in entrambi i casi il rapporto interpersonale è una delle caratteristiche principali per il successo e quindi sta al venditore il compito di riuscire nel suo intento nel minor tempo possibile. 4.Osservare le risposte della gente chattando su internet ; Le ormai famose e celebri chat-line sono divenute per molte persone un elemento per instaurare nuovi rapporti e fare nuove conoscenze ma il loro valore non è dato solo dallo scambio di informazioni personali o dal narrarsi di eventi del giorno ; possiamo chiedere alla gente On-line cosa ne pensa di determinati prodotti , cosa gli piace di più e cosa preferisce di meno e , nel caso delle saponette , quale marca usa . 6 Chat canale #commercio A: quindi hai conosciuto la mia amica ? B: si certo , è stata molto carina e le ho chiesto di tornare a uscire con me dopodomani A: davvero e lei che ha risposto ? B: mi ha detto di si e che le sarebbe piaciuto mangiare fuori . A: e tu ? B: ero entusiasta e allora le ho detto che la passavo a prendere verso le 9.00 A: e hai deciso di metterti qualche vestito sofisticato o ci vai in jeans e camicia? B: penso che per la prima volta ci andrò con un vestito sofisticato e concluderò con tanto di profumo ! A: wow che profumo ti metterai ? B: io adoro XXXXX per il suo squisito profumo di lavanda , speriamo piaccia anche a lei . Da questa conversazione si può benissimo trarre un paio di conclusioni davvero interessanti …. La prima è che alla persona intervistata piace il profumo della marca XXXXX e la seconda è che di quel profumo adora il suo odore di lavanda . Reperire informazioni come queste porterà alla strada della vendita e il nostro prodotto , anche con questa tappa , risulterà sempre più vicino a quello che massimizza le attese di un consumatore medio . 5. Analizzare forum o bullettin board ; Un’altra fonte in cui possiamo trovare molte opinioni senza dovere stare a parlare con le persone sono i forum . Tramite questi possiamo leggere già le annotazioni che la gente ha fatto in merito a qualcosa ; essi rimangono proprio come se fossero dei libri multimediali e molte volte vengono salvati regolarmente come materiale da diffondere per laboratori di ricerca ecc… Basterà cercare una qualunque discussione non cominciata troppo tempo addietro e da essa ripercorreremo tutte le opinioni della gente che ha preso parte . Forum sulle saponette vendute in germania A: Ragazzi voglio cominciare questa nuova “discussione” cercando di capire le vostre opinioni in merito ai saponi che usate . Io personalmente credo che il migliore si il sapone XXXXX in quanto ……… ecc… B: Sono d’accordo con te l’ho provato pure io e ho trovato che il suo profumo sia , come dici tu , davvero meraviglioso; ma non concordo sul fatto che lasci la pelle morbida e fresca !! A me l’ultima volta si è seccata molto … ma forse è solo un problema di pelle mio …. C: concordo pienamente con vuoi ragazzi ; La mia pelle non ha subito gravi danni dopo il lavaggio anzi era vellutata come una pesca . Adoro il suo profumo ma se potessero mischiarlo con un goccio di menta sarebbe ancora più strepitoso ! ecc… 7 Risulta evidente che la marca XXXXX ha avuto una buona impressione sui pareri della gente che ne ha fatto uso ; Una lettura del forum non ci porta solo ad affermare ciò , ci permette anche di capire dove potremmo migliorare e in cosa il nostro prodotto non eccelle . I forum risultano quindi elementi ottimi per una valutazione del prodotto e ricordiamo che la pubblicita ‘ lo è altrettanto , quindi lasciare buoni pareri (“tracce multimediali”) serve a crearsi una buona immagine . 6. Entare a fare parte di news-group che trattano della categoria di prodotti a noi interessata ; I newsgroup sono delle aree di dibattito a tema: una specie di bacheca in cui tutti possono lasciare un messaggio o rispondere ad altri messaggi di persone che hanno gli stessi interessi. Utile per documentarsi in determinati ambiti , nel nostro caso risulterà un elemento molto conveniente per la nostra analisi di mercato . Anche se difficile , può darsi che qualcuno abbia avuto la stessa idea prima di noi e abbia già cominciato una discussione affine alla nostra ; quindi sarebbe opportuno soffermarsi su una ricerca dell’eventuale esistenza di un dibattito a noi utile prima di cominciarne uno noi . es: Newsgroup >> Commercio >> Prodotti per la clientela >> It.bagno.saponette Pagina 1 di 34 Argomento della discussione 1 2 3 4 5 6 7 8 9 [ Avanti » ] Ultimo Intervento Le migliori marche di sapone per la vostra casa "ilCario" Lun 09 Set 2002, 12:27 L'odore del primo mattino ->sapone si ! ma che profumo? Fabrizio Camera Lun 09 Set 2002, 12:09 Tonalita' della casa : i saponi di colore arcobaleno Zia May Lun 09 Set 2002, 12:05 Avvertenze ! l'uso eccessivo dei saponi ... "euterpex" Lun 09 Set 2002, 12:03 La rivoluzione delle saponette "mauro" Lun 09 Set 2002, 11:32 Sapone liquido , meglio o peggio ? "jj" Lun 09 Set 2002, 11:45 due saponi a confronto : Dove vs Neutro Roberts Cristiano Sadun Lun 09 Set 2002, 11:41 Quindi , deciso un argomento , basta aprirlo per leggere le numerose risposte date in merito ,da parte degli altri utenti . Nel caso non trovassimo nulla che ci interessa , un inizio molto semplice sarà quello di “postare”(dall’inglese : to post ) un primo e nuovo topic di dibattito che richiede i pareri della gente sul determinato prodotto in cui vogliamo documentarci ; Cercheremo la categoria in cui inserirlo come per esempio : salute e benessere , economia , acquisti , prodotti per la casa , ecc… e poi non rimarrà altro da fare che dare un titolo adeguato alla discussione che abbiamo deciso di aprire e inserire i primi commenti . 8 NUOVO MESSAGGIO Gruppo: it.discussioni.consumatori Autore: [?] E-mail [?] [?] Oggetto: TESTO A mio parere le saponette dovrebbero essere tutte quante composte da crema idratante e glicerina (due elementi che ammorbidiscono la pelle e la rendono soffice e vellutata ) come Dove e avere un profumo di gelsomino . Mi piace che facciano molta schiuma ma ho sentito dire che l’ elemento “schiumoso” è dato da una sostanza chimica chiamata SODIUM LAURETH (o lauryl) SULFATE , semplicemente SLS che sembra provocare , a lungo andare , il cancro . Il testo si può poi concludere con elementi del tipo : - voi che ne pensate ? - aspetto vostri giudizi ! ecc…. 2. La “pulizia” delle informazioni A questo punto abbiamo tutti gli elementi per analizzare , progettare e verificare come un prodotto , nel nostro caso le saponette , possa entrare in un mercato difficile a prima vista ma molto meno complicato se esaminato con alcune tecniche di text mining. Il reperimento dei dati rimane quindi un processo , anche se lungo , indispensabile e molto vantaggioso per potere dopo avvalersi di informazioni utili al prodotto che vogliamo smerciare sul mercato . Caricati di informazioni non rimane che scandagliarle diligentemente con le più sofisticate tecniche di text mining e se necessario di data mining al fine di trarne in poco tempo un condensato chiaro e preciso di quello che tutti i dati raccolti dicono . I diversi strumenti che ci permettono di attuare del text mining sono : Clustering ; Categorizzazione ; Estrazione ; Routing ; Filtraggio ; Segmentazione ; Classificazione ; Organizzazione ; Navigazione ; Summarizzazione ; Analizziamo il risultato che verrà fornito da uno dei piu’ importanti algoritmi sopraelencati : il Clustering . Tramite Clustering possiamo vedere i documenti automaticamente raggruppati in sottocategorie (cluster) ben precise , scoperte grazie ad algoritmi particolari (es. lemmatizzazione) che trovano correlazioni tra le parole in un testo e quindi il significato del testo stesso , e smistati tutti in diversi gruppi ognuno dei quali tratterà alla fine di un determinato argomento. 9 Nel nostro caso possiamo smistare le diverse fonti di dati da noi rinvenute per migliorare il nostro prodotto in tutte le sue fasi di progettazione . Il disegno mostra chiaramente come l’utlizzo del clustering , ci porterà ad avere , per ogni attributo del nostro prodotto , una dettagliata serie di informazioni che trattano solo di quel determinato argomento . Doc.1 Doc.2 Doc.3 Doc.4 Doc.5 Doc.6 PROCESSO DI CLUSTERING Doc.1-3 Profumo Doc.2-5-6 Doc.4 Composizione chimica Colore Risulta evidente che un chiaro e automatico raggruppamento delle fonti apporterà grande chiarezza su ciò che cercavamo e ci permetterà di sfruttare al meglio tutte le informazioni reperite . Il nostro intento finale di avere una chiara disposizione del contenuto di ogni sorgente , viene così raggiunto grazie a questi meccanismi “ smistatori “ e “chiarificatori “ dei dati , i quali , ci permettono finalmente di vedere una chiara disposizione del materiale trovato e ci consentono di utilizzare i dati in modo molto più chiaro , veloce e dinamico . La disposizione finale che i dati arriveranno ad assumere sara di questo tipo e gli algoritmi che prevedono la suddivisione dei fogli in diverse cartelle di attributi sono vari e diversi ; -Mercato delle saponetteAnalisi del settore: Le saponette sono un mercato saturo per un valore medio-alto. La competizione non richiede sforzi troppo alti. La costruzione di saponette non richiede costo fissi alti ma medio-bassi . Farsi un marchio sul mercato delle saponette vuole dire emergere tra altri molteplici marchi-leader come : Dove , Badedas , Lux , Nivea , Palmolive , Mantovani , 10 Neutromed , Ph5.5 , Vidal , Infasil , Borotalco , Atkinson , Felce azzurra , Neutro Roberts , Nidra ,Venus . In Italia , il numero maggiore di saponette viene venduto all’interno della regione Lombardia . Analisi del prodotto: Le saponette tipiche si avvicinano alla dimensione : 8cm x 5cm x 3cm L’odore influisce secondo indagini di mercato per il 30-40 % sul valore della saponetta . Il colore preferito dalla gente è il bianco (80% causa : associazione involontaria con la purezza ) segue il rosa e poi l’azzurro La mancanza di sostanze ammorbidenti e idratanti come glicerina e crema idratante abbasserà il valore di circa il 13% . Le confezioni tipiche sono tutte di cartone sottile. La saponetta è avvolta in un involucro di carta semi-plastificata o carta multistrato . La sua composizione chimica è basilarmente : Acqua , Sodium Tallowate , Parfum , Sodium Chloride , Tetrasodium Etidronate , CI 77891 , Acid* , EDTA* . acid : Acido di qualche tipo che cambia da prodotto a prodotto es : Coconut acid , Tallow Acid , Palm Kernel acid , ecc.. EDTA: può essere trisodium EDTA o tetrasodium EDTA . Altri elementi aggiuntivi possono essere : Glycerin , Lanolin , Milk , Sodium Palm Kernelate , Biotina , ecc… Una disposizione grafica dei dati in via più schematica sarà : Colore ... Bianco (83%) … , ... Rosa (17%) , azzurro e giallo per il resto …. Doc.4 Doc.2 Composizione chimica di base Doc.5 Acqua , Sodium Tallowate , Parfum , Sodium Chloride , Tetrasodium Etidronate , CI 77891 , Acid* , EDTA* . Doc.6 Composizione chimica extra Doc.2 Lanolyn , Sodium Palm Kernelate Doc.5 Gliceryn , milk , Biotina Doc.1 Lavanda(40%), Rosa(28%),Gelsomino(12%), ecc… Doc.3 Lavanda(52%),Muschio bianco(26%),Menta(12%),ecc… Profumo 11 Conclusioni La ricerca dell’utile e il rifiuto dell’inutile si fa sempre una matassa complicata da districare ma con le nuove tecnologie , elementi quali il text mining e le sue diverse applicazioni , il difficile diventa facile . Una impronta sempre maggiore viene lasciata dal text mining all’interno di questa era in cui le informazioni hanno preso il sopravvento e un numero sempre maggiore di imprese viene a conoscenza delle enormi potenzialita’ che esso apporta ; I mercati si apriranno a coloro che dimostreranno di avere le capacita’ di analizzarli e rimarranno inattaccabili da coloro che invece non abbracciano le nuove opportunita’ di analisi dei dati . In fine ,il CRA (Costumer Relationship Management ) ,e’ divenuto un elemento troppo importante per non essere osservato da vicino e nell’era dell’e-business ha acquisito ancora piu’ rilevanza ; in un mondo dominato dalla compra-vendita i prodotti devono arrivare a soddisfare pienamente le esigenze del consumatore e per tanto devono essere il pieno riflesso della volonta’ del compratore finale . FONTI Text mining e data mining : la semantica al servizio dell’analisi http://www.expertsystem.it/ita_textdatamining.htm ACNielsen http://www.acnielsen.com/index.htm Luca Mayer , Cosa c’è di nuovo? http://www.lucameyer.com/it/novita.asp?ID=8 Libero NewsGroup , Prodotti http://usenet.libero.it/Prodotti.html INDICE 12 Prefazione Concetti generali Applicazioni di text mining e data mining La storia di AcNielsen Combattere per l’entrata di un nuovo prodotto 1.Alla ricerca di informazioni 2.La “pulizia” delle informazioni Analisi del settore Analisi del prodotto Conclusioni Fonti pag.2 pag.3 pag.3 pag.3 pag.5 pag.5 pag.9 pag.10 pag.11 pag.12 pag.12 13