Big Data, Network Analysis e Data Mining

Big Data, Network Analysis e Data Mining
Simona E. Rombo
Dipartimento di Matematica e Informatica
Università degli Studi di Palermo
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Argomenti
Analisi di Big Data (collab. aziende)
Piattaforme come Apache Hadoop, Spark, ecc.
Targhettizzazione utenti e marketing personalizzato
Reti sociali e biologiche
Data Mining
Compressione e classificazione di immagini digitali,
stringhe, grafi attraverso l’estrazione di motifs
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Argomenti
Analisi di Big Data (collab. aziende)
Piattaforme come Apache Hadoop, Spark, ecc.
Targhettizzazione utenti e marketing personalizzato
Reti sociali e biologiche
Data Mining
Compressione e classificazione di immagini digitali,
stringhe, grafi attraverso l’estrazione di motifs
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Argomenti
Analisi di Big Data (collab. aziende)
Piattaforme come Apache Hadoop, Spark, ecc.
Targhettizzazione utenti e marketing personalizzato
Reti sociali e biologiche
Data Mining
Compressione e classificazione di immagini digitali,
stringhe, grafi attraverso l’estrazione di motifs
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Argomenti
Analisi di Big Data (collab. aziende)
Piattaforme come Apache Hadoop, Spark, ecc.
Targhettizzazione utenti e marketing personalizzato
Reti sociali e biologiche
Data Mining
Compressione e classificazione di immagini digitali,
stringhe, grafi attraverso l’estrazione di motifs
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Argomenti
Analisi di Big Data (collab. aziende)
Piattaforme come Apache Hadoop, Spark, ecc.
Targhettizzazione utenti e marketing personalizzato
Reti sociali e biologiche
Data Mining
Compressione e classificazione di immagini digitali,
stringhe, grafi attraverso l’estrazione di motifs
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Argomenti
Analisi di Big Data (collab. aziende)
Piattaforme come Apache Hadoop, Spark, ecc.
Targhettizzazione utenti e marketing personalizzato
Reti sociali e biologiche
Data Mining
Compressione e classificazione di immagini digitali,
stringhe, grafi attraverso l’estrazione di motifs
Simona E. Rombo
Big Data, Network Analysis e Data Mining
VVV
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Ordine di grandezza
Simona E. Rombo
Big Data, Network Analysis e Data Mining
“Dove sono” i Big Data?
Simona E. Rombo
Big Data, Network Analysis e Data Mining
“Dove sono” i Big Data?
Un motore di un aeromobile genera circa 10 TB di dati ogni
trenta minuti di volo
Nelle tratte nazionali vi sono due motori, quindi un volo
Roma – Palermo genera 60 TB
Un Milano-New York, con un quadrimotore, ben 640 TB
USA – Centro di analisi degli uragani (National Hurricane
Center, http://www. nhc.noaa.gov/): automatizzare
l’approvvigionamento dei magazzini che dovranno essere
utilizzati come primo soccorso lungo il percorso
dell’uragano
A fronte di un ingrossamento di un fiume che attraversa
una città con un forte rischio di inondazione, automatizzare
tutte le informazioni e tutti i semafori cittadini per
convogliare il traffico verso zone sicure della città
Simona E. Rombo
Big Data, Network Analysis e Data Mining
“Dove sono” i Big Data?
Un motore di un aeromobile genera circa 10 TB di dati ogni
trenta minuti di volo
Nelle tratte nazionali vi sono due motori, quindi un volo
Roma – Palermo genera 60 TB
Un Milano-New York, con un quadrimotore, ben 640 TB
USA – Centro di analisi degli uragani (National Hurricane
Center, http://www. nhc.noaa.gov/): automatizzare
l’approvvigionamento dei magazzini che dovranno essere
utilizzati come primo soccorso lungo il percorso
dell’uragano
A fronte di un ingrossamento di un fiume che attraversa
una città con un forte rischio di inondazione, automatizzare
tutte le informazioni e tutti i semafori cittadini per
convogliare il traffico verso zone sicure della città
Simona E. Rombo
Big Data, Network Analysis e Data Mining
“Dove sono” i Big Data?
Un motore di un aeromobile genera circa 10 TB di dati ogni
trenta minuti di volo
Nelle tratte nazionali vi sono due motori, quindi un volo
Roma – Palermo genera 60 TB
Un Milano-New York, con un quadrimotore, ben 640 TB
USA – Centro di analisi degli uragani (National Hurricane
Center, http://www. nhc.noaa.gov/): automatizzare
l’approvvigionamento dei magazzini che dovranno essere
utilizzati come primo soccorso lungo il percorso
dell’uragano
A fronte di un ingrossamento di un fiume che attraversa
una città con un forte rischio di inondazione, automatizzare
tutte le informazioni e tutti i semafori cittadini per
convogliare il traffico verso zone sicure della città
Simona E. Rombo
Big Data, Network Analysis e Data Mining
“Dove sono” i Big Data?
Un motore di un aeromobile genera circa 10 TB di dati ogni
trenta minuti di volo
Nelle tratte nazionali vi sono due motori, quindi un volo
Roma – Palermo genera 60 TB
Un Milano-New York, con un quadrimotore, ben 640 TB
USA – Centro di analisi degli uragani (National Hurricane
Center, http://www. nhc.noaa.gov/): automatizzare
l’approvvigionamento dei magazzini che dovranno essere
utilizzati come primo soccorso lungo il percorso
dell’uragano
A fronte di un ingrossamento di un fiume che attraversa
una città con un forte rischio di inondazione, automatizzare
tutte le informazioni e tutti i semafori cittadini per
convogliare il traffico verso zone sicure della città
Simona E. Rombo
Big Data, Network Analysis e Data Mining
“Dove sono” i Big Data?
Un motore di un aeromobile genera circa 10 TB di dati ogni
trenta minuti di volo
Nelle tratte nazionali vi sono due motori, quindi un volo
Roma – Palermo genera 60 TB
Un Milano-New York, con un quadrimotore, ben 640 TB
USA – Centro di analisi degli uragani (National Hurricane
Center, http://www. nhc.noaa.gov/): automatizzare
l’approvvigionamento dei magazzini che dovranno essere
utilizzati come primo soccorso lungo il percorso
dell’uragano
A fronte di un ingrossamento di un fiume che attraversa
una città con un forte rischio di inondazione, automatizzare
tutte le informazioni e tutti i semafori cittadini per
convogliare il traffico verso zone sicure della città
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Social networks
Facebook già nel 2009 ha generato 25 TB di log per ogni
giorno e circa 7/8 terabytes di informazioni caricate su
Internet
Twitter cresce circa al 50% rispetto a Facebook, ma negli
ultimi anni la crescita rispetto al competitor ha limato
significativamente la differenza
Google non fornisce dati ma pensando alla diffusione di
applicazioni quali Gmail, Google Maps, You Tube e Google
Analytics possiamo intuirne l’entità
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Social networks
Facebook già nel 2009 ha generato 25 TB di log per ogni
giorno e circa 7/8 terabytes di informazioni caricate su
Internet
Twitter cresce circa al 50% rispetto a Facebook, ma negli
ultimi anni la crescita rispetto al competitor ha limato
significativamente la differenza
Google non fornisce dati ma pensando alla diffusione di
applicazioni quali Gmail, Google Maps, You Tube e Google
Analytics possiamo intuirne l’entità
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Social networks
Facebook già nel 2009 ha generato 25 TB di log per ogni
giorno e circa 7/8 terabytes di informazioni caricate su
Internet
Twitter cresce circa al 50% rispetto a Facebook, ma negli
ultimi anni la crescita rispetto al competitor ha limato
significativamente la differenza
Google non fornisce dati ma pensando alla diffusione di
applicazioni quali Gmail, Google Maps, You Tube e Google
Analytics possiamo intuirne l’entità
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Smart cities
Produzione di analisi sofisticate dei dati per la
comprensione, il monitoraggio, la regolazione e
pianificazione della città
Rendere più efficienti i sistemi di intervento di emergenza e
controllo del traffico
Sviluppare applicazioni che forniscono informazioni
turistiche, trasporti pubblici, shopping, ecc.
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Smart cities
Produzione di analisi sofisticate dei dati per la
comprensione, il monitoraggio, la regolazione e
pianificazione della città
Rendere più efficienti i sistemi di intervento di emergenza e
controllo del traffico
Sviluppare applicazioni che forniscono informazioni
turistiche, trasporti pubblici, shopping, ecc.
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Smart cities
Produzione di analisi sofisticate dei dati per la
comprensione, il monitoraggio, la regolazione e
pianificazione della città
Rendere più efficienti i sistemi di intervento di emergenza e
controllo del traffico
Sviluppare applicazioni che forniscono informazioni
turistiche, trasporti pubblici, shopping, ecc.
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Studio della cellula
In che modo i
componenti cellulari
interagiscono tra di
loro per svolgere le
funzioni biologiche?
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Studio della cellula
In che modo i
componenti cellulari
interagiscono tra di
loro per svolgere le
funzioni biologiche?
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Studio della cellula
In che modo i
componenti cellulari
interagiscono tra di
loro per svolgere le
funzioni biologiche?
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Medicina personalizzata
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Estrazione di Motifs
Molti problemi della vita reale sono caratterizzati dalla
presenza di ripetizioni su sequenze, matrici, o grafi
Cercare queste ripetizioni senza sapere a-priori nulla su di
esse richiede strumenti algoritmici complessi
La definizione di opportuni “motifs” torna utile a tal fine
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Estrazione di Motifs
Molti problemi della vita reale sono caratterizzati dalla
presenza di ripetizioni su sequenze, matrici, o grafi
Cercare queste ripetizioni senza sapere a-priori nulla su di
esse richiede strumenti algoritmici complessi
La definizione di opportuni “motifs” torna utile a tal fine
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Estrazione di Motifs
Molti problemi della vita reale sono caratterizzati dalla
presenza di ripetizioni su sequenze, matrici, o grafi
Cercare queste ripetizioni senza sapere a-priori nulla su di
esse richiede strumenti algoritmici complessi
La definizione di opportuni “motifs” torna utile a tal fine
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Applicazioni su immagini digitali
Estrazione di motifs per:
Classificatione
Compressione
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Applicazioni su immagini digitali
Estrazione di motifs per:
Classificatione
Compressione
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Applicazioni su immagini digitali
Estrazione di motifs per:
Classificatione
Compressione
Simona E. Rombo
Big Data, Network Analysis e Data Mining
Applicazioni su immagini digitali
Estrazione di motifs per:
Classificatione
Compressione
Simona E. Rombo
Big Data, Network Analysis e Data Mining