Scarica le slides di Brunello Bonanni di IBM

Big Data
I Big Data
Brunello Bonanni
Certified Senior Architect
Cuneo 13 Giugno 2013
IM Technical Team Leader
© 2013 IBM Corporation
Big Data
Evolvere nel modo di trattare le informazioni
Ieri il Valore era Visibile
Oggi il Valore è Invisibile
Produrre i dati oggi è molto più facile
che dargli un senso
2
© 2013 IBM Corporation
Big Data
Una costante dinamica presenza
Abilità nel gestire ed analizzare la
miriade di dati disponibili nella loro
forma nativa:
Strutturati, Semistrutturati, Destrutturati,
in Continuo Movimento
Ci si sta muovendo nella nuova era del “Cognitive Computing”
3
© 2013 IBM Corporation
Big Data
I computer hanno affiancato i Data Center per entrare nel
mondo reale – La trasformazione nella Pubblica Amministrazione
50
Numero di dispositivi connessi
50 Miliardi
La PA oggi
40
Back
Office
30
15 Miliardi
20
i Cittadini
Per processi, fondamentalmente asincrona,
e ognuno con un suo ruolo distinto
7 Miliardi
10
2010
Front
Office
2015
2020
La PA domani
Sistema di Persone
I processi perdono l’accentramento nella
fase di Back Office
per estendersi verso i cittadini
4
© 2013 IBM Corporation
Big Data
Le Quattro Dimensioni da Fronteggiare
Accumulo di documenti in una
logica
parte
daiviene
registri e si
La
moleche
di dati
che
muove negli archivi
costantemente
generata
Dati generati sempre più rapidamente,
impongono una accelerazione dei
processi di ricezione, gestione e
comprensione dei contenuti
deve essere acquisita,
analizzata, e gestita per
comprenderne il
significato ed operare di
conseguenza
Necessità di interrogazioni di
carattere generale in tempi rapidi
Volume
Varietà
La diversità delle
tipologie di informazioni
da sorgenti interne esterne
crea esigenze di integrazione,
gestione, governance, ed
Presenza di dati
adeguamento architetturale.
strutturati e non strutturati
5
Velocità
Veridicità
Dato non strutturato con
interpretazione diverse in base
alle sfumature del linguaggio
I livelli di qualità sono
differenti da sorgente a sorgente,
in alcuni casi anche indefiniti,
ambigui o incompleti, che possono
procurare un degrado complessivo di
tutto il patrimonio informativo trattato
© 2013 IBM Corporation
Big Data
Un esempio di BIG DATA: velocity, variety, volume.
I vettori di conoscenza del consumer
DATI NON
STRUTT.
DATI
STRUTTURATI
PROFITABILITY
RECENCY, FREQUENCY,
MONETARY
PROFILO SOCIO-DEMO
FIDELITY CARD, PUNTI PREMIO
STRUMENTI DI PAGAMENTO
BASKET E MIX
DI ACQUISTO
DATI IN
STREA
MING
DATI
STRUTTURATI
SOCIAL WEB DATA (RT e non RT)
consumer
GEO-POSITIONING
VIDEO-INTELLIGENCE
(riconoscimento volti e
Comportamento fisico)
DATI IN
STREA
MING
FEEDBACK E-SURVEY
DATI
STRUTTURATI
GARANZIE PRODOTTI
INFORMAZIONI E RECLAMI
AL CONTACT CENTER
DATI NON
STRUTT.
Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi
6
© 2013 IBM Corporation
Big Data
I risultati della ricerca condotta in collaborazione con SDA
Bocconi
 Target: CIO e IT Executive di medio-grandi imprese italiane
 202 imprese partecipanti
 Manifatturiero: 31%; Distribuzione e Logistica: 18%; Finance:
11%; PAL-Sanità: 18%, Servizi-Utilities: 22%
 Medie Imprese (< 1000 dip.) 51%; Medio-grandi Imprese (10005000 dip.) 26%, Grandi imprese (> 5000 dip.) 23%
 Aziende domestiche 49%; Multinazionali italiane 25%; Consociate
di multinazionali estere 26%
Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi
7
© 2013 IBM Corporation
Big Data
FONTI DATI maggiormente associate ai Big Data
Social networks e social media (es. Facebook, Twitter, blogs, forum, …)
54%
Documenti cartacei digitalizzati
Email
Transazioni
Immagini
Registrazioni video
Dati di geo-posizionamento (GPS)
52%
46%
40%
34%
32%
25%
Dati generati da sensori o misuratori digitali (es. RFID, NFC, meters)
25%
Automazione processi produttivi
Clickstream – Web Log
M2M (Machine to Machine) data - Internet of Things
Digitalizzazione dei processi di R&D (es. nella bioinformatica e
biogenetica, chimica, climatologia, ecc.)
Registrazioni audio
Altro (specificare)
24%
18%
17%
15%
12%
3%
Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi
8
© 2013 IBM Corporation
Big Data
Principali aree di impatto e di beneficio di business dei
Big Data
1.
accuratezza delle analisi del comportamento del mercato e nelle maggiori informazioni
sui Clienti (più dimensioni di analisi) al fine di servirlo meglio (con piattaforme digitali di
Customer Experience multicanale)
2.
costruzione di una nuova piattaforma IT (che superi i limiti del DW, che permetta analisi
di milioni di transazioni, che permetta di analizzare grandi quantità di dati strutturati e
non, ecc.)
3.
velocità delle insight a supporto delle decisioni strategiche (predizioni, scenari e
previsioni di medio-lungo termine)
4.
analizzare e gestire Point-of-interest aziendali (PdV, magazzini, concessionari e dealer,
turbine, cantieri, ecc.) e infrastrutture sul territorio (reti elettriche, canalizzazioni,
strade, ecc.)
5.
analisi di dati strutturati e non che convergono in documenti aziendali core
dematerializzati (fascicoli sanitari, gestione sinistri, …)
6.
ottimizzazione dei processi aziendali (supply chain complesse, campagne promozionali
ripetitive, …)
Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi
9
© 2013 IBM Corporation
Big Data
Quale Executive è, o potrebbe essere, maggiormente
interessato ai Big Data nella sua azienda?
CIO
37%
Un team o un comitato interfunzionale di executive
21%
Chief Marketing Officer
20%
CEO
18%
CFO
15%
Nessun executive
13%
Chief Sales Officer
12%
DG
11%
Risk manager
8%
Altro (specificare)
1%
Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi
10
© 2013 IBM Corporation
Big Data
Quale Executive … il Cio ma non da solo!
CEO
% sempre rispetto al campione complessivo
18%
Nessun executive
13%
DG
11%
1%
3%
2%
5%
2%
1%
3%
1%
4%
Un team o un comitato
interfunzionale di
executive
21%
1%
5%
1%
CIO
1%
37%
2%
2%
5%
2%
5%
1%
Chief Sales Officer
13%
CFO
1%
2%
5%
15%
1%
2%
Chief Marketing
Officer
20%
2%
Risk manager
8%
Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi
11
© 2013 IBM Corporation
Big Data
Cosa pensano i Manager
Sorgente: (IBM Institute for Business Value in collaboration with Said Business School, University of Oxford, “Analytics: The real-world use of big data, 2012)
12
© 2013 IBM Corporation
Big Data
Fase del ciclo di adozione/maturity/esperienza
1.
La maggioranza delle aziende si presenta nella Fase di comprensione dei BD e
dei loro possibili benefici (57%).
2.
Un’altra porzione di rilievo (25%) è consapevole del valore dei BD ma ha
“priorità” immediate nella gestione della privacy e della sicurezza dei dati.
3.
Il 25% non sente il bisogno dei BD (con un 7% che ha però avviato una fase di
comprensione),
4.
il 18% ha definito una strategia di BD o sta svolgendo studi di fattibilità o ha
avviato progetti in ambito (ricerca a livello Global: 28 % in Execution;
48% in Planning)
Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi
13
© 2013 IBM Corporation
Big Data
Abilitatori organizzativi per i Big Data
1. il funding, il budget delle iniziative (22%)
2. la corretta valutazione dei ritorni dell’investimento (14%)
3. il committment direzionale (13%)
4. le competenze interne (tecnologiche, analitiche,
interpretative) (12%)
Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi
14
© 2013 IBM Corporation
Big Data
Abilitatori tecnologici per i Big Data
ICT Outsourcing
3,84
Streaming processing
4,05
Hadoop/MapReduce
4,13
Cloud computing/ICT as-a-service
4,23
Sistemi di database management relazionali
4,31
Sistemi di database management non relazionali (es. inmemory,…
4,49
Content Analytics
4,56
Strumenti per l’Integrazione di dati (es. ETL, etc.)
4,57
Business Analytics
4,85
1,00
1,50
2,00
2,50
3,00
3,50
4,00
4,50
5,00
Sorgente- Big Data Live: testimonianze ed eccellenze sul tema Big Data con IBM e SDA Bocconi
15
© 2013 IBM Corporation
Big Data
Cosa pensano i Manager di Business
Sorgente: (IBM Institute for Business Value in collaboration with Said Business School, University of Oxford, “Analytics: The real-world use of big data, 2012)
16
© 2013 IBM Corporation
Big Data
Cambiare il paradigma dei modelli di analisi
Data Ingest
17
17
Adaptive
Analytics
Model
Forecast
Nowcast
Opportunity Cost Starts Here
01011001100011101001001001001
0110100101010011100101001111001000100100010010001000100101 11000100101001001011001001010
01100100101001001010100010010
01100100101001001010100010010
11000100101001001011001001010
01100100101001001010100010010
Bootstrap
01100100101001001010100010010
Enrich
01100100101001001010100010010
01100100101001001010100010010
11000100101001001011001001010
01100100101001001010100010010
01100100101001001010100010010
01100100101001001010100010010
01100100101001001010100010010
01100100101001001010100010010
11000100101001001011001001010
01100100101001001010100010010
01100100101001001010100010010
01100100101001001010100010010
11000100101001001011001001010
© 2013 IBM Corporation
Big Data
Analisi dei Dati in Movimento e dei Dati Persistenti
18
© 2013 IBM Corporation
Big Data
I Patterns ad oggi più diffusi
Big Data Exploration
Trovare, visualizzare e comprendere i
Big Data per migliorare la conoscenza
del proprio Business
19
Enhanced 360o View
of the Persone
Security/Intelligence
Extension
Ottenere una vista unificata delle
persone incorporando alle sorgenti
interne le informazioni provenienti dalle
fonti esterne
Contenimento dei rischi, analisi delle
frodi e monitoraggio della sicurezza
in tempo reale
Operations Analysis
Data Warehouse Augmentation
Analisi di tutte le segnalazioni prodotte dai propri
sistemi per individuare l’insieme delle azioni
composite operate in uno specifico contesto
Integrare big data e data warehouse per migliorare
l’efficienza operativa
© 2013 IBM Corporation
Big Data
Per IBM Big Data vuol dire un insieme di tecnologie
 Perseguire chiari obiettivi
Solutions
Analytics & Decision Management
IBM Big Data Platform
Visualization
& Discovery
Application
Development
Systems
Management
Accelerators
Hadoop
System
Stream
Computing
Data
Warehouse
Information Integration & Governance
– Integrare e gestire il volume, la varietà, la
velocità e la veridicità dei dati
– Applicare modelli di analisi specifici per il
trattamento nelle loro forme native
– Visualizzare tutti i dati disponibili per
un’analisi per contesto
– Disporre di un ambiente di sviluppo per
costruire nuove applicazioni analitiche
– Monitoraggio, ottimizzazione del Workload
e gestione dello scheduling
– Sicurezza e Governance
– Integrazione con gli ambienti di
Datawarehouse
– Capacità di operare con open source per
condividire esperienze, algoritmi e modelli
con la comunità mondiale
Big Data Infrastructure
20
© 2013 IBM Corporation
Big Data
Tecnologia integrata out-of the box
Soluzione con Workload Ottimizzato specifico per gli Analytics
PureData
System for Analytics
Solutions
Analytics & Decision Management
IBM Big Data Platform
Visualization
& Discovery
Application
Development
Systems
Management
Accelerators
Hadoop
System
Stream
Computing
Data
Warehouse
Information Integration & Governance
Big Data Infrastructure
21
21
© 2013 IBM Corporation
Big Data
Funzionalità ottimizzate pre-costruite già disponibili
Statistics
 Descriptive Statistics+
 Distance Measures*
 Hypothesis Testing*
 Chi-Square &
Contingency Tables*
 Univariate &
Multivariate
Distributions+
Transformations
 Data Profiling /
Descriptive Statistics+
 General Diagnostics
Time Series
 Autoregressive+
 Forecasting*
 Statistics+
 Sampling
 Data prep
 Monte Carlo
Simulation*
Data Mining
Predictive
Mathematical
 Basic Math*
 Permutation and
Combination*
 Greatest Common
Divisor and Least
Common Multiple*
 Conversion of Values*
 Exponential and
Logarithm*
 Gamma and Beta
Functions
 Matrix Algebra+
 Area Under Curve*
 Interpolation Methods*
Geospatial
 Association Rules+
 Linear Regression+
 Geospatial Data Type
 Clustering+
 Logistic Regression+
 Geometric Functions
 Feature Extraction+
 Classification
 Geometric Analysis
 Discriminant
Analysis*
 Bayesian
 Sampling
* Fuzzy Logix
DB Lytix
capabilities
+ Netezza
Analytics and
Fuzzy Logix
DB Lytix
capabilities
 Model Testing
22
22
© 2013 IBM Corporation
Big Data
Grazie
Brunello Bonanni
Certified Senior Architect
IM Technical Team Leader
[email protected]
© 2013 IBM Corporation