BIG DATA:
HISTORIANS
&
RDB DATABASE RELAZIONALI
DUE APPROCCI PER DATA COLLECTION
E OTTIMIZZAZIONE DI PROCESSI
ServiTecno srl – Via Francesco Koristka, 10 – 20154 Milano (MI)
Tel 02 486141 – Fax 02 48614441 [email protected] www.servitecno.it
Vers. 2.0 – Settembre 2013
Tutte le informazioni riportate nel presente manuale sono modificabili in qualsiasi momento da ServiTecno.
L’utilizzo delle medesime non è consentito se non a seguito di autorizzazione di ServiTecno.
Historian & RDB
2
Vers. 2.0 sett. 2013
SOMMARIO
1
Introduzione e BIG DATA ................................................................................................................................... 4
2
Vantaggi di un Historian ..................................................................................................................................... 4
3
Aumenta la velocità ........................................................................................................................................... 5
4
Aumenta la compressione dei dati .................................................................................................................... 5
5
Disponibilità, affidabilità e ridondanza .............................................................................................................. 6
6
Data Security avanzata....................................................................................................................................... 6
7
Più velocità nel ROI e meno TCO........................................................................................................................ 6
8
Miglioramento continuo dei Processi insieme al Business ................................................................................ 7
9
Il valore di Historian vs RDB ............................................................................................................................... 7
10
Conclusioni ......................................................................................................................................................... 7
Historian & RDB
3
Vers. 2.0 sett. 2013
1
INTRODUZIONE E BIG DATA
2
In un ambiente economico sempre più competitivo,
le Aziende hanno la necessità di raggiungere
Efficienza ed Efficacia acquisendo eccellenza
nell’attività produttiva: un percorso che inizia dalla
conoscenza dei dati per tenere sotto controllo i
processi.
Big-Data, un già ampio volume di informazioni è
continuamente in crescita ed è imperativo per le
Aziende comprendere in modo affidabile e
controllare le attività di produzione, attraverso una
raccolta di dati critici e la massimizzazione del loro
valore. I dati raccolti e l’ottimizzazione delle
informazioni abilitano un migliore e più rapido
processo decisionale, un incremento di produttività
e una riduzione dei costi.
I database relazionali (RDB o RDBMS) aiutano molte
aziende manifatturiere ad acquisire sempre più
informazioni circa il mercato, i clienti e l’attività
produttiva, supportando semplici query da parte
degli operatori o rispondendo a domande quali
“quale cliente, in questa zona, ha fatto l’ordine più
grande?”. Sono stati disegnati per gestire le
relazioni e sono ideali per memorizzare informazioni
contestuali, georeferenziate o genealogiche sui
processi produttivi, ma raramente rappresentano il
migliore approccio per la raccolta ed ottimizzazione
di grandi volumi di dati del processo produttivo.
Dall’altro lato, gli Historian sono disegnati per
l’acquisizione e la presentazione di dati di impianto
e di processo. Massimizzano la potenza di serie
temporali di dati e sono il giusto strumento per
rispondere a domande che in produzione sono
necessità tipiche per prendere decisioni in tempo
reale, quali ad esempio “Quale è stata oggi la
produzione media su base oraria, comparata con
quella che è stata il mese scorso o due anni fa?”
Lo scopo di questo documento è mostrare i vantaggi
di Historian e RDB per fare data collection ed
ottimizzazione di dati su serie temporali per
garantire una corretta visibilità del processo. Ci sono
capacità critiche per le necessità delle aziende
manifatturiere e di servizi che posizionano gli
Historian come la migliore soluzione per far leva sui
dati grezzi acquisiti da sensori ed altri sistemi in
real-time, per migliorare la produzione verso
l’eccellenza operativa.
Historian & RDB
4
VANTAGGI DI UN HISTORIAN
Acquisizione dati nativa che utilizza OPC, OPCUA e specifici Driver di comunicazione, verso DCS, PLC,
RTU e device tradizionali o non-Standard
La raccolta dati effettuata con efficienza è un
componente critico che accresce la visibilità dei
processi produttivi.
I database relazionali (RDB) non offrono capacità
native di data collection; quindi è necessario
scrivere codice apposito da parte dell’utente per
inserire e modificare dai nei records. Non è una
situazione favorevole: con uno sviluppo ad-hoc i
costi iniziali di programmazione e di miglioramento
continuo sono elevati in termini di tempo e denaro.
In più, lo sviluppo viene limitato dall’esperienza
nella sola azienda in cui sviluppa e non si può far
leva anche sulle esperienze, le tecnologie e le
conoscenze di altre aziende del settore.
Al contrario, gli Historian hanno capacità native di
data collection e possono acquisire dati da molti e
diversi sensori e sotto-sistemi. Ad esempio, Proficy
Historian di GE Intelligent Platforms può raccogliere
un grande volume di dati in real-time dall’impianto
da molte differenti apparecchiature a una velocità
decisamente elevata: si possono raggiungere i 100150.000 campionamenti al secondo di input-output.
Historian è ideale per acquisizione dati da sensori ed
altri sistemi real-time poiché utilizza standard
tecnologici per il manufacturing quali OPC ed UPCUA (OLE for Process Control, divenuto standard
industriale e di mercato per le comunicazioni in
fabbrica), che facilitano le comunicazioni fornendo
un metodo consistente di accesso ai dati attraverso
PLC (Controllori a Logica Programmabile), RTU, DCS
e la strumentazione.
Invece di dover sviluppare software specifico per
comunicare con ogni tipo di sorgente di dati – come
si deve fare usando un RDB, Proficy Historian non
necessita di conoscere alcun dettaglio sulle
proprietà delle sorgenti di dati.
È in grado di connettersi istantaneamente a
qualunque soluzione di acquisizione dati che abiliti
OPC fornendo flessibilità, risparmio di tempo in
sviluppo e messa in servizio e riduzione di costi.
Vers. 2.0 sett. 2013
3
di sotto di quanto richiesto, pur con procedure
proprietarie di precompressione.
AUMENTA LA VELOCITÀ
Le aziende produttive operano in real time, la
velocità di analisi assicura accurate decisioni.
Le performance di RDB sono adeguate al supporto
di semplici query dell’operatore (vedere un valore di
trend recente di portata, temperatura, o altro
valore analogico. Ma gli RDB possono richiedere
significativi interventi tecnici specifici per definire
ogni query complesse e possono avere a confronto
una modesta performance se le query coprono un
ampio data set o periodi di tempo estesi.
Al contrario, un Historian fornisce performance di
read/write molto più veloci di un database
relazionale e una risoluzione anche sotto il
millisecondo, per dati veramente real-time.
Abbiamo quindi capacità di risposta che
velocemente forniscono la granularità di dati
necessaria per analizzare ed intervenire in
applicazioni di processo complesse.
4
AUMENTA LA COMPRESSIONE DEI
DATI
Efficiente data storage e compressione abilitano alte
prestazioni e minimizzano la manutenzione.
In aggiunta, spesso non è possibile la definizione e
manutenzione online, di conseguenza import di tag
e manutenzione si devono effettuare durante
periodi di fermata schedulati – con la necessità di
risorse addizionali, in tempo e costi.
Al contrario, i potenti algoritmi di compressione di
un Historian consentono di memorizzare on-line
anni di dati, facilmente e in sicurezza, così che si
alzano le performance, si riduce la manutenzione e
si abbassano i costi.
Ad esempio, si può configurare Proficy Historian
senza la manutenzione attiva e le routines di backup che richiede un tradizionale RDB.
Gli archivi sono creati automaticamente, ripuliti e
salvati in copia (backed up) – abilitando la diffusione
dell’uso senza la necessità di un database
administrator.
Senza alcuna compressione, un Historian quale
Proficy Historian di GE Intelligent Platforms offre
un’efficienza di occupazione spazio di disco molto
più elevata di un RDB (nell’esempio, oltre 1 a 6).
Usando una compressione di 1% di banda morta,
l’efficienza è ancora superiore per performance più
elevate e ridotta manutenzione (nello stesso
esempio oltre 1 a 30).
Con un RDB tradizionale, a volte la sola
manutenzione può richiedere un lavoro intenso
poiché si devono continuamente gestire archivi e
spazio di disco a causa della mancanza di
compressione; la performance può essere molto al
Confronto di efficienza di occupazione disco tra UN RDB E PROFICY HISTORIAN*
40
35
30
25
20
15
10
5
0
I dati rappresentano uno specifico test su 400.000 campioni acquisiti da un RDB standard e da Proficy Historian.
I risultati variano in funzione del raw data set usato e dallo schema di RDB impiegato.
Historian & RDB
5
Vers. 2.0 sett. 2013
5
DISPONIBILITÀ,
RIDONDANZA
AFFIDABILITÀ
E
I dati di produzione necessitano di alta affidabilità
ed alta disponibilità per garantire accuratezza e
qualità per il miglioramento continuo.
RDB può offrire alta disponibilità per i dati
memorizzati via clustering e SAN, ma sono
vulnerabili in fase di acquisizione per la disponibilità
della rete. Secondo come viene sviluppata la
funzione di data collection, RDB possono trovare
alcune difficoltà nella disponibilità dei dati da
memorizzare. Se la funzione di acquisizione risiede
sul server, si possono avere vulnerabilità sulla rete
che lo collega alla sorgente di dati; se la funzione è
sviluppata sul data source, ci possono essere
vulnerabilità su quel computer.
Al contrario, la tecnologia Historian copre tutte
queste aree, con clustering e SAN sul data storage
come un RDB, ma anche con la ridondanza alla
funzione di acquisizione, che è una componente
critica. Per i punti di acquisizione mission critical, i
collector stessi possono essere configurati in modo
ridondante. Alcuni Historian come Proficy Historian
possono affrontare malfunzionamenti di network e
server con la capacità di “store and forward”, che
bufferizza i dati sul collector quando si presenta un
malfunzionamento. I buffer sono eventualmente
caricati quando il server torna online, con una
riconnessione automatica – assicurando quindi che
nessun dato venga perso.
Con questi livelli di ridondanza, un Historian può
garantire un elevato livello di disponibilità dei dati.
6
DATA SECURITY AVANZATA
Data security è oggi un tema critico in molti processi
ed applicazioni manifatturiere per gli altissimi livelli
richiesti di protezione ed integrità dei dati.
Reti e database sono sotto costante rischio
informatico per attacco da parte di hacker, malware
e virus, e ciò vale soprattutto per i più noti RDB. Ad
esempio, attacchi ai dati con SQL-injection sono
comuni, mentre molti Historian ne sono immuni,
poiché non consentono inserimenti, update o
cancellazioni di dati attraverso interfaccia standard.
Meno vulnerabili a questi tipi di attacchi, gli
Historian sono sviluppati per rafforzare i più elevati
standard di data security. Si può implementare la
Historian & RDB
6
security per Historian a livello applicativo o
scendere a livello di singolo record/tag, cosa ben
difficile da fare con un RDB. Inoltre, gli Historian
tracciano tutte le variazioni per default, inclusi gli
accessi utente, le variazioni di configurazione, le
violazioni di security e gli allarmi di sistema; una
copia del valore originale della singola tag viene
sempre conservato in caso di variazione. Anche
questo è più complesso da implementare con un
standard RDB.
Infine, alcuni Historian sono disegnati per essere
conformi alle richieste di regolamentazioni per la
gestione di record elettronici in alcuni settori: ad
esempio nel settore farmaceutico la firma
elettronica, secondo la normativa 21CFRPart11 di
FDA, che spesso non è supportata da un RDB
standard.
7
PIÙ VELOCITÀ NEL ROI E MENO TCO
Ottenere risultati in modo rapido è importante per
aumentare l’efficienza e mantenere i vantaggi
competitivi.
Implementare un RDB può richiedere tempo e
investimenti elevati, poiché è necessario creare e
gestire tabelle speciali per installare la soluzione.
Inoltre, poiché tipicamente gli RDB sono gestiti da
personale dell’ICT, tutte le modifiche devono essere
ovviamente valutate ed approvate in team, con
evidente aggiunta di tempi per il rilascio. Il team ICT
deve inoltre approfondire conoscenza ed esperienza
nel mondo industriale (ad esempio su OPC, su
specifici driver per strumenti e/o realizzazione di
tabelle) per poter ottimizzare le performance.
Quando si installa un Historian, si può normalizzare
l’implementazione, usando interfacce standard
abbattendo il tempo di deployment anche del 50%.
Non serve creare e gestire “data schema”, trigger,
procedure di storage o visualizzazione, con il
risultato di rendere veloci l’installazione senza
necessità di accedere a servizi particolari quali
scripting o programmazione specifica.
Ad esempio, con Proficy Historian, lo studio e
l’implementazione sono veramente facilitati dalle
interfacce standard e si ottiene velocemente il
risultato richiesto: gli Historian dispongono di un
ampio corredo di interfacce per i diversi livelli di
automazione, e forniscono un unico ambiente dove
le tag si configurano una sola volta e i dati si
memorizzano senza problemi in un solo luogo
centrale e sicuro.
Vers. 2.0 sett. 2013
8
MIGLIORAMENTO CONTINUO DEI
PROCESSI INSIEME AL BUSINESS
Gli Historian legano insieme le informazioni
provenienti dalle varie aree produttive mantenendo
la risoluzione dei dati e fornendo una finestra
sull’attività in produzione. Sono il link vitale tra
l’impianto ed i sistemi gestionali, fornendo una vista
integrata delle attività di impianto con accurate
informazioni real-time. Ad esempio, si possono
facilmente integrare con OLE DB – applicazioni e
query, allarmi ed eventi, informazioni di sistema e
gestionali usando comandi SQL standard.
In più, si possono passare dati del passato,
analizzare i dati precedenti a un evento di
downtime, tracciare un percorso di produzione
ideale rapportato a quello in corso. Con dati
aggregati, si possono facilmente identificare trend,
scoprirne le cause e implementare strategie di
miglioramento. È anche semplice generare report e
condividere informazioni con altri addetti
utilizzando tool su web browser standard.
Un Historian aiuta a migliorare i processi e rende
possibile rispondere a domande quali:
a quanto sono arrivati Flusso e Portata e
qual’è stata la media nell’ultimo turno?
Quanta energia si è consumata ieri?
Quali correlazioni ci sono tra le variabili di
questo impianto?
Come stava andando il processo quando si è
rilevato uno scostamento dai limiti di qualità?
Cosa ha causato la fermata del processo?
Come sono i dati del processo confrontati con
i parametri ideali?
9
IL VALORE DI HISTORIAN VS RDB
continuo, l’eccellenza operativa, Efficienza ed
Efficacia ed una sicura supply chain.
Gli Historian per l’ impianto, possono essere visti
come “scatole nere” o “black box recorders” degli
aerei: sono in grado di catturare i dati grezzi e
fornire ad essi il primo livello di contesto “tempo”,
su cui ci si basa poi per tutte le ulteriori analisi di
gestione operativa. Si possono usare questi dati per
il successivo livello di contesto per soluzioni di area
quali analisi delle fermate, del downtime, OEE,
qualità, tracciabilità e genealogia. Queste soluzioni
realizzano modelli che provvedono a interpretare i
dati di Historian, forniscono altre contestualizzazioni
e li memorizzano in un’applicazione RDB per
procedere verso un miglioramento generale della
intera catena.
Da ultimo, importante, non è sempre possibile
sapere in anticipo e definire di quali dati si avrà
bisogno alla prossima situazione di difficoltà: la
tecnologia di Historian propone la flessibilità di
raccogliere tutti i dati.
10 CONCLUSIONI
Per raggiungere l’eccellenza operativa serve
raccogliere ed ottimizzare un grande volume di dati
da tutte le aree di impianto per una vera visione dei
processi. Mentre gli RDB sono disegnati per gestire
le relazioni tra dati contestualizzati, un Historian ha
la specifica funzione di acquisire e presentare dati
del processo di produzione. Offrono vantaggi chiave
rispetto agli RDB, incluse le capacità intrinseche di
acquisire i dati, la velocità di acquisizione, l’elevata
capacità di compressione, la robusta ridondanza,
avanzata security e la velocità nel fornire valore.
Sono uno strumento per chi gestisce l’impianto e la
produzione, con ridotti costi ed impegno per il
deployment e la manutenzione. Come risultato si
può incrementare la visibilità del processo per
decisioni razionali e veloci, incremento di
produttività e costi ridotti per un sostenibile
vantaggio competitivo.
Gli Historian offrono un valore evidente per il
logging, la memorizzazione e il recupero di grandi
volumi e di serie temporali di dati. Tuttavia, gli RDB
hanno un compito importante nelle applicazioni
gestionali ed industriali e un grande valore nel
definire le relazioni tra dati acquisiti da Historian e
contestualizzati, per guidare verso il miglioramento
Historian & RDB
7
Vers. 2.0 sett. 2013
ServiTecno srl distribuisce e supporta nel mercato italiano i prodotti
software della famiglia Proficy* di GE Intelligent Platforms
©2010 GE Intelligent Platforms, Inc. All Rights Reserved.
*Trademark of GE Intelligent Platforms, Inc.
All other brands or names are property of their respective holders.
www.ge-ip.com
Historian & RDB
8
Vers. 2.0 sett. 2013
