Data quality Segnalazioni, IRBA, 263…
annuncio pubblicitario
Data quality Segnalazioni, IRBA, 263… Riconciliazioni Front-Middle-Back Office Validazione e caricamento data warehouse Risk Data Aggregation Quadratura contabile-gestionale Management Control Monitor controparti Monitoraggio Corporate Actions Controllo commissioni e billing EMIR Garante Privacy 2 Decreto Monti Riconciliazioni e controlli AUI - partitari Product Control Contabilità industriale e cost allocation Liquidity Reporting Consolidamento ed aggregazione dati Credit Reporting Cleansing e Standardizzazione Anagrafiche Reporting ICAAP Controlli AntiFrode & Antiriciclaggio Reporting clientela private Calcolo di indicatori di performance e rischio (KPI, KRI) Recon Bank Accounts Modernizzazione dei flussi di dati Governance & reporting Migrazione di dati e gestione dei controlli di parallelo Riconciliazioni Vigilanzapartitari-coge Marketing analysis and benchmark position dashboards Master Data Management l’ambito regolamentare e l’utilizzo di IrionDQ agenda le principali funzionalità di IrionDQ applicazioni e un caso di successo AMBITO REGOLAMENTARE qualità dei dati Garanzia del rispetto di elevati standard di qualità nei termini di: ■ Completezza (informazioni rilevanti) ■ Pertinenza ■ Accuratezza ■ Tempestività Deve essere definito uno standard aziendale di «data policy» completo di: ■ Controlli ■ Procedure per gestire le eccezioni (dati mancanti o non soddisfacenti) Gli obiettivi dello standard di qualità devono essere sempre più stringenti – definizione di Key Quality Indicator degli esiti e analisi dei trend per il miglioramento 3 AMBITO REGOLAMENTARE qualità dei dati I dati inseriti o corretti manualmente (rettifiche, override, ecc.) devono essere documentati. Si devono registrare: ■I dati originali ■ L’utente che ha operato ■ Il timestamp dell’operazione ■ Eventualmente le motivazioni delle rettifiche Gli interventi manuali devono essere costantemente verificati – anche con appositi controlli e procedure autorizzative 4 AMBITO REGOLAMENTARE qualità dei dati Deve essere tenuta traccia di: ■ Controlli effettuati ■ Esiti ■ Dati scartati o introdotti ■ Informazioni ▶ ▶ ▶ ▶ Mancanti Non plausibili Outlier Con forti discontinuità periodali ■ Posizioni escluse ■ Risultati delle riconciliazioni con procedure contabili ■ Risultati di verifiche con archivi esterni 5 IRIONDQ perché Consente, ad esempio: ■ La realizzazione o l’adeguamento di controlli sulle registrazioni contabili nonché di verifica dell'allineamento tra i dati utilizzati per la gestione dei rischi e per la rendicontazione finanziaria, accedendo a qualunque tipologia di fonte dato e permettendo la definizione di qualunque tipo di controllo ■ La realizzazione di controlli di quadratura tra sottosistemi sezionali, segnalazioni di vigilanza, contabilità generale, AUI ■ La realizzazione di sistemi di quadratura tra applicazioni di front-office e middle/backoffice ■ La definizione di misure atte a garantire e a misurare la qualità dei dati ■ La definizione delle procedure di gestione delle eccezioni rilevate, con tracciatura automatica ■ La definizione delle procedure per assicurare che gli indicatori di qualità (esiti e KQI) siano riportati periodicamente agli utenti di business, alle funzioni di controllo e all’organo con funzione di gestione ■ La definizione di ruoli e responsabilità nell’effettuazione dei controlli 6 IRIONDQ perché ■ Può essere inserito nelle attività di identificazione, misurazione o valutazione, monitoraggio, prevenzione o attenuazione dei rischi connessi con la qualità dei dati nell'ambito del processo di gestione dei rischi, anche per quanto riguarda l’acquisizione o incorporazione di soggetti esterni, grazie alla estrema flessibilità nell’integrazioni di fonti dati ■ Viene utilizzato in processi per la verifica della qualità e coerenza complessiva dei dati aziendali in relazione all'eventuale utilizzo di procedure settoriali (contabilità, segnalazioni – es. Intesa SanPaolo, antiriciclaggio – es: Banco Popolare, ecc.) ■ Ha funzionalità per la definizione di procedure che assicurino l'integrazione e la verifica della qualità a livello consolidato delle informazioni provenienti da tutte le componenti del gruppo ■ E’ di supporto per l’adeguamento dei rapporti prodotti sui dati aziendali, con riguardo all'esigenza di esporre le principali assunzioni e gli eventuali criteri di stima adottati (ad es., nell’ambito del monitoraggio dei rischi aziendali) ■ E’ di supporto per l’adeguamento del sistema di reporting con riguardo all'esigenza di produrre informazioni tempestive e di qualità elevata per l’autorità di vigilanza e per il mercato 7 IRIONDQ accountability & verificabilità Grazie alle funzionalità di One Click Audit & Automatic Documentation IrionDQ consente, in modo automatico: ■ La registrazione completa, corretta e tempestiva dei fatti aziendali, al fine di consentire la ricostruzione dell’attività svolta, comprensiva di data, ora, autore, motivo, ambiente, dati precedenti l’eventuale modifica ■ La documentazione dettagliata delle procedure di estrazione dei dati, di trasformazione, controllo e caricamento negli archivi accentrati nonché delle funzioni di sfruttamento dei dati, ad esempio nel caso di alimentazioni ed estrazioni da datawarehouse ■ La documentazione dettagliata delle procedure di gestione e aggregazione dei dati, con specifica previsione delle circostanze in cui è ammessa l’immissione o la rettifica manuale – sempre mediante IrionDQ – di dati aziendali ■ La documentazione e il presidio dei processi di acquisizione di dati da information provider esterni, nel caso si utilizzi IrionDQ come motore di integrazione 8 l’ambito regolamentare e l’utilizzo di IrionDQ agenda le principali funzionalità di IrionDQ applicazioni e un caso di successo connessioni e adapter a fonti dati IrionDQ mette a disposizione un ricco set di adapter per accedere e validare dati virtualmente in qualsiasi formato: ■ Connessione a tutti i DBMS (Data& Metadata); ■ Capacità di leggere qualunque tipo di file e formati strutturati (csv, txt, VSAM, EBCDIC, Packed/Zoned Decimal, CopyBook, SWIFT, …); ■ File normalizer per accedere a dati semistrutturati o non strutturati (es: report di applicativi mainframe, …) ■ XML, FpML,…; ■ Script Engine: integrazione con Microsoft PowerShell per chiamare code MQ, API per accesso a dati esterni (es: API SAP, Hadoop, ecc.) ; ■ Qualunque Web Services come «consumer»; ■ Open Bloomberg API Adapter/Bloomberg Data License; ■ Sistemi di mailing,…; ■ File, APPS & Add-ins (MatLab, Fincad, …) Excel, anche con file multisheet e parzialmente strutturati, con la possibilità di acquisire anche informazioni di corredo quali commenti, colori, ecc. ■ Ampliare il set di funzionalità sviluppando classi .NET ad hoc che non richiedono installazioni di nuove versioni di IrionDQ I dati possono essere arricchiti anche da fonti esterne (ad esempio Bankscope, Bloomberg, Cerved, Centrale Rischi, ecc.) 10 dati in forma testuale IrionDQ mette a disposizione la tecnologia File Normalizer con un ricchissimo set di funzioni per: ■ Scomporre i campi testo sulla base di delimitatori qualsiasi ■ Scomporre i campi testo utilizzando «regular expression» anche complesse con pattern matching, ad esempio rispetto a strutturazioni del testo, set di valori ammessi, ecc. (es: verifica congruenza del codice fiscale) ■ Definire tabelle di termini da usare nei confronti ■ Definire regole di «parsing» custom ■ Effettuare conversioni di dati da qualunque formato (es: EBCDIC, packed/zone decimal, …) ■ Accedere ai dati presenti in file pdf (con alcune limitazioni dipendenti dal file originario) 11 valutazione qualità dei dati e reporting Grazie ai package di regole IrionDQ è possibile implementare sistemi di analisi dei dati per ottenere valutazioni della qualità dei dati ■ Profiling dei dati ■ Analisi dei dati in colonna ■ Analisi «custom» ■ Analisi e verifica su base temporale ■ Rappresentazioni grafiche dei dati e delle analisi ■ Reporting ■ Dashboarding ■ Possibilità di esportare analisi ed esiti a sistemi terzi ■ Esecuzione interattiva o batch (schedulata) 12 configurazione e gestione delle regole Con IrionDQ è possibile definire dei package di regole di validazione, controllo ed arricchimento con sintassi SQL standard Possono essere definite facilmente tipologie diverse di controlli: ■ Puntuali ■ Logici ■ Andamentali ■ Coerenza ■ Adeguatezza ■ Accuratezza ■ Tempestività ■ Integrità ■ Quadratura ■ Riconciliazione (es: segnalazioni con contabilità, partitari con AUI, …) ■… Fino a controlli più complessi quali riconciliazioni contabili/gestionali 13 normalizzazione e pulizia dei dati IrionDQ consente inoltre la modifica, l’integrazione, la derivazione e la pulizia dei dati: ■ Trasformazioni semplici (tipo dato, splitting di stringhe, operatori di concatenazione) ■ Trasformazioni complesse (ricerca e sostituzione, operazioni di parsing sofisticato delle stringhe, ecc.) ■ Le funzioni possono essere standardizzate e messe a disposizione in librerie (es: interpretazione dei codici fiscali) ■ Le funzioni possono essere arricchite con l’utilizzo di API di terze parti (ad esempio per la normalizzazione di indirizzi) ■ Tutte queste funzioni possono essere estese facilmente con un linguaggio di scripting fino allo sviluppo di classi .NET ad-hoc 14 matching, riconciliazione e quadratura Con la realizzazione dei package di regole IrionDQ si possono implementare: ■ Regole di matching deterministico ■ Regole o algoritmi per il matching basato su modelli piuttosto che valori esatti ■ Sistemi di matching linguistico (es. Soundex, Difference, funzioni di librerie di terze parti chiamabili via API) ■ Sistemi di attribuzioni di «pesi», «scoring» e valori con soglie di tolleranza (ad esempio per verificare il grado di match di valori) ■ Sistemi per deduplicare, collegare o fondere record correlati ■ Regole per creare gruppi logici di dati basati su chiavi I set di dati da valutare o riconciliare possono essere preventivamente elaborati per ricondurli a grandezze confrontabili tra loro (es: necessità di riconciliare sistemi diversi in cui i dati di base sono per uno i movimenti e per l’altro i saldi…) 15 monitoraggio I pacchetti di regole IrionDQ consentono: ■ Lo sviluppo di regole di controllo che indirizzano specifiche problematiche di data quality ■ La possibilità di definire livelli diversi di «gravità» del problema (errore, warning, ok), oltre a sistemi di scoring ■ La possibilità di generare alert di vario tipo, quali messaggi email, messaggi di errore, codici di ritorno, ecc. ■ La realizzazioni di report e dashboard che rappresentano, ad esempio ma non solo, il monitoraggio dei dati (o dei processi) e il numero di regole violate nel tempo IrionDQ inoltre mette a disposizione una console centralizzata di monitoraggio e tracciatura dei processi, con il log completo di tutte le attività poste in essere 16 processo di gestione della qualità dei dati ■ IrionDQ mette a disposizione un potente motore di workflow interno (invocabile anche dall’esterno, ad esempio per esecuzioni schedulate – in grado di effettuare «continous monitoring») ■ Possono essere definite delle videate di user interface dove gli operatori possono integrare, correggere e commentare i dati ■ Tutto in un ambiente profilato in termini di sicurezza utente (sia per le funzioni a disposizione sia per la segregazione dei dati), con la possibilità di definire ruoli diversi per gli utenti (es: analisti, data steward, data owner, ecc.). ■ Con la possibilità di aprire e gestire «pratiche» di gestione delle problematiche emerse in fase di controllo, fino alla loro chiusura anche con l’interfaccia verso sistemi esterni 17 gestione dei workflow della qualità Grazie al motore di workflow e alle funzionalità End User può essere gestito completamente il ciclo della qualità dei dati, compresi cleansing e remediation: ■ Integrare i dati mancanti (sia in modo automatico, in base ad algoritmi di filling, che in modo manuale con l’intervento dell’operatore preposto) ■ Procedere automaticamente al cleansing, sia definindo opportuni algoritmi, sia integrando funzioni di terze parti (ad esempio, funzionalità di Address Verification, Correction and Standardization ■ Risolvere i conflitti nei casi di duplicazione ■ Profilare i dati ■ Definire passi di risoluzione delle problematiche emerse con gestione degli stati di avanzamento e di un set di metadati definibile ■ Monitorare l’andamento del processo di risoluzione ed evidenziarne eventualmente anche key performance indicators. 18 gestione dei metadati ■ IrionDQ gestisce un archivio delle regole di controllo e di gestione del processo ■ Tutti i componenti dei pacchetti di regole IrionDQ sono documentati automaticamente dal sistema, con la possibilità di arricchire la documentazione con opportuni commenti utente ■ Tutte le dipendenze tra oggetti IrionDQ sono tracciabili e visualizzabili ■ I pacchetti di regole possono essere versionati ■ IrionDQ è in grado di utilizzare automaticamente i metadati dagli RDBMS esterni 19 l’ambito regolamentare e l’utilizzo di IrionDQ agenda le principali funzionalità di IrionDQ applicazioni e un caso di successo SUCCESS CASE alcuni esempi di applicazione… ■ DQM per le segnalazioni di vigilanza ■ DQM per i dati IRB ■ Controlli per la corretta alimentazione dell’AUI ■ Controlli per antifrode ■ DQM per l’alimentazione ai datawarehouse ■ DQM anagrafe ■ Riconciliazioni e quadrature… 21 architettura di esempio check & investigate rule 1 validate rule 2 rule n process exception manage approvals Match Missing fields Wrong Fields Mismatch Missing Trade 22 Duplicate Key Different Value Delta SUCCESS CASE DQM per le segnalazioni di vigilanza Le Banche devono dotarsi di un sistema di Data Quality Management (DQM) volto a migliorare la qualità dei dati utilizzati per la produzione delle Segnalazioni di Vigilanza: ■ «Le responsabilità per la correttezza delle segnalazioni consolidate e per l’adeguatezza delle procedure di produzione e di controllo di tali segnalazioni fanno capo agli organi aziendali… ■ Particolare cura va posta nella predisposizione e nell’utilizzo di appositi strumenti di controllo interno, che prevedano anche forme di visualizzazione delle informazioni per i responsabili aziendali, volti ad assicurare la necessaria coerenza dei dati segnalati con le risultanze della contabilità e dei sistemi informativi aziendali» Deve essere a supporto degli utenti della funzione vigilanza nel processo di controllo dei dati lungo tutta la filiera di produzione delle voci segnaletiche: ■ dati in input estratti dai partitari ■ dati archiviati ■ voci delle diverse basi informative prodotte IrionDQ è lo strumento che esegue in automatico i controlli sui flussi di input all’archivio delle segnalazioni e che rende disponibili e interrogabili gli esiti dei controlli e gli indicatori di sintesi della qualità. 23 SUCCESS CASE perché IrionDQ IrionDQ utilizza tecnologie proprietarie per gestire automaticamente tutta la componente operativa: ■ L’infrastruttura dei dati ■ La gestione e l’ottimizzazione delle esecuzioni ■ La gestione di accessi concorrenti in un contesto multiutente ■ La gestione della sicurezza (profili utenti, permessi, data segregation) ■ I workflow ■ La persistenza dei dati ■ ... Con IrionDQ è sempre possibile dimostrare che si seguono le politiche e le normative interne ed esterne e giustificare il perché è stata assunta una decisione. 24 SUCCESS CASE perché IrionDQ IrionDQ mette a disposizione funzionalità per: ■ accedere in lettura ai file contenenti i dati oggetto di controllo; ■ normalizzare i flussi in ingresso da formato nativo a formato relazionale; ■ archiviare i flussi necessari in un apposito repository per garantire i controlli andamentali; ■ permettere la navigazione dei dati di input; ■ eseguire un set di controlli predefiniti volti a garantire la qualità di tali dati; ■ gestire tabelle di supporto ai controlli; ■ implementare controlli sulle “chiavi mancanti”; ■ produrre in output due flussi relativi ai risultati dei controlli (flusso esiti e flusso casi anomali); ■ permettere il browsing e l’analisi dei risultati dei controlli; ■ produrre in output un flusso normalizzato relativo ai dati di II° livello; ■ produrre un flusso periodico di aggiornamento sull’anagrafica dei controlli esistenti al fine di alimentare un repository centralizzato (se gestito al di fuori di IrionDQ); ■ disporre di un monitor di controllo IT sull’avanzamento del processo; ■ gestire l’automazione dell’intero processo (lettura, normalizzazione, controllo, output) mediante opportuni strumenti (workflow). Il processo è interamente “unattended” ed eseguito in modalità batch. 25 SUCCESS CASE tipologie di controlli Tipologie di controlli mirati a verificare che i dati presenti nel flusso segnaletico siano in primis conformi a quanto presente nei partitari di origine e alle risultanze della contabilità: ■ Contabile: controlli di quadratura fra dati del flusso di interfaccia e mastri contabili ■ Puntuale: controlli di coerenza fra informazioni del flusso di interfaccia e il partitario di origine, per verificare che le fasi di estrazione dati dai partitari siano avvenute in modo corretto e completo; ■ Andamentale: di controlli che pongono in relazione i dati di un flusso con gli stessi dati dello stesso flusso prodotto nel mese precedente o nello stesso mese dell’anno precedente, al fine di sterilizzare eventuali effetti di stagionalità. ■ Logico: controlli che agiscono su informazioni presenti sullo stesso flusso ponendole in relazione fra loro in funzione di caratteristiche delle operazioni a cui si riferiscono; ■ Logico con tabelle: controlli di coerenza fra informazioni presenti nello stesso flusso di interfaccia con l’ausilio di tabelle di appoggio (ad esempio la Tabella cambi) ■ Logico/Andamentale: controlli di coerenza fra informazioni presenti in un flusso con le stesse informazioni di periodi precedenti 26 SUCCESS CASE quadratura con i partitari Per ogni flusso di alimentazione all’archivio segnaletico viene attivato il controllo per verificare che le fasi di estrazione dati dai partitari siano avvenute in modo corretto e completo. In funzione del flusso da certificare è possibile definire ■ controlli analitici ■ controlli sintetici I flussi di contraddittorio utilizzati per i controlli puntuali possono essere: ■ gli inventari di fine mese del partitario di provenienza; ■ le informazioni fornite dai partitari stessi al sistema contabile; ■ flussi costruiti ad hoc, nel caso in cui le informazioni già esistenti non siano sufficienti. 27 SUCCESS CASE quadratura con la contabilità Prevede la verifica dei campi importo dei flussi di alimentazione che trovano corrispondenza con i saldi contabili saranno oggetto di quadratura con i flussi di contraddittorio provenienti dal general ledger. Avviene principalmente per aggregati (saldi a livello di forma tecnica contro saldi a livello di mastrino o di aggregati); 28 SUCCESS CASE valutazione e misura della qualità ■ Completezza: tali controlli devono verificare 2 aspetti: ▶ siano presenti i risultati per tutte le dimensioni di analisi (o entità di dettaglio) previste (e ragionevoli) ▶ siano riportati i dati per tutti i dettagli base del modello, ad es. siano presenti tutti i rapporti (in questo caso sono da testare anche le possibili valorizzazioni a zero o “null” poiché per tali dettagli è ammissibile che non si siano generati dati) ■ Accuratezza: tale aspetto è riferito a tutti i controlli di quadratura ■ Coerenza: i controlli che rapportano i dati in relazione al tipo per capire se sono tra loro coerenti: l’esempio classico è il confronto tra gli interessi attivi / passivi di competenza un prodotto / rapporto finanziario ed i suoi numeri liquidi di competenza – se il tasso nominale annuo è insensato si deve segnalare l’anomalia; il tasso di confronto si può reperire dalle condizioni clienti o si impostano tabelle di range tassi “ad hoc” ). Tutti questi controlli hanno dati di confronto diversi a seconda della “chiave” (dettaglio) a cui sono associati 29 SUCCESS CASE valutazione e misura della qualità ■ Tempestività: tali controlli sono relativi allo stato di avanzamento delle elaborazione (normalmente questi sono al 90% sulle alimentazioni) ■ Pertinenza: sono i controlli andamentali; per essi occorre definire, in relazione al livello di aggregazione degli stessi, delle soglie di ammissibilità dei trend ■ Univocità: occorre verificare che non vi siano chiavi o dati duplicati (è il controllo coniugato a quello di completezza) ■ Integrità: è normalmente riferita ai controlli sui domini chiusi delle varie dimensioni di analisi (sono attributi di entità cardine del modello dati) e quindi molto spesso è demandato ai controlli tecnici di controllo del “formalismo delle alimentazioni”, ad esempio non vi possono essere codici classificatori non previsti dalle tabelle anagrafiche del sistema (SAE, Segmenti, codici tipi rapporti inesistenti nei domini); alcuni tipi di controllo possono essere gestiti in quelli di coerenza 30 SUCCESS CASE ambiti oggetto di controllo Amministrazione ■ Partecipazioni ■ Cespiti ■ Contabilità Anagrafe Conti Correnti e Depositi Crediti ■ Crediti Medio/Lungo Termine ■ Crediti Large Corporate (anche in valuta) ■ Fidi ■ Garanzie ■ Sofferenze ■ Prestiti su pegno ■ Crediti di firma concessi 31 Estero Finanza e titoli ■ Operatività finanza c/clientela ■ Movimentazione titoli ■ Certificati di deposito ■ Depositaria titoli ■ Polizze ■ Collocamento ■ Operatività finanza c/proprio Personale Portafoglio Tesoreria
