Integrazione delle fonti e utilizzo statistico
degli archivi amministrativi nei comuni per
la conoscenza del territorio e il supporto
alle decisioni pubbliche:
archivi gestionali, basi dati di interesse nazionale, big data
URBES, ARCHIMEDE, Censimento permanente
I Comuni verso l’uso statistico degli archivi amministrativi
e dei sistemi di integrazione delle fonti
Napoli - 28 ottobre 2015
Marco Palamenghi
Comune di Brescia
Unità di staff Statistica
La buona statistica migliora la vita
Produrre statistiche e indicatori affidabili e
tempestivi a supporto dei processi di policy per
uno sviluppo sostenibile.
Innovare metodi, fonti e integrazione dei dati, per
una statistica più adeguata alle esigenze degli
utenti finali, accompagnata dalla riduzione dei
costi e del disturbo statistico
La funzione statistica
LA FUNZIONE STATISTICA COMUNALE
La statistica per conoscere e per deliberare
Supporto informativo-statistico ai decisori
Raccolta dati: reperimento e integrazione dei dati statistici esistenti, e
raccolta dati
Elaborazione dei dati amministrativi gestionali della propria
amministrazione
Reportistica (studi e ricerche)
elaborazione di dati amministrativi, provenienti da altre fonti organizzate
pubbliche e private appartenenti anche a soggetti non Sistan
realizzazione di rilevazioni sul campo
Promozione e diffusione della cultura statistica (sembra più
compito Istat)
Supporto per l’attuazione delle leggi di riforma della P.A.
controllo di gestione, costi standard, ecc.
La statistica comunale
LE TRE ANIME DELLA STATISTICA LOCALE
Ufficio dell’amministrazione: Soggetto attivo per conto dell'Ente
di appartenenza
Ufficio Sistan: Soggetto attivo/passivo in ambito SISTAN
Ufficio Istat: Soggetto passivo per conto dell'ISTAT
Le nuove tecnologie, lo sfruttamento massivo degli archivi
amministrativi nazionali e locali e i big data porteranno ad
un superamento di questo quadro
E’ prevedibile un sempre minor coinvolgimento dei Comuni
nella rilevazione dei dati, ma maggiore nello sfruttamento,
analisi e diffusioni dei dati a livello comunale e
subcomunale.
I principi della statistica pubblica
I principi, della statistica e del
trattamento dei dati individuali di
basi di dati amministrative
(e non solo)
etici
(rapporto mezzi/fini, protezione dei dati personali, imparzialità
obiettività, inattaccabilità metodologica)
•
giuridici (conoscere per deliberare e per controllare)
•economici (efficacia, efficienza ed economicità)
•
Le fonti di dati
Perché utilizzare le fonti amministrative
la PA definisce i propri criteri di intervento
sulla base di dati amministrativi (ad
esempio tasse tariffe ecc.)
La popolazione di riferimento (domanda
potenziale) è spesso quella residente
Costi ridotti
Disturbo statistico assente
Continuità nel tempo
Dettaglio territoriale
Dettaglio sulle unità di rilevazione
Le fonti di dati
Le fonti amministrative comunali
Anagrafe della popolazione residente
Archivi e Sistemi informativi gestionali
Le basi di dati di interesse nazionale
Archivi statistici ISTAT
Archivi statistici e gestionali SISTAN
I Big Data
Gli Archivi di dati
•
L'organizzazione dei dati
•
dal Modello Sequenziale
al Modello Relazionale
al Data warehouse
La gestione dei dati
dai Sistemi Informatici (trattamento di basi di dati)
ai Sistemi Informativi (integrazione di basi di dati)
alla Progettazione concettuale e al Modello EntitàRelazione per dati disaggregati
Fonti Amministrative
Natura degli archivi
Pregi
Dinamicità degli archivi
Aggiornamento
“automatico”
Organizzazione dei dati
Difetti
Immagini amministrative
dei fenomeni (pratiche e
non eventi)
Analisi delle fonti
giuridiche
Non sono implementate
per finalità statistiche
La popolazione di
riferimento non è quella
che incide effettivamente
sul territorio
Fonti Amministrative
Implementazione
Pregi
Immediata disponibilità dei dati
Costi molto bassi
Difetti
Progettazione e
implementazione da parte di
soggetti diversi e in tempi e
con metodologie diverse
Visione parziale e non unitaria
dei sistemi informativi
Scarsa attenzione alla
correlazione delle basi di dati
Viscosità dei sistemi informativi
Fonti Amministrative
Gestione
Pregi
Analiticità dei dati
Qualità elevata per le
informazioni certificate
Difetti
Completezza
Qualità variabile delle
informazioni
Coerenza -> normalizzazione
Fonti Amministrative
Organizzazione dei dati
Soggetto (chiave –-> CF)
Data dell’evento
Evento
Attributi dell’evento
Data di registrazione
Schema “biografico”
Fonti Amministrative
Ricadute organizzative
Impostazione a tavolino dell’indagine
Il quadro di riferimento
L’impianto metodologico
Le fonti dei dati
Individuazione delle fonti
Qualità delle fonti
Recupero dei dati
Parcellizzazione del lavoro
Standardizzazione dei dati
Qualità dei dati
Fonti Amministrative
Profili di privacy
Finalità istituzionali
accesso a tutte le fonti interne
accesso alle fonti a cui il Comune accede per
le finalità istituzionali
Tipi di dati utilizzati (comuni/sensibili)
Garanzie per gli interessati
Misure di sicurezza
Modalità del trattamento: Codice della
privacy e Codice deontologico
La statistica per deliberare
Progetti
Basi di dati Comunali
(Anagrafe, Servizi Sociali, Tributi,
ecc.)
Basi di dati ISTAT (Censimenti, ASIA, Incidenti stradali, ecc.)
Basi di dati SISTAN (Agenzia delle Dogane e dei Monopoli,
Banca data OMI, Agenzia delle Entrate, Ragioneria dello Stato,
Motorizzazione Civile-PRA)
Altre fonti
(dati di telefonia mobile)
Basi dati comunali
L'Anagrafe della popolazione
residente
Chiave di volta dei sistemi informativi comunali
il codice fiscale: chiave univoca di linkage
La matrice di contabilità: dalle storie individuali ai
comportamenti collettivi
Stock (popolazione al 31 dicembre)
Eventi (ingresso e uscita dall'Anagrafe)
L'integrazione con altre basi di dati comunali:
Il modello persona-famiglia-abitazione-automobile
Il modello persona-famiglia-tributi-servizi
Basi dati ISTAT
ASIA – Archivio Statistico Imprese
Attive (Unità Locali)
Il codice fiscale: chiave univoca di linkage con gli archivi
amministrativi comunali
Esaustiva anche se con alcune criticità
Poche informazioni
Grossi problemi di normalizzazione
difficoltà a ricostruire gli elementi per la geocodifica
difficoltà a ricostruire gli elementi per la
georeferenziazione
Basi dati ISTAT
ASIA – Geocodifica u. l. commercio – Brescia Città
Basi dati ISTAT
ASIA – Geocodifica u.l. commercio Centro Storico
Basi dati SISTAN
Agenzia delle Dogane e dei Monopoli
Il codice fiscale: chiave univoca di linkage con gli archivi
amministrativi comunali
Grossa difficoltà al recupero dei dati
Scarico manuale dal sito
Variabile di interesse locale distribuite in due archivi
distinti
Considerevole
lavoro
di
standardizzazione
e
normalizzazione per recuperare le variabili di interesse e
linkarle con gli archivi comunali
Basi dati SISTAN
Basi dati SISTAN
PRA – Pubblico Registro
Automobilistico
Il codice fiscale: chiave univoca di linkage con gli archivi
amministrativi comunali
Disponibilità dei dati a pagamento
(diversi anni fa)
Problemi di normalizzazione degli indirizzi per l'estrazione
dei dati di aree subcomunali
Problemi di geocodifica e georeferenziazione
Elevata qualità dei dati
Basi dati SISTAN
Big Data Telefonici per le
Analisi di Eventi
Obiettivo: Analizzare i dati statistici del traffico di telefonia
mobile per valutare l’impatto di (grandi) eventi promossi in
Città, integrandoli con dati provenienti da indagini statistiche
classiche (questionario)
Elaborazioni sperimentali dei dati (individuali e anonimi) delle
reti di monitoraggio del traffico mobile
Disponibili per tutta la Provincia a intervalli regolari di 15 minuti da
Maggio 2014 ad Aprile 2016
Numero di SIM agganciate alle rete di monitoraggio del traffico
mobile (compreso il roaming)
I dati di cella (antenna) vengono imputati (con un algoritmo
proprietario) ai pixel di una griglia regolare di 150m di lato (circa
17.000 pixel per Brescia)
Ogni utente viene assegnato all’ultima cella utilizzata al termine
dell’intervallo di 15 minuti
Big Data Telefonici per le
Analisi di Eventi
Brescia, 26 maggio 2013 ore 17:00
Big Data Telefonici per le
Analisi di Eventi
MEGAPIXEL CENTRO DI BRESCIA
Big Data Telefonici
Mille Miglia e Giro d’Italia 2013
MEGAPIXEL CENTRO DI BRESCIA
Big Data Telefonici
Mille Miglia e Giro d’Italia 2013
MEGAPIXEL CENTRO DI BRESCIA
Big Data Telefonici
Notte Bianca 2014
Profilo di densità SIM nel Centro di Brescia differenza
percentuale tra la media dei primi due weekend di maggio
2014 e weekend della Notte Bianca (dati in percentuale)
MEGAPIXEL CENTRO DI BRESCIA
Big Data Telefonici
Mille Miglia 2015 Profilazione presenze di stranieri
MEGAPIXEL CENTRO DI BRESCIA
BIG DATA & ANALYTICS
Social Media Analysis
Miglia 2015 – Il «sentiment» del pubblico
