GRUPPO DI LAVORO PER LA SPERIMENTAZIONE DELLE LINEE GUIDA E DEGLI STANDARD PER LA PRODUZIONE STATISTICA DEGLI UFFICI DI STATISTICA DEGLI ENTI DEL SISTAN Delibera 44/P del 18 gennaio 2000 RELAZIONE CONCLUSIVA settembre 2000 RELAZIONE CONCLUSIVA - GDL 44/P - INDICE 1 - PREMESSA …………………………………………………………………………... pag. 3 2 - OBIETTIVI E ATTIVITA’ SVOLTA DAL GRUPPO DI LAVORO …………… 5 3 - QUALITA’ E DOCUMENTAZIONE ………………………….…………………… 6 4 - LA RILEVANZA DELLA DOCUMENTAZIONE PER L’ATTIVITA’ STATISTICA …………………………………………... 7 5 - MESSA A PUNTO DELLA LISTA DI VERIFICA E DEL MANUALE ………… 9 Integrazioni della lista di verifica e glossario ……………………………………. Le tipologie di processo nella lista di verifica …………………………………… I contenuti informativi della lista di verifica per profilo di utenza ……………… L’usabilità della lista di verifica ed il suo sviluppo informatico ………………… Il manuale in linea “Linee guida metodologiche per rilevazioni statistiche” …… 9 10 11 14 16 5.1 5.2 5.3 5.4 5.5 6 - NOTE SULLA SPERIMENTAZIONE DELLA LISTA DI VERIFICA NEL GRUPPO DI LAVORO ……………………………………………….. 17 7 - SVILUPPI FUTURI ………………………………………………………………….. 19 APPENDICE – Statistica per i processi decisionali e validazione ………………………………… 20 2 RELAZIONE CONCLUSIVA - GDL 44/P - 1. Premessa Il Gruppo di lavoro è stato costituito con delibera del Presidente dell’Istat n. 44/P, del 18 gennaio del 2000, ed è così composto: - Marina SIGNORE Coordinatore Istat - Paola BALDI Membro REGIONE TOSCANA - Riccardo CARBINI Membro Istat - Valerio DE SANTIS Membro Istat con funzioni anche di segretario - Marco FORTINI Membro Istat - Claudio GAGLIARDI Membro UNIONCAMERE - Marco PALAMENGHI Membro COMUNE DI BRESCIA - Aldo POGGI Membro MINISTERO DELL’INDUSTRIA DEL COMMERCIO E DELL’ARTIGIANATO - Alessandro RINALDI Membro ISTITUTO G. TAGLIACARNE Con delibera del Presidente dell’Istat n. 209/P, del 7 marzo 2000, Danilo LIPPI è chiamato a far parte, in qualità di membro, del Gruppo di lavoro, in rappresentanza della Regione Toscana ed in sostituzione di Paola BALDI. Il Gruppo di lavoro ha tenuto 4 riunioni, alle quali hanno preso parte anche: - Guido CASELLI UNIONCAMERE - Riccardo GATTELLI MINISTERO DELL’INDUSTRIA, DEL COMMERCIO E DELL’ARTIGIANATO - Marco LIUZZI UNIONCAMERE - Graziano SCAFFAI REGIONE TOSCANA Alla presente relazione è allegato il documento “CONTRIBUTI”, suddiviso come segue PARTE I: STRUMENTI M. SIGNORE, “Lista di verifica per la documentazione dell’attività statistica e glossario” R. CARBINI e V. DE SANTIS, “L’usabilità della lista di verifica ed il suo sviluppo informatico” (con allegato un dischetto contenente la versione informatizzata della lista di verifica) R. CARBINI, V. DE SANTIS, M. FORTINI, A. RINALDI, M. SIGNORE, “La lista di verifica per profili di utenza” M. FORTINI, “Linee guida metodologiche per rilevazioni statistiche” – già disponibile sul sito WEB dell’Istat PARTE II: SPERIMENTAZIONE C. GAGLIARDI e M. LIUZZI, “Documentazione del processo: indagine sulla domanda di lavoro prevista dalle imprese” D. LIPPI e G. SCAFFAI, “Documentazione del processo: indagine sull’ambiente” D. LIPPI e G. SCAFFAI, “Documentazione del processo: indagine congiunturale sull’artigianato” D. LIPPI e G. SCAFFAI, “Documentazione del processo: attrezzature e prezzi delle strutture ricettive della Regione Toscana” A. POGGI, “Documentazione del processo: importazioni, esportazioni, consumi di prodotti petroliferi” A. RINALDI, “Documentazione del processo: indagine sulle congiunture regionali standardizzate del settore manifatturiero” 3 RELAZIONE CONCLUSIVA - GDL 44/P - Durante lo svolgimento delle sue attività, il Gruppo ha inoltre prodotto i seguenti contributi: R. CARBINI e V. DE SANTIS, “Tipologie e qualità dei processi della statistica ufficiale di interesse pubblica” D. LIPPI, “Nota del servizio di statistica della Regione Toscana” M. PALAMENGHI, “Il processo di validazione della produzione statistica in ambito Sistan” A. POGGI, “Osservazioni sulla lista di verifica per la documentazione dell’attività statistica” A. RINALDI, “Considerazioni sulla check list” M. SIGNORE, “Commento ai contributi ricevuti” 4 RELAZIONE CONCLUSIVA - GDL 44/P - 2. Obiettivi e attività svolta dal Gruppo di lavoro Nella presente relazione sono riportati i risultati dell’attività svolta dal Gruppo di lavoro per la sperimentazione delle linee guida e degli standard per la produzione statistica degli uffici di statistica degli enti del Sistan. Il Gruppo è stato istituito nell’ambito delle iniziative assunte dal COMSTAT per il miglioramento della qualità della produzione statistica. Il COMSTAT, nella seduta del 18 novembre 1999, ha approvato il progetto promosso dalla Direzione Generale, Servizio studi metodologici, in collaborazione con la Segreteria centrale del Sistan, Servizio Programma statistico nazionale ed ha individuato i soggetti del Sistema che hanno preso parte alla fase di sperimentazione svolta dal Gruppo di lavoro. Il progetto prevedeva una prima fase di sperimentazione di due strumenti: una lista di verifica e un manuale per rilevazioni statistiche predisposti per fornire supporto e per standardizzare la progettazione, l’esecuzione e il controllo di una indagine statistica nonché la relativa attività di documentazione. La sperimentazione, da effettuarsi con soggetti rappresentanti realtà diverse del Sistema statistico nazionale, è stata finalizzata alla messa a punto definitiva di tali strumenti, al loro adeguamento alle esigenze degli enti del Sistan e all’applicazione a processi produttivi rappresentatitivi di differenti tipologie. La lista di verifica è uno strumento di supporto per documentare, seguendo uno schema strutturato e standard, le modalità di progettazione ed esecuzione dell’indagine e gli indicatori di qualità calcolati. La lista di verifica, disponibile sia su supporto cartaceo che informatizzato, consiste in un insieme di domande a risposte aperte per ciascuna fase di un processo statistico. La lista è stata strutturata in modo modulare per consentire di documentare le diverse tipologie di processi produttivi e di produrre note metodologiche più o meno dettagliate, attraverso una pre-selezione dei quesiti, in funzione delle esigenze conoscitive dei diversi profili di destinatari della documentazione (utente generico, utente specializzato, utente appartenente al Sistan). La versione informatizzata della lista di verifica consente di facilitare l’attività di documentazione da parte dei responsabili dei processi di produzione statistica, in quanto il percorso da seguire viene precostituito in modo automatico dopo aver scelto il profilo informativo e quello di utenza a cui è diretta la documentazione. Nella versione informatizzata è inoltre possibile creare delle liste di verifica personalizzate selezionando i quesiti di interesse. I documenti compilati con la versione informatizzata possono essere salvati in formato testo e richiamati successivamente per eventuali aggiornamenti e modifiche, rappresentando un risparmio di tempo notevole soprattutto per la documentazione di processi ricorrenti, per i quali possono essere modificati solo le parti relative agli indicatori di qualità e le eventuali variazioni di processo. La lista di verifica può essere proficuamente utilizzata anche come strumento di supporto finalizzato al controllo di qualità sia in fase di progettazione sia durante l’esecuzione del processo. Il manuale contiene linee guida per l’esecuzione delle principali fasi di processi identificati come rilevazioni o indagini, le loro mutue relazioni ed i relativi controlli di qualità ed è uno strumento di agile consultazione data la sua natura di manuale in linea consultabile attraverso il sito WEB dell’Istat. La seconda fase del progetto, da avviarsi dopo la conclusione di quella in oggetto, prevede una studio di fattibilità per adeguare il Sistema informativo di documentazione delle indagini (SIDI) alle esigenze del Sistan al fine di favorire la standardizzazione della documentazione e l’accessibilità all’informazione sui processi statistici effettuati in ambito Sistan, nonché sulle relative modalità di esecuzione e controllo. 5 RELAZIONE CONCLUSIVA - GDL 44/P - Il presente documento è articolato come segue. Nel capitolo 3 vengono riportate alcune considerazioni, svolte all’interno del Gruppo, sul tema della documentazione dell’attività statistica e delle sue relazioni con la qualità; nel capitolo 4 viene motivata l’importanza della documentazione sia per finalità interne all’ufficio di statistica, sia di confronto all’interno del Sistema, sia per fornire informazioni agli utenti a corredo dei dati prodotti. L’attività del Gruppo di lavoro è quindi consistita nella messa a punto della lista di verifica e del manuale in linea, come documentato nel capitolo 5, e nella sperimentazione di questi strumenti su un insieme di processi di produzione statistica selezionato su proposta dei membri del Gruppo di lavoro stesso per rispecchiare diverse realtà produttive. Alcune considerazioni generali emerse dall’applicazione della lista di verifica a processi reali sono riportate nel capitolo 6. Nel capitolo 7 sono riportate le considerazioni conclusive e le proposte riguardanti possibili sviluppi futuri. La documentazione completa dell’attività svolta dal Gruppo è riportata nel documento “Contributi” allegato alla presente relazione, il quale è suddiviso in una prima parte dedicata agli strumenti e in una seconda contente le note metodologiche prodotte nel corso della sperimentazione. 3. Qualità e documentazione Garantire la qualità dei dati diffusi è uno dei principali obiettivi dei produttori di informazione statistica. Di conseguenza è stato posto all’attenzione dei lavori del Gruppo il tema della documentazione e delle sue relazioni con l’attività di validazione. Poiché l’attività di validazione è affidata al titolare del processo che ha il compito di applicare le metodologie statistiche più appropriate, quali ad esempio quelle contenute nel manuale in linea, il Gruppo di lavoro ha concentrato le sue attività sulla documentazione dei processi e sugli strumenti per facilitarne sia la redazione che l’omogeneità. L’attività di documentazione è stata infatti considerata come un’attività propedeutica a quella di validazione e che può essere standardizzata e diffusa all’intero Sistema statistico nazionale. Questa posizione ha trovato concordi tutti i membri del Gruppo, ad eccezione del rappresentante del Comune di Brescia che ha sostenuto una diversa interpretazione delle relazioni fra validazione e documentazione collocandola all’interno del quadro normativo di riferimento, ossia mettendo in rilievo problematiche anche legate a esigenze di autonomia locale. Tali istanze, se da un lato non sono state raccolte dal Gruppo, in quanto non pertinenti al mandato affidatogli dal COMSTAT, dall’altro sono state ritenute elementi interessanti per approfondimenti specifici da effettuarsi in un’altra sede e vengono quindi riportate in Appendice. Nell’accezione del Gruppo, la documentazione viene quindi proposta come uno strumento per garantire la trasparenza dell’attività svolta, mettendo gli utilizzatori in condizione di valutare la qualità dei dati in funzione delle proprie esigenze di analisi e di ricerca. Da questo punto di vista, l’uso di una lista comune da parte di enti diversi aumenta la confrontabilità delle note metodologiche prodotte, facilitando l’utenza. Inoltre come descritto nel paragrafo 5.3 sono stati definiti diversi livelli di approfondimento della documentazione da indirizzare a diverse tipologie di utenti esterni in funzione della loro specializzazione. All’interno di ciascun ente e del Sistema stesso, la documentazione dei processi può essere utilizzata da diverse tipologie di utenti “interni”, quali chi svolge funzioni di controllo, chi deve progettare indagini, chi vuole effettuare confronti o bench-marking. Per tali scopi devono essere documentate le modalità secondo le quali è stato progettato, 6 RELAZIONE CONCLUSIVA - GDL 44/P - eseguito e controllato il processo statistico, le metodologie applicate, i controlli effettuati ed i risultati ottenuti esprimibili come indicatori di qualità relativi al processo produttivo e all’accuratezza dei dati. In quest’ottica la lista di verifica costituisce sia un supporto per produrre documentazione, sia uno strumento di autovalutazione, in quanto guida il responsabile di un processo nell’attività di controllo di tutte le fasi produttive. 4. La rilevanza della documentazione per l’attività statistica Gli enti produttori di statistica si trovano ad affrontare una domanda crescente di informazioni sempre più articolate a seguito dei processi di decentramento in atto. Si rilevano alcune caratterizzazioni principali: è in atto una revisione della normativa Sistan che prevede un decentramento di competenze e configura il sistema come multisistema vi sono adempimenti regionali per la gestione delle politiche comunitarie da cui emerge una carenza informativa di dati a livello territoriale. La gestione di queste politiche necessita di informazioni documentate in modo omogeneo e concordato al fine di garantire una corretta contrattazione fra istituzioni un ruolo rilevante svolgono anche le nuove tecnologie che permettono l’accesso e l’elaborazione di archivi presenti nelle pubbliche amministrazioni per scopi gestionali lo sviluppo della rete telematica apre nuove possibilità per l’acquisizione e la diffusione di informazione statistica vi è una maggior disponibilità di basamenti informativi, si stanno sviluppando sistemi informativi per la razionalizzazione dei flussi e degli output sono presenti localmente numerosi soggetti sia pubblici che privati che si occupano di produzione statistica. Questa domanda in parte è codificata in specifiche norme e in parte proviene da istanze vaste e generali di numerosi soggetti pubblici e privati I punti sopra evidenziati indicano che siamo di fronte a una informazione statistica crescente, prodotta con svariate modalità, da numerosi attori, su fenomeni affrontati da differenti punti di vista. Aumentano le rilevazioni degli enti pubblici, vi è un incremento dell’attività statistica anche per un maggior utilizzo di fonti amministrative rese disponibili per l’utilizzo statistico dal diffondersi dei sistemi informativi. Questa pluralità è da un lato una ricchezza informativa poiché fornisce punti di vista diversi sui fenomeni, dall’altro vi è però il rischio che la varietà dei soggetti e delle modalità di produzione di questa informazione non produca un valore aggiunto proporzionale al suo volume, anzi possa ingenerare incertezza laddove diverse fonti, diversi soggetti producano risultati discordanti che l’utente, nella sua necessità di semplificare, non è in grado di distinguere. Tale discordanza è in realtà il frutto di differenti definizioni degli universi di riferimento, di differenti definizioni di variabili, di differenti modalità di conduzione delle indagini, ecc. Affinchè si possa ottenere un valore aggiunto non solo proporzionale al volume delle produzioni statistiche, ma addirittura superiore è necessario garantire una confrontabilità e integrazione delle statistiche di fonte diversa. Questa integrazione può avvenire in due modi: uniformando i processi in tutti o parte dei loro aspetti (integrazione a priori) documentando in modo esauriente i processi (integrazione a posteriori) 7 RELAZIONE CONCLUSIVA - GDL 44/P - La prima modalità implica il rispetto di standard informativi comuni a livello di progettazione, ma non è di facile attuazione perché si scontra con l’autonomia dei soggetti, i loro interessi specifici, le loro risorse. La seconda implica una documentazione dettagliata dell’attività svolta come se il processo dovesse essere ripetuto da un altro soggetto; questa strada è sicuramente più percorribile non imponendo vincoli ai soggetti produttori se non quello della documentazione. Nel primo caso l’utente, verificato il rispetto degli standard, può abbastanza automaticamente inserire l’informazione nel contesto in cui valgono gli standard. Nel secondo caso l’utente deve svolgere una attività di valutazione per l’uso dell’informazione. Comunque, sia nel primo che nel secondo caso, la documentazione dell’attività è indispensabile: nel primo per dichiarare il rispetto degli standard, nel secondo per mettere l’utente in grado di effettuare la valutazione e verificare se l’informazione è adeguata ai suoi scopi. Si tratta in sostanza, non di eliminare la disomogeneità delle informazioni, ma di governarla, di renderla trasparente, di aiutare l’utente a muoversi dentro la pluralità delle informazioni spesso riferite alle stesse problematiche che però in ambito locale presentano una rilevanza e una connotazione diversa. Questa disomogeneità va vista in relazione alla rilevanza che le statistiche assumono nei diversi ambiti decisionali che di volta in volta si considerano, alla rilevanza che l’informazione ha per diversi ambiti territoriali: all’interno di una singola realtà amministrativa occorre ridurre al minimo la disomogeneità di statistiche per le problematiche locali oggetto di decisione da parte degli amministratori, per mettere il decisore locale in grado di utilizzare al meglio le informazioni. Quest’ultimo non può effettuare quella analisi di coerenza dei dati che resta compito dell’esperto, che per questa attività deve disporre della documentazione. Diverso è il caso di utilizzatori esperti per i quali è normale l’utilizzo di molteplici fonti informative per costruire un quadro conoscitivo spesso articolato. Il dibattito all’interno del gruppo di lavoro ha evidenziato le difficoltà di definizione di standard per la realizzazione sia delle indagini, sia, più in generale, dei processi identificati come elaborazioni. Tuttavia, è emersa la convinzione che una documentazione standard dei processi produttivi è condizione necessaria per la trasparenza delle informazioni prodotte e per un incremento della qualità delle medesime. Lo standard documentale si pone i seguenti obiettivi: rendere trasparente l’informazione prodotta; nel senso già accennato di informazione riproducibile adottando le medesime modalità di acquisizione dei dati e del trattamento degli stessi. Una informazione trasparente in quanto documentata costituisce un ancoraggio affidabile e sostenibile per le decisioni favorire la definizione di protocolli di realizzazione, in particolare, dei processi identificati come rilevazioni (o indagini), soprattutto quando queste sono condotte da più soggetti e devono essere definite specifiche contrattuali per lo scambio di prodotti intermedi. La documentazione standard permette la delega delle attività a soggetti esterni garantendo il mantenimento dei livelli qualitativi definire standard documentali e requisiti di qualità nella progettazione dei sistemi informativi. Spesso nella progettazione di sistemi informativi l’attenzione è rivolta alla “integrità” informatica delle basi di dati senza che analoga attenzione venga posta nei livelli di utilizzo indurre standard di qualità comuni nell’ambito Sistan che agevolino l’integrazione delle informazioni Di particolare importanza è la individuazione di una appropriata documentazione dei processi che, a partire da archivi gestionali o amministrativi, conducono alla produzione di informazione statistica. 8 RELAZIONE CONCLUSIVA - GDL 44/P - 5. La messa a punto della lista di verifica e del manuale Nella fase di sperimentazione della lista di verifica su alcuni processi, condotta nell’ambito del Gruppo di lavoro, sono emerse diverse esigenze che hanno portato a modifiche e a integrazioni alla lista stessa. Le modifiche di cui è stata oggetto la lista di verifica hanno riguardato da un lato l’estensione degli aspetti in essa trattati per renderla più aderente alle diverse realtà presenti nel Sistan, dall’altro la classificazione del suo contenuto informativo per tipologia di processo produttivo e per tipologia di destinatario della documentazione per renderne più agevole e più flessibile l’uso. In questo modo, infatti, si introduce una modularità nella lista stessa che consente di finalizzarla al soddisfacimento di obiettivi differenziati. 5.1 Integrazioni della lista di verifica e glossario Le principali integrazioni al contenuto informativo iniziale della lista di verifica hanno riguardato in modo particolare l’introduzione di diversi quesiti per descrivere le rilevazioni di fonte amministrativa e di alcuni blocchi di quesiti relativi ai processi di elaborazione, sia nel caso del trattamento di dati amministrativi in possesso dell’ente, sia nel trattamento di dati statistici. Ciò ha costituito una significativa innovazione della struttura iniziale della lista di verifica. Con riferimento alle rilevazioni di fonte amministrativa, è stato sviluppato un blocco di quesiti relativi alla fase di acquisizione dei dati, che consente di descrivere sia il processo amministrativo alla base della raccolta dei dati (archivi amministrativi utilizzati, informazioni relative agli atti amministrativi all’origine dell’archivio, controlli di qualità effettuati dall’ente titolare del processo amministrativo) sia le analisi svolte per l’uso a fini statistici dei dati amministrativi (valenza statistica dell’archivio amministrativo, modalità di trasferimento per fini statistici delle informazioni raccolte con l’atto amministrativo). Per quanto riguarda le elaborazioni, sono stati predisposti quesiti differenziati distinguendo le elaborazioni su dati statistici dalle elaborazioni su dati amministrativi in possesso dell’ente. Nel secondo caso, infatti, viene data indicazione di rispondere a tutti i quesiti predisposti per le rilevazioni di fonte amministrativa con l’avvertenza che, in questo caso specifico, l’ente titolare del processo amministrativo e quello dell’elaborazione coincidono. Nel caso, invece, di elaborazioni su dati statistici sono stati sviluppati una serie di quesiti ad hoc che consentono di descrivere le fonti utilizzate, le metodologie di elaborazione dei dati di base e di integrazione tra le fonti, gli studi e gli eventuali interventi correttivi per migliorare la qualità dei dati di base. Un’altra esigenza che è stata espressa da parte del gruppo di lavoro è stata quella di dotare la lista di verifica di un glossario contenente le definizioni dei principali termini utilizzati. Il glossario consente non solo di chiarire il significato di alcuni termini, ma anche di standardizzare il linguaggio in ambito Sistan. E’ stato scelto di definire solo i termini principali, in quanto la lista di verifica contiene già al suo interno alcune note esplicative che guidano nella compilazione della lista, quali ad esempio la differenza tra indagine pilota e test preventivo di una procedura. Per una descrizione più dettagliata si rimanda invece al manuale in linea nel quale vengono trattati molti concetti richiamati 9 RELAZIONE CONCLUSIVA - GDL 44/P - nella lista. E’ importante sottolineare che le definizioni di elaborazione e di rilevazione (o indagine), riportate nel glossario, sono quelle adottate ufficialmente dal Programma statistico nazionale (PSN), mentre le altre definizioni sono tratte dal manuale operativo del SIDI e quindi utilizzate per la documentazione dei processi all’interno dell’Istat. Il glossario contiene inoltre i riferimenti normativi che regolamentano l’obbligo di risposta e che definiscono i dati sensibili. 5.2 Le tipologie di processo nella lista di verifica La struttura della lista di verifica messa a punto nell’ambito del gruppo di lavoro accoglie le indicazioni emerse sull’adeguamento alla realtà degli enti del Sistema statistico nazionale. Lo schema proposto inizialmente è derivato da quello predisposto per i processi dell’Istat. In questo paragrafo ci soffermiamo su alcuni aspetti definitori non trascurabili nello specifico quadro di riferimento: quello nel quale si propongono degli standard per la documentazione dell’attività statistica. La statistica ufficiale inserita nel PSN, ossia quella definita di interesse pubblico,1 è classificata secondo tipologie standard. In ambito PSN, il COMSTAT ha classificato la produzione statistica degli enti del Sistan, distinguendo i processi in rilevazioni2 ed elaborazioni3 (esiste anche una terza tipologia utilizzata per identificare i processi, gli studi progettuali, che qui non prendiamo in esame). Queste definizioni dei processi sono state utilizzate per estendere i contenuti della lista di verifica utilizzando così un linguaggio già noto agli enti del Sistema. La definizione delle tipologie di processo suggerisce la messa a fuoco di alcuni concetti. Innanzitutto, la mancanza di una corrispondenza univoca tra definizioni e concetti non semplifica l’identificazione del processo di produzione statistica: tale problematica non è irrilevante ove si consideri la necessità di individuare la corretta tipologia di processo da parte del titolare che si accinge a documentare lo stesso processo per mezzo della lista di verifica.4 Tuttavia, esula dal contesto in esame la messa a punto di definizioni; ai fini della documentazione dei processi, aspetti inerenti le tipologie possono essere messi a fuoco partendo dall’esame delle modalità di acquisizione dei dati, dalla tipologia della fonte dei dati e dalla loro natura. Per quanto riguarda la modalità di acquisizione dei dati, se questi vengono acquisiti all’esterno, ossia se si tratta di dati che non costituiscono patrimonio dell’ente, il processo si identifica come rilevazione; qualora, invece, l’attività statistica consista nel trattamento di dati propri, il processo viene indicato come elaborazione. La sovrapposizione dei termini di rilevazione e indagine trova riscontro - prima della 322/1989 e quindi prima delle definizioni standard utilizzate nel PSN - anche nei testi di statistica,5 laddove il termine rilevazione ricorre soprattutto nel contesto della statistica descrittiva ed ufficiale, mentre quello di indagine viene frequentemente utilizzato nell’ambito della statistica investigativa, nel quale, se si vuole, prevale la caratterizzazione metodologica. 1 decisione COMSTAT del 15/11/1996 il processo finalizzato alla produzione di informazioni statistiche da parte dell’ente titolare, consistente nella raccolta di dati direttamente presso imprese, istituzioni e persone fisiche oppure mediante acquisizione da documenti amministrativi e/o fonti organizzate pubbliche e private (registri, archivi, basi di dati) e nel loro successivo trattamento 3 il processo finalizzato alla produzione di informazioni statistiche da parte dell’ente titolare, consistente nel trattamento di dati statistici derivanti da precedenti rilevazioni od elaborazioni, ovvero di dati di cui l’ente titolare dispone in ragione della sua attività istituzionale 4 Il problema assume rilievo con riferimento al resto della produzione statistica (quella non inclusa nel PSN) per la quale l’esplicitazione delle tipologie deve essere chiara a monte della documentazione del processo 5 Ad esempio, Leti in “Statistica descrittiva”, il Mulino, 1983 2 10 RELAZIONE CONCLUSIVA - GDL 44/P - L’approssimazione successiva all’identificazione della tipologia del processo, passa attraverso la suddivisione della tipologia della fonte dei dati (per la rilevazione) e dalla natura del processo6 (per l’elaborazione). Con riguardo alle elaborazioni, la natura del processo identifica elaborazioni di dati amministrativi 7 ed elaborazioni di dati statistici, derivanti questi ultimi da precedenti rilevazioni e/o elaborazioni. La differenza è rilevante perché mette in evidenza il grado di utilizzo, a fini statistici, degli archivi amministrativi ovvero la produzione di informazione statistica specifica dell’ente titolare dell’archivio amministrativo. Per quanto riguarda le rilevazioni, la classificazione è articolata in funzione della fonte di acquisizione dei dati. Rispetto a quest’ultima, occorre osservare un riscontro sempre crescente di acquisizione dei dati presso fonti organizzate. Conseguentemente può essere corretto distinguere a seconda l’acquisizione dei dati derivi dalla raccolta sul campo di dati statistici, ovvero di dati non disponibili per i quali la raccolta è organizzata “all’origine” per fini statistici (attraverso un questionario), ovvero dall’utilizzo di fonti organizzate, ossia archivi informativi o registri (informatizzati o cartacei, pubblici o privati), cioè di dati di fatto già disponibili perché raccolti per altre finalità (amministrative appunto), e per i quali la “traduzione” in dati statistici è successiva alla fase di raccolta originaria, curata, istituzionalmente, dal titolare dell’archivio. In questo caso, quindi, la raccolta di dati a fini statistici è derivata da quella amministrativa. 5.3 I contenuti informativi della lista di verifica per profilo di utenza Nell’affrontare la messa a punto di linee guida per la produzione statistica degli uffici di statistica degli enti del Sistan è emersa da parte del Gruppo di lavoro la necessità di confrontarsi anche con il problema della selezione degli aspetti metodologici salienti con i quali corredare le informazioni diffuse all’esterno del Sistema. In particolare, si è voluta valutare la possibilità di utilizzare la lista di verifica anche allo scopo di selezionare le informazioni di carattere tecnico e metodologico più rilevanti da associare nella diffusione dei dati e delle ricerche al di fuori del Sistan. Per articolare lo strumento a seconda delle esigenze conoscitive delle diverse esigenze informative sono stati individuati dei sottoinsiemi di quesiti della lista di verifica in base a due distinzioni: a) tipologie di utenti, con le quali si identificano diverse categorie di destinatari della documentazione; b) criteri di valutazione dei quesiti. Nel primo caso i profili informativi individuati sono: utenti esterni finali generici utenti esterni finali specializzati utenti Sistan Con riferimento invece ai criteri di valutazione, si è optato per una scala a tre livelli, che consentisse da un lato, di evidenziare i quesiti “irrinunciabili”, ossia quelli non rispondendo ai quali si potrebbe rischiare un “peccato di omissione” da parte dei produttori di informazioni, dall’altro di mantenere un secondo livello di “approfondimento” per le considerazioni di natura metodologica. I livelli previsti sono: 6 Non è irrilevante osservare che per le elaborazioni la natura del processo costituisce un filtro di livello superiore rispetto alla fonte dei dati: quest’ultima, infatti, è un parametro di interesse per le sole elaborazioni di dati amministrativi 7 Trattamento di dati di cui l’ente titolare dispone in ragione della propria attività istituzionale. Si tratta di dati di archivi concepiti per fini non statistici, analizzati sulla base di criteri statistici 11 RELAZIONE CONCLUSIVA - GDL 44/P - molto rilevante abbastanza rilevante poco rilevante E’ da sottolineare che il livello poco rilevante appare utile nell’individuare quesiti sui quali non conviene soffermarsi nel caso di un profilo, ad esempio l’utenza generica, per non ledere la piena fruibilità delle informazioni metodologiche fornite. Dall’incrocio delle categorie di utenza con i punteggi assegnati a ciascun quesito nasce una “griglia” che incrocia i 122 quesiti per i tre item di valutazione. Con riferimento agli utenti, occorre premettere che esiste una gerarchia tra le categorie, per cui l’utente generico non ha necessità di informazioni richieste dall’utente specializzato, mentre quest’ultimo non richiede il dettaglio del come le attività sono state realizzate dal punto di vista più strettamente operativo, a meno che ciò non infici la qualità delle informazioni fornite, aspetto invece importante per l’utente Sistan non fosse altro per la possibilità di riprodurre i processi. In particolare, l’utente Sistan potrà essere interessato a tutti gli aspetti sottesi alle attività di ricerca, selezionando l’informazione di maggiore interesse per i propri scopi, ragione per la quale per questa categoria tutti i quesiti sono stati ritenuti molto rilevanti, con punteggio sempre pari a 1. Al contrario, esiste la necessità di discriminare e declinare i livelli di importanza dei temi metodologici per le altre due categorie, che individuano le due tipologie fondamentali di utenza esterna: l’utente specializzato e quello generico. La prima tipologia individua l’“addetto ai lavori” o lo studioso che estende il proprio interesse al di là del contenuto informativo dei dati, e che si focalizza non solo sulla qualità delle informazioni ma anche su tutti i risvolti retrostanti di carattere tecnico o metodologico. Gli utenti esterni generici rappresentano invece il raggruppamento più numeroso, quello composto da tutti coloro che indistintamente fruiscono delle informazioni statistiche (operatori, studenti, giornalisti, ecc.) e che fondamentalmente necessitano di poche informazioni, ma significative e intelligibili, sulle principali caratteristiche delle produzioni statistiche e il loro livello di attendibilità. Il sottoinsieme dei quesiti irrinunciabili (punteggio pari a 1) per l’utenza generica potrebbe anche essere utilizzato come il set minimale di informazioni con cui accompagnare le ricerche anche per quegli enti che, effettuando diverse attività e disponendo però di poche risorse, si trovino nella difficoltà di approfondire la stesura delle note metodologiche e necessitino di una selezione degli aspetti metodologici essenziali. I quesiti particolarmente rilevanti per l’utenza generica sono 25 (dai 122 iniziali), con delle distinzioni a seconda che si tratti di indagini dirette, di dati provenienti da archivi amministrativi o di elaborazioni di dati statistici derivanti da precedenti rilevazioni e/o elaborazioni. In estrema sintesi, le informazioni fondamentali comuni alle diverse tipologie di studi riguardano: dati identificativi del processo di produzione dati caratteristiche del fenomeno e della popolazione oggetto di studio livello di disaggregazione e tempestività nella diffusione dei dati tutela della riservatezza 12 RELAZIONE CONCLUSIVA - GDL 44/P - Per le specifiche tipologie possiamo citare le caratteristiche del campione e gli errori campionari per le indagini dirette, le caratteristiche e i livelli di copertura delle liste per i dati provenienti da archivi amministrativi e il mix di fonti utilizzate per le elaborazioni di dati statistici. In sostanza, il fatto di utilizzare poche informazioni sul processo riferite alle caratteristiche principali dovrebbe fornire una valutazione sulla qualità del processo intesa come attendibilità dei dati prodotti e quindi anche chiarire i limiti del loro utilizzo. I punteggi pari a 2, ossia “abbastanza rilevante”, estendono le informazioni richieste ad ulteriori punti utili alla redazione di una più esauriente nota metodologica: si aggiungono quindi aspetti classificatori, le caratteristiche degli archivi di estrazione e le tecniche di riporto all’universo, la normativa retrostante gli archivi amministrativi, i problemi di mancata risposta, le metodologie utilizzate per ottenere i risultati dell’elaborazione di dati statistici. Sommando i quesiti con punteggi pari a 1 e 2 il numero di punti considerati per i destinatari generici sale a 44 su 122, poco più di un terzo delle informazioni necessarie all’utente Sistan. Nel caso dell’utenza specializzata lo spettro delle voci molto rilevanti si accresce includendo in sostanza non solo l’insieme dei quesiti con punteggio 1 e 2 relativi agli utenti generici, ma anche evidenziando ulteriori esigenze che questo tipo di utilizzatori esprimono, che possono essere sintetizzate in questi punti principali: approfondimenti sulle classificazioni (standard nazionali ed internazionali) modalità di stratificazione e selezione del campione scostamenti tra la popolazione obiettivo e archivi e metodologie di integrazione tra questi metodologie adottate per effettuare l’integrazione dei dati nelle elaborazioni di tipo desk interventi correttivi effettuati sui dati di base e trattamento statistico degli outliers e mancate risposte verifiche esogene sulla qualità degli archivi Con i quesiti importanti anche se non fondamentali il numero di punti per l’utenza specialistica cresce a 103 su 122 estendendo l’attenzione a tutti gli altri punti condizionanti in qualche modo la qualità delle produzioni di dati: test sui questionari e indagini pilota, mutamenti legislativi e/o amministrativi negli archivi, procedure di controllo della qualità, ecc. Vengono quindi fornite tutte le informazioni dalle quali possono emergere limitazioni nell’uso dei dati, come ad esempio eventuali effetti distorsivi. La gerarchia tra tipologie di utenti fa sì che tutti i punti trattati sin qui siano comunque di grande interesse per utenti Sistan. Esiste poi un ulteriore raggruppamento di voci (19 in tutto) rilevanti solamente per quest’ultima categoria. Si tratta dei quesiti più strettamente legati ad aspetti operativi ed organizzativi del processo di produzione delle informazioni, riguardanti principalmente: indicazione dell’ufficio responsabile del processo acquisizione dei dati (strutture esterne di rilevazione, team di rilevatori, modalità di formazione e supervisione) revisione, codifica e registrazione dei dati (interna/esterna, manuale/automatica, numero di persone utilizzate, modalità di formazione e supervisione) aspetti di architettura hardware e software utilizzati 13 RELAZIONE CONCLUSIVA - GDL 44/P - Al termine di questa analisi, possiamo concludere che l’approccio per categorie e per livelli di importanza dei quesiti consente di rendere modulare lo strumento della lista di verifica per la documentazione dell’attività statistica, e quindi di supporto agli enti Sistan nell’affrontare il problema della qualificazione dei propri prodotti statistici a seconda delle necessità. Lo strumento messo a punto sarà a disposizione di tutti i soggetti del Sistema che ne vorranno fare uso, e che desidereranno uniformarsi a criteri omogenei nel corredare le proprie produzioni statistiche con indicazioni di carattere tecnico e metodologico. Da quanto sopra detto, appare evidente la rilevanza che assume l’informatizzazione della lista di verifica che in tal modo può rappresentare una sorta di interfaccia ideale per chi documenta il processo, e in seconda istanza per l’utente. 5.4 L'usabilità della lista di verifica ed il suo sviluppo informatico Il successo delle operazioni che coinvolgono sistemi complessi, quale è la realtà del Sistan, è funzione del grado di usabilità dei prodotti predisposti. Infatti, l'usabilità si definisce come la capacità di un prodotto di agevolare uno specifico utente nel raggiungimento di specifici obiettivi con efficacia, efficienza e soddisfazione in uno specifico contesto di utilizzo. Il contesto di utilizzo della lista di verifica è costituito dalla produzione della documentazione dei processi effettuata dai soggetti facenti parte del Sistema statistico nazionale. Nell’ambito Sistan lo specifico utente è rappresentato dal responsabile del processo di produzione statistica, che tra i suoi compiti ha anche quello di controllare il processo e al termine dello stesso, di documentare e validare i prodotti. Infatti, come già detto nei paragrafi precedenti, la lista di verifica è stata predisposta per consentire il raggiungimento dei seguenti obiettivi: il supporto alla produzione di documentazione standard del processo di produzione ai fini interni ed esterni; il supporto al controllo del processo di produzione da parte del responsabile dell'Ufficio di statistica (responsabile del processo di produzione). In questa situazione, l'implementazione di un prodotto software accanto al prodotto cartaceo (la lista di verifica), aumenta di molto il grado di usabilità della stessa lista di verifica. Per questo, sulla base delle esperienze fatte soprattutto nella realizzazione dei CD "Programma statistico nazionale 2000-2002" e "Programma statistico nazionale 2001-2003", è stata realizzata la versione 1.0 del software Verifica e documentazione standard (VDS). La lista di verifica e il VDS sono strutturati secondo la tipologia di processo produttivo e secondo il profilo di utenza, e consiste in un insieme variabile di quesiti pertinenti, fino ad un massimo di 122. In un quadro operativo si può ipotizzare che il responsabile del processo: utilizzi la lista di verifica direttamente come strumento di controllo del processo, contestualmente alla successione delle fasi di cui esso consta scelga il profilo più adatto per la documentazione del processo, sia con riferimento alle esigenze informative interne, sia a quelle di diffusione di meta dati 14 RELAZIONE CONCLUSIVA - GDL 44/P - derivi l’informazione minima da quella di massima prodotta (utilizzabile per esempio come note metodologiche in appendice alle proprie pubblicazioni per gli utenti generici) utilizzando tutta la lista di verifica riutilizzi la documentazione prodotta, aggiornandola, per i processi di produzione statistica a carattere ricorrente (è il caso di alcune indagini o rilevazioni periodiche) Alla luce del suddetto quadro operativo e dei vantaggi in termini di efficienza, efficacia e soddisfazione, la realizzazione di una prima versione di software con funzioni di supporto alla compilazione, memorizzazione, modifica e produzione di output specifici è fondamentale per il successo dell’operazione. Una caratteristica che incrementa notevolmente il grado di efficienza del prodotto è costituita dall'adozione di una struttura ad albero di decisione per l'identificazione del tipo di processo. Infatti il problema dell'identificazione della tipologia di processo non è una questione banale ai fini della individuazione dei quesiti pertinenti, anche perché la corretta interpretazione delle definizioni di varie tipologie può essere facile causa di errori. Un’ultima caratteristica del software realizzato è la sua estrema flessibilità. In altre parole, il software VDS è stato predisposto per quadri di input/output variabili ed è stata implementata una importante funzione di personalizzazione dei quadri di input/output, che rende possibile adattare la lista di verifica ad eventuali esigenze particolari, come per esempio, la documentazione della sola parte relativa alla progettazione del processo. Per l'implementazione è stato utilizzato il linguaggio VBA (Visual Basic for Applications). Il Visual Basic for Applications (VBA) è un ambiente di sviluppo integrato in diverse applicazioni, tra cui Microsoft Office 97 e 2000, che consente di personalizzare velocemente le applicazioni e la loro integrazione con i dati. Il VBA offre un insieme di strumenti di programmazione che possono essere utilizzati per sfruttare la potenza delle applicazioni ospiti. E questo consente un notevole risparmio nei tempi di sviluppo. I software che includono il VBA, come Microsoft Excel, sono chiamati applicazioni “orientate all’utente” (customer oriented), ossia applicazioni che possono essere modellate sulle necessità. Questo permette di sviluppare rapidamente le soluzioni le quali consentono un apprendimento facilitato da parte dell’utilizzatore finale. Ciò significa che le soluzioni possono essere sia sviluppate e sia utilizzate rapidamente, con una manutenzione minima. La scelta del linguaggio VBA 8 è motivata dall'elevato valore del rapporto costi/prestazioni, sia dall’alto grado di portabilità in ambito Sistan delle applicazioni sviluppate con il VBA. Inoltre il VBA costituisce una ottima base per l'eventuale sviluppo su WEB grazie alla sua compatibilità con il VBScript. Per l'utilizzatore, il software trasforma la compilazione della lista di verifica in una navigazione su cinque form (o maschere) di comando/input/output e un form di help: form di selezione del profilo di utenza e della tipologia di processo ad albero di decisione form di personalizzazione della lista form di selezione del processo per modifica/aggiornamento form visualizzazione/input/modifica dei dati form di output (stampa/salvataggio documento in Microsoft Word) form di help 15 RELAZIONE CONCLUSIVA - GDL 44/P - Il software VDS è progettato per la gestione delle operazioni di imputazione, di modifica, di memorizzazione e di produzione degli output fino a un massimo di 100 processi, limite perfettamente rispondente alla produzione dei singoli soggetti Sistan. Tra l'altro, il software consente la produzione di output per una facile trasmissione via e-mail dei vari tipi di documentazione. 5.5 Il manuale in linea “Linee guida metodologiche per rilevazioni statistiche” L'obiettivo di questo strumento è quello di trasmettere le principali nozioni di base connesse alla progettazione e all'esecuzione dei processi identificati come rilevazioni, sia che la raccolta dei dati avvenga attraverso un questionario (raccolta diretta), sia derivi da fonti organizzate (basata su fonti amministrative). I potenziali fruitori del manuale in linea sono costituiti sia da coloro che, senza essere statistici, si trovano ad essere coinvolti in produzioni di tipo statistico, sia dagli utenti finali dei dati prodotti dagli uffici di statistica in generale e dall'Istat in particolare. È infatti noto che una rilevazione necessita di un elevato grado di organizzazione e dell'apporto di numerose professionalità oltre quella dello statistico propriamente detto. Alle fasi di pianificazione e gestione concorrono numerose competenze diverse da quelle dell'esperto di statistica come, solo per citarne alcune, gli esperti del fenomeno oggetto di studio, i funzionari amministrativi, gli informatici e i responsabili degli enti territoriali. Ad un livello più operativo è anche utile menzionare ad esempio coloro che adempiono alle fasi di contatto dei rispondenti (rilevatori), al trasporto e alla revisione del materiale, alla registrazione su supporto informatico e così via. Per questo motivo è di vitale importanza per la riuscita della rilevazione che tutte le figure coinvolte abbiano un vocabolario comune, una visione generale del processo al quale stanno contribuendo e la consapevolezza di quanto il risultato del lavoro di loro competenza incida sui diversi snodi del processo produttivo e sulla qualità dell'informazione prodotta. Ecco quindi perché potenziali fruitori del manuale sono innanzitutto coloro i quali, prevalentemente all'interno del Sistan, si trovino coinvolti a qualche titolo nelle fasi di disegno o produzione di una rilevazione, senza per questo possedere specifiche conoscenze di tipo statistico. Il manuale può però risultare utile anche ad utenti che non siano direttamente coinvolti in produzioni statistiche, ma che siano tuttavia interessati all'argomento. Fra questi è importante annoverare l'utente finale dell'informazione in quanto, se si accetta l'impostazione secondo la quale la qualità del prodotto (l'informazione nel nostro caso) è guidata dall'utente, diventa di sicuro centrale che questi sia dotato di strumenti di tipo formativo in modo che gli sia facilitata la lettura critica dei dati ad esso forniti dall'Istat o da qualsiasi altro ente del Sistan. Questo è tanto più vero quanto più si faccia riferimento ad utenti non professionali, come gli operatori nel settore delle imprese o i semplici cittadini, ai quali sempre di più si cerca di facilitare l'accesso all'informazione statistica non mediato dai mezzi di comunicazione di massa. Per queste considerazioni il manuale on-line, pur tenendo conto della necessità di sostenere un ulteriore sforzo di semplificazione e sintesi dei concetti esposti, può senza dubbio andare incontro a quanti desiderino abbinare all'informazione statistica ad essi fornita anche delle nozioni sul complesso mondo della pianificazione e dell'esecuzione delle rilevazioni. Vale infine la pena di citare tra i potenziali fruitori gli studenti di statistica o quegli statistici i quali non siano mai stati direttamente coinvolti nei processi di reperimento, raccolta e validazione dell'informazione statistica nell'ambito della statistica ufficiale. Ad essi infatti il manuale propone, insieme a sezioni introduttive di agile consultazione, gli spunti bibliografici necessari per gli approfondimenti desiderati. 8 Tale linguaggio include un editore di codice integrato ed il supporto alle fasi di debug 16 RELAZIONE CONCLUSIVA - GDL 44/P - Il manuale, predisposto in formato html in modo da consentirne la consultazione direttamente via Internet, è organizzato in circa trenta diverse sezioni nelle quali si illustrano sia gli aspetti riguardanti la pianificazione di una rilevazione sia i temi concernenti le fasi operative. Come già detto, il taglio dato all'illustrazione dei vari argomenti è volutamente di base dato che lo strumento si rivolge ad un lettore non esperto con l'obiettivo di fornire un'introduzione ai temi trattati. Tuttavia la trattazione, che tiene conto sia dell'esperienza dell'Istat sia dei contributi di autorevoli esperti delle materie trattate, prevede, per le parti più operative, apposite sottosezioni rivolte ai responsabili di processo dove si forniscono raccomandazioni applicative finalizzate al conseguimento di risultati di qualità. La forma ipertestuale utilizzata nella redazione è risponde all'obiettivo di rappresentare le relazioni esistenti fra le diverse fasi di una rilevazione piuttosto che l'approfondimento di temi specifici. La modularità del formato adottato permette comunque sia di inserire in futuro ulteriori sezioni finalizzate all'approfondimento, sia di aggiungerne altre sui nuovi argomenti che si riterrà utile descrivere. Un indice generale consente di accedere direttamente ad ogni sezione mentre i legami ipertestuali predisposti all'interno di ogni parte consentono al lettore di raggiungere direttamente gli altri argomenti ad essa attinenti. Sulla sinistra di ogni pagina è inoltre sempre disponibile una lista di collegamenti che puntano direttamente ai principali temi affrontati dal manuale, facilitando così le ricerche. Una pagina specifica è dedicata ai riferimenti bibliografici che, oltre ad essere accessibili dall'indice generale, sono facilmente raggiungibili da ogni citazione riportata nel testo. 6. Note sulla sperimentazione della lista di verifica su alcuni processi di produzione statistica Le opportunità pratiche della lista di verifica, particolarmente rilevanti nella sua versione informatizzata, e una valutazione di insieme dei contributi prodotti nell’ambito del Gruppo di lavoro, consentono di trarre, a conclusione, alcune osservazioni, anche indotte dalla sperimentazione su alcuni processi di produzione statistica presentati in seno al Gruppo di lavoro stesso. Innanzitutto si può segnalare che una struttura “aperta” delle domande all’interno della lista rende possibile un adattamento rapido ed agevole della stessa alle caratteristiche dell’attività statistica svolta, ossia del processo che si intende documentare. Vengono ad esempio richiesti dettagli sullo svolgimento delle fasi di codifica e registrazione: in talune indagini ciò non appare rilevante se si considera l’elevato grado di automazione ed informatizzazione delle procedure in fase di reperimento e trattamento dei dati. Più in generale si può altresì sottolineare che soltanto attraverso la struttura aperta della lista si garantisce una maggiore adattabilità del processo di produzione statistica allo standard richiesto dalla verifica. Ciò appare particolarmente evidente con riferimento ad indagini 9 che sono particolarmente ampie in considerazione della pluralità dei soggetti coinvolti all’interno del campione e della complessità del processo di produzione della statistica. Si deve inoltre rilevare che un fattore critico a garanzia dell’efficacia della redazione della lista è dato dal coinvolgimento e la collaborazione tra tutti i soggetti preposti alla esecuzione delle diverse fasi del processo di produzione della statistica: i loro tempi e modalità di risposta influenzano largamente i risultati raggiunti. In particolare ciò è strettamente dipendente dalla utilizzazione di un’organizzazione flessibile nel reperimento delle informazioni: Ad esempio, un caso esaminato nell’ambito del Gruppo di lavoro è quello dell’indagine Unioncamere sulla domanda di lavoro, il cui universo è costituito da più di un milione di imprese mentre il campione è composto da 100 mila unità 9 17 RELAZIONE CONCLUSIVA - GDL 44/P - laddove l’esaustività o il livello di dettaglio della lista lo richiedono, è infatti consigliabile la compilazione diretta delle diverse articolazioni della lista da parte degli specifici soggetti coinvolti. Le indicazioni sopra riportate propongono opzioni di tipo organizzativo a livello di compilazione della lista. Appare in aggiunta opportuno considerare che il valore esplicativo del prodotto finale può anche essere influenzato da limiti specifici della lista in rapporto all’indagine sottoposta all’analisi. La distinzione metodologica tra indagini (o rilevazioni) di fonte amministrativa ed indagini anche indicate come dirette, così come definite nel glossario di cui la lista di verifica è corredata, ha ad esempio generato iniziali perplessità sulla modalità di inquadramento del processo nelle tipologie definite. E’ il caso, ad esempio, dell’indagine Unioncamere sulla domanda di lavoro da parte delle imprese, uno dei processi sui quali si è effettuata la sperimentazione della lista di verifica in seno al Gruppo di lavoro, che consta di una fase preliminare di trattamento statistico di dati amministrativi per l’individuazione dell’universo, sia di una fase sul campo per il reperimento diretto delle informazioni. Dal punto di vista metodologico, quindi, nella stesura della lista di verifica sarebbe stato possibile ad esempio considerare le indagini come distinte. A tal riguardo si può anche considerare la complessità e la maggiore difficoltà di lettura di una lista unica che approfondisce contestualmente le problematiche così diverse legate ad un’indagine “amministrativa” ed ad una “non amministrativa”. Su questo versante bisogna però considerare le numerose potenzialità di adattamento che la lista assicura tramite la sua versione informatizzata, di cui è stata presentata una versione alpha durante i lavori del Gruppo: ciò sicuramente concorre a facilitare la selezione automatica dei quesiti rilevanti in base al tipo di processo sottoposto a verifica. Affinchè la procedura automatica sia effettivamente efficace è quindi necessario indirizzare in maniera chiara ed efficace l’utente nella selezione dei quesiti o dei gruppi di quesiti rilevanti: ciò passa attraverso una preliminare ed univoca individuazione delle possibili tipologie di processo. 7. Sviluppi futuri Il Gruppo di lavoro ritiene che la lista di verifica e il manuale in linea siano strumenti che possano essere utilizzati in modo efficace dal Sistema statistico nazionale. Pertanto, sulla scorta delle esperienze acquisite in seno al Gruppo, sia con riferimento al dibattito sia riguardo alla sperimentazione condotta su alcuni processi presentati nei lavori del Gruppo stesso, è possibile schematizzare delle proposte di sviluppo come segue: Diffusione degli standard documentali in ambito Sistan Estensione di SIDI in ambito Sistan Progettazione e documentazione di sistemi informativi Predisposizione di progetti e capitolati Attività di formazione in ambito Sistan Con riferimento al primo punto, il lavoro svolto sarà tanto più efficace quanto più gli standard documentali e il manuale troveranno applicazione nell’attività dei soggetti Sistan; a questo scopo, oltre alla loro diffusione, è importante che questi trovino un radicamento nelle modalità di operare dei soggetti Sistan. Nel corso dei lavori del gruppo sono infatti emerse esigenze crescenti per quanto riguarda la flessibilità e la standardizzazione dell’attività di documentazione. La predisposizione della lista di verifica su supporto informatizzato accoglie pienamente tali istanze 18 RELAZIONE CONCLUSIVA - GDL 44/P - soprattutto per quanto riguarda la modularità sia rispetto alle tipologie dei processi, sia rispetto alle esigenze informative dei titolari e degli utenti la documentazione. Un ulteriore requisito della lista informatizzata consiste nella possibilità di poter riutilizzare le note metodologiche già prodotte ed aggiornarle solo per gli eventuali cambiamenti intervenuti, nonché per la sezione finale relativa alla validazione e agli indicatori di qualità (che dovrebbe essere prodotta ex novo per ogni occasione di indagine). Attualmente il manuale in linea è già disponibile sul sito WEB dell’Istat e contiene al suo interno la lista di verifica che può essere scaricata come documento. E’ inoltre prevista la diffusione delle versioni cartacea e su dischetto della lista di verifica alla V Conferenza Nazionale di Statistica. In un secondo tempo sarà disponibile su WEB anche il software della lista di verifica, nonché le note metodologiche via via prodotte dagli enti del Sistan in aggiunta a quelle già prodotte nell’ambito del Gruppo di lavoro. Circa il secondo punto, si osserva che una delle problematiche emerse durante i lavori del Gruppo, ha riguardato le esigenze di confrontabilità sia nel tempo per uno stesso processo sia tra processi produttivi diversi. Queste esigenze non possono essere soddisfatte con gli attuali strumenti, ma richiedono la predisposizione di un sistema informativo. A tale proposito, si osserva che, al termine della fase di sperimentazione sul campo della lista di verifica, si può valutare l’opportunità di pensare ad una appropriata estensione agli enti Sistan del Sistema Informativo di Documentazione delle Indagini, SIDI, attualmente sviluppato e utilizzato per la documentazione ed il controllo di qualità dei processi produttivi dell'Istat. SIDI, infatti, consente sia di documentare in modo standard i processi (ad esempio mediante un sistema di tesauri) sia di gestire la documentazione e gli indicatori di qualità nel tempo. Come avviene per le rilevazioni e le elaborazioni, anche per gli archivi finalizzati a scopi gestionali andrebbero definiti gli standard di documentazione e i requisiti di qualità affinché possano essere utilmente sfruttati con finalità statistiche. Nell’esperienza degli enti del Sistan accade che le indagini statistiche vengano svolte con il contributo di più soggetti in esecuzione di rapporti contrattuali. Di conseguenza gli enti hanno bisogno di proporsi con sempre maggiore incisività quali garanti della qualità dell’informazione prodotta affinché questa possa essere diffusa come informazione ufficiale. In questi casi occorre impostare il rapporto contrattuale sulla base di capitolati che indichino con buon dettaglio le modalità di realizzazione delle specifiche fasi oggetto di contratto, nonché la relativa documentazione. La lista di verifica può essere ulteriormente sviluppata per soddisfare questo obiettivo. Infine, la lista di verifica e il manuale possono costituire anche degli strumenti di riferimento per l’attività di formazione a enti del Sistan sulle tematiche del controllo di qualità dei dati e della documentazione dell’attività svolta necessarie per lo sviluppo integrato della produzione statistica ufficiale. A regime, la produzione di note metodologiche diffuse a corredo dei dati statistici (in apposite pubblicazioni o in appendice alle pubblicazioni contenenti i dati) potrà contribuire alla diffusione della cultura statistica e a favorire un corretto uso dei dati da parte degli utilizzatori. 19 RELAZIONE CONCLUSIVA - GDL 44/P - Appendice Statistica per i processi decisionali e validazione10 La posizione del Comune di Brescia parte da alcuni presupposti differenti, che indicano la necessità di definire il quadro generale entro cui la questione della qualità della produzione statistica e della sua validazione si pone: la statistica pubblica è uno strumento funzionale ai processi decisionali pubblici, ossia è nell’ambito del quadro normativo che viene finalizzata la funzione statistica. Come tale la statistica non può essere astratta dal contesto normativo di riferimento, valutata in sé come metodologia applicabile tout court. Fuori dal quadro normativo di riferimento, la documentazione della metodologia statistica ha uno scarso valore. È quindi necessario definire con chiarezza il concetto di validazione, evidenziandone la necessaria differente valenza che assume ai diversi livelli del Sistan (ciò che è valido a livello nazionale può non esserlo a livello locale). Fondamentale è quindi la necessità, propria della statistica pubblica, di non astrarre gli aspetti tecnici e di qualità dal quadro normativo (generale e specifico dell'ente di appartenenza) e istituzionale (autonomia, sussidiarietà, ecc.), dalle norme etiche dei pubblici dipendenti e deontologiche degli statistici pubblici e dai vincoli economici entro cui la pubblica amministrazione si trova ad operare. La definizione di validazione come documentazione dell'attività svolta o al più come "autocertificazione" è insufficiente, generica e fuorviante perché non tiene conto dello scenario in cui la statistica pubblica si sviluppa. La validazione afferisce invece all'ambito dell'efficacia, efficienza ed economicità dell'azione della Pubblica amministrazione: è valido ciò che, nel rispetto della normativa di riferimento e di metodologie verificabili (che si riallacciano ai principi generali di trasparenza, imparzialità, obiettività, inattaccabilità metodologica, tempestività dell'informazione), è efficace, efficiente ed economico rispetto alle esigenze della committenza. La validazione, in questo quadro, attiene allora ad altri ambiti, quali quello del controllo di gestione, della certificazione (che necessariamente deve essere effettuata da terzi), della carta dei servizi. Per gli uffici comunali di statistica la committenza ben rappresenta le tre anime che da sempre li coinvolge: braccio operativo locale dell'Istat, componente autonoma del Sistan, ufficio di staff degli organi decisionali dell'ente di appartenenza. Parlare di validazione non può prescindere da queste tre anime ognuna delle quali fa riferimento a normative specifiche. Validazione e documentazione non sono quindi concetti necessariamente coincidenti. Ne deriva quindi un problema di definizione univoca del concetto di validazione. Stabilire con chiarezza cos’è la validazione è un prerequisito indispensabile per la realizzazione del mandato dato dal COMSTAT. Diventa quindi fondamentale che l'impostazione del problema tenga conto del quadro normativo all'interno del quale gli uffici di statistica devono operare che è dato dalle norme generali, da quelle specifiche, dal codice etico, dal codice deontologico e dalle norme tecniche e metodologiche. Sono questi i garanti della trasparenza, imparzialità, obiettività, inattaccabilità metodologica, tempestività dell'informazione, rispetto delle norme di riferimento e finalizzazione agli obiettivi prefissati dell'attività degli uffici pubblici di statistica. In questo quadro anche concetti quali quello di standardizzazione vengono posti in discussione. La standardizzazione, infatti, presuppone l'identità di metodi, cosa che ha senso se i problemi sono uguali ed uguali i processi decisionali, ed è funzionale solo ai problemi del centro che ha esigenze di controllo e gestione. Se tutto è omogeneo (verso l'alto? verso il basso? a metà strada?) è più facile classificare, valutare, ecc. Ma invero è proprio dal fiorire delle diversità che è possibile garantire un'evoluzione della presenza della statistica nella Pubblica Amministrazione in quanto strumento adeguato a fornire informazioni per le decisioni. Ne deriva quindi una rimessa in discussione degli strumenti proposti all'attenzione del GdL, non in quanto tali, ma in quanto non adeguati a rispondere al problema di fondo, cioè la validazione dei processi statistici funzionali ai processi decisionali. 10 A cura di M. Palamenghi 20