G. Moro, Valutazione delle politiche sociali.

Approcci alla
valutazione delle
politiche sociali
Giuseppe Moro
Università degli studi di Bari “A. Moro”
Oggetti
 Il progetto può essere considerato l’elemento
base e non divisibile dell’azione pubblica la cui
responsabilità manageriale è identificata con
una certa precisione; esso viene realizzato in
un tempo e con delle risorse predeterminati, è
costituito da un insieme definito di attività ed è
finalizzato al conseguimento di uno o più
obiettivi.
Oggetti
 Il programma è un insieme coordinato di
differenti tipi di azione, con degli obiettivi
operativi definiti, con delle risorse
finanziarie e un tempo di realizzazione
delimitati, con le fasi che lo compongono
identificate in modo generale.
Oggetti
 La politica è un insieme di programmi e
misure che condividono uno stesso
scopo generale e hanno come destinatari
settori o fasce di popolazione, ma che
possono avere differenti obiettivi specifici
e diverse modalità di management e
livelli di responsabilità.
Oggetti
 I servizi sono strutture organizzative
stabili nel tempo e spesso disegnate
seguendo un modello burocratico; tali
strutture si rivolgono a specifici gruppi di
utenti, erogando prestazioni in modo
continuo, per far fronte a bisogni di solito
ben identificati.
Tre categorie di esiti di un
programma
 Le realizzazioni (output): sono il prodotto immediato del
programma.
 I risultati (outcome): sono le conseguenze provocate
dall’aver realizzato quel prodotto. Solitamente si tratta
di vantaggi che sono usufruiti dai diretti destinatari di
un programma.
 Impatti (impact): sono le conseguenze di secondo
livello che si verificano nel contesto sociale più ampio
in cui si è svolto un programma, non coinvolgendo solo
i suoi diretti beneficiari
Gli approcci alla
valutazione
 Quali sono le prospettive metodologiche
più utili per indagare gli oggetti che si
collocano ai vari livelli del sistema di
welfare?
I modelli valutativi
 Definiamo “modelli” le elaborazioni
concettuali che selezionano i caratteri
essenziali della valutazione e ipotizzano
le modalità con cui essi verranno fatti
interagire nella pratica valutativa.
Il disegno della
valutazione
 Il disegno della valutazione è costituito dalle fasi e dalle
procedure che consentono di realizzare concretamente
un processo valutativo.
 Disegnare una valutazione, a somiglianza di quanto
accade per qualsiasi attività di ricerca sociale, significa
organizzare a livello simbolico le attività che poi
verranno svolte praticamente.
 Il disegno concreto della valutazione è il frutto sia delle
interazioni con i diversi attori sia delle casualità che
nascono nel corso della ricerca e che possono far
scoprire aspetti nuovi del programma e della sua
attuazione meritevoli della nostra attenzione.
La valutazione dei progetti
 Il carattere unitario e puntuale dei
progetti può consentire l’impiego di
metodi sperimentali e quasi sperimentali
Il modello sperimentale
 Fondamento: la teoria della causalità
 Metodo: gruppi sperimentali e di
controllo, selezionati a caso nello
sperimentale puro
 Misurazione: prima e dopo l’intervento, a
a parità di altre condizioni
Il disegno sperimentale
1. Riclassificazione degli obiettivi
2. Scelta di misure valide e di strumenti
attendibili
3. Isolamento degli effetti estranei al
programma
4. Analisi dei dati.
La valutazione dei progetti
Un approccio alternativo:
LA VALUTAZIONE COSTRUTTIVISTA
L’approccio costruttivista
È finalizzato:
 Alla comprensione di ciò che accaduto
tramite le interpretazione dei diversi attori
sociali
 Alla verifica della capacità di un
intervento di favorire l’apprendimento di
tutti i soggetti coinvolti
Elemento centrale della
valutazione costruttivista
• Sviluppare costruzioni condivise
sull’oggetto della valutazione nel gruppo
degli stakeholder (circolo dialettico
ermeneutico).
Elemento centrale: le
condizioni del circolo
dialettico ermeneutico
 tutte le parti in causa devono impegnarsi a partecipare alla
valutazione senza ricorrere alle menzogne, agli inganni, agli
occultamenti e a qualsiasi altro atteggiamento che possa portare a
delle costruzione false;
 tutte le parti devono possedere una seppur minima capacità di
comunicare;
 ci deve essere, da parte di tutti, la volontà di condividere il potere
posseduto;
 tutte le parti devono essere disponibili al cambiamento;
 la disponibilità al cambiamento deve anche includere la volontà di
riconsiderare i propri valori;
 tutti devono essere disponibili a dedicare il tempo e le energie
richiesti.
La valutazione delle
politiche e dei programmi
 L’approccio teorico e metodologico che
sembra offrire soluzioni più utili ai
problemi della valutazione di interventi
vasti e complessi è la VALUTAZIONE
REALISTICA
La valutazione realistica
 La formula base della valutazione
realistica è: risultato = meccanismo +
contesto;
 essa vuol dire che un programma, o una
politica, funziona solo se trasmette delle
idee e delle opportunità appropriate a dei
gruppi sociali che vivono in determinate
condizioni sociali e culturali.
La valutazione realistica
Il lavoro del valutatore:
 individuare i meccanismi di un
programma
 analizzare il contesto in cui si attua la sua
azione
 stabilire come l’interazione fra
meccanismi e contesto produca dei
risultati.
Il disegno della
valutazione realistica
1. Teoria: proposizioni sulle configurazioni
Contesti – Meccanismi - Outcome
2. Ipotesi: sulle relazioni fra misure, beneficiari e
risorse
3. Osservazioni:
raccolta e analisi dei dati
per testare le ipotesi
4. Generalizzazioni: definizione di quali
meccanismi funzionino meglio in certi contesti
La valutazione dei servizi
La valutazione di un servizio stabile può
essere indirizzata a molteplici oggetti:
 la soddisfazione degli utenti/clienti
 la sua efficienza economico/finanziaria
 la sua rispondenza a degli standard
definiti a livello nazionale o internazionale
 la sua capacità di portare a soluzione i
casi trattati
La goal free evaluation
 Secondo tale modello, la valutazione non
deve essere guidata dagli obiettivi del
programma: non può essere cioè il
programma a stabilire a priori la validità
di un obiettivo, ma tale validità deve
essere sottoposta al vaglio della ricerca
valutativa.
La goal free evaluation
Il giudizio di valore da dare su un servizio può
essere scomposto in due dimensioni:
 Valore in sé dell’attività (merit), che può essere
attribuito sulla base dei criteri standard che
misurano la sua qualità
 Valore estrinseco (worth) e si riferisce alla
misura in cui un servizio viene incontro ai
bisogni dei destinatari, i quali vivono all’interno
di uno specifico contesto di riferimento
Il disegno della goal free
evaluation
La fase cruciale del processo di valutazione è
quella in cui si definiscono i criteri di qualità:
 stabiliti dalle associazioni professionali o dalle
autorità pubbliche
 costruiti sulla base delle soglie di prestazione
riconosciute come le più elevate
 giudizio degli esperti o del livello di
soddisfazione degli stakeholder
La valutazione può
migliorare le politiche
sociali?
 No ad approcci deterministici
 Il legame fra valutazione e decisione può
essere : magico, tragico, contraddittorio
Fattori condizionanti il
rapporto tra valutazione e
decisione
 Le competenze dei valutatori e la collaborazione con i
diversi portatori di interessi
 La volontà e capacità dello staff del programma o del
sevizio di comprendere e implementare i risultati della
valutazione; la corrispondenza fra le proposte di
modifica e la cultura pratica, le percezioni e le
convinzioni dei professionisti impegnati nelle attività di
assistenza
 La disponibilità di fondi per migliorare il programma e i
cambiamenti che possono intervenire nel contesto
organizzativo e politico di riferimento