Valutare nel sociale: nuovi approcci per una valutazione riflessiva

Valutare nel sociale:
nuovi approcci per una valutazione riflessiva dei servizi di welfare
di Piergiorgio Reggio (abstract)
1. Una valutazione difficile (impossibile?)
Le criticità della valutazione dei servizi di welfare sono molteplici ed esplicitamente riconosciute.
Alcuni aspetti si presentano come rilevanti:
- La tematica valutativa va inquadrata nel più ampio scenario di un welfare che risulta sempre
meno sostenibile, incapace di far fronte alla complessificazione e differenziazione dei bisogni
sociali, così come alla crescente domanda di servizi. Questi elementi di scenario sono
determinanti rispetto al discorso valutativo, giacchè lo configurano prevalentemente come pratica
e dibattito circa le necessità di riduzione della spesa e non come criterio di indirizzo
dell’investimento
- Gli ambiti del welfare sono diversi, non riducibili a tipologie ed uniformità pena l’impossibilità
di comprenderne le peculiarità e le ricadute, anche in termini valutativi (oltre che di
pianificazione e di gestione): sanità, istruzione e formazione, assistenza, tempo libero, cultura
sono ambiti di servizi assai differenti per modalità di erogazione, posizione dell’utente
- Elemento comune ai diversi oggetti è la natura immateriale ma estremamente rilevante per le
persone, dei beni oggetto di valutazione (salute, istruzione, diritti, qualità della vita
quotidiana…). Inoltre: “I servizi alla persona appartengono alla classe degli experience goods, in
cui la qualità non è nota al consumatore, prima della decisione del consumo e spesso neanche
dopo la fruizione del servizio” (Gori, 2000)
- Nel quadro assai ampio della valutazione del welfare si distinguono diversi oggetti, tra i quali
principalmente: politiche, servizi, progetti. Le caratteristiche differenti di questi tre oggetti/livelli
(altri si potrebbero considerare: interventi, programmi) definiscono questioni e modalità
valutative specifiche.
1.1. Approcci culturali e metodologici dominanti
In riferimento alla valutazione dei servizi di welfare è possibile riscontrare il prevalere di alcuni
orientamenti, che rispecchiano culture prima ancora che scelte metodologiche.
- Differenziale/sistemico, tra i primi approcci ad essere stato impiegato, sin dagli anni ’70.
Fondato, da un lato, sul confronto tra obiettivi e risultati e, dall’altro, sulla considerazione della
valutazione come azione multidimensionale;
- Qualità. E’ l’approccio maggiormente influente, in particolare nei servizi sanitari. Ha assunto
come riferimento le norme ISO 9000, postula valutazione ex ante (in base a definizione di
obiettivi) ed ex post (riferita ad efficienza dei servizi erogati). Enfatizza l’importanza delle
procedure di certificazione e di rilevazione della soddisfazione degli utenti. Contribuisce in modo
determinante alla diffusione della cultura della misura in ambito valutativo;
OLTRE LA MISURA – Milano, 3 Dicembre 2009
Pagina 1
- Valutazione partecipata, collaborativa e di empowerment. Si tratta di approcci emersi più
recentemente sia nel dibattito teorico-metodologico, sia in sperimentazioni sul campo, che danno
spazio alle istanze di valutazione ispirate a principi di coinvolgimento attivo degli stakeholders e
degli utenti.
1.2. Alcune tendenze
Nel quadro della valutazione dei servizi di welfare, alcuni elementi si profilano in modo assai
significativo:
- Riconoscimento della multidimensionalità come requisito di ogni azione valutativa dei servizi. Si
tratta di una multidimensionalità innanzitutto disciplinare (economia, sociologia, psicologia, più
di recente anche etnografia) come risposta alla complessità e multifattorialità degli oggetti di
valutazione
- Strettamente connessa al riconoscimento della multidimensionalità come condizione essenziale
per la valutazione dei servizi, è l’integrazione – a livello metodologico – tra approcci quantitativi
e qualitativi (Lichtner, 1999). Si persegue l’integrazione tra sensibilità dei metodi qualitativi e
necessità di standardizzazione
- Rilevanza crescente viene attribuita agli outcomes, quali oggetti specifici di valutazione dopo le
stagioni della centratura su prodotto (output) e processo
- Tra i criteri di valutazione predominano da tempo quelli di “efficienza” - applicato attraverso
controllo di gestione - ed “efficacia” (riferita ai processi), che hanno conosciuto specificazioni,
approfondimenti e rivisitazioni (Gori-Vittadini, 1999) ma permangono ancora oggi come criteri
maggiormente dichiarati
- Progressiva diffusione di una concezione della valutazione come responsabilità sociale nei
confronti dei diversi soggetti (cittadini, servizi, istituzioni) (Shaw-Lishman, 2002).
2. Le critiche alla misura, come paradigma dominante la cultura valutativa del welfare
Il paradigma della qualità applicato ai servizi – in particolare sanitari - ha alimentato una cultura
della valutazione fondata essenzialmente sulla pretesa di misurare la complessità degli oggetti di
valutazione (“Non si misura ancora tutto, ma tutto è sicuramente misurabile senza dimenticare che il
problema vero è di misurare bene quello che è utile misurare.” G. Baraghini, direttore dell’ufficio di
Programmazione, controllo direzionale e sistema delle regole aziendali del Policlinico di Modena in
www.misurapa.it).
L’enfasi posta sulla misura ha conosciuto però anche critiche puntuali, derivanti proprio dalle
difficoltà pratiche sul piano valutativo. In particolare:
- La misura viene perseguita attraverso l’elaborazione e l’utilizzo di indicatori, spesso formulati in
assenza di obiettivi esplicitamente pianificati;
- Carenze strategiche che indeboliscono la formulazione degli obiettivi e, di conseguenza,
l’utilizzo degli indicatori, rendendo scarsamente affidabile la misura;
- Necessità di apparati informativi assai elaborati, onerosi e di complessa gestione e manutenzione
- Difficoltà nel rinvenire, elaborare e mantenere aggiornati sistemi di standard ai quali rapportare
le misure;
OLTRE LA MISURA – Milano, 3 Dicembre 2009
Pagina 2
- Accettazione dei limiti, non solo operativi ma anche teorici, del paradigma della misura, che
viene pragmaticamente impiegato prevalentemente come comparazione tra situazioni, piuttosto
che come misurazione in assoluto.
3. La crepa della goal-free: provocazione intellettuale o prospettiva d’ innovazione?
La valutazione goal free – nella formulazione proposta da Michel Scriven - si basa, come noto, su
principi polemicamente opposti alla goal based evaluation (valutazione centrata sugli obiettivi):
- Il valutatore non ricerca – considerandoli fomulazioni retoriche - gli obiettivi dichiarati dagli
stakeholders. “In a goal-free evaluation, the evaluator specifically avoids learning any
information regarding the program’s stated goals, or what the program intends to achieve.
Program stakeholders (i.e. administrators, teachers, aids and other staff) are instructed not to
allow the goal-free evaluator to hear or see information regarding the program’s stated goals. The
evaluator is told the stated goals after the program completion” (Western Michigan University,
The Evaluation Centre, 2005, p.9);
- L’attenzione viene piuttosto rivolta agli outcomes che – nella prospettiva della goal-free vengono concepiti in modo sostanzialmente coincidente con i concetti di impatto e di effetto (nel
report di valutazione sopra citato così: “An outcome is a change or (sometimes) a lack of change
caused by the evaluand” (p.3). Possono essere positivi o negativi, attesi o inattesi, immediati, di
breve o lungo termine (M.Scriven, 2006 p.9);
- La valutazione è essenzialmente considerazione critica delle risorse connesse all’azione di
progettazione ed erogazione del servizio. Le risorse (denaro, tempo, expertise, flessibilità, risorse
politiche e giuridiche, tecnologie) costituiscono il capitale umano individuale/sociale che viene
attivato e, quindi, prodotto dal servizio di welfare. Viene superato il confine definito dagli
“utenti” e dai beneficiari diretti per rivolgere l’attenzione valutativa fino ai “downstreams
impactees” (p.4);
- La valutazione goal free è dotata di un metodo rigoroso, che si rifa a specifici elementi assunti
come riferimento dell’agire valutativo: fondamenti, sub-evaluations, conclusioni (vd. M.Scriven,
2006).
La provocazione della goal free apre una crepa nella concezione lineare e causale delle azioni
progettuali e dell’erogazione dei servizi. Sottopone a critica le forme di razionalità assoluta
nell’azione sociale e propone una forma di comprensione dell’azione sociale e del servizio fondata
su una razionalità limitata e contestualizzata (Lipari, 1995 riediz 2009); è coerente con approcci di
progettazione non lineari ma, appunto, limitati, negoziali ed euristici.
5. Oltre la misura, cosa?
La crepa aperta dalla goal free nelle certezze (debolmente) rassicuranti degli approcci valutativi
fondati sulla ricerca ostinata di obiettivi espliciti e sulla pretesa misurazione certa dei risultati ad essi
connessi, si rivela oggi forse non una semplice provocazione intellettuale e culturale.
Certamente non si tratta di eliminare la necessità di misurare gli oggetti di valutazione ma, piuttosto,
di non risolvere unicamente in questa funzione l’atto valutativo, che resta costruzione di un giudizio
argomentato socialmente espresso e negoziato.
Altre questioni e frontiere si presentano allo sviluppo della logica valutativa. Tra le questioni:
OLTRE LA MISURA – Milano, 3 Dicembre 2009
Pagina 3
- Il tema del potere in valutazione e, più in generale, nelle politiche e nei servizi di welfare. Quale
il gioco del potere tra committente e valutatore, quali le relazioni reali di potere tra i diversi
soggetti implicati, quali spazi effettivi per i cittadini per esercitare diritti?
- Importanza degli effetti, anche lontani (temporalmente, spazialmente) nella costruzione dei
giudizi di valutazione e nelle decisioni dei servizi (outcomes);
- Necessità di conciliare bisogno di comparazione e comprensione delle peculiarità della situazione
concreta, allo scopo di pervenire a giudizi socialmente condivisi, comprensibili ma anche
significativi per chi è coinvolto in un servizio, progetto o intervento.
Le prospettive della valutazione critica e dialogica sono individuabili in alcune correnti che possono
fornire contributi originali dinanzi a queste (ed altre) questioni. Nel varco aperto dalle provocazioni
della goal free si situano approcci di valutazione diversi e con valenze innovative, dotate di
caratteristiche di impostazione critica e dialogica.
Valutazione critica, intesa come esplicitazione di situazioni di riflessività, interrogazione delle
implicazioni e del non atteso ma generato o generabile, discussione delle contraddizioni che
emergono dall’analisi dei servizi. Si privilegiano, in tal senso, gli sguardi rivolti ai particolari, ai
dettagli che nascondono logiche abitudinarie nel lavoro, la critica viene espressa nei confronti di
quanto è dato per scontato, assunto come indiscusso e indiscutibile (secondo il principio
dell’indagine etnografica che invita a “rendere ciò che è familiare estraneo”). In tal modo –
attraverso contributi disciplinari diversi (antropologia, etnografia, sociologia del quotidiano) – si
producono giudizi argomentati in base all’analisi delle pratiche.
Valutazione dialogica, in quanto approccio valutativo inteso come discorso sociale tra attori dotati
di interessi e intenzionalità. Le comprensioni ed i giudizi valutativi prendono forma attraverso
argomentazioni che si giustificano come valide proprio in quanto “discorsi”, intesi a spiegare
l’oggetto di valutazione. Imprescindibile è, in tale prospettiva, l’esplicitazione del punto di vista
(degli interessi e delle intenzionalità) e delle prospettive di ogni attore coinvolto. L’approccio della
responsive evaluation, in tal senso, amplia il campo di interesse valutativo, legittimando posizioni
diverse rispetto a quelle istituzionalmente definite (committente, valutatore, beneficiario). Gli
approcci dialogici esplicitano le posizioni di potere in riferimento alla valutazione, tentano di
costruire un tessuto comunicativo che possa produrre giudizi comprensibili e ritenuti socialmente
validi.
Riferimenti bibliografici
Bondioli A., Ferrari M. (2000), a cura di, Manuale di valutazione del contesto, Milano, Angeli.
Gori E. (2000), La valutazione nei servizi alla persona: prospettive, problemi e impostazione,
intervento al seminario “La valutazione nei servizi alla persona”, Università di Firenze, 25-26
Febbraio 2000, in http://www.ds.unifi.it/iniziative_sc/convegni/w25febbraio/gori.rtf
E. Gori,G. Vittadini (1999), Qualità e valutazione nei servizi di pubblica utilità,Milano,ETAS Libri
Lichtner M (1999), La qualità delle azioni formative, Milano, F.Angeli
Lipari D (2009), Progettazione e valutazione nei processi formativi, Roma, ed. Lavoro (1995)
Scriven, M. Evaluation Thesaurus (4th ed.). Newbury Park, CA: Sage Publications, Inc. 1991.
Scriven, M. (2006, June). Key evaluation checklist. In: http://www.wmich.edu
Shaw I -Lishman J (cur.) (2002) La valutazione nel lavoro sociale, Trento, Erickson (1999)
Western Michigan University - The Evaluation Centre (2005), Goal-free evaluation of the
Kalamazoo Public Schools. In: http://www.wmich.edu
OLTRE LA MISURA – Milano, 3 Dicembre 2009
Pagina 4