La valutazione e il
monitoraggio per la
progettazione sociale
Caserta 16 novembre 2006
a cura del dr. Nazario Festeggiato
Nazario Festeggiato
www.volinforma.org
[email protected]
[email protected]
La valutazione…
….prende in esame la nostra efficacia e ci aiuta a
migliorarla; facilita la crescita della nostra responsabilità
rispetto agli utenti, aumenta le nostre conoscenze e ci
aiuta a sviluppare nuovi modi di lavorare e di erogare
servizi.
(Lishman, 1998)
….non si limita a determinare l’efficacia del lavoro
sociale, ma deve diventare essa stessa uno strumento di
intervento, capace di generare empowerment e
mutamento
sociale…La
pratica
della
valutazione
rappresenta una sfida per il lavoro sociale, affinchèp
rinnovi le proprie metodologie e categorie interpretative
(Shaw, 1996)
La valutazione nel lavoro sociale
Che cosa valutiamo?
Qualunque azione che tende a produrre intenzionalmente degli
effetti.
In che modo valutiamo?
Creando delle correlazioni, individuando l’incidenza delle stesse,
ovvero la capacità di una azione di avere effetti in una determinata
situazione.
Perché valutiamo?
Per scoprire il percorso di senso delle azioni che sono state
progettate;
per capire se l’attività svolta ottiene i risultati attesi o produce
comunque cambiamenti ritenuti soddisfacenti dai destinatari
delle prestazioni;
per rendere conto del buon impiego delle risorse assegnate.
PRINCIPALI CRITERI DI
VALUTAZIONE
Società
Economia
Contesto
Bisogni
Problemi
EFFICACIA ESTERNA
Risultati
COERENZA
Programma
Impatti
Obiettivi
Inputs
(risorse)
Outputs
(prodotti)
EFFICIENZA
Valutazione
RILEVANZA
EFFICACIA INTERNA
Le tappe di un progetto e la valutazione
Quando si
valuta
Tappe del
progetto
Tipo di
valutazione
Prima
(ex ante)
1) Ideazione
2) Attivazione
3) Progettazione
Operativa
• rilevanza • rilevanza
logico - formale
• contatti
• fattibilità • sforzo
Durante
(in itinere)
Dopo
(ex post)
Implementazione
Avvio - Contatto
Attività primarie
Valut.
esiti
• monitoraggio
• processo
• Esiti o
risultati
La valutazione ex ante: l’ideazione
In questa fase il progetto è solo
un’idea, un desiderio. E’ difficile
immaginare che in questa tappa un
percorso di valutazione formalizzato.
La valutazione in questa fase si basa
su una serie di giudizi in merito alla
rilevanza, all’opportunità, alla novità…
La valutazione ex ante: l’attivazione
E’ la fase della creazione del consenso, alleanze e
collaborazioni. E’ la tappa “precondizione” per
attivare il progetto.
Valutazione non formale, ma è utile valutare i
seguenti aspetti:
La quantità e la qualità dei contatti attivati
La rilevanza percepita del problema
La condivisione rispetto al problema
La qualità e la quantità delle informazioni raccolte
La possibilità di attivare risorse per realizzare il
progetto
La valutazione ex ante: la
progettazione
E’ la fase che comprende la stesura del progetto e della
progettazione operativa.
Le componenti da considerare
valutazione sono le seguenti:
nel
processo
di
rilevanza: attinenza del progetto a problematiche
ritenute rilevanti:
l’ adeguatezza della formulazione del progetto in
modo che possa funzionare da guida per la
progettazione operativa
congruenza interna fra le diverse parti del progetto
sforzo inteso come risorse
impiegate per questa fase
(tempo,
energie,…)
La valutazione in itinere
Nella tappa della realizzazione del progetto
si rivolge da una parte alla raccolta delle
informazioni
di
tipo
descrittivo
sull’andamento del progetto e dall’altra ai
processi messi in atto.
Questa
fase
della
valutazione
(monitoraggio) deve seguire passo passo la
realizzazione dell’intervento per avere un
quadro complessivo del suo funzionamento.
La valutazione ex post
E’ la tappa della verifica e della valutazione degli esiti e dei
risultati. Risultati possono essere verificati stimando:
l’efficacia, ossia la capacità del progetto di raggiungere gli
obiettivi fissati
l’impatto, cioè tutti i cambiamenti indotti dal progetto,
esclusi quelli direttamente connessi agli obiettivi
la rilevanza, cioè la capacità del progetto di incidere sui
problemi di rilevanza sociale
l’efficienza, intesa classicamente come rapporti tra costi e
ricavi. Per il sociale viene intesa come la possibilità di
raggiungere gli stessi obiettivi con un minor impiego di
risorse, o viceversa, risultati maggiori con minori risorse.
trasferibilità e riproducibilità
Il monitoraggio e la valutazione
di processo
La valutazione di processo, che coincide con il
monitoraggio,
accompagna
in
itinere
l’implementazione del progetto e si interessa
principalmente ai processi messi in atto.
Il monitoraggio risponde principalmente ai seguenti
quesiti:
se l’intervento sta raggiungendo la popolazione
bersaglio
se le attività realizzate sono conformi a quelle
progettate
se le risorse materiali e finanziarie impiegate
sono conformi alle attività progettate
Il monitoraggio
L’attività di monitoraggio consiste nell’accertamento e nella
descrizione puntuale e metodica dell’avanzamento di un
progetto, così come nella segnalazione tempestiva delle
discrepanze manifeste rispetto a quanto prestabilito
Necessario a qualsiasi sistema organizzato, esso è volto alla
realizzazione di un obiettivo predeterminato
Un processo di monitoraggio può essere sintetizzato nelle
seguenti operazioni:
rilevazione di un andamento
annotazione sufficientemente descrittiva dell’andamento
rilevato
determinazione dell’esistenza di uno scarto tra andamento
previsto e andamento effettivo
segnalazione (automatica o ragionata) al centro di comando
di tutti gli scarti eventualmente eccedano le toleranze
(feedback)
Le fasi del monitoraggio
Una efficace azione di monitoraggio dei servizi e degli
interventi dovrà adottare una metodologia utile al passaggio
dal dato al prodotto informativo articolata nelle fasi di seguito
individuate:
Identificazione
dei bisogni
informativi
Selezione degli
indicatori e
rilevazione dei dati
Strutturazione
di un sistema
informativo
Trattamento
dei dati
(analisi ed
elaborazione)
Interpretazione
Circolazione
delle informazioni
Il monitoraggio e la valutazione
dei progetti rivolti alla persona
L’obiettivo principale è quello di ridurre la
complessità di ciò che si deve analizzare che,
nell’ambito dei progetti legati alle politiche sociali, è
ancora più difficile, in quanto la loro complessità è
legata alla complessità insita nei fatti sociali.
Deve imporsi una necessaria capacità di
selezionare unicamente gli aspetti rilevanti del
progetto da valutare
La selettività di un impianto valutativo, rispetto a
ciò che si ritiene osservare e confrontare, fa sempre
riferimento ad un sistema di presupposti e di
assunti che dovrebbe essere negli obiettivi
dichiarati del progetto.
Gli strumenti per l’analisi
conoscitiva
Analisi dei documenti: la valutazione tassonomica
Interviste a informatori privilegiati
Schede informative sugli utenti del servizio
L’attività concreta: “il fare
ultimo della valutazione”
Analisi del campo semantico: indicatori valutativi
Misurazione degli indicatori
Le famiglie di indicatori
INDICATORI DI
REALIZZAZIONE
OUTPUT PROGRAMMI
Con riferimento a:
• destinatari
• beneficiari finali
INDICATORI DI
RISULTATO
Conseguimento degli
OBIETTIVI SPECIFICI
INDICATORI DI
IMPATTO
Conseguimento degli
OBIETTIVI GLOBALI
Analisi di fattibilità
Attività preliminare di ricognizione
delle fonti di informazione disponibili
DOVE SI PRODUCE
IL DATO
Interno
Esterno
CHI GESTISCE
IL DATO
COME SI ELABORA
IL DATO
Flussi
Informativi
Qualità
dell’informazione
Indicatori di realizzazione -1:
a cosa servono
Gli indicatori di realizzazione misurano
l’output dei programmi con le modalità
ritenute interessanti/utili/efficaci già per il
monitoraggio dei programmi stessi e
fondamentalmente,
nel
rispetto
degli
obiettivi
esplicitati
in
fase
di
programmazione.
Possono e devono rilevare informazioni
sull’attuazione dei programmi e sulle
caratteristiche dell’attuazione che non sono
state esplicitate in fase di programmazione
Indicatori di realizzazione -2:
quale rilevazione presuppongono
informazioni sui progetti
informazioni sui destinatari
(persone, ma anche enti,
organizzazioni…)
informazioni sui soggetti correlati al
progetto – stakeholders/aspettative
(soggetti attuatori, soggetti destinatari
indiretti)
Indicatori di realizzazione - 3:
a cosa servono
Gli indicatori di risultato misurano, a livello
di programma, il raggiungimento degli
obiettivi specifici del programma. Essi
esprimono una misura dell’efficacia nel
raggiungimento degli obiettivi specifici
Policy
effort
(aumento
dell’offerta)
Efficacia degli
interventi
Miglioramento
della qualità del servizio
Aumento dell’offerta
Al primo tipo di indicatori
appartengono i tassi di copertura,
ovvero la quota di popolazione
servita sulla popolazione totale
potenzialmente destinataria
In questo senso essi forniscono la misura di
un primo risultato di una politica, vale a dire il grado di
consistenza della policy
Miglioramento della qualità
dell’offerta
Al secondo tipo di indicatori
appartengono quelli che mirano a
focalizzare sulle caratteristiche
qualitative dei servizi erogati, in base
alle trasformazioni auspicate dalla
programmazione
Efficacia degli interventi
Definizione di
efficacia
Interrogativi
valutativi
Criteri di confronto
(necessario alla
valutazione)
Raffronto tra
risultati ottenuti e
attesi
Il servizio raggiunge gli
obiettivi prefissati in
partenza?
Obiettivo da
raggiungere
Raffronto con uno
standard qualitativo
Il servizio è di buona
qualità, in relazione
alle procedure
utilizzate ed ai risultati
ottenuti?
Standard a cui
uniformarsi
Impatto
Cosa succederebbe se
non ci fosse questo
servizio?
Scenario situazionale in
assenza di servizio
Rapporto tra
domanda e offerta
E’ soddisfatto? Il
servizio raggiunge gli
utenti per i quali è
stato predisposto?
Domanda di servizio da
soddisfare (scarto)
Indicatori di impatto: a cosa
servono
Gli indicatori di impatto dovrebbero
fornire indicazioni circa gli effetti
strutturali e permanenti prodotti dagli
interventi realizzati
Gli indicatori di impatto pur essendo
in qualche caso proposti in relazione
ad un obiettivo specifico non sono
univocamente legati ad esso
La qualità
La qualità nei servizi sociali - 1
Nel settore dei servizi sociali, l’interesse nei
confronti della qualità è maturato di recente.
La mancanza di una legislazione unitaria
nazionale ha rallentato la possibilità di mettere
a punto quadri di riferimento unitari e condivisi,
ma la situazione sta rapidamente evolvendo.
Indicativo dell’impegno e degli sforzi volti a
ritagliare all’”oggetto” qualità un ruolo centrale
anche nel campo dei servizi alla persona è il
documento realizzato del Gruppo Qualità
Sociale del Ministero della Solidarietà Sociale
(1999).
La qualità nei servizi sociali - 2
I criteri evidenziati dagli esperti per definire la qualità di
un servizio in generale, sono i seguenti:
il servizio viene erogato sulla base di procedure
formalizzate appropriate
esiste un regolamento del servizio
fornisce all’utente una guida per l’uso
promuove forme associative di utenti
ha strumenti consolidati di veirifica dei risultati
coinvolge gli utenti nella valutazione periodica del
processo e dei risultati
ha strumenti deicati per il dialogo interattivo con gli
utenti
ha strumenti per la raccolta di suggerimenti e reclami
ha la figura del “facilitatore di qualità”
La qualità nei servizi sociali - 3
L’attenzione del gruppo è rivolta anche all’intervento nei
confronti di un singolo utente:
la qualità dell’intervento per singolo utente viene
commisurata:
in relazione al fatto che l’intervento corrisponda al
programma d’intervento individuale concordato con
l’utente stesso e con gli operatori co – responsabili
in relazione ai risultati conseguiti in termini di
risoluzione
del
problema,
miglioramento
della
condizione, benessere complessivo, riduzione del danno.
Centralità dell’utente
Punto focale verso cui orientare l’intero sistema dei
servizi
Analisi dei bisogni e la
ricerca sociale
Il rompicapo dei bisogni
A monte della programmazione e degli
indicatori, c’è il sistema di offerta, a
monte di questo la domanda sociale, più
in cima ancora i bisogni
E’ un termine denso, plastico, col quale
si rischia di indicare cose diverse
Tante le teorie che hanno dato una
definizione di bisogno: Marx, Durkheim,
Merton, Maslow, Baudrillard, Lewin
I fattori che determinano
i bisogni
•
•
•
•
Situazione
Situazione
Situazione
Situazione
economica
relazionale
sociale
culturale
•
•
•
•
Valori
Identità di gruppo
Modelli culturali
Dominanti
Situazione
del singolo
Individuazione di un
elemento capace di
BISOGNO
annullare o ridurre
la situazione di carenza
Aspettative
Insieme di valori
codificati dal
sistema
Modello di organizzazione
dei servizi
La ricerca sociale metodologie
e tecniche
RICERCA SOCIALE
Tecniche quantitative
Tecniche qualitative
Alto livello di formalizzazione
Basso livello di formalizzazione
Tecniche ampiamente
sperimentate
Difficoltà di tradurle in
procedure schematizzate
80 anni di continuità
fase di latenza dagli anni ’30
agli anni ’70
La ricerca quantitativa
La ricerca scientifica è un processo
creativo di scoperta che si sviluppa
secondo un itinerario prefissato e
secondo procedure prestabilite che
si sono consolidate all’interno della
comunità scientifica.
La struttura tipo della
ricerca quantitativa
FASI
PROCESSI
Teoria
Deduzione
Ipotesi
Operativizzazione
(disegno della ricerca)
Rilevazione dei dati
Organizzazione dei dati
(matrice dei dati)
Analisi dei dati
Interpretazione
Risultati
Induzione
Le tecniche della ricerca quantitativa:
l’inchiesta campionaria
Si intende per inchiesta campionaria un
modo di rilevare informazioni:
a) interrogando, b) gli stessi individui
oggetto della ricerca, c) appartenenti ad un
campione rappresentativo, d) mediante una
procedura standardizzata di interrogazione,
e) allo scopo di studiare le relazioni esistenti
tra le variabili
Le tecniche della ricerca
quantitativa:
la tecnica delle scale
La tecnica delle scale è l’insieme di
procedure messe a punto dalla ricerca
sociale per “misurare” l’uomo e la
società.
Es. di scala
In politica di solito si parla di sinistra e destra.
Lei dove collocherebbe la sua posizione politica?
Non saprei
Le tecniche della ricerca quantitativa:
le fonti statistiche ufficiali
Le società moderne producono una
vasta quantità di dati su se stesse.
Questi dati rappresentano una fonte
ineguagliabile di conoscenza sociale
e possono costituire il materiale
empirico della ricerca sociale.
Le fonti dei dati
Osservare
E’ la via più immediata
e diretta per studiare i
fenomeni/comportamenti
manifesti
Fonti ufficiali
Esperimenti
Banche dati
Domandare
E’ la via obbligata per esplorare
motivazioni, atteggiamenti,
credenza, sentimenti, percezioni,
aspettative………
Le indagini campionarie
La ricerca qualitativa
L’osservazione
partecipante
L’intervista
qualitativa
L’uso dei
documenti
L’osservazione partecipante
E’ una strategia di ricerca nella quale il
ricercatore si inserisce a) in maniera
diretta e b) per un periodo di tempo
relativamente lungo in un determinato
gruppo sociale, c) preso nel suo
ambiente naturale, d) instaurando un
rapporto di interazione personale con i
suoi membri e) allo scopo di descriverne
le azioni e di comprenderne, mediante
un processo di immedesimazione, le
motivazioni
L’osservazione partecipante:
quando si usa?
Quando si sa poco di un certo fenomeno
(es. ribellione nelle periferie di Parigi)
Quando esistono delle forti differenze fra il
punto di visto dall’interno e quello dall’esterno
(es. gruppi etnici, organizzazioni sindacali,…)
Quando il fenomeno si svolge al riparo da
sguardi estranei (es. vita familiare,…)
Quando il fenomeno è deliberatamente
occultato agli sguardi degli estranei
(es. comportamenti illegali, associazioni segrete)
L’intervista qualitativa
E’
una
conversazione
a)
provocata
dall’intervistatore, b) rivolta a soggetti scelti
sulla base di un piano di rilevazione e c) in
numero consistente, d) avente finalità di
tipo
conoscitivo,
e)
guidata
dall’intervistatore, f) su una base di uno
schema flessibile e non standardizzato di
interrogazione
L’uso dei documenti
I documenti che producono gli uomini e
le
istituzioni.
Per
documenti
si
intendono i materiali informativi su un
dato fenomeno sociale, che esistono
indipendentemente
dall’azione
del
ricercatore.
