Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
Capitolo 15
Le questioni metodologiche legate alla valutazione delle
politiche formative del POR Calabria sull’occupazione
1
Introduzione
Il quadro di programmazione dei Fondi Strutturali per il periodo 2000-2006 sottolinea
il ruolo delle politiche formative nell’ambito delle politiche del lavoro al fine di perseguire
occupabilità ed equità sociale unitamente allo sviluppo competitivo del territorio, in
particolare nel Mezzogiorno. Alcuni degli obiettivi di natura strutturale cui mirano i
programmi del Fondo Sociale Europeo possono essere riassunti nei seguenti punti:
• Incrementare l’occupabilità dei soggetti in età lavorativa;
• Promuovere l’integrazione nel mercato del lavoro delle persone esposte a rischio
di esclusione sociale;
• Sviluppare un’offerta di istruzione, formazione professionale e orientamento che
consenta lo sviluppo di percorsi di apprendimento per tutto l’arco della vita.
L’orientamento delle politiche individuato da tale programma ha un forte impatto sulle
politiche pubbliche nazionali e regionali sia per l’influenza sul processo decisionale e
progettuale sia in quanto costituisce un rilevante canale finanziario. La valutazione empirica
del programma rappresenta una necessaria rendicontazione ai soggetti finanziatori degli esiti
dello stesso e costituisce inoltre un valido strumento per la realizzazione di fine tuning della
politica in itinere.
Sulla scia della letteratura empirica inerente la valutazione delle politiche del lavoro
incentrate sulla formazione, uno studio avente per oggetto il mercato del lavoro calabrese
dovrebbe prendere in esame le seguenti questioni:
• effetti del programma sull’evoluzione del sistema di formazione professionale
regionale;
• contributo del programma al conseguimento degli obiettivi equitativi rispetto ai
target di utenza;
• impatto delle politiche sull’occupabilità dei soggetti trattati;
• effetti del programma sulla capacità reddituale dei soggetti trattati;
• effetti del programma sull’economia regionale nel suo complesso ed eventuali
effetti indiretti.
L’evidenza empirica internazionale relativa all’efficacia dei corsi di formazione
professionale nell’ambito delle politiche attive del lavoro, indica che questi programmi
influenzano molto debolmente la capacità reddituale dei soggetti partecipanti ed
incrementano, in modo modesto, la probabilità di trovare un’occupazione. Complessivamente
“…the gains from existing programs are not sufficiently large to lift many out of poverty nor
to significantly reduce unemployment rates”.1
Come verrà sottolineato nella discussione seguente, il prerequisito per la valutazione
degli effetti del programma è l’adozione di una metodologia idonea allo scopo, che è
1
Heckman J.J. Lalonde R.J. e Smith J.A., “The Economics and Econometrics of Active Labor Market
Programs”, in AshenflelterO. E Card D. (a cura di) , Handbook of Labor Economics, vol. 3a, Elsevier Science,
Amsterdam, 1999, pg. 2080.
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
368
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
strettamente determinata dalla tipologia dei dati e delle informazioni a disposizione del
valutatore.
L’obiettivo di questo studio è quello di illustrare criticamente alcune metodologie di
valutazione dell’impatto dei programmi di formazione. Una preliminare descrizione degli
individui che hanno seguito corsi di formazione professionale nella regione Calabria,
mediante dati cross section, unitamente ad una prima valutazione degli esiti occupazionali dei
soggetti formati, è invece presenta nel capitolo 16.
2
Alcuni problemi metodologici
Un’accurata discussione sul tema delle politiche del lavoro, non può prescindere da
una valutazione empirica degli effetti che queste possono avere sugli obiettivi preposti. La
valutazione dell’efficacia di un intervento di politica economica nel mercato del lavoro
necessita di adeguate informazioni sia sugli individui a cui è stato somministrato il
trattamento, sia su un campione di controllo, esente dal trattamento stesso. La definizione di
entrambi i gruppi, ossia dei soggetti trattati e non trattati, è estremamente rilevante in quanto,
se la selezione degli individui trattati non è casuale, possono insorgere problemi di stima degli
effetti dell’intervento di politica dovuti alla presenza di fenomeni di sample selection bias.
La metodologia adottata per la misurazione dell’efficacia delle politiche di intervento
nel mercato del lavoro prevede dunque il confronto con una situazione controfattuale di non
intervento. La valutazione controfattuale dovrebbe basarsi sull’osservazione dell’andamento
della variabile obiettivo in condizioni di operatività di un intervento e di assenza dello stesso.
In realtà, questo confronto risulta irrealizzabile in quanto non è possibile osservare uno stesso
soggetto nello stesso intervallo di tempo in presenza e in assenza di un determinato intervento.
La non osservabilità del fenomeno nelle due situazioni può essere risolta mediante la
definizione di un “campione di controllo” ossia con l’individuazione di campioni relativi a
soggetti non esposti all’intervento rappresentativi della situazione controfattuale non
osservabile. Il problema dell’individuazione del campione di controllo consiste nella
possibilità che la selezione dei soggetti possa influenzare i risultati ottenuti. Se la selezione
avviene sulla base di caratteristiche correlate alla variabile risultato, quest’ultima non viene
influenzata solo dall’operare della politica ma anche da elementi non controllabili. Non
sarebbe più possibile, pertanto, confrontare due situazioni nelle quali la differenza nel
risultato dipende unicamente dalla politica adottata. Si assuma ad esempio che il corso di
formazione venga frequentato da individui disoccupati che non trovano occupazione perché
poco attivi nella ricerca di un lavoro, se questa variabile non è controllata dal ricercatore, è
possibile che il rendimento del corso di formazione venga sottostimato in quanto
somministrato ad individui che continueranno, anche dopo la frequenza del corso, a non
cercare lavoro in maniera efficace.
Le metodologie di individuazione del campione possono essere classificate in
“sperimentali” e “non sperimentali”.
• Metodologie sperimentali.
In questo caso i campioni vengono estratti casualmente dalla popolazione dei soggetti
potenzialmente idonei a partecipare a un determinato programma. La selezione casuale in
questo caso garantisce che la differenza tra i valori attesi della variabile obiettivo nei due
campioni, dei trattati e dei non trattati, garantisca una stima corretta dell’impatto della politica
sui soggetti esposti al trattamento. In pratica, nel caso in cui si disponga di un campione
sperimentale, l’impatto netto può essere ottenuto come differenza tra il risultato medio
conseguito dai trattati e quello realizzato dai non trattati.
• Metodologie non sperimentali
Questo approccio prevede la definizione di un campione composto di un gruppo di
partecipanti al programma e da un gruppo di non partecipanti scelti in modo da risultare più
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
369
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
vicini possibili ai partecipanti in base a delle caratteristiche ritenute rilevanti. Per una corretta
applicazione della metodologia di individuazione del campione è necessario che la variabile
risultato sia rilevabile e misurabile sia per i trattati che per i non trattati e che il metodo di
selezione non incorpori delle caratteristiche non osservabili correlate con la variabile obiettivo
poiché ciò potrebbe dare luogo a delle valutazioni erronee dell’impatto a causa di un
problema di sample selection bias.
Prima di affrontare le questioni metodologiche in dettaglio è necessario sottolineare la
necessità che alla base della definizione e della stima degli effetti del programma, e quindi
della costruzione del modello econometrico, ci sia un modello economico che fornisca una
guida alla specificazione delle relazioni empiriche e suggerisca la tipologia di dati richiesti per
stimare un modello di valutazione fondato su motivate assunzioni comportamentali. Metodi di
valutazione alternativi possono essere giudicati sulla base dei fondamenti economici sui quali
sono costruiti. Questo approccio è in contrasto con quello “case-by-case” della statistica, che
nell’ipotesi migliore può solo offrire una struttura intuitiva per motivare gli stimatori adottati.
In assenza di valide ipotesi teoriche comportamentali, questi metodi non sono utili per
confrontare i risultati provenienti da studi diversi o nel suggerire variabili esplicative.
Producono, al contrario, parametri di difficile interpretazione e sono inefficaci per rispondere
alle domande del policy maker. Il modello economico ha invece il compito di:
• suggerire una lista di variabili esplicative;
• suggerire restrizioni plausibili sui parametri utili per identificare il modello;
• suggerire forme funzionali specifiche per le equazioni da stimare.
3
Il problema valutativo
Come osservato nel paragrafo precedente il problema centrale nelle valutazioni di
policy è quello della costruzione del campione di controllo. Nel caso più semplice si può
immaginare che un individuo sia in grado di occupare uno di due stati mutualmente esclusivi:
“0” nel caso di assenza di trattamento e “1” in presenza di trattamento, dove D=0 indica
assenza di trattamento e D=1 indica presenza di trattamento. Il trattamento è associato alla
partecipazione al programma da valutare. Associato a ciascuno stato vi è un risultato o un
insieme di risultati. Supponiamo per semplicità che nel caso della partecipazione ad un
programma di formazione il risultato sia l’ottenimento di un lavoro. Possiamo esprimere
questo risultato in funzione di un set di variabili che lo determinano, X. Denominiamo i
possibili risultati Y0 e Y1 , che si riferiscono allo stato di non trattato e trattato rispettivamente.
Ad ogni individuo è associata una coppia di valori (Y0 ,Y1 ). Possiamo quindi scrivere il vettore
dei risultati per ciascuno stato come:
Y0 = µo ( X ) + U 0
Y1 = µ1 ( X ) + U 1
(1)
laddove E (Y0 | X ) = µ0 ( X ) e
E (Y1 | X ) = µ1 ( X ) . Il risultato dipende chiaramente dalle
decisioni prese da individui, imprese, famiglie e amministratori pubblici. Affinché le stime
econometriche producano dei parametri che rappresentano l’impatto netto del trattamento è
richiesto che la realizzazione di D non determini X dato il vettore dei risultati potenziali Y p .
Ossia che la funzione di densità condizionata sia:
f X | D, Y p = f X | Y p
(2)
altrimenti il parametro E (Y1 − Y0 | X , D = 1) non cattura l’effetto netto del trattamento sui
soggetti trattati e insorgono una serie di problemi tecnici.
Il guadagno ottenuto nel passare dallo stato 0 allo stato1 può essere indicato come:
(
)
(
)
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
370
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
∆ = Y1 − Y0
(3)
Se fosse possibile osservare un individuo in entrambi gli stati nello stesso periodo di
tempo non insorgerebbe alcun problema di stima. Il problema fondamentale che si incontra
nella valutazione dell’efficacia di un progetto risiede nel fatto che l’insieme di valori (Y1 ,Y0 )
non è noto e di conseguenza ∆ non può essere osservato. Tutti gli approcci al problema
valutativo tentano di ricostruire i dati mancanti. Questi tentativi differiscono nelle assunzioni
effettuate sulla relazione trai i dati mancanti e i dati disponibili e sulla base dei dati
disponibili. Molti approcci nell’ambito delle scienze sociali accettano l’idea che sia
impossibile ricostruire il ∆ per ciascun individuo. Allo stesso tempo, il problema valutativo si
sposta dal livello individuale a quello della popolazione di cui viene stimato il ∆ medio o
alcuni aspetti della sua distribuzione. Le questioni di rilievo consistono quindi proprio nella
definizione delle caratteristiche della distribuzione di interesse e nell’individuazione della
popolazione di riferimento.
4
Definizione della variabile obiettivo
Volendo fornire una semplice schematizzazione del problema da trattare possiamo
immaginare che dal punto di vista del pianificatore sociale, che considera lo stato 0 come
quello prevalente in assenza di intervento, le variabili di interesse possano essere le seguenti:
• La quota di individui che partecipano al programma e che ne traggono benefici:
Pr (Y1 > Y0 | D = 1) = Pr (∆ > 0 | D = 1)
•
(4)
la quota della popolazione che complessivamente trae beneficio dal programma (a
causa di eventuali benefici indiretti)
Pr (Y1 > Y0 | D = 1) Pr (D = 1) = Pr(∆ > 0 | D = 1) Pr ( D = 1)
• i quantili della funzione di distribuzione dell’impatto del programma
(5)
inf {∆ : F (∆ | D = 1) > q}
(6)
∆
•
la distribuzione dei benefici del programma al di sopra di una determinata soglia
F (∆ | D = 1, Y0 = y o )
(7)
• l’aumento della quota dei risultati al di sopra di una determinata soglia attribuibili
all’implementazione del programma:
(
)
(
)
Pr Y1 > y |D = 1 − Pr Y0 > y |D = 1
(8)
Molta della letteratura empirica considera unicamente l’effetto medio diretto del
programma su coloro i quali sono soggetti al trattamento.
5
Alcuni stimatori utilizzati per le valutazioni d’impatto.
Come è stato osservato, la valutazione impone un confronto tra il risultato degli
individui trattati rispetto a quello dei non trattati. Per ottenere il valore d’interesse
E (Y1 − Y0 | X , D = 1) è necessario costruire il controfattuale E (Y0 | X , D = 1) , che non è
osservabile, mentre esistono dati relativi a E (Y1 | X , D = 1) . Un individuo che ha partecipato
al programma viene quindi confrontato con un individuo che ha caratteristiche simili ma che
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
371
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
non ha partecipato al programma. Il problema è di conseguenza, quello di costruire un sistema
obiettivo per dimostrare che l’individuo utilizzato per il confronto è effettivamente idoneo a
svolgere questa funzione.
5.1
Lo stimatore “before -after”
Nella letteratura empirica è spesso utilizzato uno stimatore che confronta ciascun
individuo con se stesso utilizzando dati longitudinali. Questo metodo implica quindi la
disponibilità di osservazioni ripetute nel tempo riferite allo stesso soggetto. Indicando con
Y0 , t −1 il risultato dell’individuo prima della partecipazione al programma, questo stimatore fa
uso di questa variabile per approssimare lo stato in assenza di trattamento ipotizzando che
E (Y0 , t − Y0 , t −1 | D = 1) = 0
(9)
Se questa assunzione è valida lo stimatore consiste in:
Y 1 ,t − Y 0 , t
(10)
dove “1” indica che la stima è condizionata rispetto a D=1, mentre la barra indica la media
campionaria.
Per ogni individuo i benefici del programma possono essere indicati come:
Y1,t − Y0 , t = (Y1 ,t − Y0 , t −1 ) + (Y0 ,t −1 − Y0 ,t )
(11)
(
)
Il secondo termine Y0 , t −1 − Y0 ,t rappresenta l’errore di approssimazione. Se questo è in
media pari a zero, è possibile stimare l’impatto del programma sugli individui che partecipano
in termini della differenza dei guadagni medi ottenuti prima e dopo la partecipazione al
programma. Questi valori medi possono essere definiti in funzione di caratteristiche personali,
X. Se l’errore di approssimazione è pari a 0 è sufficiente avere dati cross section per due
periodi per calcolare l’esito del programma 2 . Naturalmente l’assunzione di media zero per
l’errore di approssimazione è facilmente violata ed in questo consiste il principale limite dello
stimatore.
5.2
Lo stimatore “difference-in-differences”
Questo stimatore , più usato del precedente, presuppone l’accesso a dati longitudinali o
a dati riferirti a cross section ripetute nel tempo. Nell’ipotesi in cui la variazione media del
risultato in assenza di partecipazione al programma è lo stesso sia per coloro che partecipano
che per quelli che non partecipano, ossia è valida la seguente espressione:
E (Y0 , t − Y0 , t −1 | D = 1) = E (Y0 , t − Y0 ,t −1 | D = 0)
(12)
allora lo stimatore difference-in-differences è dato da:
(Y
) (
)
− Y 0 ,t −1 1 − Y 0 ,t − Y 0 , t −1 0
(13)
Poiché non è possibile valutare il termine (Y1, t −Y 0 , t )1 − (Y0 , t −Y 0 ,t −1 )0 per ciascun
individuo, al fine di utilizzare lo stimatore è necessario effettuare ipotesi aggiuntive come nel
caso dello stimatore illustrato nel punto 5.1.
1 ,t
5.3
Lo stimatore cross section
Questo stimatore confronta i valori medi dei guadagni dei soggetti sottoposti e non
sottoposti al trattamento al tempo t.
L’assunzione chiave per questo stimatore consiste in:
E (Y0 , t | D = 1) = E (Y0 ,t | D = 0) ,
(14)
2
Questo punto sarà esaminato in dettaglio nel paragrafo 9.
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
372
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
ossia che in media un individuo che non partecipa al programma otterrebbe dal trattamento lo
stesso risultato di chi ha partecipato. Se questa assunzione è valida, allora lo stimatore cross
section è dato da:
Y 1, t 1 − Y 0 , t 0 .
(15)
Se un individuo partecipa al programma sulla base del risultato ottenibile in base alla
partecipazione al programma allora l’assunzione su cui è basato lo stimatore viene violata.
Questa assunzione è infatti soddisfatta solo se la partecipazione non è determinata dal risultato
ex-post.
( ) ( )
6
Metodologia sperimentale
Negli anni più recenti l’utilizzo di metodologia sperimentale ai fini della valutazione
delle politiche del lavoro è stata usata sempre più frequentemente, in particolar modo negli
Stati Uniti. Prima di illustrare i principi su cui si basano questi metodi è necessario
sottolineare che così come per quelli non sperimentali, la validità degli stimatori costruiti con
questa metodologia si basa su precise assunzioni comportamentali e statistiche. In quanto
segue, si assuma che il simbolo “*” indichi il risultato in presenza di assegnazione casuale
dell’individuo al programma. Di conseguenza, condizionatamente al set di variabili X per
ogni individuo si ottiene (Y1* , Y0* , D* ) in presenza di assegnazione casuale al programma e
(Y , Y
, D ) quando il programma opera in assenza di selezione casuale. Si assuma che R=1
indichi l’appartenenza al gruppo sperimentale degli individui trattati mentre R=0 indichi
appartenenza al gruppo di controllo sperimentale.
L’assunzione necessaria affinché la selezione risolva il problema della valutazione
degli effetti medi del trattamento sui trattati è che:
E (Y1* − Y0* | X , D* = 1) = E (Y1 − Y0 | D = 1) .
(16)
Questa assunzione indica che i valori attesi per gli individui trattati e per il gruppo di
controllo generati dalla selezione casuale producono i parametri rappresentativi della
popolazione. Assunzioni più stringenti sono però richieste al fine di stimare la distribuzione
degli effetti del programma F (∆ | D = 1) . Senza di queste i dati sperimentali così come quelli
non sperimentali non sono in grado di identificare la distribuzione degli impatti perché lo
stesso individuo non viene osservato contemporaneamente nei due stati di assenza e presenza
del trattamento. Altri problemi nell’implementazione della metodologia sperimentale derivano
dalla decisione individuale di partecipare al programma per cui il soggetto è stato selezionato
e dal drop out.
1
7
0
Il problema dell’inferenza nella metodologia sperimentale e non
sperimentale
Molti studi recenti manifestano un diffuso scetticismo nei confronti della metodologia
sperimentale che nel tentativo di superare la necessità di costruire un modello economico di
riferimento per la valutazione dell’impatto del programma, forniscono evidenza empirica che
non garantisce informazioni rilevanti né per il ricercatore né per il politico. Anzi, questi
metodi sembrano introdurre una serie di distorsioni nelle stime che li rendono inefficaci. Di
conseguenza, è necessario fare riferimento a metodi non sperimentali per la soluzione dei
problemi di selezione. In questo paragrafo si cercano di chiarire le differenze tra le due
metodologie. Nel diagramma 1 vengono presentati una serie di potenziali risultati riferiti
all’occupabilità di individui che hanno fatto training. Per i soggetti che hanno partecipato al
programma di formazione Y1 è uguale a 1 se l’individuo è occupato dopo aver completato il
programma e 0 altrimenti. Per chi non ha partecipato Y0 è definito in modo analogo. Come
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
373
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
nei paragrafi precedenti D=1 indica che una persona è stata selezionata per partecipare al
progetto. Quando il ricercatore osserva dei dati sperimentali è in grado di osservare sia Y1 che
Y0 per gli individui selezionati. Ossia, osserva i totali per riga e per colonna per gli individui
trattati, D=1, ma non la quota degli individui scelti per fare training che non avrebbero
trovato occupazione sia in assenza che in presenza di training, P001 . Al fine di stimare questo
valore sarebbe necessario assumere che la formazione non determina la non occupabilità di
chi non sarebbe comunque stato occupato in assenza di training. Questa assunzione, detta di
monotonicità, permette di fissare P101 =0 e, di conseguenza calcolare, dati i totali, le rimanenti
componenti della matrice. In questo caso, la variabile di interesse consiste in P011 che
definisce la quota di individui che cambia stato in presenza di formazione. Le stime effettuate
con dati sperimentali trovano, in generale, che questa quota è piuttosto bassa. Gli analisti che
hanno accesso a dati non sperimentali osservano solo i dati per colonna nella tabella D=1 e
D=0. Inoltre, ad essi è nota la quota di individui che partecipa ai progetti di formazione. Il
compito del ricercatore è quindi quello di trovare una serie di variabili e imporre una serie di
condizioni affinché i totali per riga nella matrice D=0 permettano di stimare i totali per riga
della matrice D=1.
Sia le metodologie sperimentali che non sperimentali necessitano quindi di una serie di
assunzioni aggiuntive al fine di stimare i parametri di interesse del modello.
Diagramma 1.1-Probabilità occupazionale secondo la partecipazione a corsi di formazione.
Y1
Y0
0
1
0
P001
P101
P.01
Y1
1
P011
P111
P.11
P0.1
P1.1
0
1
Y0
0
P000
P100
P.00
D=1
8
1
P010
P110
P.10
P0.0
P1.0
D=0
La costruzione del gruppo di controllo
Tutti gli stimatori utilizzati per la valutazione dell’impatto delle politiche si basano sui
tre principi illustrati nel paragrafo 5, che implicano il confronto tra gli individui trattati e non
trattati. Il confronto può verificarsi in un certo punto nel tempo come nello stimatore cross
section, confrontando lo stesso individuo prima e dopo il trattamento come nello stimatore
before-after, o mediante un ibrido di questi due metodi come con lo stimatore difference-indifferences. Questi stimatori differiscono per il modo in cui costruiscono il controfattuale
E (Y0 , t | X , D = 1) . In questo paragrafo, è illustrato il problema della costruzione del gruppo di
controllo mediante l’uso di metodi basati su tecniche di matching. In quanto segue, si
considera che il set di variabili X non condizioni D. Assumendo che X sia il set di variabili
condizionanti e Yp il vettore dei risultati potenziali definiti come Yt p = (Y0 , t , Y1, t ) , e
(
)
Y p = Y1 p , K , YTp , mentre X = ( X 1 , K , X T ) , si tratta di definire i valori ammissibili di X, sui
quali viene effettuato il condizionamento, per definire i parametri che caratterizzano:
(
)
(
)
)
f X | D, Y p = f X | Y p
(17)
p
p
p
dove f X | D, Y è la densità di X dato D e f X | Y è la densità di X dato Y .
Quando la partecipazione al progetto di training è volontaria, un valutatore che ha
accesso ai dati cross section è in grado di costruire la distribuzione dei risultati per i
partecipanti, F (Y1 | X , D = 1) , e per i non partecipanti, F (Y0 | X , D = 0 ) . Quest’ultima, viene
(
(
)
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
374
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
utilizzata per approssimare F (Y0 | X , D = 1) , e ciò introduce problemi di selezione. Usando
questa approssimazione infatti, la distorsione introdotta stimando E (Y1 − Y0 | X , D = 1) è data
da:
B( X ) = E(Y0 | X , D = 1) − E(Y0 | X , D = 0 )
(18)
Esistono metodologie in grado di eliminare o correggere questa distorsione.
8.1
Il metodo del matching
Il metodo del matching assume che l’analista abbia accesso ad un set di variabili
condizionanti in modo tale che, all’interno di ciascuno stato definito dal set X, la distribuzione
del risultato controfattuale dei partecipanti sia lo stesso di quello dei non partecipanti. La
letteratura statistica sul matching assume quindi l’accesso ad un set di variabili X in modo tale
che:
A1: (Y0 , Y1 )⊥D | X
(19)
Di
conseguenza,
per
la
distribuzione
dei
risultati
è
vero
che:
F (Y0 | D = 1, X ) = F (Y0 | D = 0, X ) = F (Y0 | X )
e
F (Y1 | D = 1, X ) = F (Y1 | D = 0, X ) = F (Y1 | X ) .
Se l’assunzione di ortogonalità è valida è possibile utilizzare i dati sui non-partecipanti
per misurare quello che i partecipanti avrebbero guadagnato se non avessero partecipato,
condizionatamente ad X. Per assicurare che questa assunzione abbia contenuto empirico è
inoltre necessario presupporre che esistano entrambi i gruppi di individui per ciascun set X
sulla base del quale si intende effettuare il confronto. Ossia:
A2: 0 < Pr ( D = 1 | X ) < 1 .
(20)
Date queste assunzioni la procedura di matching produce un gruppo di controllo simile
ad un gruppo di controllo sperimentale poiché dato X, la distribuzione del risultato
controfattuale per i partecipanti è identica a quella osservata per i non partecipanti. Ossia:
E (Yo | X , D = 1) = E (Yo | X , D = 0 )
(21)
e
E (Y1 | X , D = 1) = E (Y1 | X , D = 0 ) .
(22)
Quindi, per ogni punto in X, la distorsione B(X)=0. Ad ogni modo, questa assunzione
non implica l’assenza di distorsione da selezione E (U o | X , D = 1) = 0 . Al contrario, il
matching bilancia la distorsione in modo tale che:
E (U o | X , D = 1) = E (U o | X , D = 0 ) = E(U 0 | X ) .
(23)
Per rendere operativo il metodo del matching è necessario identificare per ciascun
individuo trattato un gruppo di individui simili. In pratica, è possibile costruire un gruppo
C(Xi) dove Xi rappresenta le caratteristiche dell’individuo i. Assumendo che esistano Nc
individui nel campione di controllo e Ni nel campione dei trattati, gli individui nel gruppo di
controllo simili ad i, sono gli individui j per i quali X j ∈ C ( X i ) , ossia l’insieme di individui
Ai = { j | X j ∈ c( X i }. Se W(i,j) è il peso riferito all’osservazione j nell’effettuazione del
confronto con l’osservazione i e, inoltre, si assume che la somma dei pesi è pari all’unità, è
possibile formare un gruppo di controllo dato da:
Nc
Y i = ∑ W (i , j )Y jc
c
(24)
J =1
c
e l’effetto stimato del trattamento per l’individuo i è Yi − Y i .
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
375
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
Esistono differenti schemi di matching proposti in letteratura.
• Lo stimatore nearest-neighbor.
Questo definisce Aj in modo tale che solo un j è selezionato poiché è il più vicino ad
Xi:
Ai = j | Min || X i − X J ||
j∈{1,L, N c }
dove || || è la metrica di Mahalanobis che esprime la distanza nello spazio delle caratteristiche:
'
−1
|| ||= (X i − X j ) Σ (X i − X j )
c
(25)
(26)
con Σ che misura la matrice delle covarianze nel gruppo di controllo. Lo schema di
c
ponderazione per questo stimatore è:
1 se j ∈ A j
W ij =
0 altrimenti
• Lo stimatore kernel
(27)
Questo stimatore usa l’intero gruppo di controllo e ciascuna osservazione viene
utilizzata e pesata differentemente.
W (i , j ) =
(
K X j − Xi
)
K (X j − X i )
∑
j=1
Nc
(28)
dove K è un kernel, ossia una funzione di distribuzione standard.
L’impatto del trattamento è pertanto stimato formando la differenza media:
m=
8.2
1
Nt
∑ (Y
Nt
i =1
t
i
c
)
−Y i =
1
Nt
t Nt
Yi − ∑ W (i , j )Y jc
∑
i =1
j =1
Nt
(29)
Il metodo del propensity score
Uno schema alternativo del metodo del matching si basa sull’uso della probabilità di
partecipare al programma, cosiddetto “propensity score”, ossia P( X ) = Pr (D = 1 | X ) . Date le
assunzioni A1 e A2 allora:
A3: (Y1 , Y0 ⊥D | P ( X ) per X ∈ χc )
(30)
dove χc indica un insieme in cui A2 è valida. Data A3, per costruire la media condizionata
E (Yo | P( X ), D = 1) riferita al gruppo di controllo, è necessario che:
B( P( X )) = E (Yo | P( X ), D = 1) − E (Y0 | P( X ), D = 0 ) = 0 .
(31)
Nell’ipotesi in cui l’esposizione al trattamento è casuale, data una popolazione di i
individui, se il propensity score è noto allora l’effetto medio del trattamento può essere
stimato come segue:
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
376
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
τ ≡ E{Y1i − Y0 i | Di = 1}
= E [E{Y1i − Y0 i | Di = 1, P( X i )}]
= E [E{Y1i | Di = 1, P ( X i )}− E {Y0 i | Di = 0, P( X i )}| Di = 1]
(32)
se:
D⊥X | P( X ) Balancing hypothesis
Y1 , Y0 ⊥D | X
Y1 , Y0 ⊥D | P( X ) Unconfoundedness hypothesis
Se queste ipotesi sono soddisfatte, le osservazioni con lo stesso propensity score
devono avere la stessa distribuzione dei valori osservati caratteristici indipendentemente dalla
presenza o assenza di trattamento. In altre parole, per un dato propensity score, l’esposizione
al trattamento è casuale e quindi le unità trattate e quelle di controllo devono essere in media
identiche all’osservazione. Qualunque modello standard di probabilità può essere usato per
stimare il propensity score. Per esempio, Pr ( Di = 1 | X i ) = F {h( X i )} dove F(.) è la normale o
la distribuzione cumulata logistica e h ( X i ) è una funzione di covariate con termini lineari o di
ordine più elevato. Ad ogni modo una stima del propensity score non è abbastanza per
valutare l’impatto medio del programma. La ragione è che la probabilità di osservare due
unità con esattamente lo stesso valore del propensity score è nulla poiché P(X) è una variabile
continua. Sono stati approntati vari metodi per superare tale problema. Tra i più usati
ricordiamo il nearest-neighbor matching, il radius matching, il kernel matching e lo
stratification matching.
9
Gli stimatori panel data
La possibilità di utilizzare dati che contengono informazioni ripetute nel tempo per lo
stesso individuo consente al ricercatore di esaminare l’evoluzione temporale della variabile
risultato e permette di controllare i problemi di selezione mediante l’ipotesi di separabilità tra
modello ed errore. Di seguito sono analizzati alcuni stimatori panel comunemente in uso,
soprattutto nella letteratura empirica di oltre oceano, per la valutazione dei programmi di
formazione.
9.1
Il modello ad effetti fissi
Si consideri un modello di regressione del tipo
Y = Xβ + D α + U
(33)
con E (U ) = 0 . La letteratura convenzionale è interessata al parametro α e il problema di
selezione nasce dalla correlazione tra D e U. I risultati potenziali differiscono proprio della
costante α. Nell’ipotesi di dati longitudinali, se si assume U1 ,t = U 0 ,t = U t cosicché
Y1 ,t − Y0 , t = α , è possibile che problemi di stima insorgano a causa della dipendenza di α da X
e, dunque, α( X ) . L’assunzione necessaria all’identificazione del modello, così come per lo
stimatore before-after illustrato precedentemente è che:
E (U 0 , t | X , D = 1) = E(U 0 ,t −1 | X , D = 1) t > k > t − 1
(34)
dove k rappresenta il periodo di occorrenza della partecipazione al programma.
Si possono ipotizzare differenti strutture per l’errore U che soddisfano o meno
l’assunzione di identificazione. L’ipotesi è soddisfatta, ad esempio, nel caso in cui l’errore
abbia una struttura del tipo “permanent-transitory”, ossia:
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
377
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
U t = φ + εt
(35)
dove εt è una variabile casuale con media zero, non autocorrelata e indipendente
rispetto a φ. Ma problemi differenti insorgono nelle ipotesi più realistiche di errore con
struttura autoregressiva del primo ordine o stazionario in covarianza. Il vantaggio del metodo
panel con effetti fissi consiste chiaramente nel fatto che per la stima non è necessario avere un
gruppo di controllo poiché il coefficiente d’interesse è dato da:
α = E (Yt | D = 1) − E (Yt −1 | D = 1)
(36)
e, di conseguenza non sono richieste informazioni su coloro i quali non partecipano al
programma ma solo sui partecipanti. Ad ogni modo, in presenza di non stazionarietà, ossia se
βt ≠ βt −1 non è più possibile fare a meno del gruppo di controllo. Lo stimatore ad effetti fissi
è anche robusto rispetto a problemi di campionamento non casuale.
9.2
L’utilizzo di dati cross section ripetuti nel tempo
Alcuni metodi validi per la stima con dati panel possono essere utilizzati anche avendo
a disposizione dati cross section ripetuti nel tempo. I metodi per la costruzione e gli stimatori
applicabili a questi dati cosiddetti pseudo panel non vengono illustrati in questa sede. Ci si
limita infatti ad illustrare una possibile applicazione alle cross section ripetute dello stimatore
panel con effetti fissi.
Si assuma che:
E (U t | D = 1) = E (U t −1 | D = 1)
(37)
E (U t | D = 0) = E (U t −1 | D = 0)
per t e t − 1 in modo tale che t > k > t − 1 . Il parametro d’interesse può essere definito
in termini di momenti riferiti alla popolazione come:
α = [E (Yt | D = 1) − E (Yt | D = 0)] − [E(Yt −1 | D = 1) − E(Yt −1 | D = 0 )]
(38)
con il corrispettivo termine riferito al campione rappresentato da:
(
(1)
( 0)
)(
(1)
( 0)
)
αˆ = Y t − Y t − Y t −1 − Y t −1 .
(39)
Se il campionamento è casuale, ne consegue la consistenza di α̂. In presenza di più di
due cross section l’assunzione su cui si basa questo stimatore può essere sottoposta a test.
Naturalmente, nel caso in cui quest’assunzione viene meno e l’errore presenta una struttura
autoregressiva o altro, i problemi di stima si complicano notevolmente e la consistenza non è
assicurata.
10
La pratica econometrica e la scelta dei dati
Uno dei principali insegnamenti che si può derivare dalla letteratura sulla valutazione
dei programmi di formazione è che la scelta effettuata dal valutatore in merito ai dati
utilizzati, la costruzione del gruppo di controllo e la specificazione del modello econometrico
ha effetti rilevanti sull’effetto stimato della partecipazione al programma. La scelta del gruppo
di controllo può influenzare, ad esempio, le proprietà statistiche di uno stimatore applicato al
campione. Sotto alcune condizioni, per alcuni gruppi di controllo, il semplice confronto tra
medie dei trattati e dei non-trattati può essere in grado di identificare il parametro d’interesse.
Al fine di valutare gli effetti delle politiche adottate è quindi fondamentale la scelta della fonte
dei dati per la costruzione del gruppo dei trattati e del gruppo di controllo. Sia nelle
valutazioni sperimentali che non sperimentali, la scelta riferita ai dati ha un impatto decisivo
sul costo della valutazione, sulla grandezza del campione esaminato (che influenza la
dimensione dell’effetto del training riconoscibile sotto il profilo statistico), sul tipo di
risultato misurabile, sul periodo temporale di osservazione della variabile risultato e sulle
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
378
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
caratteristiche dell’errore di misurazione della stessa. Una tipologia di dati utilizzabili allo
scopo di valutare gli esiti del programma può essere definita come segue.
• Dati provenienti da indagini preesistenti non attuate in relazione al programma.
Il vantaggio di usare set di dati già esistenti consiste chiaramente nel costo limitato e
nella dimensione del campione. Usare un set di dati già esistenti ha il vantaggio di limitare il
costo del disegno del campionamento e della raccolta dati e rende possibile la costruzione di
cross section ripetute e pseudo panel. Gli svantaggi consistono in primo luogo nelle difficoltà
associate alla costruzione del gruppo di controllo e nel fatto che è impossibile ottenere
variabili d’interesse specifiche in relazione al programma. Per l’Italia, un esempio è
l’indagine trimestrale sulle forze di lavoro ISTAT.
• Dati amministrativi.
Questi dati contengono informazioni raccolte per fini fiscali o di assistenza sociale. Il
vantaggio consiste nel basso costo e nel fatto che si suppongono immuni da alcuni tipi di
errore di misurazione. Lo svantaggio consiste nel fatto che spesso non contengono molte
informazioni sugli individui. I dati INPS rappresentano, in Italia, un set di dati con queste
caratteristiche.
• Dati raccolti espressamente per la valutazione del programma.
In questo caso il valutatore ha il pieno controllo sulle informazioni raccolte e, di
conseguenza, può rilevare le variabili specifiche d’interesse e, nel caso di metodologie nonsperimentali, alla luce del modello econometrico da utilizzare. Un ulteriore vantaggio è che
per la costruzione del gruppo di controllo si possono utilizzare soggetti all’interno dello stesso
mercato del lavoro locale. Naturalmente, la raccolta di dati specifici ha un costo elevato. A
questa categorie di dati appartengono quelli raccolti da società come ERVET per l’EmiliaRomagna e IReR per la regione Lombardia al fine di valutare l’impatto dei corsi di
formazione in queste regioni nell’ambito dei progetti realizzati con l’ausilio del Fondo Sociale
Europeo.
• Dati provenienti da fonti diverse.
Questa può essere la soluzione alla limitatezza delle informazioni provenienti dall’uso
di un’unica fonte. In Italia, l’ISFOL ha utilizzato questa metodologia al fine di fornire una
misura dell’efficacia della formazione professionale quale strumento di politica attiva del
lavoro nelle regioni del centro-nord.
Conclusioni
Le questioni metodologiche discusse in questo studio sono incentrate sui seguenti
punti.
•
•
•
•
Nella valutazione dell’impatto della formazione professionale è necessario
riconoscere la molteplicità dei parametri d’interesse. Questa molteplicità discende
anche dalla documentata eterogeneità dell’impatto sia sui singoli individui che su
differenti collettività. Questa eterogeneità ha, a sua volta, un impatto sulle
proprietà formali degli stimatori utilizzati.
La scelta di un metodo di valutazione dipende dalla variabile risultato d’interesse
e dal modello economico che genera la partecipazione al programma e il risultato
stesso.
Non esiste una metodologia universalmente corretta per costruire il gruppo di
controllo d’interesse. Anche la metodologia sperimentale è valida solo in base a
specifiche assunzioni comportamentali.
Il fatto che differenti stimatori conducono a differenti risultati è coerente con il
fatto che ciascuno di essi risolve differentemente il problema del sample selection
bias.
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
379
Primo rapporto di ricerca sul sistema di monitoraggio del mercato del lavoro e di valutazione degli effetti occupazionali del POR Calabria
•
•
•
I dati ottenuti con metodologia sperimentale non necessariamente riducono la
distorsione in misura maggiore rispetto a quelli ottenuti con metodologie non
sperimentali.
Le metodologie sperimentali pur permettendo di superare il problema della
costruzione e specificazione del modello econometrico ai fini di valutare gli effetti
del programma, consentono di identificare un numero limitato di parametri e ne
escludono alcuni che possono essere di grande interesse per il policy maker.
Obiettivo di chi deve implementare uno specifico disegno di politica economica
dovrebbe infatti essere quello di rispondere a dei quesiti posti da modelli
economici teoricamente fondati.
L’implementazione di programmi su larga scala ha sicuramente un impatto su
tutta la popolazione, anche dei non trattati. La valutazione degli effetti indiretti del
programma resta dunque una questione aperta di cui il valutatore deve
necessariamente occuparsi.
Dipartimento di Economia e Statistica, Università della Calabria, Arcavacata di Rende (CS)
380
