Evaluarea politicilor publice

Evaluarea politicilor publice este o activitate de cercetare și practică profesională (funcția cognitivă) care vizează învățarea din experiență prin formularea de recomandări pentru schimbare (funcția instrumentală) și exprimarea judecăților bazate empiric (funcția normativă) asupra proiectelor, proceselor, rezultatelor, efectelor a politicilor publice. Evaluarea politicilor publice este un domeniu al analizei politicilor publice .

Unele clasificări

Abordarea sistematică a lui Rossi, Freeman și Lipsey

Autorii menționați anterior propun o abordare sistematică a evaluării politicilor publice ( evaluarea programului ), care este în esență structurată pe unele întrebări pe care evaluatorul nu le poate evita:

care sunt scopurile evaluării în cauză?
care este structura și contextul în care se află programul analizat?
cum ar trebui stabilită relația cu părțile interesate ?
care sunt întrebările de evaluare la care trebuie răspuns?
care sunt metodele aplicabile pentru a da răspunsuri solide la întrebările puse?

Întrebările de evaluare identificate de autori sunt cinci și constituie cinci etape ale procesului de evaluare a unei politici publice :

evaluarea nevoilor sociale la care programul dorește să răspundă
evaluarea teoriei care stă la baza programului
evaluarea / implementarea procesului
evaluarea impactului / efectului
evaluarea eficienței

Aceste tipuri de evaluare se găsesc într-o relație ierarhică între ele. Nivelul fundamental al ierarhiei este constituit de evaluarea problemei sociale căreia i se adresează programul. Mai jos puteți răspunde la celelalte patru întrebări în ordine. Omiterea unuia dintre pași a arătat un risc de greșeală, deoarece, în general, o evaluare a unui nivel ierarhic mai ridicat necesită cunoașterea și analiza aspectelor politicii (politicii) referitoare la nivelurile inferioare ale evaluării ierarhiei (ierarhia evaluării ).

De exemplu, dacă rezultatele evaluării impactului unei politici X sunt negative, ce concluzii se pot trage? Unde a fost eșecul? Nu ați înțeles pe deplin problemele sociale? Teoria politicii a fost construită pe un lanț cauzal greșit de acțiuni-efecte ( eșecul teoriei )? A eșuat ceva în faza de eșec a implementării ? Este evident că, dacă nu se ia în considerare ciclul politic în întregime, nici evaluatorul și nici factorul de decizie nu vor fi capabili să înțeleagă cauzele eșecului și să acționeze în consecință ( învățare ). Același raționament s-ar aplica în mod evident în fața rezultatelor pozitive: prin faptul că nu se iau în considerare unele faze ale politicii, este imposibil să se interpreteze rezultatele / efectele estimate cu evaluarea impactului.

Evaluarea nevoilor cărora li se adresează programul ( evaluarea nevoilor )

Cu acest studiu de evaluare încercăm să răspundem la întrebarea „care este problema?”. O serie de întrebări și întrebări epistemologice apar în jurul acestei întrebări simple, care aici nu are sens să se ocupe, dar pe care cercetătorul , totuși, nu o poate trece cu vederea. Scopul acestui tip de evaluare (care poate fi realizat atât în avans, cât și retrospectiv) încearcă să definească problema în dimensiunea, tendințele (tendințele) și particularitățile sale, utilizând atât date tehnice, cât și cantitative, care metodologia de cercetare calitativă permite descrierea problemei și să ia în considerare diferitele percepții ale acestora de către diferitele părți interesate . De asemenea, este necesar să se definească cine sunt subiecții țintă: individual sau colectiv, direct sau indirect etc.

Evaluarea teoriei programului

Teoria programului poate fi definită ca ansamblul de ipoteze despre rezultatele pe care programul în cauză se așteaptă să le producă și despre strategiile și tacticile pe care programul intenționează să le adopte pentru a-și atinge obiectivele. Teoria este împărțită de autori în două componente:

prima este teoria impactului și se referă la schimbarea așteptată în urma programului în funcție de un lanț de evenimente și legături cauzale (din acțiunea A se așteaptă un rezultat B);
a doua este teoria procesului care descrie pașii, activitățile care trebuie desfășurate în organizarea și implementarea intervențiilor.

Teoria unei politici poate fi „explicită” sau „implicită”. Cercetătorul-evaluator are sarcina de a o defini prin diverse surse de informații: documentație administrativă, interviuri cu factorii de decizie și părțile interesate , observarea directă a funcțiilor programului, literatura de științe sociale. În acest fel, este posibilă colectarea a trei tipuri de informații: obiectivele politicii, funcțiile programului, componentele și activitățile și logica secvențială care leagă funcțiile, activitățile și produsele. O bună analiză a teoriei care stă la baza unei politici face posibilă: înțelegerea obiectivelor, identificarea funcțiilor și activităților planificate și, eventual, contribuția la reproiectarea unei politici.

Dacă teoria care stă la baza unei politici este considerată bine definită și justificată, atunci este posibil să se continue cu evaluarea. În caz contrar, nu ar avea sens să continuăm, deoarece orice rezultat care ar fi obținut ar fi imposibil de interpretat în raport cu politica. De exemplu, dacă - în urma unei analize de impact realizate riguros - efectele asupra populației țintă ale politicii în cauză sunt estimate a fi pozitive, cum este posibil să atribuim „meritele” factorilor de decizie fără a analiza mai întâi teoria sau cum a fost concepută politica? În cazul în care politica a fost prost concepută, s-ar putea concluziona că fie rezultatele obținute se datorează întâmplării, fie în timpul fazei de implementare, actorii nu au respectat programele și au acționat „independent” (în acest caz, un eșec de implementare ar determina succesul politicii).

Evaluarea procesului de implementare ( evaluarea procesului )

Scopul acestui tip de evaluare este de a cunoaște „ce este cu adevărat programul” și dacă serviciile / intervențiile ating efectiv populația țintă sau nu. Poate fi realizat ex post ( evaluarea procesului de program ), necesar pentru evaluarea impactului, sau in itinere ( monitorizarea continuă a programului ), necesar în principal managerilor de programe, deoarece oferă feedback regulat cu privire la implementarea intervențiilor.

Evaluarea procesului de implementare a unei politici își asumă o anumită relevanță și din perspectiva responsabilității sau a „responsabilității”, întrucât oferă o explicație tuturor posibililor factori interesați de „ceea ce face organizația”. Unele aspecte ale analizei sunt nivelul de participare / implicare a populației țintă , nivelul de „distorsiune” (părtinire) pentru a furniza un serviciu (de exemplu, un subgrup participă mai mult decât altele) și nivelul de abandon (abandon). Comparând rezultatele acestei analize cu teoria schimbării care stă la baza politicii, este posibil să știm dacă politica este implementată așa cum a fost planificată sau nu ( eșecul implementării ).

Un eșec al implementării se poate datora neexecutării intervenției, executării sale parțiale, furnizării unui serviciu greșit sau conform unor criterii departe de cele prescrise, unei livrări diversificate în rândul populației țintă sau a diferitelor modalități implementarea între diferite unități teritoriale responsabile (de exemplu, centre de ocupare a forței de muncă). Cunoașterea acestor abateri de la program este esențială pentru efectuarea unei analize de impact.

Evaluarea efectelor politicii ( evaluarea impactului )

Rezultatele (efectele) unui program pot fi estimate și interpretate în mai multe moduri. Evaluatorul trebuie să înțeleagă și să definească ce efect vrea să influențeze politica. Identificarea și măsurarea legăturii cauzale dintre variabila de tratament (produsul sau rezultatul ) și această variabilă dependentă (variabila efect sau rezultat ) constituie provocarea acestui tip de evaluare. Rezultatul variabil poate fi luat în considerare din diferite puncte de vedere:

nivel de rezultat : este nivelul, starea, a caracteristicii populației țintă sau a condiției sociale asupra cărora intenționează să acționeze politica , măsurată la un moment precis în timp (de exemplu, rata criminalității într-un cartier măsurată în timp t );
schimbarea rezultatului : este diferența dintre două măsurători ale aceleiași variabile de rezultat la momente diferite (de exemplu, diferența dintre rata criminalității în timpul t și în timpul t +1, adică după o intervenție de reamenajare urbană);
efectul programului ( impact ): este porțiunea de modificare a rezultatului care poate fi atribuită programului (porțiunea de deviere dintre cele două măsurători ale ratei criminalității atribuibile exclusiv intervenției de reamenajare urbană).

Identificarea rezultatelor relevante, măsurarea acestora, alegerea și aplicarea tehnicilor de măsurare și estimare constituie atât de multe subiecte care nu pot fi abordate aici și că, în orice caz, nu se pretează la raționamente metodologice generale, deoarece sunt strâns legate de situații specifice.

Autorii subliniază importanța distincției dintre:

monitorizarea și măsurarea rezultatelor
evaluarea impactului (conform metodelor experimentale și non-experimentale)

Monitorizarea programului poate fi definită ca o colecție sistematică de aspecte ale performanței unui program care indică dacă funcționează așa cum a fost intenționat inițial sau în conformitate cu anumite standarde stabilite anterior. Obiectul monitorizării este performanța programului, care poate viza atât produsele, rezultatele , cât și procesul de implementare. Monitorizarea, deși se bazează pe observarea indicatorilor referitori la rezultate, nu este definită ca „evaluarea efectelor”.

Evaluarea impactului poate fi efectuată numai după efectuarea evaluărilor plasate în etapele inferioare ale „ierarhiei”. Vorbim despre o evaluare a cutiei negre - programul este o „cutie neagră” - atunci când evaluatorul efectuează o analiză a impactului fără să știe nimic despre procesele care au generat aceste efecte.

În instituțiile publice, procesul de evaluare are loc în următorii termeni:

a) Construcția „cutiei negre” ^[1] , preluând metafora dispozitivului prezent în avioane , care servește la reconstituirea jurnalului de zbor, este obișnuit să se indice un prototip euristic care să conducă la noi concluzii și descoperiri în fiecare domeniu , de exemplu. liberul arbitru sau un dispozitiv sinderetic care vă permite să alegeți între bine și rău. b) „Stabilizarea artefactelor” ^[2] , adică setul de procese de traducere care permit reelaborarea acestora (de exemplu, Forumul AP conține propriul său panou de informații dedicat cărților, conferințelor și seminariilor).

Practic este o analiză comparativă: grup de tratați în comparație cu grupul de control; sau valoarea de fapt versus valoarea contrafactuală (estimarea valorii pe care ar fi avut-o rezultatul variabil dacă grupul de tratate nu ar fi fost supus tratamentului). Proiectele de analiză a impactului variază foarte mult și este posibil să se identifice două aspecte ale evaluării impactului:

Proiecte experimentale clasice ( experimente de câmp randomizate ): această metodă se bazează pe alocarea aleatorie a unităților observate grupului care va fi supus tratamentului sau celui care nu. Randomnessul asigură că cele două grupuri sunt în medie egale. Efectul programului este estimat prin compararea valorilor variabilelor de rezultat ale celor două grupuri după administrarea tratamentului (valoarea grupului tratat reprezintă faptul, în timp ce cea a grupului de control este contrafactualul).

În ciuda tuturor limitărilor la care este supus (fezabilitate, costuri, considerații etice, timpi etc.), acest tip de proiectare este considerat de mulți a fi metoda de evaluare prin excelență ( standardul de aur al evaluării ).

Proiecte cvasi-experimentale non-randomizate sau alte metode non-experimentale: în cvasi-experimente grupurile sunt formate ex post și nu cu metoda de atribuire aleatorie . Problema în acest caz este limitarea distorsiunilor datorită faptului că cele două grupuri nu sunt echivalente. Pot fi identificate două tipuri de prejudecăți :

a) prejudecată de selecție : cele două grupuri nu sunt egale; b) maturizarea (distorsiunea de la „dinamica spontană”): rezultatul variabil variază independent de intervenția publică; Unele tehnici statistice utilizate pentru a stopa aceste probleme de distorsiune și pentru a formula estimări valide sunt: potrivirea statistică , analiza regresiei multiple , proiectarea discontinuității regresiei , diferența de diferență , analiza seriilor temporale întrerupte .

Analiza eficienței

Evaluarea eficienței, precum și evaluarea impactului, sunt mai potrivite pentru programe mature și stabile. Poate fi realizat ex ante (pentru alegeri alocative în prezența resurselor limitate - eficiență alocativă) sau ex post (ca o extensie a evaluării impactului). Autorii identifică două subcategorii:

analiza cost-beneficiu (efectele programului sunt exprimate în termeni monetari)
analiza cost-eficacitate (efectele programului nu sunt transformate în termeni monetari)

Evaluarea pe măsură

Fiecare evaluare trebuie „adaptată” ^[3] și, deși proiectarea evaluării poate varia în complexitate, activitatea de evaluare este întotdeauna influențată de:

scopurile evaluării
structura conceptuală și organizațională a programului / proiectului / serviciului
resursele disponibile pentru evaluarea însăși.

Evaluatorul este sfătuit să pună următoarele întrebări: Ce aspecte ale planului de evaluare trebuie să fie personalizate? Ce considerații ar trebui să ghideze evaluatorul în faza de planificare a unei evaluări? Nu există linii directoare rigide care să ghideze proiectarea unui plan de evaluare care să reprezinte întotdeauna un efort creativ și de colaborare. Fiecare proiect de evaluare este structurat în jurul următoarelor trei puncte:

Natura relației dintre evaluator și părțile interesate
Întrebările de evaluare
Metode de evaluare

Clasificarea pe baza nevoilor cognitive

Schimbând perspectiva, adică luând în considerare nevoile cognitive, evaluarea poate lua cinci forme diferite:

Proiectarea politicilor și a programelor : evaluarea ca instrument de alocare a resurselor pentru utilizările cele mai meritate
Controlul managementului : evaluarea ca instrument pentru controlul performanței în cadrul organizațiilor
Responsabilitate : evaluare ca vehicul care să țină seama de realizările realizate într-un anumit domeniu de acțiune publică
Implementare : evaluarea ca instrument pentru analiza critică a proceselor de implementare a unei politici
Învățare : evaluare ca estimare a efectelor produse de o politică (Martini, Cais 1999).

„Evaluarea” ca instrument de alocare a resurselor celor mai meritate utilizări

În acest caz, „evaluarea” constă într-o judecată comparativă asupra diferitelor obiecte, pentru a identifica cele mai bune sau cele mai meritate. Aceasta este practic ceea ce este denumit în mod obișnuit o evaluare ex ante , deși nu există un acord în acceptarea acesteia ca evaluare în sens strict. Procedurile constau din trei pași esențiali: a) determinarea criteriilor (scoruri și ponderi); b) examinarea N / obiectelor; c) agregarea judecăților în funcție de diferite tehnici (identificarea celor mai bune, excluderea celor mai rele, formularea clasamentelor). Logicii acestei evaluări îi aparțin:

selectarea proiectului (cereri de oferte)
evaluarea managementului
evaluarea cercetării științifice
analize cost-beneficiu ale alternativelor
analiza multi-criteriu

Evaluarea ca instrument de control al performanței în cadrul organizațiilor

Această analiză răspunde la necesitatea de a ști dacă și în ce măsură o organizație, sau mai degrabă o singură unitate organizațională, funcționează bine (așa cum ar trebui). Este o analiză a performanței care se concentrează pe costuri, calitatea performanței, volumele de activitate. Este o măsurare a abaterilor dintre valorile observate și valorile „optime”. Informațiile produse au relevanță de management intern. Există cinci faze ale acestui tip de analiză:

identificarea dimensiunilor de verificat
definirea indicatorilor care reprezintă dimensiunile sau părțile acestora
identificarea standardelor adecvate pentru fiecare indicator
colectare de date
interpretarea abaterilor datelor observate de la standarde .

Următoarele se bazează pe această logică (deși nu constituie în mod corespunzător metode de evaluare): - controlul managementului - certificarea calității - acreditarea organizațiilor - sondaje de satisfacție a clienților

Evaluarea ca vehicul care să țină seama de realizările realizate într-un anumit domeniu de acțiune publică

Având în vedere un complex de intervenții care utilizează resurse publice, a căror utilizare ne dorim (sau trebuie) să o dăm la răspundere, evaluarea este acel proces de măsurare sistematică și comunicare a realizărilor realizate (și a „rezultatelor” obținute). Are o valoare predominant descriptivă, pune un anumit accent pe cantitățile agregate, care oferă o imagine de ansamblu a efortului săvârșit de organizație . Ca instrument de raportare, evaluarea este adecvată în special organizațiilor complexe și multifuncționale sau programelor mari de intervenție publică. Impactul decizional al acestui tip de evaluare nu este imediat și își asumă predominant o valoare „comunicativă”. Termenii cheie sunt: transparență, responsabilitate și legitimitate. Destinatarii acestei evaluări pot fi așa-numiții părți interesate, organisme sau organizații superordonate sau, mai general, toți cetățenii.

În centrul unei relații de responsabilitate se află practic angajamentul de a face ceva pentru altcineva. Acest angajament poate fi impus de partea externă, convenit sau contractat între părți sau oferit în mod voluntar de către partea delegată în schimbul atribuirii responsabilității. Informațiile colectate și prelucrate pentru a sprijini această funcție trebuie, prin urmare, să verifice în mod esențial că „lucrurile promise au fost făcute, făcute la timp și făcute bine”.

Autorii subliniază ambiguitatea termenului obiectiv, care poate lua două semnificații:

Obiectiv ca urmărirea unui obiectiv stabilit a priori și cuantificate (sau cuantificabile). Ținta poate fi un anumit volum de producție, finalizarea unui proiect, atingerea nivelurilor de calitate ale unui serviciu. Verificarea dacă obiectivul a fost atins în acest caz înseamnă în esență „compararea țintei prestabilite cu ceea ce a fost obținut / realizat / produs”, iar aceasta este esența informațiilor produse pentru a susține responsabilitatea .
Obiectiv ca modificare a unei situații considerate nedorite prin utilizarea instrumentelor de intervenție publică (de exemplu, reducerea dependenței de droguri , creșterea concurenței pe piețe , reducerea poluării etc.). În acest caz, „verificarea dacă obiectivele au fost atinse” înseamnă mult mai mult decât o verificare a „lucrurilor făcute”, atunci când este atins un obiectiv prestabilit. Aici apare în esență o problemă de atribuire a cauzalității și, în al doilea rând, de identificare a motivelor (organizaționale, contextuale) pentru care s-a produs sau nu schimbarea. Aici nu ne mai confruntăm cu o nevoie de responsabilitate , ci de învățare (vezi mai sus ).

Colectarea și interpretarea informațiilor pentru a sprijini funcția de responsabilitate este orice altceva decât banală, chiar dacă depășește problema atribuirii cauzalității. Colectarea și interpretarea informațiilor necesare pentru ca cineva să își dea seama cu adevărat de acțiunile sale nu este ușoară. Cea mai mare provocare vine în momentul final, care constă în emiterea unei judecăți cu privire la performanța subiectului care trebuie să răspundă pentru acțiunile lor. Spre deosebire de atribuirea cauzalității, care se poate face cu instrumente relativ formalizate și riguroase ale științelor sociale, aici este vorba de a face o atribuire mai informală a responsabilității.

Evaluarea ca instrument pentru analiza critică a proceselor de implementare a unei politici

Obiectul analizei în acest caz nu este nici să judece performanța, nici să dea seama de realizări. Obiectul evaluării este în acest caz așa-numita cutie neagră , adică faza procesului unei politici în care ideile și programele sunt transformate în acțiuni și practici administrative. Cu alte cuvinte, prin instrumente în principal calitative, sunt studiate procesele de implementare a politicilor publice (cercetare de implementare).

Câteva practici legate de această tendință:

descrierea a ceea ce sa făcut (monitorizare)
comparație între ceea ce a fost creat și designul original
examinarea sistematică a punctelor tari și a punctelor slabe.

Evaluarea ca estimare a efectelor produse de o politică

Este evaluarea în sens strict. Reprezintă un instrument care ajută la înțelegerea dacă o intervenție publică produce efectele dorite. Deși este o evaluare ex post , este o evaluare prospectivă, în măsura în care îi ajută pe factorii de decizie să reorienteze proiectarea politicilor pe baza estimărilor produse. Aceasta este o evaluare care trebuie păstrată în mod clar distinctă de raportul de evaluare. Cele două tipuri de evaluare, așa cum am menționat deja, răspund nevoilor cognitive diferite și, prin urmare, utilizează propriile metode și instrumente pentru colectarea, analiza și comunicarea datelor. Evaluarea, înțeleasă ca învățare , face parte din tendința cercetării / evaluării programului american de evaluare (vezi Rossi, Freeman și Lipsey). Acesta vizează o intervenție precisă, în timp ce responsabilitatea este generală; informațiile produse de evaluarea intenționată ca învățare sunt aprofundate și circumscrise, în timp ce cele produse de răspundere sunt periodice, descriptive și simplificate; din nou, acest tip de evaluare utilizează metode cantitative și calitative ale științelor sociale (bazate pe abordarea contrafactuală), în timp ce responsabilitatea menține în principal o abordare tipică a logicii de control.

Notă

^ Gherardi S., Nicolini D., (2004) Învățarea și cunoașterea în organizații , Roma, Carocci, p. 112
^ Ibidem
^ Henry Rossi P., Lipsey MW, Freeman HE (2004) Evaluare: o abordare sistematică , New York, Sage

Bibliografie

Bezzi C. (2001), Proiectarea cercetării evaluative , Franco Angeli, Milano.
Capano G, Giuliani M. (2005), Dicționar de politici publice , Carocci Editore, Roma.
Leone L., Prezza M. (1999), Construirea și evaluarea proiectelor sociale. Manual de utilizare , Franco Angeli.
King JA, Lyons Morris L., Taylor Fitz-Gibbon C. (1987), How to evaluate Program Implementation , Sage Publications, Thousand Oaks, CA.
Martini A., Sisti M. (2009), Evaluarea succesului politicilor publice , Il Mulino.
Martini A., Mo Costabella L., Sisti M. (2006), Evaluarea efectelor politicilor publice: Metode și aplicații în cazul italian , Napoli, Formez.
Martini A., Sisti M. (2002), Indicatori de performanță sau analiză? Implicațiile experienței SUA în măsurarea performanței , Jurnal trimestrial de științe ale administrației.
Martini A., Cais G. (1999), Control (management) și evaluare (a politicilor): o încercare (încă o dată, dar nu în ultimul rând) de acomodare conceptuală , www.prova.org.
Palumbo M. (2001), Procesul de evaluare: Decizie, Programare, Evaluare , Franco Angeli, Milano.
Patton MQ (1986), Evaluare axată pe utilizare , Sage Publications Inc., CA
Patton, MQ (1990), Evaluare calitativă și metode de cercetare (ediția a doua), Sage, Newbury Park, CA.
Rossi PH, Lipsey MW, Freeman HE (2004), Evaluare: O abordare sistematică , Sage Publications, Inc., CA.
Rossi M. (2007) Proiecte de dezvoltare . FrancoAngeli, Milano
Scriven M. (1991), Tezaur de evaluare , ediția a IV-a, Sage, Newbury Park.
Romolini A. (2009) Controlul strategic în administrațiile publice , Milano, Angeli.
Rossi PH, Lipsey MW, Freeman HE (1999), Tailoring Evaluation , capitolul 2 din Evaluare, o abordare sistematică, Sage Publications, Inc., CA. Traducere în italiană în: Stame N. (2008) (editat de), Clasicii moderni ai evaluării , Franco Angeli, Milano.
Stame N. (1998), Experiența evaluării , Seria de studii sociale, Edițiile SEAM, Roma ISBN 888179117X .
Weiss CH (1998), Evaluare - Metode pentru studierea programelor și politicilor , Prentice Hall, Inc. NJ.
Weiss CH (1972), Cercetare de evaluare: Metode de evaluare a eficacității programului , Prentice Hall, Inc., NJ.