UNIUNEA EUROPEAN Fondul Social European

GUVERNUL ROMNIEI Ministerul Administraiei i Internelor

Inovaie n Administraie Programul Operaional Dezvoltarea Capacitii Administrative

ROMNIA MINISTERUL EDUCAIEI, CERCETRII I TINERETULUI UNIVERSITATEA BABE-BOLYAI CLUJ-NAPOCA

Str. Mihail Koglniceanu, nr. 1, 400084 Cluj-Napoca Tel. (00) 40-264-40.53.00*; 40.53.01; 40.53.02 ; 40.53.22 Fax (00) 40-264-59.19.06 E-mail: staff@staff.ubbcluj.ro

ANALIZA POLITICILOR PUBLICE I EVALUAREA PROGRAMELOR N ADMINISTRAIA PUBLIC

SUPORT DE CURS Asist. Univ. Dr. Karoly Mike Conf. Univ. Dr. Dan Sorin andor Lect. Univ. Dr. Raluca Grboan (Antonie) Asist. Univ. Drd. Bianca Cobrzan (Radu)

CUPRINS CAPITOLUL 1. INTRODUCERE ....................................................................................................3 1.1. Analiza politicilor publice - Noiuni de baz ..........................................................................6 1.2. Evaluarea .................................................................................................................................9 1.2.1. Scopul evalurii ...............................................................................................................9 1.2.2. Materia prim a evalurii ................................................................................................9 1.2.3. Definiii ale evalurii .....................................................................................................10 CAPITOLUL 2. ANALIZA PROBLEMELOR DE POLITIC PUBLIC ...................................13 2.1. Definirea problemelor de politic public.............................................................................13 2.1.1. Recomandri pentru definirea problemelor de politic public....................................14 2.1.2. Limitri n definirea i structurarea problemelor de politic public ...........................15 2.1.3. Beneficii ale structurrii problemelor de politic public ............................................17 2.2. Clasificarea problemelor de politic public.........................................................................18 3.3. Etape n structurarea problemelor de politic public...........................................................19 3.4. Metode de structurare a problemelor de politic public ......................................................22 CAPITOLUL 3. LUAREA DECIZIEI. EVALUAREA I COMPARAREA ALTERNATIVELOR ......................................................................................................................27 3.1. Formularea alternativelor noiuni introductive ..................................................................27 3.2. Metode de analiz a alternativelor i de luare a deciziei .......................................................30 3.2.1. Modelul atributelor multiple (modelul multiatribut) .....................................................30 3.2.2. Arbori de decizie ............................................................................................................35 CAPITOLUL 4. METODE I MODELE DE EVALUARE A PROGRAMELOR ........................39 4.1. Tipuri de evaluare .................................................................................................................39 4.2. Metode i tipuri de evaluare ..................................................................................................41 4.3. Modele utilizate n evaluarea de programe ...........................................................................43 CAPITOLUL 5. METODE DE CERCETARE UTILIZATE N EVALUARE ..............................51 5.1. Metode cantitative utilizate n evaluarea de proiecte ............................................................52 5.2. Metode calitative utilizate n evaluarea de proiecte ..............................................................56 5.2.1. Observaia ......................................................................................................................57 5.2.2. Interviul individual .........................................................................................................59 5.2.3. Focus grupul (FG) .........................................................................................................60 5.2.4. Analiza documentelor.....................................................................................................62 5.3. Metode complexe de cercetare ..............................................................................................64 CAPITOLUL 6. INDICATORII PROGRAMULUI........................................................................67 6.1. Indicatori simpli ....................................................................................................................68 6.2. Indicatori compozii ..............................................................................................................72 6.3. Analiza cost-beneficiu i analiza cost-eficien ....................................................................73 6.4. Evaluarea multi-atribut..........................................................................................................75 BIBLIOGRAFIE ..............................................................................................................................77 ANEXA 1. FI EVALUARE PROIECT ......................................................................................83 ANEXA 2. CHESTIONAR .............................................................................................................86 ANEXA 3. EXEMPLE DE INDICATORI DE OUTPUT SI DE REZULTAT ..............................91

PROGRAM POSTUNIVERSITAR N MANAGEMENTUL ADMINISTRAIEI PUBLICE Syllabus pentru disciplin ANALIZA POLITICILOR PUBLICE I EVALUAREA PROGRAMELOR N ADMINISTRAIA PUBLIC
I. INFORMAII GENERALE DESPRE CURS: Titlul disciplinei: Analiza Politicilor Publice i Evaluarea Programelor n Administraia Public Semestrul: II Locul de desfurare: Facultatea de tiine Politice Administrative i ale Comunicrii, str. Gen. T. Mooiu, nr. 71, Cluj-Napoca II. INFORMAII DESPRE TITULARUL DE CURS, SEMINAR, LUCRARE PRACTIC SAU LABORATOR: Nume, titlul tiinific: Conf. Univ. Dr. Dan Sorin andor Informaii de contact: sandor@polito.ubbcluj.ro Ore de audien: Miercuri, 10-12, Sala I/4 Nume, titlul tiinific: Lect. Univ. Dr. Raluca Grboan (Antonie) Informaii de contact: ralucaantonie@gmail.com Ore de audien: Luni, 18.00-20.00, Sala I/4 Nume, titlul tiinific: Asist. Univ. Drd. Bianca Cobrzan (Radu) Informaii de contact: bianca.radu@apubb.ro Ore de audien: Luni, 14-16, Sala I/6 III. DESCRIEREA DISCIPLINEI: Obiectivele cursului: Prezentarea relaiei dintre analiza politicilor publice i evaluarea programelor. Cunoaterea noiunilor de politic public i evaluarea programelor; Aprofundarea tipurilor de evaluare; Prezentarea etapelor evalurii programelor i politicilor publice. Competene dobndite: Abilitatea de a nelege i de a aplica metodele i tehnicile de evaluarea a programelor i a politicilor publice; Capacitatea de redare i de interpretare a etapelor presupuse de analiz a unei politici publice i a unui proiect; Capacitatea de a face diferena ntre un studiu valid din punct de vedere tiinific i unul nevalid. Metode de predare: expunerea, descrierea, problematizarea, studii de caz IV. BIBLIOGRAFIE: Bibliografia obligatorie: 1. Bardach, E., A Practical Guide for Policy Analysis. The Eightfold Path to More Effective Problem Solving, Washington, D.C.: CQ Press, 2009. 2. Cerkez, M., Evaluarea programelor i politicilor publice. Teorii, metode i practice, Iai: Polirom, 2009. 3. Dunn, W.N., Public Policy Analysis. An Introduction, 4th edition, New Jersey: Pearson, 2008.

4. Grboan (Antonie), Raluca, Metode utilizate n evaluarea programelor: analiza impactului social, Editura Accent, Cluj-Napoca, 2006. 5. Rotariu, T. i Ilu, P., Ancheta sociologic i sondajul de opinie: teorie i practic, Iai: Polirom, 2001. 6. andor, S.D., Analiz i cercetare n administraia public, Cluj-Napoca: Ed. Accent, 2005. Bibliografie opional: 1. Barrow, C.J., Social Impact Assessment: An Introduction, Oxford University Press USA, 2001. 2. Chelimski, E. i Shadish, W.R. (editori), Evaluation for the 21st Century, Thousand Oaks, CA: SAGE Publications, 1997. 3. Ewen, M.J., Public Policy. The Competitive Framework, Melbourne, Oxford University Press, 2006. 4. Junjan, V., Decizia n administraia public, Cluj-Napoca: Ed. Accent, 2000. 5. Mrginean, I., Politica Social. Studii 1990-2004, Expert, 2004. 6. Miroiu, A., Introducere n analiza politicilor publice, suport curs SNSPA, 2001. 7. Patton, C.V. i Sawicki, D.S., 1993, Basic Methods of Policy Analysis and Planning, 2nd edition, New Jersey: Prentice Hall. Materialele sunt disponibile att pe site-ul facultii: www.apubb.ro, ct i n cadrul bibliotecii facultii, unele fiind achiziionate n cadrul proiectului Program Postuniversitar n Managementul Administraiei Publice cofinanat din Fondul Social European prin intermediul Programului Operaional Dezvoltarea Capacitii Administrative. Resurse WEB: 1. http://www.pbs.org/johngardner/chapters/4.html 2. http://en.wikipedia.org/wiki/Watts_Riots 3. http://www.evalsed.info 4. http://www.evaluate-europe.net/handbook/handbookpdf 5. http://www.soc.surrey.ac.uk/sru/SRU19.html 6. http://www.worldbank.org 7. http://www.cjph.ro/index.php?_init=public.parcuri_list& 8. http://www.iccv.ro 9. http://www.casaeuropei.com 10. http://www.dog-eared.com/socialecologypress/ V. MATERIALE FOLOSITE: calculatoare, instrumente de specialitate sau de laborator, echipament special VI. PLANIFICAREA/CALENDARUL NTLNIRILOR I A VERIFICRILOR SAU EXAMINRILOR INTERMEDIARE: 1. Analiza politicilor publice i evaluarea programelor noiuni de baz Data planificat: sptmna 1 Organizarea ntlnirii: 1 h curs, 2 h seminar Concepte: definire, etapele analizei politicilor publice, abordri, scop, materia prim a evalurii Bibliografie recomandat: Cerkez, M., Evaluarea programelor i politicilor publice. Teorii, metode i practice, Polirom, Iai, 2009. Grboan (Antonie), Raluca, Metode utilizate n evaluarea programelor: analiza impactului social, Editura Accent, Cluj-Napoca, 2006. 2. Analiza problemelor de politic public Data planificat: sptmna 2 Organizarea ntlnirii: 2 h curs, 1 h seminar Concepte: clasificarea problemelor de politic public, etapele procesului de analiz a politicilor publice, metode de structurare a porblemelor, limitri i beneficii cu privire la structurarea problemelor Bibliografie recomandat:

Dunn, W.N., Public Policy Analysis. An Introduction, 4th edition, New Jersey: Pearson, 2008. Bardach, E., A Practical Guide for Policy Analysis. The Eightfold Path to More Effective Problem Solving, Washington, D.C.: CQ Press, 2009. 3. Luarea deciziei. Evaluarea i compararea alternativelor Data planificat: sptmna 3 Organizarea ntlnirii: 2 h curs, 1 h seminar Concepte: noiuni introductive privind formularea alternativelor, metode de analiz a alternativelor n vederea lurii deciziei Bibliografie recomandat: Grboan (Antonie), Raluca, Metode utilizate n evaluarea programelor: analiza impactului social, Editura Accent, Cluj-Napoca, 2006 andor, S.D., Analiz i cercetare n administraia public, Cluj-Napoca: Ed. Accent, 2005. Junjan, V., Decizia n administraia public, Cluj-Napoca: Ed. Accent, 2000. 4. Metode i modele de evaluare a programelor Data planificat: sptmna 4 Organizarea ntlnirii: 2 h curs, 1 h seminar Concepte: tipuri de evaluare, modele utilizate n evaluarea de programe Bibliografie recomandat: Grboan (Antonie), Raluca, Metode utilizate n evaluarea programelor: analiza impactului social, Editura Accent, Cluj-Napoca, 2006 Rotariu, T. i Ilu, P., Ancheta sociologic i sondajul de opinie: teorie i practic, Iai: Polirom, 2001. 5. Metode de cercetare utilizate n evaluarea de proiecte Data planificat: sptmna 5 Organizarea ntlnirii: 2 h curs, 1 h seminar Concepte: observaia, interviul individual, focus grupul, analiza documentelor sondajul de opinie, chestionar componen, studiul de caz Bibliografie recomandat: Rotariu, T. i Ilu, P., Ancheta sociologic i sondajul de opinie: teorie i practic, Iai: Polirom, 2001 andor, S.D., Analiz i cercetare n administraia public, Cluj-Napoca: Ed. Accent, 2005. 6. Indicatorii programului Data planificat: sptmna 6 Organizarea ntlnirii: 1 h curs, 2 h seminar Concepte: indicatori simpli, indicatori compozii, analiza cost-beneficiu i analiza cost-eficien, evaluarea multi-atribut Bibliografie recomandat: Grboan (Antonie), Raluca, Metode utilizate n evaluarea programelor: analiza impactului social, Editura Accent, Cluj-Napoca, 2006. VII. MODUL DE EVALUARE: - 30% din nota final o reprezint activitatea de la seminar - 70% din nota final examen final scris VIII. DETALII ORGANIZATORICE, GESTIONAREA SITUAIILOR EXCEPIONALE: Se cere o prezen la ore de 75%. Este explicat noiunea de plagiat n mod expres. Consecinele plagiatului: nota 1 i n funcie de gravitatea abaterii, exmatricularea. Consecinele cazurilor de fraud la examen: anularea lucrrii, nota 1 i, n funcie de gravitatea cazului, exmatricularea.

CAPITOLUL 1. INTRODUCERE 1.1. Analiza politicilor publice Noiuni de baz Principalul termen cu care avem de a face este cel de politici publice. Avem de a face cu un termen care a cunoscut multe definiii i interpretri. A fost destul de greu de gsit un omolog n diferite limbi pentru forma original, public policy. Traducerea cuvnt cu cuvnt ar fi fost politic public, ceea ce ar fi dus la o confuzie cu politica. Soluia, adoptat prima dat de francezi i adoptat i la noi a fost de a scrie politici. Definiia cea mai simpl este probabil acea dat de Thomas Dye, dup care politicile publice sunt tot ceea ce o administraie decid s fac sau nu (Dye, 1972, p. 2). S-ar putea ca definiia aceasta s fie prea simpl, i poate c definiia urmtoare este mai bun: politicile publice sunt un set de decizii intercorelate luate de un actor politic sau de un grup de actori n ceea ce privete selectarea scopurilor i mijloacele de atingere a lor ntr-o anumit situaie n care aceste decizii ar trebui s fie, n principiu, n puterea de a le aduce la mplinire a acelor actori (Jenkins, 1987, p. 4). Dintr-un alt punct de vedere o politic public este o reea de decizii legate ntre ele privind alegerea obiectivelor, a mijloacelor i a resurselor alocate pentru atingerea lor n situaii specifice (Miroiu, 2001, p. 9). Am putea continua cu astfel de definiii, dar deja putem identifica termenul cel mai important din ecuaia politicilor publice, cel de decizie. Politicile publice sunt un proces extrem de complicat, n care exist muli actori, multe decizii, multe legturi cu alte politici publice adoptate sau n curs de adoptare, cu rezultate diferite pentru cei afectai de msurile luate (sau care nu au fost luate). Pentru a simplifica acest proces s-a introdus ceea ce se numete ciclul politicilor, n care procesul este mprit n mai multe etape. Etapele ar putea fi (Howlett i Ramesh, 1995, p. 11): Identificarea problemei, referitor la modul n care problema ajunge pe agenda guvernului; Formularea politicilor, faz n care sunt formulate diferite opiuni pentru o politic de adoptat; Luarea deciziilor, n care este ales un anumit mod de aciune; Implementarea, prin care politicile sunt puse n practic; Evaluarea, faz n care administraia i ali actori implicai monitorizeaz rezultatele, existnd posibilitatea ca politica s fie reformulat.
Identificarea problemei Evaluare

Formularea politicilor

Implementare

Luarea deciziilor

Figura 1: Etapele procesului de elaborare a politicilor publice. Sursa: Howlett i Ramesh, 1995

Termenul de analiz de politici publice a aprut n 1958, datorit lui Charles E. Lindblom, dar idei similare fuseser enunate de Harold Lasswell nc din 1951. Analiza politicilor publice are mai multe definiii: disciplina care folosete multiple metode de cercetare i de argumentare pentru a produce i a transforma informaia relevant pentru politici care poate fi utilizat n contexte politice pentru a rezolva probleme publice (Dunn, 1986, p. 60); o recomandare fcut clientului (Weimer i Vinning, 1989, p. 1); o art i un meteug: e o art, pentru c solicit intuiie, creativitate i imaginaie pentru a identifica, defini i construi soluii pentru probleme; i este un meteug, pentru c solicit stpnirea unei cunoateri metodologice, tehnice i interdisciplinare n domenii care merg de la economie la drept i la politic, la comunicare, administraie i management. Pe scurt, este o abordare orientat spre client (Geva-May i Wildavsky, 1997, p. xxiii). Analiza politicilor reprezint un alt mod de abordare a procesului de realizare a politicilor. Exist dou mari tipuri n care ea se poate realiza: a) ca analiz a politicilor: o activitate de cercetare (de multe ori academic) viznd n principal studierea, nelegerea teoretic a procesului de realizare a politicilor; b) ca analiz pentru politici: o activitate practic (de multe ori solicitat de un client), care vizeaz soluionarea unei probleme concrete. Ambele tipuri ne intereseaz i deseori este bine s le mbinm, astfel nct s evitm ca teoria s fie rupt de practic. Pe baza ideilor lui Carl V. Patton i David S. Sawicki (1993, pp. 52-63) putem defini analiza politicilor publice ca pe un proces cu 6 pai: definirea problemei, determinarea criteriilor de evaluare, identificarea unor politici alternative, evaluarea alternativelor, compararea lor i evaluarea rezultatelor. Modelul rezultat este:
1. Verificarea, definirea i detalierea problemei

6. Monitorizarea politicii implementate

2. Stabilirea criteriilor de evaluare

5. Compararea politicilor

3. Identificarea unor politici alternative

4. Evaluarea politicilor alternative

Figura 2: Procesul analizei politicilor publice.

Sursa: Patton i Sawicki, 1993, p. 52. Cu linie ntrerupt am reprezentat paii care nu sunt obligatorii. Ceilali pai este necesar s fie parcuri n ordinea stabilit pentru a putea realiza o analiz corect. 1. Verificarea, definirea i detalierea problemei. Din cauz c deseori obiectivele nu sunt clare (sau chiar pot fi contradictorii), acest pas este foarte important. Trebuie s vedem dac exist o problem, care este aceasta i care sunt principalele ei trsturi. Acest lucru se va face n principal prin discuiile cu toi actorii implicai. 2. Stabilirea criteriilor de evaluare. Pentru a putea compara i alege dintre mai multe politici trebuie s stabilim criteriile de comparaie. Trebuie s lum n calcul aspecte cum ar fi costurile i beneficiile, eficacitatea, eficiena, echitatea, legalitatea, posibilitatea de realizare, precum i acceptabilitatea din punct de vedere politic. 3. Identificarea unor politici alternative. Alternativele pot fi numeroase. Printre ele s-ar putea numra i politica de meninere a situaiei actuale. n aceast faz nu este important s gsim un anumit numr de alternative, ci s nu omitem nici o posibil soluie pentru problema noastr. Alternativele pot fi gsite pe baza experienei sau cunotinelor (soluii care au funcionat n alt parte). 4. Evaluarea politicilor alternative. n acest pas transformm alternativele n strategii. Trebuie s vedem cum putem aplica fiecare dintre criteriile definite la pasul 2 pe fiecare alternativ. n acest moment s-ar putea s avem nevoie de date suplimentare. Diferitele nivele de influen asupra problemei, economic, social sau politic, pot fi analizate n mod cantitativ sau calitativ, astfel nct s putem vedea ce costuri i ce beneficii ne aduce fiecare alternativ. Modul n care analizm datele trebuie s fie ales ct mai apropiat de specificul problemei. 5. Compararea politicilor. Avem deja rezultatele evalurii i vedem n ce msur fiecare alternativ satisface criteriile stabilite. Aici va trebui s ierarhizm opiunile, lund n considerare fiecare criteriu (i n mod esenial politicul). 6. Monitorizarea politicii implementate. Este pasul care furnizeaz continuitatea politicilor. Chiar dup ce am ales o politic i am implementat-o, tot trebuie s vedem dac respectiva politic are impactul dorit. Prin monitorizarea continu ne putem asigura de acest lucru, dar i dac politica trebuie continuat, modificat sau ncheiat. Apelul la instrumentele cercetrii este prezent aproape n fiecare pas al analizei de politici publice. n principal acest lucru se ntmpl n paii 4 (evaluarea politicilor alternative) i 6 (monitorizarea politicii implementate). Pasul 5 (compararea politicilor) este cel care este legat n cea mai mare msur de decizie, cuvntul-cheie ntlnit n toate definiiile politicilor publice. Trebuie s facem aici o distincie ntre analiza politicilor publice i evaluarea programelor. Pentru muli autori nu exist nici o diferen i folosesc un termen sau altul dup bunul lor plac, dndu-le practic aceeai semnificaie. Nici asociaiile evaluatorilor nu fac distincie ntre analitii politicilor publice sau evaluatorii de programe. Metodele folosite n evaluarea programelor pot fi folosite n analiza politicilor publice. Totui exist cteva diferene: Cuvntul public, din analiza politicilor publice, conduce spre un accent mai mare pe criteriul politic; Nu toate programele care sunt analizate sunt programe publice;

n analiza politicilor publice se insist mult pe decizie; O politic public poate cuprinde mai multe programe, un program putnd fi expresia unei politici anume; Pe baza evalurilor unuia sau a mai multor programe poate fi iniiat o politic; n general evaluarea programelor se face pe parcursul sau dup ncheierea unui program, analiza politicilor publice se face deseori nainte de nceperea politicii. Aceste diferene nu sunt fundamentale. Nu este greit s vorbim despre programe/politici, nici chiar s considerm c evaluarea programelor este acelai lucru cu analiza politicilor publice. Am preferat aici s fac diferena ntre acestea dou influenat de programa existent n cadrul Seciei de Administraie Public a Universitii Babe-Bolyai, n care exist o separaie ntre ele. Din punct de vedere al metodelor analizei politicilor publice m voi opri doar la tehnici intuitive care ne ajut la luarea deciziilor, pentru evaluarea i compararea alternativelor, restul fiind tratate n capitolele anterioare. 1.2. Evaluarea 1.2.1. Scopul evalurii Evaluarea reprezint un proces prin care se msoar performana unui program i se identific soluii la problemele existente. Mai exact, evaluarea poate avea, printre altele, scopul de a analiza rezultatele unui program, de a le compara cu costurile sale, de a ajuta autoritile s rspund n faa cetenilor pentru aciunile lor, de a ajuta la procesul de alocare a resurselor i de a ajuta la mbuntirea managementului programelor. Datele rezultate n urma evalurii sunt utile att pentru mbuntirea procesului de implementare a programelor, ct i a celui de luare a deciziilor. Prin evaluare este determinat eficacitatea proiectelor i programelor, prin rspunsul pe care l d ntrebrilor: ce funcioneaz?, pentru cine? i n ce condiii? Evaluarea susine, de asemenea, procesul de planificare a activitilor viitoare, de repartizare a resurselor umane, financiare etc. 1.2.2. Materia prim a evalurii Materia prim a evalurii este constituit din proiecte, programe i politici publice. Proiectele reprezint unitatea cu gradul cel mai sczut de generalitate. Un proiect este efortul organizat de a pune n practic o idee. Desigur, ne referim n acest studiu mai ales la proiectele de dezvoltare socioeconomic. Printre elementele eseniale ale unui proiect se numr: scopul, obiectivele, actorii implicai (iniiatori, beneficiari direci i indireci, finanatori etc.) activitile, calendarul, resursele i efectele multiplicatoare. Proiectele pot fi iniiate i implementate de diferite entiti printre care: instituiile administraiei publice, organizaiile non-guvernamentale i chiar firmele din sfera privat. De regul proiectele reprezint punerea n aplicare a obiectivelor specifice ale unor programe. Programul este unitatea cu gradul de generalitate mai ridicat dect proiectul, ns cu o structur asemntoare. Implementarea unui program se realizeaz prin implementarea mai multor proiecte, care detaliaz i pun n aplicare unul sau mai multe dintre obiectivele programului. Politica public reprezint unitatea cu gradul cel mai ridicat de generalitate, ce corespunde unei direcii strategice de aciune ntr-un anumit domeniu. Un exemplu de politic public, specific administraiei publice din Romnia este dezvoltarea capacitii administrative; un program

subsecvent acestei politici este Modernizarea Administraiei Publice Locale, iar unul dintre proiectele care pun n aplicare acest program este Evaluarea Programelor n Administraia Public. Proiectul este implementat la nivelul unei primrii i detaliaz i aplic unul dintre obiectivele programului: creterea responsabilitii pentru cheltuirea banilor publici. Programele i proiectele pot fi finanate de instituii ale administraiei publice centrale i locale, de organizaii internaionale (Uniunea European, Banca Mondial etc.), organizaii non-profit i alte entiti. De obicei, finanatorul este cel interesat de rezultatele proiectului, de evaluarea ndeplinirii obiectivelor propuse. n numeroase cazuri, instituiile publice co-finaneaz sau sunt parteneri n proiectele de dezvoltare care afecteaz grupurile de oameni, comunitile din raza lor de aciune. Mai mult, un management performant presupune organizarea activitii instituiilor publice pe baz de proiecte, pentru a fi mai uor administrat, mbuntit, urmrit i verificat. Este o tendin susinut i ncurajat n ntreaga Uniune European. Nevoia de evaluare n sistemul administrativ este n continu cretere. Reforma administraiei publice, dezvoltarea capacitii administrative presupune dezvoltarea capacitii de evaluare. Aceasta poate fi realizat prin crearea unui cadru legislativ, a unei capaciti instituionale i prin dezvoltarea resursei umane n domeniul evalurii. 1.2.3. Definiii ale evalurii Evaluarea proiectelor i programelor n administraia public este o etap specific, extrem de util n planificarea i managementul proiectelor, o tehnic de cercetare i un instrument pentru realizarea politicilor publice, utilizat cu succes de ctre responsabili de managementul instituiilor i al organizaiilor, de coordonarea proiectelor i a programelor derulate din fonduri publice sau private. nali funcionari publici, politicieni, manageri, directori de instituii i organizaii, directori de programe i coordonatori de proiecte utilizeaz diferite modele de evaluare pentru a sesiza, n timp util, efectele interveniilor pe care le implementeaz sau intenioneaz s le implementeze. Scopul este de a sesiza i a contracara la timp efectele nedorite asupra grupurilor de oameni, comunitilor i societii, precum i pentru a ncuraja elementele pozitive ale programelor i proiectelor. Mai mult, scopul implicit al evalurii este de a colecta sistematic informaii despre rezultate, output si administrarea proiectelor pentru mbuntirea implementrii i generarea unor decizii performante n viitor. Pe scurt, diferitele modele de evaluare sunt utilizate pentru a minimiza pierderile i a maximiza beneficiile interveniilor asupra grupurilor sociale de mici sau mari dimensiuni. De-a lungul evoluiei sale, evaluarea a primit numeroase definiii. O sintez a definiiilor evalurii date de diferite dicionare relev anumii termeni-cheie: determinarea meritului, a valorii, estimare, preuire etc. Evaluarea de proiecte sau programe este strns legat de sensul acestor termeni, fr a se rezuma ns la ei. n definiiile evalurii apar de asemenea ca o constant o serie de elemente legate de metodologie. n cartea sa despre Analiz i cercetare n administraia public, Dan andor (2005) descrie sintetic faptul c evaluarea programelor se refer la o analiz sistematic pentru a vedea msura n care proiectele i programele au fost implementate conform inteniilor i i-au atins obiectivele. Comisia European propune cinci criterii relevante n evaluare: relevan, eficien, eficacitate, sustenabilitate i impact (www.evalsed.info). Pornind de la acestea, putem defini evaluarea ca fiind procesul prin care, cu ajutorul unor metode i instrumente specifice, putem msura

gradul n care proiectele au obiective i rezultate relevante, resursele sunt consumate economic, pentru a atinge obiectivele propuse, dac proiectul are anse de a continua i dup ncheierea finanrii, msura n care activitile i ating grupul int i dac impactul lor este resimit pe termen lung. Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din care rezult diferena ntre evaluare (sistematic dar secvenial realizat n anumite momente din viaa unui program) i monitorizare (proces continuu de colectare a datelor n timpul implementrii unui program). La fel trebuie neleas i definiia dat de N.C. Allum, M.W. Bauer i G. Gasgell: Termenul de evaluare se refer la activitatea de colectare, analiz i raportare sistematic a informaiilor care pot fi utilizate pentru schimbarea atitudinilor i pentru mbuntirea unui proiect sau program (Allum, Bauer i Gasgell, 2000, p. 3) Sintetiznd, putem reliefa urmtoarele elementele eseniale ale unei evaluri: Evaluarea este un instrument util n managementul politicilor, programelor i proiectelor; Implic aprecieri pe baza unor criterii; Evaluarea este util n oricare dintre stadiile dezvoltrii unui program: o n stadiul de design; o nainte de implementare evaluarea ex-ante; o n timpul implementrii evaluarea concomitent; o Ulterior implementrii evaluarea ex-post; Evaluarea este un proces explicativ: pornete de la anumite ntrebri pentru care gsete rspunsuri; Este mai comprehensiv dect monitorizarea; Evaluarea este o activitate sistematic i implic analize tiinifice (colectarea de date, analiza lor, compararea lor pe baza anumitor criterii); Evaluarea st la baza lurii unor decizii n legtur cu programul evaluat: modificarea designului sau a modului de implementare. Deciziile se pot referi la continuarea, modificarea sau chiar stoparea programului. n opinia unuia dintre autorii clasici n domeniul evalurii, Michael Quinn Patton, Evaluarea este colectarea sistematic de informaii despre activitile, caracteristicile i rezultatele programelor pentru a fi utilizate de anumite persoane cu scopul de a reduce nesiguranele, pentru a spori eficacitatea i a lua deciziile oportune n legtur cu programele respective (Patton, 1997, p. 23). Aceast definiie, dac nu este neleas adecvat poate produce confuzii. Cheia unei nelegeri corecte este diferena ntre sistematic i continuu din care rezult diferena ntre evaluare (sistematic dar secvenial realizat n anumite momente din viaa unui program) i monitorizare (proces continuu de colectare a datelor n timpul implementrii unui program). Pentru a nelege ce este evaluarea, trebuie fcut distincia ntre aceasta i ali termeni cu utilizare paralel, interanjabili. Diferite autoriti sau agenii dau sensuri diferite acelorai termeni. Pentru a ne ncadra n contextul general al integrrii europene i pentru c ne referim la evaluarea de programe n sfera public, vom adopta terminologia utilizat de ctre Comisia European n domeniul evalurii de programe. Monitorizarea

Monitorizarea se refer la cuantificarea pe tot parcursul implementrii proiectului sau programului a evoluiei privind atingerea obiectivelor, consumarea resurselor, atingerea grupului int, cuantificarea sistematic a schimbrilor generate de implementarea programului sau proiectului. n urma monitorizrii se poate sesiza n mod permanent raportul input-output, venituri-cheltuieli, activiti planificate activiti realizate, grup int propus - grup int atins, nregistrndu-se eventualele discordane. Evaluarea explic de ce respectivele discordane exist (dac exist). Monitorizarea este descriptiv, n timp ce evaluarea este explicativ. Legtura dintre monitorizare i evaluare este foarte strns. Evaluarea nu poate fi realizat (sau poate fi realizat extrem de dificil), dac nu exist un sistem coerent de monitorizare. Acest sistem presupune de regul un set de indicatori i un plan de monitorizare. De asemenea anumite resurse trebuie alocate procesului de monitorizare. De obicei, resursele umane pentru monitorizare sunt mobilizate din echipa de implementare a proiectului. Dar nu este exclus, mai ales n cazul unor proiecte de mari dimensiuni, ca monitorizarea s fie asigurat de persoane specializate din afara echipei de implementare a proiectului. Auditul Auditul reprezint o verificare a prevederilor financiare ale unui proiect i a msurii n care acestea sunt ndeplinite n conformitate cu criteriile legale i financiare specifice. Auditorii Comisiei Europene i agenii lor atribuie termenului de audit o sfer mult mai larg de semnificaii: verificarea necesitii proiectului, a msurii n care activitile i rezultatele proiectului sau programului justific investiia financiar, a existenei i vizibilitii n practic a unei plus-valori generate de proiectul sau programul respectiv (Hughes, 2000, p. 3).

ntrebri de evaluare: 1. Menionai scopul evalurii. 2. Care este diferena dintre evaluare i monitorizare? 3. Descriei pe scurt diferena dintre program i politic public. 4. Menionai principalele asemnri i deosebiri dintre evaluare i audit. 5. Care este diferena dintre proiect i program?

CAPITOLUL 2. ANALIZA PROBLEMELOR DE POLITIC PUBLIC Prima etap n cadrul procesului de analiz a politicilor publice este analizarea problemei de politic public, etap care urmrete nelegerea, diagnosticarea i prezentarea ct mai clar, precis i complet a problemei de politic public. n cadrul acestei etape analistul de politic public adun dovezi pentru a descrie natura, simptomele, amploarea, evoluia n timp i cauzele problemei. De asemenea, este identificat i analizat grupul de persoane afectate, precum i juctorii cheie care, conform legii, trebuie s se implice n rezolvarea problemei sau care ar dori sau s-ar putea implica n rezolvarea acesteia. Muli autori i practicieni consider etapa de analiz a problemei ca fiind cea mai important, dar n acelai timp, i cea mai dificil de realizat etap a procesului de analiz a politicilor publice. Aceast etap este crucial pentru c o problem clar definit este o problem rezolvat pe jumtate, i ea influeneaz toate celelalte activiti legate de rezolvarea problemei, n primul rnd scopurile i metodele care ar trebui folosite pentru a alege dintre soluiile alternative de rezolvare a problemei (Weimer i Vining, 1992). Este foarte important ca problema s fie definit bine de la nceput pentru a evita alocarea greit a unor sume mari de bani din resursele publice pentru rezolvarea unei probleme greite. De aceea este de dorit ca resursele limitate disponibile sectorului public s fie canalizate spre combaterea cauzelor reale ale unei probleme i n acest fel s fie realizate economii la buget, iar fondurile economisite s fie folosite pentru mbuntirea serviciilor publice. De asemenea, realizarea de la nceput a unei analize ct mai complete a problemei de politic public poate s previn posibile ntrzieri n procesul de rezolvare a problemei i s ntreasc credibilitatea persoanelor responsabile de realizarea analizei de politic public. Chiar dac este foarte important ca problema s fie bine analizat de la nceput, acest lucru este ns dificil de realizat, n primul rnd datorit complexitii situaiei problematice care se vrea a fi rezolvat i a lipsei de consens ntre actorii implicai n rezolvarea acesteia. ntr-o situaie real nu este timp suficient pentru a se realiza o analiz complet a problemei de politic public sau o analiz valid din punct de vedere tiinific. n sfera public se acioneaz de cele mai multe ori sub influena factorului politic, sub presiunea timpului sau a crizelor, i cu resurse i cunotine analitice limitate. Cu toate acestea, chiar dac s-ar realiza o analiz satisfctoare a problemei, rareori pot fi prevzute toate soluiile alternative de rezolvare a problemei i este dificil de anticipat consecinele neintenionate care pot s apar n timpul implementrii unei politici publice (Guess i Farmham, 2000). 2.1. Definirea problemelor de politic public nainte de a prezenta diferite metode care pot fi folosite pentru analizarea problemelor de politic public trebuie s definim mai nti ce sunt acestea. Dunn (2008) definete problemele de politic public ca valori, nevoi sau oportuniti nerealizate care, chiar dac sunt identificate, pot fi rezolvate doar prin aciune public. Acelai autor ofer o alt perspectiv asupra problemelor de politic public, definindu-le ca un sistem de condiii externe care produc insatisfacie n rndul a diferite grupuri de persoane din comunitate. Uneori este dificil s deosebim problemele de politic public de acele probleme care sunt de interes privat sau de cele care pot fi rezolvate pe baza procedurilor administrative deja existente i

care nu necesit o dezbatere public. Motivele sunt numeroase. Pe de o parte diferite grupuri de persoane din societate se confrunt cu probleme diferite i nu exist un acord cu privire la problemele care ar trebui s intre n dezbatere public i s fie soluionate de ctre instituiile publice. Pe de alt parte, persoanele implicate n procesul de formulare a politicilor publice se schimb, schimbndu-se o dat cu acestea i deschiderea care exist pentru soluionarea unor probleme. n plus, nu exist un consens cu privire la acele probleme pe care Guvernul sau alte instituii publice ar trebui s le rezolve cu prioritate la un moment dat. Constrngerile de natur bugetar nu permit ca toate probleme existente s fie rezolvate i de aceea ele trebuie prioritizate i rezolvarea lor trebuie ealonat n timp. Pe lng acele probleme care sunt clar definite ca fiind de competena instituiilor publice, diferite grupuri din cadrul societii ncearc s redefineasc sfera de competen a acestora prin adugarea unor responsabiliti noi sau prin renunarea la prestarea unor servicii tradiionale n favoarea sectorului privat. Acesta este un proces care poate fi generat de schimbrile care au loc n cadrul societii (de exemplu, schimbri tehnologice), de schimbarea valorilor culturale, de evenimente speciale (catastrofe naturale, rzboaie) sau de recomandri ale unor foruri de specialitate internaionale (Uniunea European, alte organizaii internaionale la care o ar este afiliat), etc. Schimbarea partidului sau a coaliiei de partide aflate la guvernare joac de asemenea un rol important n schimbarea problemelor prioritare ale Guvernului. Chiar dac actorii implicai n acest proces se schimb de-a lungul timpului, acesta este un proces continuu. Cu toate c problemele din cadrul societii sunt schimbtoare, chiar dac valorile sunt n schimbare, factorii de decizie se schimb i nu exist consens la nivelul societii, unele probleme ajung s fie discutate public i s se formuleze politici pentru soluionarea lor, n timp ce altele nu ajung pe agenda public. Analiza problemelor de politic public trebuie s nceap cu definirea (Bardach, 2009), nelegerea (Weimer i Vining, 1992) i structurarea problemei care se dorete a fi rezolvat (Dunn, 2008). Definirea problemei este un demers complex, deoarece este dificil ca o problem care necesit intervenia sectorului public pentru rezolvare s fie luat n discuie de ctre factorii de decizie i apoi s se menin interesul asupra ei pentru a fi rezolvat. 2.1.1. Recomandri pentru definirea problemelor de politic public Bardach (2009) ofer cteva sfaturi practice cu privire la definirea problemelor. O prim recomandare fcut este ca problemele s fie definite n termeni de deficit i de exces. De exemplu, problemele s fi enunate astfel: sunt prea puine locuri de parcare n zona central a oraului; sunt prea mult ceretori pe strzi; o suprafa prea mic de teren agricol este cultivat; n Romnia sunt atrase prea puine fonduri europene. Dac analizm evoluia n timp a problemei putem arta c o situaie pe care nu o identificm ca fiind problematic n prezent, s-ar putea s devin o problem n viitorul mai apropiat sau mai ndeprtat. De exemplu, rata omajului ntr-o zon sau n rndul unei categorii profesionale sau a unei grupe de vrste a crescut prea mult n ultimul an, astfel c, dac se menine ritmul de cretere, va aprea o problem de politic public n viitor. Un alt sfat oferit este ca problema s fie cuantificat, dac se poate. Bardach (2009) sugereaz ca n definiia problemei s fie introdus o caracteristic care s fie cuantificabil pentru a exista un cadru de evaluare comun pentru diferite situaii, pentru c nu toat lumea este de acord c situaiile pe care noi sau alii le definim ca fiind problematice reprezint ntr-adevr o problem; fiecare persoan s-ar putea s foloseasc un cadru de evaluare diferit (Bardach, 2009, p. 5). Argumentarea problemei pe baza datelor statistice trebuie s se fac pe baza unor comparaii cu date de referin,

pentru c datele singure nu ne spun foarte multe, nu putem ti ct de mult e prea mult, ct de puin e prea puin, ct de ncet e prea ncet sau ct de repede e prea repede. De aceea este bine ca datele statistice s fie raporate la o arie geografic sau cu un prag minim considerat acceptabil sau cu o alt arie geografic comparabil etc. i ali autori recomand prezentarea problemei prin intermediul unor caracteristici cuantificabile. Gerston (2002) recomand ca pentru a crete ansele ca o problem s fie perceput ca o problem de politic public s se prezinte numrul de persoane afectate raportate la o arie geografic (amploarea problemei), numrul de persoane care sunt preocupate de rezolvarea problemei (intensitatea problemei) i durata de cnd a aprut aceasta i modul n care a evoluat n timp. Gerston argumenteaz c cu ct o problem afecteaz un numr mai mare de persoane, cu ct numrul de persoane preocupate de rezolvarea problemei este mai mare, iar perioada de cnd dureaz problema este mai mare, cu att aceasta are anse mai mare s devin o problem de politic public. Un alt autor, John Kingdon (1995) arat c una dintre modalitile pe care diferite grupuri din societate tind s le foloseasc pentru a demonsta existen unei probleme este s arta apariia unor modificri n cazul unor indicatori care sunt monitorizai n mod regulat sau care rezult n urma evalurii impactului unor programe. Indicatorii sunt folosii pentru a arta magnitudinea i pentru a deveni contieni de schimbrile intervenite n cazul problemei. n procesul de definire a problemei, analistul de politic public trebuie s identifice condiiile care au cauzat apariia problemei, s identifice simptomele problemei, i s gseasc o explicaie pentru apariia lor. n plus, trebuie gsit o relaie cauzal cu factori care pot fi schimbai prin intermediul politicii publice. Bardach (2009) afirm c unele condiii problematice nu sunt simite ca fiind o problem n sine de ctre ceteni, dar sunt percepute ca fiind cauze ale altor probleme. Deoarece analiza problemei este o etap crucial n procesul de analiz a politicii publice, n multe cazuri s-a constatat c este dificil de definit o problem i c este nevoie s se revin asupra ei de mai multe ori. Acest lucru se ntmpl, pe de o parte, pentru c de-a lungul procesului de analiz, nelegerea empiric i conceptual a problemei evolueaz. Pe de alt parte, pe msur ce sunt identificate alternative de soluionare a problemei, analistul de politic public poate s doreasc s redefineasc problema pentru ca aceasta s aib anse mai mari de a fi rezolvat. Din aceast perspectiv, Bardach (2009) recomand ca, dac este nevoie, procesul de definire a problemei s fie unul repetitiv. Nu n ultimul rnd, Bardach (2009) recomand analitilor de politic public s se desprind de concepia limitat c trebuie s se concentreze doar pe rezolvarea problemelor i s fie creativi, s caute s identifice oportuniti ascunse, dar care ofer ansa de a mbunti situaia actual. Recomandarea este de a avea o abordarea proactiv n identificarea i analizarea problemelor, n contradicie cu una reactiv, care este n general folosit. 2.1.2. Limitri n definirea i structurarea problemelor de politic public nainte de a ncheia explicaiile legate de definirea problemelor de politic public, dorim s atragem atenia asupra faptului c unii autori contest eficiena procesului de definire i structurare a problemelor, acetia argumentnd c se pot face o serie de greeli n cadrul acestui proces, greeli care pot s afecteze profund etapele ulterioare de rezolvarea a problemei. n primul rnd, se consider c structurarea unei probleme tinde s o ngusteze i s se piard din vedere imaginea de ansamblu. Apoi, se reproeaz lipsa complexitii; Kleinmuntz (1990) aduce

n discuie argumentul recunoaterii pattern-urilor, al configuraiilor, ca baz pentru luarea deciziilor. n studiul efectuat, acesta realizeaz analogii ntre recunoaterea pattern-urilor n cazul jocului de ah i n cazul deciziilor medicale de diagnostic. Totui, asocierea este forat, ntruct, spre deosebire de jocul de ah, care este unul puternic structurat, cu reguli precise, i fr riscuri deosebite la adresa juctorilor, deciziile din domeniul medical se desfoar ntr-un mediu imprevizibil, i n condiii de risc ridicat. De asemenea, cele mai multe probleme cu care se confrunt actorii din sectorul public sunt slab structurate, iar deciziile trebuie luate n condiii de incertitudine i de risc. Analistul de politic public poate s defineasc problema ntr-un mod care ghideaz discuiile ulterioare ntr-o direcie greit (Guess i Farnham, 2000). Bardach (2009) afirm c greeala cea mai des ntlnit este c se enun soluia n definirea problemei. De exemplu, nu este recomandat s se spun c Primria deine prea puine locuine sociale pentru persoanele fr locuin. Pericolul este c aceast afirmaie descurajeaz ideea de a gsi modaliti de a preveni ca familiile s ajung n primul rnd n aceast situaie. n schimb, se induce ideea c soluia este ca Primria s construiasc sau s achiziioneze mai multe locuine sociale. De aceea, s-ar putea afirma c problema de politic public este numrul prea mare de familii care nu au o locuin. O alt capacan n care se poate cdea este analizarea superficial a elementelor problemei i a relaiilor cauzale. Legturile cauzele stabilite n analizarea problemelor de politic public pot fi acceptate prea uor; cauzele problemei trebuie s fie reale i nu doar presupuneri. Analiza unei probleme de politic public poate fi limitat i de criteriile care sunt folosite pentru a evalua dac problema i soluiile la aceasta sunt potrivite, aceste criterii referindu-se adesea doar la caracteristici de suprafa, care pot fi msurate uor. n acest sens, se tinde s fie neglijate elementele problemei care nu pot fi msurate uor, asumpiile de baz legate de conceptualizarea problemei sau, n dorina de a cuantifica ct mai bine problema, pot fi acordate valori cantitative arbitare unei variable a problemei. Alte dou greeli majore care se pot face este de a presupune c variabilele care nu pot fi msurate uor nu sunt importante sau chiar c ele nu exist. Toate greelile enumerate pot duce la rezultate artificiale n cel mai bun caz sau la rezultate pur i simplu greite despre problema analizat i compromitearea ntregului proces de rezolvare a problemei. Analiza problemelor de politic public se bazeaz cel mai adesea pe asumpiile unui singur decident care are valori clar definite, i nu ia n considerare puncte de vedere diferite cu privire la natura problemei i la soluiile poteniale. n acest fel, problema este definit n mod ngust i se pierde din vedere imaginea de ansamblu. Cultura organizaional i valorile instituionale pot s creeze proceduri pe baza crora s se ajung la o nelegere incomplet a problemei (Guess i Farnham, 2000). Centralizarea deciziei la nivelul de conducere a unei instituii i neimplicarea funcionarilor publici de execuie sau descurajarea acestora s i exprime punctul de vedere poate s duc la o definire parial sau complet greit a problemei. n plus, instituia public s-ar putea s nu doreasc implicarea unor actori externi organizaiei pentru analizarea problemei i pentru identificarea soluiilor pentru rezolvarea acestei. Pe de alt parte, chiar dac ar exista un mediu organizaional deschis implicrii membrilor instituiei la procesul de luare a deciziei, modul de desfurare a acestui proces poate fi influenat de rezistena la schimbare caracteristic instituiilor publice i de ineria n realizarea schimbrii. Rezistena la schimbare este un fenomen notoriu i studiat pe larg. Pentru a accepta definirea nou a problemei care s implice soluii noi cu care funcionarii publici nu sunt familiarizai, presupune un

anumit nivel de pregtire i de expertiz din partea acestora pentru a accepta soluii care le s-ar putea sa le influeneze direct activitatea. Un alt argument adus frecvent n discuie este cel referitor la rigiditate; acesta susine c structurarea problemei impune o lips de flexibilitate n nelegerea acesteia, faptul c cuantificarea problemei poate s conduc la distorsionarea acesteia. 2.1.3. Beneficii ale structurrii problemelor de politic public Structurarea problemelor ajut n primul rnd la identificarea beneficiilor primare ale rezolvrii unei probleme, dar i a efectelor secundare. Dintre beneficiile primare cel mai importante este consistena calitativ constant pentru identificarea corect a componentelor unei clase de probleme. Este, desigur, important s fim siguri c am identificat corect componentele problemei cu care ne confruntm. Altfel, soluiile gsite pentru o problem identificat incorect nu doar c nu rezolv discrepana ntre starea de lucruri existent i cea dorit, dar mai creeaz n plus noi disensiuni. Calitatea i felul de prezentare a informaiei este un aspect important n cadrul procesului de analiz a unei politici publice. O tendin frecvent este de a aduna i a prezenta ct mai mult informaie referitoare jla o problem anume, neglijndu-se faptul c nu cantitatea conteaz, ci relevana. S nu uitm nici c unul dintre avantajele majore ale structurrii problemelor, const tocmai n eliminarea informaiei nerelevante pentru problema aflat n discuie. Structurarea ajut, de asemenea, la reducerea erorilor de judecat i de decizie. n plus, un avantaj deloc de neglijat al structurrii (din perspectiv managerial, dar nu numai) este c asigur justificarea i explicarea public a unor decizii, deci contribuie la mbuntirea transparenei n luarea deciziilor. Acest avantaj este cu att mai important cu ct pentru sectorul public transparena cu care se iau anumite decizii este (sau ar trebui s fie, pentru cazul Romniei) o condiie important. Motivul principal este mai degrab de natur etic: este vorba de alocarea fondurilor publice, o responsabilitate enorm n faa publicului. S ne gndim doar la audierile publice efectuate n faa Parlamentului, cnd minitri sau nali funcionari sunt chemai s explice, n urma interpelrilor, anumite situaii sau decizii. De asemenea, structurarea problemei furnizeaz baza pentru compararea alternativelor propuse i ajut la clarificarea prioritilor i a valorilor care stau la baza unei decizii sau a alteia. Astfel de discuii se pot observa uneori la probleme de tipul alocrilor bugetare, cnd divergenele de opinii sunt exprimate n termeni de valori, sau obieciile se pot aduce prin raportri la programele electorale. La beneficiile deja enumerate se mai adaug cele legate de mbuntirea comunicrii ntre diversele pri implicate. Procesul de comunicare ntre dou sau mai multe pri este o surs important, dei adesea neglijat, de introducere a erorilor n procesul de decizie; structurarea ajut la minimizarea ei. De asemenea, viteza de rspuns, viteza de reacie la o anumit situaie este mult mbuntit, ceea ce duce la creterea flexibilitii i adaptabilitii la o situaie nou. Tot structurarea ajut la eliminarea informaiei inutile aprut, nu de puine ori, n anumite situaii de criz, i care mai poate introduce elemente nerelevante pentru rezolvarea problemei n cauz. Per ansamblu, se poate spune c procesul repetat de structurare n cazuri relativ apropiate duce la o mbuntire general a procesului de decizie n anumite clase de probleme. O alt latur mai puin menionat n discuiile referitoare la avantajele structurrii problemelor este i cea legat de legitimizarea unei probleme i de consolidarea suportului de grup. O

dat ce un anumit grup a investit timp, energie i efort n structurarea unei probleme, va tinde s se ocupe atent i de implementarea deciziei la care se ajunge. De asemenea, discuiile purtate cu aceast ocazie ajut la mbuntirea relaiilor din interiorul grupului respectiv (i n ultim instan a coordonrii ntre ele) factor important atunci cnd din grupul managerial de decizie fac parte efi ai unor servicii/birouri diferite, care sunt toi responsabili de implementarea deciziei i care altfel nu ar avea modaliti de interaciune. Ca o consecin a factorilor de mai sus, structurarea duce la creterea i dezvoltarea expertizei n domeniul elaborrii deciziilor n cadrul organizaiei. 2.2. Clasificarea problemelor de politic public nainte de a prezenta cteva aspecte privind metodele de analiz a problemelor de politic public, aceste probleme vor fi clasificate n funcie de complexitatea relativ a acestora. n funcie de acest criteriu, problemele sunt bine structurate, structurate moderat i slab structurate (Dunn, 2008). Problemele bine structurate sunt cele care au unul sau puini decideni i un numr redus de alternative de soluionare. Decidenii urmresc s ajung la un consens n rezolvare problemei, iar rezultatele fiecrei alternative sunt cunoscute cu certitudine sau ntr-o gam acceptabil de risc. Acest tip de probleme este cel mai rar ntlnit n sfera public i privete n special problemele de natur operaional de la nivelurile inferioare ale unei instituii publice. Un exemplu de problem bine structurat se refer la identificarea momentului optim pentru nlocuirea mainilor aflate n proprietatea unei instituii publice, innd seama de vechimea mainii, costul reparaiilor care trebuie efectuate, precum i de valoarea cu care se va deprecia maina dac va mai fi pstrat. n cazul unei astfel de probleme pot fi identificate toate alternative de rezolvare a problemei, precum i consecinele fiecrei alternative. Studiu de caz Primria oraul Milwauke, SUA, folosete sisteme de baze de date pentru planificarea multora dintre serviciile pe care le furnizeaz. Pentru aceasta ei au creat baze de date pentru mai multe servicii n care sunt introduse informaii despre mai muli indicatori cu privire la starea unui anumit serviciu; o parte din informaii ei le actualizeaz anual. Acest sistem permite Primriei s anticipeze problemele care ar putea s devin serioase. De exemplu, Primria a creat o un sistem de management a asfaltrii n ora care s i ajute s planifice mai eficient bugetul pentru asfaltarea strzilor. Acest sistem se folosete de o baz de date format din mai mult de 40 de indicatori despre starea strzilor din ora, incluznd tipul de asfalt, cnd a fost asfaltat ultima dat o strad, ce lucrri de ntreinere s-au efectuat la strad etc. Apoi, este creat un index cu privire la starea strzilor din ora n funcie de care strzile sunt clasificate pe o scal mergnd de la strzi n stare foarte bun la strzi n stare foarte proast. Primria a introdus acest sistem n 1988 i rennoiete anual 20% din informaiile din baza de date. Acest lucru i permite s evalueze starea strzilor pe un interval de 5 ani i s planifice bugetul n funcie de informaiile obinute. Sursa: Guess i Farnham, 2000 Problemele structurate moderat sunt cele care au unul sau puini decideni care doresc obinerea consensului. Pentru rezolvarea problemei exist un numr relativ redus de alternative, dar

rezultatele alternativelor nu sunt nici cunoscute cu certitudine, nici calculabile cu o anumit marj de eroare. Guess i Farnham (2000) dau ca exemplu de problem structurat moderat problema asigurrilor sociale, n sensul c populaia rilor dezvoltate mbtrnete, iar rata natalitii este n scdere. Dac se pltesc pensiile la nivelul la care sunt n prezent, nseamn c va trebui s creasc nivelul de contribuii pe care trebuie s le plteasc cei care muncesc. Analitii pot s previzioneze, cu destul de mare certitudine, cheltuielile care vor trebui s se realizeze innd seama de datele demografice existente i de contribuiile la fondul de pensii; n plus, pot fi construite diferite scenarii n funcie de niveluri diferite ale contribuiilor sociale. Din acest punct de vedere, problema este una bine structurat. Pe de alt parte, sunt destul de dificil de previzionat consecinele diferitelor alternative de rezolvare a problemei. Spre exemplu, nu putem anticipa cu foarte mare certitudine care ar fi consecinele unor msuri de mbuntire a strii de sntate a populaiei pentru fiecare persoan s contribuie ct mai muli ani. Nu putem anticipa nici consecinele unor msuri de ncurajare a creterii ratei natalitii. Din aceast perspectiv, alternativele de rezolvare a problemei sunt puin predictibile, fcnd din problema asigurrilor sociale o problem structurat moderat. Problemele slab structurate implic un numr mare de decideni ale cror scopuri sunt necunoscute sau dificil de prioritizat. Acest tip de probleme sunt caracterizate prin conflict ntre scopuri aflate n competiie. Alternativele de rezolvarea a problemelor pot fi nescunoscute, iar rezultatele acestora nu pot fi estimate cu certitudine. Cele mai multe probleme de politic public se ncadreaz n aceast categorie. Consensul este rar, deoarece politicile publice implic conflicte ntre actori aflai n competiie. n plus, este foarte dificil s se identifice toate alternativele de soluionare a unei probleme n parte datorit dificultii de a aduna informaii, dar i pentru c este dificil s se ajung la o formulare satisfctoare a problemei. De exemplu, este dificil de anticipat cererea pentru servicii medicale a unui spital pentru a se estima fondurile care s i fie alocate. n mod similar, este dificil de mbuntit programul de funcionare a transportului n comun n cadrul unui ora aglomerat, deoarece dac se vrea s se introduc un orar fix acesta va fi afectat de ntrzierile din trafic n special de la orele de vrf. Acestea sunt orele la care mijloacele de transport n comun sunt i cel mai des folosite. 3.3. Etape n structurarea problemelor de politic public Dunn (2008) recomand o serie de pai care s fie urmai pentru structurarea situaiilor problematice, n special a celor slab structurate. Acest demers pornete de la perceperea situaiei problematice, dup care analistul de politic public ncepe s cerceteze problema urmrind s identifice reprezentrile pe care le au diferii actori despre problem. Pe baza informaiilor colectate, se contureaz o meta-problem, adic o definire a problemei format din reprezentri ale diferiilor actori. Apoi, se trece la o definire mai clar a problemei scondu-se n eviden termenii generali i cei de baz. Pe baza informaiilor colectate pn n aceast faz, analistul poate decide domeniul de care ine problema i ncearc conceptualizarea problemei. ncadrarea conceptual trebuie realizat cu mare atenie deoarece, o dat aleas, aceasta va dirija modul n care va fi vzut realitatea. n urma acestei etape se ajunge la delimitarea problemei i, n final, se poate ncerca specificarea problemei adic, conform lui Dunn (2008), crearea unui model de reprezentare a problemei, lucru foarte greu de realizat. Scopul final al acestui demers este de a defini natura n sine a problemei.

Meta-problema Cercetarea problemei Situaia problematic Definirea problemei Problema delimitat

Perceperea problemei Problema enunat formal

Specificarea problemei

Figura 3: Etape n structurarea problemelor de politic public. Sursa: Dunn (2008) Patton i Sawicky (1993, p. 151) recomand respectarea unei serii de pai pentru definirea problemei, i anume: verificarea enunului iniial al problemei, utilizarea celor mai bune date disponibile1 pentru a contura dimensiunea real a problemei, definirea problemei din perspectiva prilor interesate, identificarea potenialilor ctigtori i a celor care pierd i realizarea unei prime aproximri a analizei. Cei doi autori recomand o serie de aciuni pentru definirea problemei (Patton i Sawicky , 1993, pp. 152-154): 1. A gndi pe marginea unei probleme. n aceast etap trebuie structurate ideile deja existente referitor la o anumit problem. De cele mai multe ori avem foarte multe informaii i date despre problema n cauz, ns, fiind colectate dezorganizat i intercalate cu valorile pe care le asociem unor aspecte sociale, ele duc la conturarea unei imagini mai puin clare asupra a ceea ce este de fapt problema n cauz. De exemplu, n afirmaia copiii ar trebui mai bine protejai prin implementarea legislaiei deja existente n domeniul drepturilor copilului sunt cteva asumpii prezente, care pentru clarificarea problemei ar trebui explicitate. n primul rnd este asumpia referitoare la faptul c protecia copiilor nu este suficient dezvoltat; apoi, c exist mecanisme de protecie la nivel legal, i n al treilea rnd, se propune implicit o soluie referitoare la protecia copiilor prin implementarea legislaiei existente. Pentru clarificare, aici se poate realiza o scurt inventariere a legislaiei existente n domeniul proteciei copilului, a aciunilor i programelor existente n acest sens, a organizaiilor non guvernamentale care sunt active n acest sens, precum i o colectare a datelor statistice referitoare la numrul copiilor abandonai. 2. Clarificarea limitelor problemei. Aici Patton i Sawicky (1993) recomand specificarea locaiei problemei, a duratei de manifestare i a evoluiei ei n timp. De exemplu, putem fi interesai
Acest lucru nu se refer la limitarea analizei n funcie de datele care se pot gsi cel mai uor, ci la asumarea explicit a limitrilor existente din cauza nedisponilbilitii datelor, dup ce s-au realizat toate eforturile posibile pentru a ne asigura c dispunem de datele posibile. Problema accesibilitii datelor este foarte frecvent n realizarea de analize pentru Romnia.
1

de o difereniere a problemei pe zone geografice, dac exist diferene ntre zona rural i cea urban, sau dac exist diferene ntre oraele mari i cele mijlocii sau mici, sau dac exist diferene ntre situaia de la nceputul, mijlocul sau sfritul anilor 90. 3. Clarificarea tipului de informaie de care este nevoie. De exemplu, aici trebuie clarificat la cine se refer termenul copii: minori n general, 0-6 ani, 7-13 ani, 14-18 ani; copii care sunt victime ale violenei familiale sau copii abandonai; care sunt condiiile care trebuie ndeplinite pentru a spune c acetia sunt protejai (sau neglijai), de exemplu reglementrile UE, UNICEF; se nregistreaz o cretere/scdere a programelor destinate proteciei copiilor etc. n plus, la ce se refer protecia mai bun pentru copii? 4. Evidenierea scopurilor i a obiectivelor. O listare, mcar provizorie, a scopurilor i a obiectivelor este necesar pentru a evalua acceptabilitatea posibilelor soluii i, de asemenea, pentru a estima punctele de vedere ale prilor implicate. Scopurile se precizeaz ntr-un enun cu caracter general, iar obiectivele se precizeaz astfel nct s fie clar felul n care ele contribuie la ndeplinirea scopului. Obiectivele trebuie specificate astfel nct s poat fi msurate, calitativ i cantitativ. Pentru exemplul n discuie, scopul poate fi asigurarea dezvoltrii protejate a copiilor. Obiectivele pot fi asigurarea accesului la servicii sanitare, reducerea violenei mpotriva copiilor, asigurarea accesului la uniti colare. Msurarea acestor obiective se poate face de exemplu prin asigurarea programelor de vaccinri, de controale obligatorii ale sntii pentru copiii de vrst colar, existena i popularizarea modalitilor de raportare a situaiilor de abuz asupra copiilor, numrul de programe de transport a copiilor din zone mai puin accesibile la uniti colare, alocaiile financiare pentru facilitile de transport urban i suburban pentru copii etc. 5. Identificarea cadrului problemei prin stabilirea gamei de variabile utilizate n identificarea unei probleme. Uneori acesta este predeterminat de ctre client, alteori el trebuie identificat de ctre analist, sau acesta mai poate depinde de constrngeri legate de timp i resurse. La clarificarea acestui palier vor contribui i ali actori implicai n/afectai de problema respectiv de exemplu ONG-uri sau grupuri de interes. Acum se pot identifica punctele de intervenie care pot duce la schimbri majore, se pot identifica factorii de decizie responsabili. Pentru centrarea pe componenta de sntate se pot lua n considerare modalitile de aplicare a programelor de vaccinare obligatorie (aplicarea vaccinrilor la populaia colar, aplicarea vaccinrilor la copiii care au abandonat coala), furnizarea medicamentelor compensate pentru copii, etc. 6. Clarificarea costurilor i a beneficiilor poteniale. Acestea se pot stabili prin diverse metode (analiza cost-beneficiu, analiza cost-eficacitate, analiza statistic, etc.) i se prezint sub forma de rezumat, grafice sau tabele. n plus, se indic i cine cstig i cine pierde n urma rezolvrii problemei, ns nu la nivelul analizei de impact, ci mai degrab se urmrete identificarea marjei de opiuni disponibile. De exemplu, copiii au de ctigat n urma mbuntirii strii de sntate; pot aprea cheltuieli suplimentare la buget n urma aplicrii unor liste mai mari de compensri pentru medicamente destinate copiilor; medicii pot avea sarcini mai mari de rezolvat n urma controalelor periodice ale copiilor pe care i au n evidene. 7. Recapitularea felului n care s-a enunat problema. Se poate identifica astfel dac problema a fost enunat clar, dac se pot identifica prile interesate i punctele lor de vedere, dac asumpiile valorice fcute sunt clare. Tot acum se pot chestiona asumpiile fcute i verifica flexibilitatea enunului. De exemplu, n discuia de pn acum s-a accentuat aspectul preventiv (vaccinri,

controale periodice). n ce msur copiii (i prinii) sunt contieni de responsabilitatea pe care trebuie s i-o asume pentru realizarea acestora? Nu exist cumva costuri indirecte asociate acestor msuri care diminueaz (sau chiar anuleaz) efectele lor pozitive (lipsa de acces la serviciile medicale, ntrzieri n furnizarea vaccinurilor sau a medicamentelor necesare, lipsa reurselor financiare necesare, etc.?). 3.4. Metode de structurare a problemelor de politic public Dunn (2008) propune cteva metode i tehnici care s fie folosite n structurarea problemelor de politic public. Tabel 1: Metode de structurare a problemelor Metoda Analiza pentru delimitarea problemei Clasificarea problemei Ierarhizarea problemei Sinectica Brainstorming Scopul Identificarea prerilor tuturor persoanelor i instituiilor implicate n rezolvarea problemei Diviziunea i clasificarea general a conceptelor Identificarea cauzelor posibile ale unei situaii problematice Procedurile Obinerea unei liste cu actorii cheie; identificarea reprezentrilor despre problem; delimitarea problemei Diviziunea logic i clasificarea logic

Analiza din perspective multiple Analiza asumpiilor

Identificarea cauzelor posibile, plauzibile i a celor asupra crora se poate aciona Identificarea similaritilor ntre Construirea de analogii personale, probleme directe, simbolice sau fanteziste Identificarea i conceptualizarea Generarea i evaluarea ideilor situaiilor problematice, precum i pentru generarea unui numr ct mai mare de soluii Analizarea sistematic a Folosirea n analizarea aceleiai problemelor probleme a trei perspective: personal, organizaional i tehnic Sintetizarea asumpiilor aflate n Identificarea actorilor cheie, conflict despre o problem de identificarea, confruntarea, combinarea politic public i sintetizarea asumpiilor Sursa: Dunn, 2008, p. 96

Analiza pentru delimitarea problemei, ca metod de structurare a problemei, urmrete s afle prerile tuturor persoanelor sau instituiilor care sunt afectate de o problem sau care au un interes n modul n care aceasta este rezolvat. Autorul propune 3 pai care s fie urmai n acest demers. a) Obinerea unei liste cu persoane i instituii din diferite domenii care au o influen cheie n rezolvarea problemei. Persoanele implicate n rezolvarea problemei sunt rugate s numeasc alte persoane sau instituii care ar putea avea un interes n modul de rezolvare a problemei. Procesul continu pn nu mai sunt numite persoane sau instituii noi. Se obine n final o list pe baza creia poate fi estimat influena acestor actori n definirea problemei. b) Identificarea diferitelor reprezentri despre problem, adic idei, paradigme, metafore, proceduri operaionale sau orice alt mod prin care oamenii interpreteaz i reprezint pentru ei sau

pentru alii o problem. Aceste reprezentri despre problem pot fi obinute pe baza discuiilor purtate cu actorii cheie identificai sau pe baza documentelor pe care acetia le pot furniza. c) Delimitarea problemei. Al treilea pas este s se delimiteze spaiul de nelegere a problemei, adic s se identifice toate elementele care definesc problema: idei, concepte, variabile, asumpii, obiective, etc. n cadrul acestei etape, analistul de politic public proiecteaz grafic informaiile obinute. El construiete un grafic n cadrul cruia actorii sunt dispui pe axa orizontal i numrul elementelor noi ale problemei pe axa vertical. La nceput, numrul elementelor noi va fi mare, dar treptat acesta scade i n final stagneaz. Dup acest punct colectarea de informaii noi despre natura problemei este puin probabil s aduc elemente noi n reprezentrile colective despre problem. Dunn afirm c analiza pentru delimitarea problemei conduce la rezultate plauzibile, dar care nu sunt sigure, i recomand folosirea ei mpreun cu alte metode de structurare a problemei pentru a reduce ansa apariiei unei erori. Informaiile colectate prin intermediul acestei metode sunt foarte valoroase, dar ele sunt nestructurate, iar pentru a putea fi folosite ele trebuie analizate mai nti i grupate n diferite clase sau ierarhizate. Analiza pentru clasificarea problemei este o tehnic de organizare a conceptelor folosite pentru definirea situaiilor problematice. Conform lui Dunn (2008) clasificarea se realizeaz prin intermediul a dou proceduri principale: diviziunea logic i clasificarea logic. Diviziunea logic este procesul de mprire a unei clase n pri componente, n timp ce clasificarea logic este procesul revers de combinare a situaiilor, obiectelor sau persoanelor n grupuri sau clase mai largi. De exemplu, din perspectiva conceptului de srcie, toate familiile dintr-o ar pot fi mprite n dou clase: cele ale cror venituri sunt peste sau sub nivelul de srcie. Familiile ale cror venit se afl sub nivelul srciei pot fi mpite n dou clase suplimentare: n familii care se afl n aceast situaie nainte sau dup ce au primit ajutorul de la stat. Din aceast perspectiv putem determina dac sistemul de asisten social contribuie la reducerea nivelului srciei. Pentru obinerea unui sistem de clasificare relevant i logic, Dunn propune cinci reguli: 1. Relevana coninutului Clasele i subclasele trebuie s fie conforme ct mai mult posibil cu coninutul situaiei problematice. 2. Exhaustivitate Toi subiecii sau situaiile supuse analizei trebuie ncadrate ntr-una dintre categorii. 3. Exclusivitate Un subiect sau o situaie trebuie atribuit unei singure categorii sau subcategorii. 4. Coresponden Fiecare categorie i subcategorie trebuie s se bazeze pe un singur principiu de clasificare. 5. Distincie din punct de vedere ierarhic Nivelurile sistemului de clasificare trebuie s poat fi identificate uor. Analiza pentru ierarhizarea problemei este o tehnic care poate fi folosit pentru identificarea cauzelor posibile ale unei situaii problematice. Conform lui Dunn (2008), acest tip de analiz ajut analistul de politic public s identifice trei tipuri de cauze: cauze posibile, cauze plauzibile i cauze asupra crora se poate aciona.

a) Cauzele posibile sunt evenimente i aciuni care, orict de puin probabile pot s contribuie la apariia unei anumite situaii problematice. De exemplu, printre cauzele posibile ale srciei pot fi: omajul, lenea, distribuia bunstrii ntre elite, etc. b) Cauzele plauzibile sunt acele cauze despre care se crede c exercit o influen important asupra unei situaii considerate problematice. De exemplu, omajul poate fi considerat o cauz plauzibil a srciei, n timp ce lenea este o cauz mai puin plauzibil. c) Cauzele asupra crora se poate aciona sunt cauze care pot fi controlate sau manipulate de ctre factorii de decizie. De exemplu, omajul este att o cauz plauzibil, ct i o cauz asupra creia se poate aciona, n timp ce asupra distribuiei puterii ntre elite nu se poate aciona. Sinectica este o metod recomandat de Dunn (2008) pentru identificarea problemelor similare, deoarece, uneori ceea ce pare a fi o problem nou nu este dect o problem veche, deghizat, care poate s sugereze soluii de rezolvare a problemei aparent noi. Analogiile care se realizeaz trebuie s fie n final plauzibile. Pentru analizarea unei probleme de politic public pot fi folosite patru tipuri de analogii: 1. Analogii personale analitii de politic public ncearc s construiasc analogii personale ncercnd s se imagineze experimentnd o situaie problematic n acelai fel n care o fac i ali actori. 2. Analogii directe prin intermediul acestora se ncearc cutarea unor relaii similare ntre dou sau mai multe situaii probematice. 3. Analogii simbolice prin intermediul acestora se ncearc s se descopere relaii similare ntre o situaie problematic i un proces simbolic. 4. Analogii fanteziste analitii sunt complet liberi s exploreze similariti ntre o situaie problematic i o situaie imaginar. Analitii din domeniul aprrii folosesc astfel de analogii pentru a structura probleme de aprare mpotriva atacurilor nucleare. Brainstorming este o metod care poate fi folosit pentru a identifica i a conceptualiza situaiile problematice, precum i pentru a genera un numr ct mai mare de soluii. Aceast metod implic parcurgerea ctova pai (Dunn, 2008): 1. alctuirea unui grup de persoane care cunosc situaia considerat problematic; 2. ntr-o prim faz, eforturile s se concentreze doar pe generarea de idei, i abia dup ce au fost epuizate toate ideile s se treac la evaluarea acestora pentru ca ideile s nu fie inhibate de critici premature; 3. n etapa de generare de idei atmosfera de lucru a grupului trebuie s fie ct mai deschis i permisiv; 4. la sfritul etapei de evaluare a ideilor, grupul ar trebui s prioritizeze ideile i s le cuprind ntr-o propunere care conine o conceptualizare a problemei i soluiile posibile pentru rezolvarea acesteia. Avantajul metodei brainstorming este c se bazeaz pe cunotinele unor grupuri de oameni care cunosc situaia, i mai puin pe experi individuali. Rezultatele activitilor de brainstorming nu trebuie evaluate n funcie de consistena logic sau de credibilitate, ci n funcie de acordul dintre membrii grupului de brainstorming.

Studiu de caz Un bun exemplu despre modul n care un proces relativ structurat de brainstorming a fost folosit pentru identificarea direciilor de dezvoltare a unei instituii este Programul de Planificare pentru Anul 2000 desfurat de Biroul de Statistic al SUA. Prin intermediul acestui proiect 120 de angajai de la toate nivelurile Biroului de Statistic i din toat ara (de la secretare, la directori i efi de departamente care s-au oferit s participe la acest proiect) au fost rugai s se gndeasc n mod liber la modul n care doresc s arate instituia n care lucreaz n anul 2000. Participanii au fost mprii pe grupe i au fost rugai s redacteze raporturi care apoi au fost integrate ntr-un raport final. Raportul a fost prezentat angajailor Biroului de Statistic, membrilor Asociaiei Americane de Statistic, Asociaiei Americane de Marketing i Asociaiei Americane de Economie. Raportul a coninut dou recomandri importante: s se creeze o Universitate de Statistic i s se creeze o instituie similar instituiei de Avocat al Poporului care s protejeze interesele utilizatorilor de date statistice. Sursa: Dunn, 2008 Analiza din perspective multiple este o metod de analiz sistematic a problemelor i a soluiilor posibile din trei perspective: personal, organizaional i tehnic. 1. din perspectiv tehnic se pune accentul pe gndirea cauzal, analiza obiectiv, previzionare, optimizare. Sunt folosite analiza cost-beneficiu, metode econometrice de analiz a datelor statistice, teoria probabilitii; 2. din perspectiva organizaional sunt analizate procedurile i regulile de operare, rutina organizaional; 3. perspectiva personal vede problemele i soluiile n termeni de percepii, nevoi i valori individuale. Aceast perspectiv pune accentul pe intuiie, carism, leadership i interes personal ca i factori care guverneaz politicile i impactul produs de ele. Analiza asumpiilor este o tehnic folosit pentru sintetizarea asumpiilor aflate n conflict despre o problem de politic public. Dunn (2008) recomand ca aceast tehnic s fie folosit pentru acele probleme pentru care analitii de politic public, decidenii i ali actori care au un interes n rezolvarea problemei sau sunt afectai de aceasta nu cad de acord cu privire la modul n care s fie structurat (problem slab structurat). Aceast tehnic implic parcurgerea a cinci proceduri succesive: 1. Identificarea i analizarea actorilor care au un interes n rezolvarea problemei sau care sunt afectai de aceasta. ntr-o prim faz, actorii sunt identificai, ierarhizai i prioritizai pe baza gradului n care ei influeneaz sau sunt influenai de procesul de politic public. Pe baza acestei analize sunt identificai actorii care sunt exclui n mod normal din analiza problemei de politic public, i anume grupurile disidente care au prere contrar grupului majoritar. 2. Identificarea asumpiilor. n aceast faz, analitii merg dinspre soluia recomandat pentru o problem ctre setul de date pe baza crora s-a formulat recomandarea pentru a deduce asumpiile implicite sau explicite care au stat la baza recomandrii. Asumpiile, atunci cnd sunt cuplate cu datele, permit unei persoane s deduc recomandarea ca o consecin a

datelor. Se procedeaz astfel pentru identificarea asumpiilor pentru c cei mai muli actori sunt contieni de soluii, i nu de asumpii. 3. Confruntarea asumpiilor. n faza a treia, analitii confrunt seturi de recomandri i asumpii care difer foarte mult unele de altele. Pe parcursul acestui proces, fiecare asumpie identificat este confruntat cu o asumpie contrar. Dac asumpia contrat nu este credibil, ea este eliminat de la consideraii viitoare; dac este credibil, ea este examinat pentru a determina dac ar putea servi ca baz pentru o conceptualizare complet nou a problemei i a soluiilor. 4. Combinarea asumpiilor. n cadrul acestei faze, asumpiile (mai degrab dect recomandrile) sunt negociate i prioritizate n funcie de certitudinea relativ i de importana pentru diveri actori cheie. n final, doar cele mai importante asumpii sunt combinate n cadrul unei liste care este acceptat de un numr ct mai mare de actori. 5. Sintetizarea asumpiilor. Setul de asumpii acceptabile pot servi ca baz pentru crearea unei noi conceptualizri a problemei. Cnd dezbaterile legate de conceptualizarea problemei i a soluiilor poteniale ajung n aceast faz, activitile actorilor cheie pot deveni cooperante i productive. Analiza asumpiilor pornete de la ideea c conflictele legate de conceptualizarea problemei sunt generate de interpretri aflate n conflict ale acelorai date. Dunn (2008) afirm c chiar dac datele, asumpiile i soluiile recomdante sunt legate unele de altele, nu att datele guverneaz conceptualizarea problemei, ct mai degrab asumpiile pe care analitii i ali actori cheie le aduc n definirea situaiei problematice (p. 113).

ntrebri de evaluare: 1. Precizai care sunt principalele limitri care apar n structurarea problemelor de politic public. 2. Dai un exemplu de problem de politic public bine structurat i una slab structurat din oraul din care facei parte. 3. Alegei o problem de politic public i ncercai s o trecei prin toate etapele procesului de formulare recomandat de Patton i Sawicky. 4. Alegei o problem de politic public i ncercai s delimitai problema conform indicaiilor formulate de William Dunn.

CAPITOLUL 3. LUAREA DECIZIEI. EVALUAREA I COMPARAREA ALTERNATIVELOR 3.1. Formularea alternativelor noiuni introductive Dup ce structurile guvernamentale au luat cunotin de existena unei probleme publice, precum i nevoia de a se face ceva pentru soluionarea acesteia, factorii de decizie trebuie s se hotrasc asupra unui curs de aciune. Ei exploreaz opiunile disponibile, lansnd astfel procesul de formulare de politici publice. Formularea reprezint dezvoltarea unui plan, a unei metode, prescrieri, n acest caz pentru uurarea unei nevoi, pentru acionarea asupra unei probleme. Implic astfel dezvoltarea de alternative de politici publice pentru a trata problemele de pe agenda public. Prin termenul de alternative ne referim la opiuni de politic public, cursuri de aciune alternative sau la strategii alternative de intervenie pentru a soluia sau preveni o probelm (Bardach, 2009). Termenul de alternative poate fi ambiguu, deoarece cteodat poate s se refere la o singur alegere n defavoarea alteia (atunci cnd alternativele se afl n competiie ntre ele), iar alt dat poate s se refere la nc o msur de politic public care ar putea contribui la rezolvarea problemei, dar n conjucie cu alte alternative. n cazul formulrii, exist o metod stabilit de a aciona. Sunt propuse mijloace pentru a soluiona ceea ce cineva percepe ca fiind nevoile existente n societate. Se stabilete ct de bine este fcut, cine particip i cine ctig avantaje (acest aspect variind de la o problem la alta). Subactivitile asociate formulrii alternativelor sunt: stabilirea criteriilor de luare a deciziei; identificarea alternativelor posibile; analizarea alternativelor din perspectiva criteriilor de luare a deciziei; determinarea a ceea ce este fezabil adesea prin proiectarea sprijinului i prin testarea fezabilitii se rafineaz propunerile; selectarea se face selecia acelor alternative fezabile i se continu identificarea de noi alternative; Aceste activiti pot avea loc foarte sistematic, aproape tiinific, sau ntr-o manier destul de aleatorie. Uneori procesul este reconstruit ca avnd o baz raional i tiinific, cnd de fapt procesul a fost realizat destul de accidental. Cadrul temporal pentru formularea alternativelor poate fi msurat n ani sau n minute. n urma acestor activiti poate s nu rezulte nimic concret, adic o soluie pentru problem. Problema poate fi soluionat n afara administraiei publice n timpul procesului de formulare. Este posibil ca anumite conflicte ntre diferite definiii i interpretri formulate de participanii la procesul de elaborare a politicilor publice s fie prea intense, lucru care poate ngreuna sau chiar mpiedica soluionarea unei probleme. Pe de alt parte, rezultatul poate fi un curs clar de aciune. n aceste condiii, administraia public ncearc s legitimeze acest curs de aciune pentru a putea fi aplicat pentru soluionarea problemei. Are loc o nou rund de activiti, implicnd noi discuii, cercetri, ntlniri, planificri, testri i coordonare. Sunt dezvoltate strategii, sunt identificate punctele de compromis, sunt fcute concesii, sunt analizate costuri. Din nou, este posibil s nu fie autorizat un program concret, pentru motivele enunate mai sus. O mare parte din ceea ce are loc n interiorul Guvernului/administraiei publice nu are un rezultat programatic imediat, dei poate fi baza pentru dezvoltarea ulterioar de politici publice.

Formularea alternativelor ncorporeaz att planificarea raional, ct i reacii subiective marja de opiuni se reduce la ceea ce factorii de decizie pot sau nu s accepte. Astfel, n esen procesul const n stabilirea aciunilor care sunt posibile i care nu. Pentru a stabili acest lucru, se iau n calcul actorii importani, precum i valorile importante la nivelul societii. n lista de alternative este bine s fie inclus i opiunea de a lsa situaia prezent s continue nemodificat. Bardach (2009) argumenteaz c exist numeroase schimbri aflate n desfurare, dintre care unele ar putea contribui la rezolvarea problemei asupra crora ne-am concentrat atenia. n cadrul procesului de formulare a alternativelor pot avea loc urmtoarele situaii. Formularea alternativelor poate avea loc fr o definire clar a problemei sau fr ca cei responsabili de formulare s aib prea mult contact cu grupurile afectate. De asemenea, n cadrul formulrii alternativelor pot exista mai multe seturi de actori care propun soluii complementare sau care se afl n competiie. Formularea i reformularea pot avea loc pe parcursul unei perioade lungi de timp, fr a exista vreodat suficient sprijin pentru o propunere anume. Exist adesea mai multe puncte de apel pentru cei care pierd n procesul de formulare la orice nivel. Procesul n sine nu are niciodat efecte neutre: cineva pierde i cineva ctig, chiar i n exerciiile tiinifice. Formularea alternativelor este n mare msur o activitate politic, dei nu neaprat partizan. ntregul proces de analiz a politicii publice se desfoar n jurul unor alegeri. Dei se poate ajunge la acord n legtur cu scopurile i obiectivele de ndeplinit, mijloacele de ndeplinire a acestor obiective pot cauza discuii suplimentare interminabile. Abordarea general recomandat de Patton i Sawicky (1993) este de a identifica un numr ct mai mare de alternative, pentru ca apoi s se poat delimita cteva care sunt ntr-adevr utile pentru soluionarea problemei. Sunt cteva capcane aici: identificarea unor alternative marginale (diferenele ntre ele sunt minime), eliminarea timpurie a unor alternative care nu par fezabile sau par inacceptabile din punct de vedere politic, al costurilor, sau sunt foarte noi i se ateapt un nivel ridicat de rezisten. Pentru identificarea alternativelor se recomand o atitudine ct mai deschis i utilizarea unor surse ct mai variate de informaii. Astfel, Patton i Sawicky (1993) includ aplicarea metodelor de cercetare clasice (ancheta cu chestionar, interviu etc.) pentru investigarea problemei atunci cnd exist resursele necesare; analiza status-quo-ului, adic realizarea de prognoze asupra a ceea ce s-ar ntmpla n cazul continurii tendinelor curente; comparaii cu o stare ideal; contactarea unei reele de experi n domeniu; analiza literaturii de specialitate; comparaii cu alternative aplicate n practic pentru identificarea situaiilor similare, e vorba de consultarea modelelor de succes aplicate deja n alte pri; nregistrarea alternativelor sugerate de alii, atunci cnd analistul nu are libertate de identificare a tuturor alternativelor noi. Realizarea de tipologii pentru clasificarea problemelor poate, de asemenea, ajuta n investigarea de alternative, att n interiorul clasei de probleme, ct i dezvoltarea de idei din clasele paralele de probleme. Metodele clasice de dezvoltare a creativitii (brainstorming, brainwriting, sinectica, analogia si metafora, Phillips 66), discutate n literatur (Androniceanu, 1999) sunt extrem de utile pentru identificarea de alternative noi. Problema cea mare apare atunci cnd alternativele identificate trebuie adaptate la problema n discuie. Aici analiza devine ntr-o anumit msur o form de art, ntruct nu exist reete funcionale definite n prealabil. Experiena se obine n timp i se pot obine sugestii n urma verificrii soluiilor care au fost deja verificate n practic. Computerul poate fi util de asemenea,

avnd n vedere faptul c sunt programe care pot ajuta analiza calitativ a unor opiuni prin identificarea temelor comune, care pot ajuta procesele de luare a deciziei prin cutri paralele sau prin identificarea arborilor de decizie, ns n ultim instan factorul uman este cel care stabilete parametrii de rezolvare a problemei i care are responsabilitatea deciziei i a judecii finale. Stabilirea criteriilor de analiz a alternativelor O dat ce au fost discutate cteva noiuni introductive cu privire la identificarea alternativelor pentru soluionarea unei probleme de politic public, n continuare se va discuta despre criteriile care pot fi folosite pentru evaluarea alternativelor. Se poate ntreba cum se justific stabilirea criteriilor de evaluare naintea identificrii alternativelor disponibile. Rspunsul este dat de faptul c, stabilind criteriile de evaluare naintea identificrii alternativelor, se evit posibilitatea gsirii de argumente justificative pentru opiunea favorit. Exist o serie de modaliti de abordare i de lucru n stabilirea acestor criterii. Criteriile pot fi identificate pornind de la general la specific care include scopuri, obiective, criterii i msuri. Conform literaturii de specialitate aceste concepte sunt definite astfel (Patton i Sawicky , 1993, p. 187): Scopurile se refer la enunuri generale privind ceea ce se dorete a se mplini pe termen lung. Se pot asimila enunurilor generale de politici publice, de tipul Dorim s ncurajm dezvoltarea economic la nivelul comunitii noastre. Obiectivele sunt enunuri formulate concret despre scopuri, cuprinznd de obicei populaia int i un cadru de timp de exemplu n urmtorii 4 ani vom aloca resurse n vederea ncurajrii dezvoltrii IMM-urilor n cadrul comunitii noastre. Criteriile sunt dimensiuni ale obiectivelor care vor fi evaluate. Criteriile pot fi de urmtoarele tipuri: costuri, beneficii, eficacitate, eficien, risc, fezabilitate politic, legalitate, incertitudine, echitate, stabilirea momentului potrivit n timp. Spre exemplu, dac alegem costul ca i criteriu pentru identificarea alternativelor posibile, ne vom pune urmtoarele ntrebri care ne vor ghida s identificm posibile alternative: Exist, n prezent, condiiile necesare pentru a atrage investiii n IMM-uri la nivelul comunitii? Dispune comunitatea de infrastructura necesar (acces rutier, cale ferat, avion?) Ct de dezvoltat este reeaua de comunicaii (telefon, cablu, acoperirea reelelor de telefonie mobil)? Trebuie fcute investiii suplimentare pentru modernizarea infrastructurii? Dac da, de unde se pot atrage fonduri n acest sens? Msurile sunt definiii operaionale ale criteriilor; fiecrui criteriu i sunt asociate mai multe msuri, care pot fi utilizate n mod comparativ pentru evaluri ex-ante i ex-post sau pentru compararea situaiilor similare care se desfoar n locaii geografice diferite. De exemplu, pentru comunitatea din exemplul folosit pn n prezent, reeaua rutier este ntr-o stare proast, ns este la mai puin de 10 km de un nod important de cale ferat, iar accesul pe cale ferat este foarte bun. n continuare, vor fi analizai trei criterii care stau cel mai adesea la baza deciziilor de politic public: eficiena, echitatea i fezabilitatea politic. Din punct de vedere a teoriei economice, un guvern obine eficien n alocarea resurselor dac furnizeaz cel mai nalt nivel de bunstare pentru societate cu un set de resurse limitate (Bellinger, 2007, p. 87). La nivelul unei politici publice, eficiena nseamn maximizarea diferenei dintre beneficiile totale i costurile totale ale politicii. Beneficiile i costurile includ att factori monetari, ct i non-monetari, i att efecte directe, ct i indirecte. Echitatea se refer la distribuirea bunstrii ntre diferite grupuri din societate. O politic

echitabil este una n care efectele sau eforturile sunt distribuite n mod corect sau just. n aceast categorie intr politicile de redistribuire a venitului, pentru oferirea de oportuniti educaionale grupurilor marginalizate sau de servicii sociale. Adesea exist conflict ntre scopurile de natur etic i alte scopuri ale politicii publice. O alternativ de politic public este considerat a fi fezabil politic, dac se percepe c are suficient suport politic pentru a fi adoptat i aplicat. Erori n anticiparea efectelor unei alternative de politic public Erorile n prezicerea rezultatelor unei alternative de politic public pot aprea datorit lipsei sau insuficienei de cunotine (incertitudine) sau datorit schimbrilor ntmpltoare a variabilelor care sunt considerate n cadrul analizei (risc). Riscul apare atunci cnd exist o probabilitate necunoscut a unei variaii ntmpltoare n rezultatul unei anumite aciuni. De exemplu, atunci cnd aruncm o moned, tim cum poate s cad moneda, dar nu tim probabilitatea cu care v cdea cu stema n sus sau cu faa. Incertitudinea este definit ca informaie imperfect cu privire la rezultatele unei anumite aciuni, indiferent dac rezultatul implic un risc sau nu. Implicaiile de politic public ale celor dou concepte sunt destul de diferite. Politicile de reducere a incertitudinii implic sprijinirea aciunilor de a descoperi noi cunotine i de rspndire a informaiei n rndul populaiei. De exemplu, cerina de a tipri etichete pentru toate produsele care s conin informaii despre modul de folosire a acestora (n special pentru produsele alimentare), stimularea cercetrii n domeniul sntii etc. Multe dimensiuni ale vieii noastre se afl sub semnul riscului, dar cele mai multe analize economice legate de risc se refer la riscuri financiare sau la cele legate de viaa i sntatea unei persoane. Politicile care abordeaz riscurile legate de moarte sau accidente implic msuri de influenare a comportamentului uman sau schimbarea tehnologiei pentru a reduce riscul. De exemplu, sigurana auto este mbuntit prin politici de influenare a comportamentului (limite de vitez, centura de siguran, cerine tehnice pentru maini airbag-uri), precum i prin politici de reducere a riscurilor financiare ale accidentelor auto (cerina ca oferii s cumpere asigurri auto). n continuare vor fi prezentate dou metode de analizare a alternativelor n vederea lurii deciziei: metoda atributelor multiple i arborele de decizie. 3.2. Metode de analiz a alternativelor i de luare a deciziei 3.2.1. Modelul atributelor multiple (modelul multiatribut) Exist n domeniul public, ca i n cel privat, multe situaii n care deciziile trebuie luate n funcie de mai multe caracteristici sau condiii, care de regul se afl n conflict unele cu altele. Astfel de exemple pot fi: decizia de stabilire a celei mai bune locaii pentru o groap de gunoi ecologic pentru o localitate. Aceasta depinde de condiii precum: distana fa de zona locuit cea mai apropiat, tipul de teren pe care se amplaseaz (stabilitatea geologic, potenialul su agricol), sau posibilitatea de protecie a terenului respectiv. decizia de alegere ntre mai muli candidai pentru un anumit post ntr-o instituie poate depinde de rspunsul candidatului la anumite caracteristici ale postului, precum experiena de munc ntr-un domeniu similar, abiliti de comunicare interpersonal, abiliti analitice, motivaie sau contiinciozitate.

decizia de stabilire a celei mai potrivite locaii pentru o parcare subteran ntr-un ora mare poate fi evaluat n funcie de atribute ale terenului, de tipul distana fa de zona cu solicitri mari de parcri, tipul de teren, eventual timpul necesar pentru construcie. decizia de selectare a candidailor la examenul de admitere la universitate sau n liceu pe baza rezultatelor la un examen de admitere, la un examen standardizat sau pe baza unui chestionar de aptitudini personalizat la caracteristicile specializrii respective. n fine, unele decizii precum cea de alegere a unui automobil personal sau a unei locuine se nscriu, de asemenea, n categoria deciziilor care pot fi abordate folosind modelul multiatribut. Situaiile de mai sus sunt doar cteva exemple de probleme care pot fi rezolvate folosind modelul multiatribut de luare a deciziilor. Trebuie precizate ns o serie de concepte care ajut la structurarea modelului. Scenariile (sau situaiile viitoare posibile, stri ale naturii sau, pur i simplu lucruri care pot merge prost) sunt situaii posibile care pot fi imaginate, care se petrec dup ce decizia a fost luat i care nu se afl sub controlul decidentului. Adesea aceste scenarii posibile nu sunt luate n considerare pentru c nu se afl sub controlul factorilor de decizie i, datorit presiunilor multiple sub care i desfoar activitatea, managerilor nu le place s se ngrijoreze n mod inutil. O astfel de situaie poate aprea n cazul unei decizii asupra unei investiii importante care trebuie luat ntr-un an electoral. Rezultatul alegerilor este incert, nu se tie dac partidul/coaliia care va obine puterea va aloca bugetul necesar continurii investiiei. Totui, singurul scenariu care, de regul, va fi luat n considerare va fi cel referitor la continuarea investiiei, deoarece decidenii tiu c nu au control (sau n caz fericit acesta este redus) asupra rezultatului alegerilor. Notaia obinuit pentru scenarii este cu cifre romane I, II, III, etc. Alternativele sunt posibilele direcii de aciune, opiuni sau posibiliti de alegere. Literatura de specialitate mai include ca sinonime pentru alternative i raiune de aciune, curs de aciune sau strategie candidat (Ionescu, Cazan i Negrua, 1999, p. 131). Alternativele pot varia ca numr de la minimum dou pn la cteva mii. Astfel, posibilele locaii pentru o groap de gunoi ecologic pot fi trei, dar candidaii pentru admitere ntr-o facultate pot fi cteva mii. Numrul alternativelor poate rezulta din investigaii n teren sau ca rezultat al creativitii decidenilor. Alternativele se noteaz convenional cu literele mari ale alfabetului A, B, C etc. Criteriile, cunoscute i sub denumirea de atribute, obiective, puncte tari i puncte slabe, sunt de regul specifice problemei. Ele sunt identificate de ctre factorul (factorii) de decizie, iar numrul lor poate varia ntre doar cteva i 150, numr considerat maxim de ctre unii cercettori (Ionescu, Cazan i Negrua, 1999). De exemplu, pentru evaluarea alternativelor pentru un apartament se pot lua n considerare ca atribute spaiul locuibil, distana fa de serviciu, renumele/calitatea colii din cartier (dac decidentul are copii de vrst colar), existena sau posibilitatea construirii unui garaj (dac are main), existena unor surse de poluare fonic n apropiere (strzi puternic circulate, discoteci, gri etc). Este mai puin recomandat n aceast situaie includerea preului ca i criteriu de departajare, deoarece factorul financiar impune de obicei anumite bariere la ncercrile de evaluare obiectiv. Linia obinuit de decizie pentru resurse limitate de tipul bani sau timp merge pe direcia cu ct mai puin, cu att mai bine. Altfel spus, constrngerile financiare sau de timp pot impune evalurii o direcie nedorit iniial, decidenii ncercnd s minimalizeze costurile financiare sau de timp. Modelul atributelor

multiple este recomandat a fi utilizat pentru evaluarea alternativelor cu costuri egale sau comparabile. Pentru evaluarea alternativelor cu costuri diferite, literatura de specialitate recomand aplicarea analizei cost-beneficiu, n vederea obinerii de beneficii maxime cu minimalizarea costurilor. Mai trebuie precizat c atunci cnd numrul de atribute este mare, ele pot fi aranjate ntr-o structur ierarhic. n urma discuiilor ntre factorii de decizie se pot stabili un numr de atributecheie, iar pentru fiecare dintre acestea se pot identifica subatribute. O structur ierarhic a atributelor poate arta precum urmeaz (Ionescu, Cazan i Negrua, 1999). X1 X2 Atribute cheie X3 X4 X5 X6 X7 X67 Figura 4: Un arbore ierarhic de atribute. Sursa: Ionescu, Cazan i Negrua, 1999 De foarte multe ori atributele aflate n discuie sunt n competiie unele cu altele. n cazul parcrii subterane, de exemplu, nevoia de proximitate cu zonele aglomerate ale oraului poate fi n conflict fie cu tipul de sol al terenului disponibil sau, eventual, cu nevoia de protejare a unor relicve istorice subterane. Aceste conflicte se pot rezolva sau mcar minimaliza prin discuii n cadrul grupului de decizie, n care s se stabileasc de comun acord prioriti i chiar o ierarhie a criteriilor. Aceste discuii sunt de mare importan pentru obinerea susinerii ulterioare a deciziei, att n faa superiorilor ierarhici (dac este cazul), dar mai ales n faa publicului. Nu trebuie omis faptul c, spre deosebire de sectorul privat unde o decizie de acest tip este nscris n seciunea deciziilor de investiii, n sectorul public ea este o decizie de alocare bugetar (Hinea i Mora, 2000, p. 179). Acetia sunt bani publici, iar responsabilitatea pentru buna lor gospodrire se exercit n ultim instan n faa locuitorilor comunitii respective. Un alt aspect care trebuie luat n considerare la construirea matricii de decizie este faptul c, deseori, atributele au unitile de msur diferite. Pentru decizia referitoare la alegerea unui apartament, de exemplu, poluarea fonic se msoar n decibeli, distana fa de locul de munc n kilometri, iar calitatea colii din cartier printr-un indice compozit. O soluie la aceast problem poate fi dat de evaluarea fiecrui atribut n funcie de o scal calitativ cu cinci sau apte trepte, de exemplu de la foarte ru la foarte bine, urmnd ca apoi s acordm echivalente numerice pentru aceast scal, echivalente cu care s lucrm ulterior. Discuia se continu cu stabilirea importanei criteriilor, sau mai precis a ponderilor pe care atributele luate n considerare le au unele n raport cu celelalte. Exist metode matematice de evaluare X61 X17 X11

i calculare a acestor ponderi (Ionescu, Cazan i Negrua, 1999, p. 132), care sunt mai uor de aplicat atunci cnd este un singur decident sau atunci cnd analiza este pregtit de ctre un specialist pentru factorul de decizie politic. Ponderile se pot stabili sau estima i prin discuii ntre membrii grupului de decizie, discuii care pot fi facilitate fie de ctre o persoan de conducere din instituie sau de ctre un facilitator extern care acioneaz n calitate de consultant pentru organizaia respectiv. Desigur, metodele matematice menionate mai sus pot fi incluse ca argumente n cadrul discuiei de grup, sau, chiar mai mult, aceasta poate include evaluarea diverselor variante propuse de analitii din cadrul instituiei. Totui, nu trebuie pierdute din vedere avantajele majore ale estimrii importanei ponderilor n cadrul unei discuii ntr-un grup de factori de decizie (format, de exemplu, din directori ai mai multor servicii descentralizate dintr-un jude implicai ntr-un proiect comun sau din primari ai mai multor comune care urmresc formarea unei microregiuni): stabilirea unui limbaj comun pentru participani, clarificarea unor termeni specifici i, n consecin, eliminarea distorsiunilor de comunicare; clarificarea prioritilor pentru fiecare dintre prile implicate (ar putea exista diferite prioriti, operaionale sau politice); construirea unei atmosfere de ncredere ntre membrii grupului care poate fi util att pentru implementarea deciziei, ct i pentru viitoare proiecte comune; evidenierea prioritilor comune i clarificarea felului n care acestea afecteaz pe fiecare membru; obinerea suportului comun pentru decizia final i a satisfaciei de ansamblu pentru aceast decizie. n final, raportul ntre alternative i criterii se poate exprima sub forma unei matrici decizionale pe ale crei coloane sunt incluse alternativele, iar pe linii sunt enumerate criteriile. Se elaboreaz cte o matrice (un tabel) pentru fiecare scenariu posibil. Pe scurt, etapele elaborrii unui model multiatribut se prezint astfel: 1. stabilirea scenariilor viitoare posibile; 2. identificarea alternativelor disponibile; 3. evidenierea criteriilor de evaluarea a alternativelor; 4. construirea tabelelor de decizie: criterii (linii), alternative (coloane) pentru fiecare scenariu posibil; 5. aplicarea unei etichete calitative pe scala foarte ru pn la foarte bine cu cinci sau apte trepte, n funcie de complexitatea problemei pentru evaluarea performanei fiecrei alternative pentru fiecare criteriu luat n considerare; 6. echivalarea acestor etichete cu indicatori numerici, fie pe scala de la zero (minimum) la unu (maximum), de la zero (minimum) la zece (maximum) sau de la zero (minimum) la o sut (maximum) n funcie de preferine sau de problem. Se recomand cu insisten evitarea valorii de mijloc (adic 0.5, 5, sau 50) pentru obinerea predominanei unei alternative sau a alteia; 7. stabilirea ponderilor (importanei) fiecrui criteriu; 8. efectuarea calculelor; 9. realizarea analizei de sensibilitate pentru verificarea rezultatului obinut.

Avnd n vedere c s-a lucrat n aceast variant cu estimri ale criteriilor, pentru analiza de sensibilitate se vor modifica valorile acordate indicatorilor numerici sau valorilor estimate pentru ponderile criteriilor. La apariia unor discrepane ntre rezultatele iniiale i cele de verificare (i ansele sunt destul de mari ca aceste diferene s apar), se impune o reconsiderare a etapelor 5-8 sau chiar, la apariia unor date noi despre problem, a ntregului proces. Acest model i-a demonstrat utilitatea n multe situaii cu care s-au confruntat, n timp, managerii din instituiile publice din strintate, iar n Romnia cel puin n sectorul privat cu siguran. Este un instrument relativ uor de aplicat, i care, n aceast form, nu solicit un nivel ridicat de cunotine matematice2. Modelul multiatribut este foarte util ca ghid pentru luarea deciziilor n care se alege ntre mai multe variante distincte de rezolvare a unei probleme, precum i ca instrument pentru structurarea problemelor. Paii enumerai mai sus oblig decidentul, dar l i ajut n acelai timp s listeze alternativele i s expliciteze criteriile pe baza crora ia decizia, precum i motivele care stau la baza alegerii sale. Astfel, se clarific mult din raionamentul care st la baza deciziei respective, iar aceasta poate fi comunicat i neleas mai uor n etapa de implementare. n continuare se prezint un exemplu adaptat dup unul oferit de prof. John.W. Rohrbaugh (Junjan, 2000). n acest caz, problema se pune n termenii alegerii ntre patru candidai pentru postul de Director General n Instituia Prefectului judeului X. 1. Identificarea scenariilor de viitor posibile: Status quo; Subprefectul demisioneaz fr candidat imediat pentru nlocuire; Investigaii din partea Comisiei Administrative; i Implicarea Guvernului n criza din judeul X; 2. Listarea alternativelor (candidailor): Murean, Farkas, Gabor, Moldovan; 3. Enumerarea atributelor (criteriilor de analiz): Experiena de munc n domeniu; Abiliti interpersonale; Abiliti analitice; Motivaie (contiinciozitate); 4-8. Elaborarea matricilor de decizie pentru fiecare scenariu i efectuarea calculelor
Scenariul I Status Quo Ponderi Experien de munc .20 n domeniu Abiliti .30 interpersonale Abiliti analitice .30 Motivaie/contiinciozitate Total .20 1.00

Murean 0 0.00 20 6.00 100 30.00 100 20.00 56.00

Farkas 45 9.00 100 30.00 0.00 0.00 40.00 8.00 47.00

Gabor 80 16.00 90 27.00 25 7.50 0 0.00 50.50

Moldovan 100 20 0 0.00 75 22.50 85 17.00 59.50

Scenariul II Subprefectul demisioneaz fr nlocuitor Ponderi Experien de munc .29 n domeniu

2

Murean Farkas Gabor Moldovan 0 45 80 100 0.00 12.86 22.86 28.57

Se impune totui precizarea c teoria care st la baza acestui model este mult mai puternic formalizat i componenta matematic este mult mai consistent dect ceea ce s-a prezentat aici. Pentru referine, vezi Ionescu, Gh.Gh., Cazan, E. i Negrua, A.L., Modelarea i optimizarea deciziilor manageriale, Cluj-Napoca, Ed. Dacia, 1999.

Abiliti interpersonale Abiliti analitice Motivaie/contiinciozitate Total

.43 .00 .29 1.00

20 8.57 100 0.00 100 28.57 37.14

100 42.86 0.00 0.00 40.00 11.43 67.14

90 38.57 25 0.00 0 0.00 61.43

0 0.00 75 0.00 85 24.29 52.86

Scenariul III Investigaii din partea Comisiei Administrative Ponderi Experien de munc .00 n domeniu Abiliti .29 interpersonale Abiliti analitice .57 Motivaie/contiinciozitate Total .14 1.00

Murean 0 0.00 20 5.80 100 57.00 100 14.00 76.80

Farkas 45 0.00 100 30.00 0.00 0.00 40.00 5.60 35.60

Gabor 80 0.00 90 26.10 25 14.25 0 0.00 40.35

Moldovan 100 0.00 0 0.00 75 12.82 85 11.90 24.72

Scenariul IV Implicarea Guvernului n criza din judeul X Ponderi Experien de munc .40 n domeniu Abiliti .40 interpersonale Abiliti analitice .10 Motivaie/contiinciozitate Total .10 1.00

Murean 0 0.00 20 8.00 100 10.00 100 10.00 28.00

Farkas 45 18.00 100 40.00 0.00 0.00 40.00 4.00 62.00

Gabor 80 32.00 90 36.00 25 2.50 0 0.00 70.50

Moldovan 100 40.00 0 0.00 75 7.50 85 8.50 56.00

Rezultatul este diferit pentru fiecare dintre cele patru scenarii ntruct fiecare solicit un alt tip de puncte tari din partea fiecrui candidat. Pentru o astfel de situaie, n afar de efectuarea analizei de sensibilitate, este recomandat estimarea atent a probabilitilor de ndeplinire a fiecrui scenariu. Rndurile de mai sus au schiat diverse posibiliti de aplicare a modelului atributelor multiple n situaii pentru instituii publice. Trebuie ns reamintit nevoia de identificare corect a tipului de problem pentru care se aplic acest model. 3.2.2. Arbori de decizie n luarea unei decizii privitoare la alegerea unei politici s-ar putea s fim ajutai de ntocmirea unui arbore de decizie. Sunt necesare patru tipuri de informaie pentru construirea unui arbore de decizie (Von Winterfeld i Edwards, 1986, p. 26): 1. Care sunt alternativele? 2. Care sunt rezultatele posibile? 3. Care este probabilitatea fiecrui eveniment?

4. Care este valoarea fiecrui eveniment pentru decident? Fiecare arbore de decizie conine: 1. Noduri decizionale (puncte de decizie), reprezentate printr-un ptrat, sunt punctele unde decidentul trebuie s aleag un anumit curs de aciune dintr-un numr finit de alternative posibile. 2. Nod ans (punct de ramificaie, punct ans), reprezentat printr-un cerc, arat c un anumit eveniment, asupra cruia decidentul nu are control, urmeaz s se ntmple. Alternativele (cile de aciune, politicile alternative) sunt reprezentate prin ramificaii care ies dintr-un nod decizional. Costul asociat alternativei respective, dac exist, se scrie pe ramificaia corespunztoare alternativei respective, iar dac ea se respinge atunci ramificaia respectiv se bareaz cu o linie vertical. Pentru fiecare posibil traseu n arbore vom vedea ce beneficii/costuri avem i le vom pondera cu probabilitatea ca acest traseu s fie parcurs. S lum un caz concret. S spunem c dorim s elaborm o politic public n problema combaterii inundaiilor. n primul rnd trebuie s vedem care este ansa s avem de a face cu o inundaie serioas i ce pagube poate crea. Putem avea aici estimri ale unor specialiti, precum i documente istorice (ct de des s-au produs inundaii i ct de mari sunt acestea). Pe baza acestor date obinem c avem 40% anse s apar o inundaie mare, care ar produce pagube de 10 miliarde de lei. Avem dou posibiliti: prima, de a nu facem nimic, cea de a doua, s construim diguri cu un cost de 3 miliarde. Vom calcula posibilele beneficii i costuri pentru un an (unitatea de analiz cel mai des ntlnit pentru administraie este cea a anului bugetar n lipsa unor bugete multi-anuale), dar am fi putut face calculul i pe mai muli, ceea ce ar fi putut s ne dea o idee mai corect asupra valorii proiectului.
Inundaie (0.4) +7 miliarde

Diguri 1 Nu se ntmpl nimic (0.6)

-3 miliarde

Inundaie (0.4) Nu facem nimic

-10 miliarde

0 2 Nu se ntmpl nimic (0.6)

Din analiza diferenelor dintre beneficii i costuri s-ar prea c avem cel mai fericit scenariu cel n care am construit digul i a venit inundaia, iar cel mai puin fericit cel n care nu facem nimic i avem o inundaie. n general, n luarea unor decizii trebuie considerat riscul (n cazul nostru cel al producerii unei inundaii, 0.4) i beneficiul. Administraia public este considerat, n general, a fi

ostil riscurilor, ceea ce ar duce spre adoptarea unei decizii cu risc minim, dar i mai nclinat spre a nu aciona dect n ultimul moment. Mai exist i alte considerente care trebuie luate n calcul, cum ar fi posibilitile financiare. O alt posibilitate de a vedea care este valoarea proiectului este de a calcula Valoarea Ateptat a Beneficiului (VAB) pentru fiecare nod de decizie. Pentru aceasta vom introduce n calcul i probabilitile, avnd astfel valoarea fiecrei decizii ponderat cu probabilitatea. Calculm astfel: VAB (nodul 1) = VAB (construcie dig) = 0.4*7 miliarde + 0.6*-3 miliarde = 1 miliard VAB (nodul 2) = VAB (nu facem nimic) = 0.4*-10 miliarde+0.6*0 = -4 miliarde Din acest punct de vedere reies clar avantajele construirii unui dig. Problema poate fi complicat. S presupunem c mai avem un nod ans, corespunztor unei situaii: vor rezista digurile? n acest moment vom avea un nod 3 derivat din nodul 1 i corespunztor situaiei inundaie. Pentru a calcula VAB-urile corespunztoare acestui punct trebuie s tim cum se calculeaz probabilitile pentru acest nod. Probabilitatea ca s se produc o inundaie i ca digurile s nu reziste (estimat la 0.2 sau 20%) se obine prin nmulirea celor dou probabiliti, deci: P(inundaie, digurile nu rezist) = P(inundaie) * P(digurile nu rezist) = 0.4*0.2 = 0.08 Putem lua decizia i pe baza utilitii fiecrei variante. Utilitatea variaz pe o scal de la 0.0 (cel mai ru) la 1.0 (cel mai bine). Vom atribui fiecrei variante o valoare a utilitii. n cazul nostru varianta diguri inundaie este cea mai util i o evalum cu maximum pe scal, adic 1.0. Varianta diguri nu se ntmpl nimic este mult mai puin util, o notm cu 0.4 (totui). Varianta nu facem nimic inundaie este cea mai puin util i o notm cu 0. n sfrit, varianta nu facem nimic nu se ntmpl nimic o notm cu 0.6.
Inundaie (0.4) 1

Diguri 1 Nu se ntmpl nimic (0.6) 0.4

Inundaie (0.4) Nu facem nimic

Nu se ntmpl nimic (0.6)

0.6

Acum urmeaz faza de evaluare. Se studiaz rezultatele. Utilitatea fiecrui rezultat trebuie ponderat n funcie de probabilitatea sa. Aceasta se face matematic prin nmulirea probabilitii fiecrui rezultat cu valoarea estimat de decident pe scala utilitii sale. Astfel se calculeaz utilitatea ateptat pentru fiecare alternativ.

U(construcie diguri)=0.4*1+0.6*0.2=0.52 U(nu facem nimic)=0.4*0+0.6*0.6=0.36 Varianta cu utilitatea cea mai mare este cea a construciei digurilor. Totui, trebuie analizat atent modul de atribuire a utilitii diferitelor variante. Pentru unii s-ar putea ca varianta cea mai util s fie cea n care nu facem nimic i nu se ntmpl nimic, ceea ce s-ar putea s duc la un rezultat care ar favoriza alegerea variantei n care nu facem nimic. Important este ca atribuirea acestor utiliti s se fac astfel nct s reflecte n cea mai mare msur opiniile celor care vor lua decizia. Diferena ntre cele dou utiliti de mai sus este relativ mic (0.16). Putem face o analiz de sensibilitate care s ne spun n ce msur decizia noastr s-ar putea schimba dac se schimb datele problemei. Putem s vedem care sunt valorile probabilitii la care s-ar schimba decizia. Avnd utilitile de mai sus obinem c la P(inundaie)=0.286 valorile utilitilor celor dou variante de aciune este egal. n consecin, pentru P<0.286 este preferabil s nu facem nimic, ct vreme pentru P>0.286 este preferabil s construim diguri.

ntrebri de evaluare: 1. Care sunt sub-activitile procesului de formulare a alternativelor? 2. Descriei trei criterii de luare a deciziei i precizai diferenele principale care exist ntre acestea. 3. Menionai erori care pot s apar n procesul de evaluare a alternativelor de politic public. 4. Precizai care sunt etapele metodei multiatribut. 5. Precizai care sunt etapele metodei denumit arborele de decizie.

CAPITOLUL 4. METODE I MODELE DE EVALUARE A PROGRAMELOR 4.1. Tipuri de evaluare Un prim pas n nelegerea metodelor de evaluare este realizarea distinciei ntre tipuri de evaluare, metode de evaluare i tehnici de evaluare. Tipurile de evaluare reprezint perspectivele teoretice din care poate fi abordat evaluarea. Aici se ncadreaz, n funcie de diferitele tipuri de clasificare, urmtoarele: evaluarea formativ, sumativ, reactiv, prestabilit, ex-ante, interim, expost, analiza impactului, evaluarea bazat pe teorie etc. Dintr-un punct de vedere general, putem distinge dou mari abordri: Evaluarea sumativ, care analizeaz rezultatele la un anumit moment de la nceperea programului cu scopul de a stabili performana programului i de a estima valoarea sa. Acest moment poate fi finalul programului (dac acesta se desfoar pe o perioad precis de timp) sau la sfritul unui ciclu al programului, cel mai des un an, dac acesta este continuu. Evaluarea formativ se face de obicei n timpul implementrii (este o evaluare intermediar) cu scopul de a analiza situaia i de a uura mbuntirea programului. Mai exist posibilitatea de a face o evaluare formativ nainte de a lua decizia nceperii unui program. Ambele abordri au obiective diferite. Evalurile formative vizeaz ameliorarea performanei programului, ct vreme evalurile sumative ne spun dac un program trebuie continuat sau ales din dou sau mai multe alternative. Evalurile sumative sunt folosite de obicei ca sugestii pentru alocarea resurselor sau pentru a mbunti rspunderea public, clienii mai des ntlnii fiind cei care iau decizia, fie nali funcionari publici, fie politicieni. Evalurile formative sunt privite mai mult ca un instrument de management, pentru dezvoltarea i mbuntirea programelor. Cele dou abordri aplic procese diferite de evaluare, dar, cu toate aceste diferene, trebuie vzute ca procese complementare. Un alt tip de evaluare este cel de monitorizare sau de rutin i se refer la colectarea continu de date despre activitile i outputurile unui program. Printr-o astfel de monitorizare managerii programului primesc feedback despre ndeplinirea funciilor programului, dac sunt atinse populaiile int i/sau se produc efectele dorite. O astfel de monitorizare denot preocuparea pentru meninerea calitii programului, urmrirea proceselor acestuia i a rezultatelor obinute la nivel operaional, reprezentnd un factor necesar meninerii unor servicii publice de calitate. O alt clasificare a tipurilor de evaluare se refer la unitatea de analiz. Astfel putem avea: Evaluarea procesului (sau a implementrii), care se concentreaz asupra modului n care programul a fost implementat i asupra proceselor i procedurilor prin intermediul crora acesta funcioneaz; Evaluarea impactului (sau a rezultatelor), care se concentreaz asupra faptului dac un program are sau nu efectul dorit. n cadrul analizelor de impact, se msoar efectele nete ale interveniei, principala problem fiind diferenierea dintre efectele datorate programului i cele datorate altor cauze. n final, ceea ce ne intereseaz aici este dac scopul i obiectivele programului au fost atinse. Din punctul de vedere al momentului n care se efectueaz evalurile putem distinge patru momente diferite de timp:

Evaluri pe parcurs, efectuate n mijlocul programului cu scopul de a ne ajuta la ndeplinirea urmtoarei faze a programului; Evaluri ulterioare (ex post), desfurate dup ce programul s-a ncheiat; Evaluri n timp real, se efectueaz pe tot parcursul desfurrii programului, furnizndu-ne informaii despre progresul programului i realizrile sale (evaluarea de monitorizare este un astfel de tip); Evaluri retrospective, orientate spre impactul programului (efectele pe termen lung) i care se desfoar la civa ani dup ncheierea programului; Evaluri prospective (ex ante), care ne permit s lum decizia dac s ncepem sau nu un program. Un alt tip de clasificare (adaptat dup Trochim, 2002) analizeaz tipurile majore de evaluare i componentele fiecruia. Astfel, n evaluarea formativ sunt incluse: Evaluarea nevoilor, care ne spune cine are nevoie de program, ct de mare este nevoia i cum ar putea fi aceasta satisfcut; Posibilitatea evalurii, care ne spune dac evaluarea este fezabil i cum ar putea beneficiarii s determine i s influeneze ct de folositoare va fi aceasta; Conceptualizarea structurat, ce conine definirea programului, a populaiei int i posibilele rezultate; Evaluarea implementrii, ce investigheaz procesul prin care se realizeaz programul, incluznd i posibilele strategii alternative. n evaluarea sumativ avem: Evaluarea rezultatelor, care ne arat dac avem efecte datorate doar programului asupra populaiei int; Evaluarea impactului, care este o categorie mai larg i ncearc s stabileasc toate efectele, intenionate sau nu, ale programului, fcnd o ct mai clar distincie ntre acestea; Analiza cost-eficien i analiza cost-beneficiu ce ne rspund la ntrebarea ct de eficient este programul n termeni bneti; Analiza secundar, ce reexamineaz datele existente pentru a pune noi ntrebri i a folosi metode care nu au fost folosite anterior; Meta-analiza, care integreaz estimrile mai multor studii de evaluare pentru a ajunge la un rspuns general la o ntrebare de evaluare. Pentru a uura relaia cu mediul a aprut evaluarea participativ, o form de evaluare n care particip toate prile implicate n program (beneficiarii programului, organizaia care a implementat programul, partenerii i finanatorii programului). Tabel 2: Diferenele dintre evaluarea participativ i cea tradiional Evaluare participativ Accent pe participani; Gam larg de beneficiari care particip; Scopul este nvarea; Design flexibil; Metode de apreciere rapid; Evaluare tradiional Accent pe finanator; Deseori beneficiarii nu particip; Scopul este responsabilitatea; Design prestabilit; Metode formale;

Participanii din exterior vin n calitate de facilitatori.

Participanii din exterior sunt evaluatorii.

Metoda reprezint, ca i n cercetare, o modalitate general, strategic (din punct de vedere metodologic i nu teoretic) de abordare a realitii. Spre exemplu putem realiza o evaluare formativ utiliznd ca metod de evaluare evaluarea procesului sau evaluarea rezultatelor intermediare. Printre cele mai utilizate metode se numr: analiza nevoilor, analiza SWOT, analiza cost-beneficiu, analiza cost-eficien, evaluarea rezultatelor i evaluarea proceselor. 4.2. Metode i tipuri de evaluare Exist metode care uneori sunt considerate tipuri de evaluare, la fel cum exist tipuri de evaluare considerate uneori metode. Schematic, inventarul celor mai des utilizate metode i tipuri de evaluare este reprezentat n tabelul urmtor. Tabel 3: Cele mai des utilizate metode i tipuri de evaluare TIPURI DE EVALUARE 1. evaluarea formativ 2. evaluarea sumativ 3. evaluarea reactiv 4. evaluarea prestabilit 5. evaluarea ex-ante 6. evaluarea interim 7. evaluarea ex-post 8. evaluarea participativ 9. evaluarea bazat pe teorie 10. evaluarea impactlui METODE DE EVALUARE 1. evaluarea procesului 2. evaluarea rezultatelor 3. evaluarea nevoilor 4. analiza SWOT 5. analiza cost-beneficiu (ACB) 6. analiza cost eficien

Pentru realizarea fiecrui tip de evaluare, pot fi utilizate una sau mai multe metode de evaluare. Spre exemplu, pentru evaluarea ex-ante poate fi utilizat una sau mai multe din urmtoarele metode: Evaluarea nevoilor, analiza SWOT, ACB.

Figura 5: Metode de evaluare compatibile cu evaluarea ex-ante Prin evaluarea nevoilor vom putea determina relevana proiectului. Desigur, nu este vorba doar de nevoile beneficiarilor, ci de nevoile tuturor celor implicai n proiect. Vom identifica i ierarhiza nevoile grupului int, ale implementatorilor, ale finanatorilor i ale societii n general.

Dup o corect ierarhizare a acestor nevoi n funcie de obiectivele proiectului, vom putea aduce mbuntiri designului proiectului. Prin analiza SWOT pot fi identificate punctele tari, cele slabe, oportunitile i ameninrile semnificative pentru programul sau proiectul evaluat. Analiza SWOT se refer n principal la contextul proiectului. Analiza cost-beneficiu se refer la dimensiunea financiar a proiectului. Rspunde la ntrebri precum: Care sunt costurile i care sunt beneficiile preconizate ale proiectului? Aceasta n cazul unei evaluri ex-ante. n cazul unei evaluri interim sau ex-post putem vorbi despre costurile i beneficiile realizate pn ntr-un anumit moment al programului, respectiv pn la finalul implementrii.

Figura 6: Metode de evaluare compatibile cu evaluarea formativ Evaluarea procesului (sau a implementrii), care se concentreaz asupra modului n care programul a fost implementat i asupra proceselor i procedurilor prin intermediul crora acesta funcioneaz; Evaluarea rezultatelor are n vedere analiza raportului obiective-rezultate. Aici vor fi analizate att rezultatele intenionate, ct i rezultatele neintenionate ale programului. Metodele, ca i tipurile de evaluare, se selecteaz n funcie de prioritile strategice i de cele ale prilor implicate, de caracteristicile programului, de stadiul de implementare al programului, de datele disponibile, de stadiul evalurii i de msura n care programul poate fi evaluat. Figura urmtoare este ilustrativ n acest sens.

Prioriti strategice Caracteristicile programului

Prioritile prilor implicate

Stadiul programului

ntrebrile evalurii

Stadiul evalurii

Tipul abordrii Datele disponibile Selectarea metodelor Evaluabilitatet

Alegerea tehnicilor

Figura 7: Alegerea metodelor Sursa: Tavistock Institute et al., 2003, p.104 4.3. Modele utilizate n evaluarea de programe Cercetarea privind modelele de evaluare a programelor i proiectelor a cunoscut o dezvoltare deosebit n ultimii ani, ns a fost mereu n atenia cetcettorilor i practicienilor. Designul modelelor de evaluare i selectarea modelului potrivit pentru evaluarea unui anumit proiect sau program au devenit scopul a numeroase investigaii. Demersul este specific autorilor clasici n domeniul evalurii (Michael Quinn Patton, Michel Scriven, Peter H. Rossi), crora li s-au alaturat o serie de autori provenii mai ales din mediul academic (Daniel Stufflebeam, Egon Guba, Yvonna Lincoln, Ernest R. House, Kenneth R. Howe, Hanne Foss Hansen etc.). Instrumentarul este vast: evaluarea formativ, evaluarea sumativ, cea care pune un accent pe beneficiari, pe experi sau pe diveri participani n proiect, evaluarea realist, cea bazat pe teorie sau orientat pe utilizarea practic sunt doar cteva exemple. Un model de evaluare stipuleaz ntrebarea la care un anumit tip de evaluare ncearc s rspund i stabilete criteriile luate n considerare pentru evaluare (Hansen, 2005). Literatura de specialitate ofer o mare varietate a abordrilor privind modelele de evaluare. Hansen (2005) i Scriven (2003) propun unele dintre cele mai noi tipologii ale modelelor de evaluare. Acestea au n

vedere ase categorii de modele de evaluare, care se regsesc i n contribuiile altor autori: Birkmayer i Weiss, Pawson, Jorgensen i Stame (2004). Modelele orientate spre rezultate (modelul scopului ndeplinit i modelul efectelor produse) se nscriu n evaluarea sumativ. Modelul scopului ndeplinit este modelul clasic n care rezultatele sunt evaluate strict prin prisma scopului i a obiectivelor prestabilite ale unui program. ntrebarea de baz este n acest caz: n ce msur au fost realizate obiectivele?, iar criteriile de evaluare sunt derivate din scopul i obiectivele programului. Modelul efectelor produse urmrete identificarea tuturor consecinelor pe care un program sau un proiect le produce sau ar putea s le produc. Acest model este ns adesea criticat pentru inexistea unor criterii clare de evaluare. Evaluatorul poate reduce aceast problem prin aplicarea modelului la o analiz nainte i dup intervenie. ntrebarea fundamental n cazul acestui model este: Care sunt efectele evidente ale programului?, iar criterile de evaluare sunt deschise, din moment ce toate consecinele ar trebui dezvluite. Modelele explicative sunt modele orientate pe proces i corespund evalurii formative. Acest model de evaluare urmrete evoluia proiectului din momentul designului, pe parcursul implementrii i pn dup implementare. ntrebrile: Ct de mulumitor este nivelul activitilor?, Exist probleme de implementare? sunt specifice acestui tip de model, iar performana este analizat pe tot parcursul proiectului, de la idee pan la finalizare i la impactul asupra grupului int, i reaciile acestuia. Modelele sistemice, materializeaz o abordare sistemic n cmpul evalurii. Acestea analizeaz input-ul, structura, procesele i output-ul n termeni de rezultate. Evaluarea poate fi organizat pe compararea dintre input-ul, procesul i output-ul planificat i cele realizate efectiv sau pe anumite tipuri de benchmarking care compar rezultatele unui anumit proiect cu rezultatele unor proiecte similare implementate de organizaii similare ntr-un context comparabil, care sunt considerate excelente. ntrebarea fundamental n acest caz este dac a funcionat programul ca un ntreg, iar performana este analizat fie comparnd input-ul, procesul i output-ul realizat cu cele preconizate, fie comparndu-le cu cele dintr-un alt proiect considerat reper de bun practic. Modelele economice (cost-eficien, cost-eficacitate i cost-beneficiu) au la baz, pan la un anumit nivel, perspectiva sistemic. Ele sunt diferite de modelele sistemice pentru c raporteaz rezultatele la costurile implicate de proiect. Modelul cost-eficien, are ca interogaie de baz gradul n care productivitatea este la un nivel satisfctor. Criteriul de evaluare este comparaia dintre rezultatele obinute i cheltuielile implicate. Modelul cost-eficacitate este preocupat de msura n care proiectul sau programul a fost construit i implementat eficace, iar criteriul de performan pune fa n fa efectele proiectului cu resursele implicate. Modelul cost-beneficiu are ca preocupare principal msura n care utilitatea proiectului este mulumitoare, iar criteriul de evaluare este utilitatea raportat la costuri. Modelele centrate pe actorii implicai (modelul orientat pe beneficiar, modelul orientat pe participani, modelul orientat pe opinia experilor) au la baz criterii de evaluare propuse de participanii la proiect, fie c este vorba de iniiatori, implementatori, contractori, subcontractori sau de beneficiari. Modelul orientat pe beneficiar are ca ntrebare de baz nivelul de satisface al

beneficiarului, iar criteriile de evaluare sunt formulate de beneficiari. Modelul orientat pe participant i propune s afle dac participanii la proiect sunt mulumii, i tot participanii sunt cei care stabilesc criteriile de evaluare. Modelul orientat pe opinia experilor i propune s investigheze msura n care calitatea profesional a proiectului este satisfctoare. Criteriile de evaluare sunt stabilite n cazul acestui model de ctre experii ntr-un anumit domeniu. Modelele centrate pe teorie evalueaz validitatea teoriei programului care st la baza unei anumite intervenii. n literatura de specialitate exist cteva variante pentru modelele care intr n aceast categorie: fie teoria programului este reconstruit i comparat cu analiza empiric a programelor (Birkmayer si Weiss, 2003), fie observaia empiric este utilizat pentru analiza relaiilor dintre context, mecanisme i rezultat, dup cum este sugerat n abordarea sintezei realiste (Pawson, 2002). Modelele centrate pe teorie sunt considerate a fi o extensie a modelelor orientate spre rezultate (Hansen, 2005). ns, modelele clasice orientate spre rezultate au n vedere obiectivele i efectele concrete ale interveniilor, iar scopul evalurii este analiza rezultatelor acestora, n timp ce, n cazul modelelor centrate pe teorie accentul se pune pe cutia neagr deschis prin teoria programului care relev mecanisme care ridic ntrebri asupra unui conglomerat de activiti i intervenii. ntrebrile specifice acestui model sunt: Ce funcioneaz i n ce context? Exist erori detectabile n teoria programului? Pentru evaluare, teoria programului este reconstituit i evaluat pe baza analizelor empirice criteriul de evaluare cel mai sigur n acest caz. Exist un numr din ce n ce mai mare de modele propuse n literatura de specialitate. Din perspectiva actualului proiect de cercetare, pe lng modelele propuse mai sus, rein atenia i urmtoarele modele de evaluare, att prin actualitatea lor, ct i prin posibilitatea de a fi aplicate n administraia public romneasc. Modelul CIPP (Stufflebeam, 2002) context, input, proces, produs (rezultat) transpune evaluarea bazat pe rezultate ntr-o evaluare a eficacitii i sustenabilitii, facilitnd n acelai timp metaevaluarea i sinteza. ntrebrii de la care pornete acest tip de evaluare, Este programul un succes? i sunt subsumate ntrebri care verific impactul, eficacitatea i sustenabilitatea: A fost atins grupul int?, Au fost acoperite nevoile grupului int?, Beneficiile obinute n urma proiectului sunt sustenabile? Procesul prin care au fost obinute aceste beneficii este adaptabil pentru alte contexte? etc. Criteriile de evaluare sunt derivate din scopul i obiectivele programului. Modelul constructivist (Egon Guba & Yvonna Lincoln, 2001) are la baza trei abordri fundamentale: ontologic, epistemologic i metodologic: Abordarea ontologic a constructivismului este relativismul, potivit cruia, efortul uman de organizare a experienei ntr-o form inteligibil este un construct, independent de orice realitate fundamental. Relativismul pornete de la premisa c nu exist un adevr obiectiv. Aceasta nu nseamn c orice aciune este validat, dup cum reiese din criteriile epistemologice i metodologice; Abordarea epistemologic a constructivismului este subiectivismul tranzacional, conform cruia realitatea i adevrul depind de nivelul informrii i al sofisticrii informaiilor deinute de indivizii aflai n poziii de decizie;

Abordarea metodologic a constructivismului este hermeneutica-dialectic, potrivit creia, opiniile actorilor implicai ntr-un proiect sunt ntr-o prim etap teoretice, iar apoi primesc sens practic prin confruntarea cu realitatea empiric. Potrivit acestui model, intrebarile de baz sunt: Cine este clientul pentru aceast evaluare?, Cine sunt ceilali actori implicai?, Care este perspectiva fiecruia?, Care sunt ateptrile lor?, Care este nivelul de satisfacie al actorilor implicai fa de procesul i rezultatele proiectului? etc. Criteriile de evaluare sunt stabilite prin cooperare de actorii implicai n proiect. Modelul calitativ (Patton, 2003) propune utilizarea metodelor calitative (observaie, interviu individual, focus-group, metoda Delfi) pentru evaluarea de programe, cu precdere n anumite situaii, cnd este necesar aprofundarea unor aspecte ale programului evaluat. n cazul acestui model de evaluare ntrebrile sunt de natur calitativ: Cum au fost indeplinite obiectivele programelor?, De ce nu au fost realizate anumite obiective? etc. Criteriile de evaluare sunt stabilite prin obiectivele proiectului. Modelul centrat pe utilizarea practic a evalurii (Patton, 2002) respect principiile evalurii formative. Conform acestui model, procesul de evaluare debuteaz n momentul designului unui proiect i se incheie ulterior implementrii acestuia. Accentul se pune pe utilizrile posibile pe care diferiii actori-utilizatori le pot da evalurii. n funcie de acestea, mai exact de scopul i obiectivele evalurii se profileaz structura evalurii. ntrebrile principale n cadrul acestui model sunt: Cine sunt utilizatorii evalurii? Care sunt obiectivele lor?, Care sunt informaiile de care au acetia nevoie? etc. Criteriile de evaluare sunt stabilite de catre utilizatorii evalurii. Modelul transdisciplinar privete evoluia evalurii de la stadiul de practic la cel de disciplin specializat (Scriven, 2003). Scriven identific principalele trei dimensiuni ale evalurii care stau la baza evalurii: epistemologic, politic i tiinific (Scriven, 1993). Dimensiunea epistemologic are la baz obiectivismul. Evaluarea are valoare n msura n care se bazeaz pe logic, raiune i afirmaiile fcute corespund realitii. Dimensiunea politic se traduce prin orientarea evalurii spre consumator (Scriven, 1993, p. 9), iar Stufflebeam consider c aceast abordare este extrem de dificil, impunnd implicarea unor experi credibili i foarte bine pregtii (Stufflebeam, 2001). Caracterul tiinific al evalurii se regsete n posibilitatea disciplinei de a avea un sistem metodologic i de a-l mbunti i aplica n alte discipline i n domenii interdisciplinare. Grafic, dimensiunile modelului transdisciplinar poate fi reprezentat tridimensional, fiecare dintre dimensiuni fiind reprezentat pe una dintre axe: Planul vertical dintre axele x i y reprezint disciplinele (dimensiunea tiinific), planul situat ntre axele y i z reprezint domeniile evalurii (dimensiunea epistemologic), iar planul orizontal descris de x i z reprezint domeniile de aplicare a evalurii (dimensiunea politic), ca i n Figura 8 (Coryn i Hattie, 2006). Oricrei evaluri i corespunde un anumit punct sau volum.

Figura 8: Modelul Transdisciplinar Sursa: Coryn i Hattie, 2006 Cu ajutorul acestui model poate fi reprezentat orice evaluare. Evaluarea unui program n domeniul sntii publice ar putea fi reprezentat, innd cont de cele trei dimensiuni.

Figura 9: Reprezentarea spaial a evalurii unui program de sntate public, conform Modelului Transdisciplinar Asociind Modelul Transdisciplinar cu casa evalurii descris de M. Scriven (Scriven, 1991, p. 13), acesta poate fi mbuntit i dezvoltat dup cum reiese din Figura 10.

Figura 10: Modelul Transdisciplinar i Casa Evalurii (i) Planul orizontal reprezentnd baza cubului se refer la dimensiunea aplicativ a evalurii. Aceasta este urmat n sens ascendent de planurile corespunztoare (ii) dezvoltrii instrumentelor, (iii) metodelor, (iv) teoriei i (v) metateoriei care corespunde podului din casa evalurii. Desigur aceste trepte nu trebuie privite restrictiv, ci pot fi nuanate n funcie de scopul cercetrii. Banca Mondial (BM) utilizeaz la scar larg n special modelele economice de evaluare, fapt explicat de profilul organizaiei. ns, scopul principal al BM este combaterea srciei, de aceea evalurile centrate pe rezultate i cele orientate pe proces sunt frecvent utilizate. n acest sens, tendina imprimat de Michael Q. Patton care are n centru metodele calitative de cercetare are o rezonan aparte. Cu un ntreg departament pus n slujba evalurii, Banca Mondial realizeaz astfel de studii pentru fiecare dintre proiectele pe care le finaneaz. Experii BM realizeaz evalurile dup metodologii clar specificate. Pe site-ul BM apar actualmente 134 documente care pot fi accesate i care conin elemente ale modelelor de evaluare. Pe site sunt fcute publice metodologia utilizat, colecii de date i sursele acestora i, selectiv, anumite studii de evaluare organizate dup modelul de evaluare utilizat i dup ara n care au fost realizate. Atrag atenia numeroase studii de evaluare, datorit diversitii metodelor aplicate, a proiectelor investigate. Sunt prezentate o serie de manuale care explic metodologia i procesele presupuse de un studiu de evaluare. Printre cele mai recente este i cea a lui Judy Baker: Evaluating the Impact of Development Projects on Poverty: A Handbook for Practitioners, Directions in Development, World Bank, Washington, D.C aparut n anul 2000. n Sourcebook for Poverty Reduction Strategies, World Bank, Washington D.C., apare n acelai an Monitoring and Evaluation, scris de Prennushi, G., G. Rubio, si K. Subbarao. Trebuie menionat i impresionanta serie de articole semnate de experi ai BM printre care James J. Heckman, Jeffrey A. Smith, Nancy Clements, Christopher Taber Grossman, Jean Baldwin Karen Fulbright-Anderson, Anne C. Kubisch si James P. Connell alturi de numeroi alii.

Nota distinctiv const n faptul c totalitatea studiilor sunt realizate pe proiecte finanate de BM, centrate pe combaterea srciei. Prin urmare, un accent mai mare este pus pe aspectul economic al evalurii. Dar, din perspectiva modelelor de evaluare, tocmai acest profil socio-economic al proiectelor BM avantajeaz utilizarea n complementaritate a trei tipuri de modele: economice (care subliniaz inputul financiar), cele centrate pe rezultate i a modelului calitativ. Este firesc, avnd n vedere misiunea asumata de BM: reducerea srciei. Nu exist o deosebire major ntre instrumentele propuse de BM i cele realizate de comunitatea academic. Totui, aria extins de aciune din punct de vedere geografic i cultural i pune amprenta pe metodologia utilizat de BM. Recent, Comisia UE a propus o lista orientativ de indicatori care ar trebui urmrii n evaluarea programelor. Printre acetia se regasesc: coeziunea social (integrarea social, dimensiunile srciei sau ale srciei extreme, riscul srciei i al excluziunii sociale, coeziunea social, geografic, omajul de lung durat, accesibilitatea serviciilor de interes general), calitatea angajrii (sigurana profesional, drepturile muncitorilor, organizarea pieei muncii, echilibrul ntre viaa personal i cea profesional, oportunitile de angajare i integrare prin angajare etc.) protecia social i serviciile sociale (nivelul proteciei, accesibilitate etc.) interesele consumatorului, educaie, capital social, viaa comunitar, drepturile fundamentale ale omului etc. De asemenea, pe site-ul Comisiei se regsete i un manual de implementare a studiilor de evaluare (www.evalsed.info). Acesta explic pas cu pas procedurile care trebuie utilizate pentru evaluarea proiectelor derulate din Fondurile Structurale. Totui, el trebuie particularizat pentru fiecare ar n parte, i nu este oportun a fi aplicat ca atare. Modelele de evaluare promovate de Comisia Uniunii Europene sunt modele mixte, situate la intersecia ntre modelele economice (care subliniaz input-ul financiar), cele centrate pe rezultate i modelele calitative. Organizaiile non-profit, mai ales cele care ofer granturi sunt de regul interesate n evaluarea centrat pe rezultate i pe proces. Principalii finanatori i-au dezvoltat propriul arsenal de instrumente i modele pentru evaluare. Astfel, Fundaia Ford, USAID, Rockefeler etc. au publicat pe paginile web propriile instrumente de evaluare a programelor, nsoite de numeroase studii de caz. Unul dintre scopurile acestora este, desigur, afirmarea legitimitii aciunilor pe care le ntreprind. De remarcat ns c evalurile respect metodologia propus de cercetarea academic i utilizat de organizaiile internaionale. Desigur, modelele de evaluare i metodele i tehnicile de cercetare utilizate n tiinele sociale nu trebuie reinventate. Aplicarea lor este ns dirijat de interesele celor care le finaneaz i de profilul cultural al cercettorilor care au conceput instrumentul i care realizeaz efectiv studiul . Tendina pe plan internaional este de a utiliza concomitent mai multe modele de evaluare atent alese i adaptate. Studiile i rapoartele de evaluare trebuie s rspund din ce n ce mai mult att unor ntrebri privind procesul, ct i unor ntrebri privind rezultatele; intereseaz n acelai timp efectele economice i cele de impact social. Mai ales n cazul proiectelor finanate din bani publici, tendina este de a utiliza modelele de evaluare care se concentreaz pe rezultate ct i modele de evaluare care au la baz perspectiva beneficiarilor direci ai proiectelor (cetenii). Pentru aceasta, este necesar utilizarea unor modele de evaluare orientate att pe rezultate ct i pe actorii implicai n program. Acestea sunt modele complexe, obinute prin selecia, analiza i sinteza unor modele simple de evaluare.

ntrebri de evaluare: 1. Care este principala diferen ntre metodele i modelele de evaluare? 2. Precizai 3 dintre metodele de evaluare i descriei un context n care acestea ar putea fi utilizate. 3. Precizai un model de evaluare i identificai un context n care acesta ar putea fi utilizat. 4. Referindu-v la evaluarea ex-ante, precizai elementele legate de utilitatea acestei evaluri. 5. Care sunt principalele tipuri de ntrebri la care modelul centrat pe actorii implicai n evaluare i propune s rspund?

CAPITOLUL 5. METODE DE CERCETARE UTILIZATE N EVALUARE Pentru fiecare tip de evaluare a fost dezvoltat o gam larg de metode de cercetare n conformitate cu scopul evalurii, cu tipurile de ntrebri la care evaluarea urmeaz s rspund, cu contextul organizaional i socio-economic, cu bugetul disponibil, cu capacitatea de cercetare i cu ali factori semnificativi. Metodele de colectare a informaiei cel mai des ntlnite n cazul evalurii programelor, precum i tipul de informaii obinute pot fi descrise astfel: Tabelul 4: Metode de colectare a informaiei i caracteristicile acestora
Metoda de cercetare Observaia Tip de evaluare Descriptiv i normativ Impact (cauz i efect) Descriptiv, normativ i de impact Descriptiv i normativ Descriptiv i normativ Descriptiv i normativ Date Tip de informaii Metoda de eantionare Eantion probabilistic sau nu Eantion probabilistic sau nu Eantion probabilistic sau nu Eantion nonprobabilistic Eantion probabilistic Eantion nonprobabilistic Necesitatea unei baze de comparaie Nu

Date noi

Cantitative sau calitative Cantitative sau calitative Tind s fie cantitative, pot fi calitative Tind s fie calitative Tind s fie cantitative Tind s fie calitative, pot fi cantitative

Experimentul

Date noi

Da, esenial

Analiza documentelor Interviul

Date existente Date noi

Poate s existe sau nu Nu

Sondajul de opinie Studiul de caz

Date noi Date noi

Nu Nu

Sursa: GAO/PEMD, 1999, p. 32 Cteva precizri: Descriptiv se refer la faptul c ni se ofer date referitoare la situaia existent, normativ se refer la ceea ce trebui sau ar fi de dorit s se ntmple, impact se refer n acest context la stabilirea unei relaii de tip cauz-efect; Abordarea cantitativ se bazeaz pe msurarea numeric a unor aspecte specifice fenomenelor studiate, permit utilizarea unor metode statistice de testare a unor ipoteze i se folosesc pentru un numr mare de date. Abordarea calitativ se refer la strngerea unor date pe un numr mai mic de cazuri, dar mergnd mai n adncime i urmrind un grad mai mare de nelegere a problemei; Pentru a face o evaluare nu este nevoie s studiem toat populaia care beneficiaz de pe urma unui program sau s urmrim anumite comportamente pe toat durata programului. Este suficient s alegem o bucat numit eantion, pe care s o studiem i putem (dac eantionul a

fost bine construit) s generalizm la ntreaga populaie. Un eantion este probabilist n momentul n care fiecare individ din populaie are anse egale de a fi inclus n eantion. Eantioanele probabiliste permit generalizarea rezultatelor. n practic se folosesc cel mai des sondajele de opinie n rndul beneficiarilor, acestea fiind percepute ca fiind mai profesionale i mai uor de administrat. Din pcate instrumentul folosit, chestionarul, este lipsit de finee i rezultatele obinute nu sunt ntotdeauna cele mai bune. De asemenea, este greu s surprinzi nevoile latente (care nu au fost contientizate nc) printr-un sondaj. De aceea este preferabil ca n limita timpului, a banilor i a personalului pe care le avem la dispoziie s ncercm s mbinm ct mai bine ct mai multe dintre metodele menionate mai sus. Evaluarea unui proiect sau program presupune utilizarea att a metodelor calitative de cercetare ct i a celor cantitative. Abordarea cel mai des utilizat este cea a metodelor multiple o combinaie funcional ntre cele dou tipuri de metode. Un anumit grad de cuantificare este necesar n toate studiile de evaluare pentru a aprecia succesul interveniilor i amploarea efectelor adverse. n acelai timp, metodele calitative de cercetare sunt extrem de utile n rafinarea instrumentelor de cercetare i n aprofundarea informaiei colectate. Cele dou paradigme sunt puse fa n fa cu scopul de a face o comparaie i nu pentru a sublinia un raport de opoziie. 5.1. Metode cantitative utilizate n evaluarea de proiecte Datele obinute prin sondajul de opinie aplicat n cadrul studiului de evaluare trebuie interpretate prin prisma i n contextul datelor regsite n arhive, al datelor provenite din recensminte i al celorlalte date statistice existente. Scopul unui astfel de sondaj ar fi: 1. s verifice valabilitatea datelor obinute iniial, pe un eantion mai larg i mai reprezentativ; 2. adresarea unor ntrebri n legtur cu probleme care nu au fost abordate anterior Astfel se obin date predominant cantitative (legate de nivelul de angajare a forei de munc, sursele de venit etc.). Dac se utilizeaz sondajul de opinie, trebuie avute n vedere urmtoarele elemente: utilizarea ntrebrilor potrivite construcia eantionului alegerea celor mai relevante tehnici de analiz a datelor Chestionarul Instrumentul de baz al sondajului de opinie (i al interviului structurat) este chestionarul. Chestionarul poate fi construit doar n momentul n care tim foarte clar cum se prezint problema studiat. Din cauza complexitii realitii sociale trebuie s descompunem problemele de-a lungul diferitelor dimensiuni. Fiecare dimensiune trebuie descompus n indicatori. Doar ca urmare a acestei operaionalizri putem ajunge la msurare. n momentul n care tim ce vrem s msurm vom traduce indicatorii n ntrebri care s apar n chestionar. Pentru ca s putem construi un chestionar bun trebuie s avem o cunoatere ct mai bun a subiectului, s avem o schem explicativ a fenomenului (o teorie), s cunoatem ct mai bine populaia care va fi chestionat i s stpnim tehnica de construcie a chestionarului.

Exist cteva cerine de baz, cum ar fi folosirea unui limbaj accesibil: chestionarul trebuie s fie ct mai uor de neles. Dac ntrebrile vor fi redactate ntr-un limbaj esoteric muli nu vor nelege nimic sau vor nelege greit, iar rspunsurile vor fi inutilizabile sau va fi necesar introducerea unor ntrebri filtru, pentru c nu toat lumea poate sau trebuie s rspund la toate ntrebrile (de exemplu, dac punem o ntrebare referitoare la promptitudinea funcionarilor de la serviciul de stare civil al Primriei X trebuie s folosim o ntrebare filtru care s ne spun dac cei chestionai au apelat la respectivul serviciu i la ntrebarea de baz vor rspunde doar cei care au apelat la respectivele servicii). ntrebrile pot fi: factuale: referitoare la anumite comportamente sau situaii cunoscute de subieci. Exemple: ce venit are familia, dac a fost la vot, cu cine a votat la ultimele alegeri, etc.; de opinie: referitoare la atitudinile i credinele celor chestionai; de cunotine: se folosesc pentru a cunoate ct mai bine persoana investigat. Uneori acestea pot constitui chiar scopul cercetrii. Ne-am putea propune s aflm care este competena civic a populaiei i vom apela la ntrebri de genul Menionai numele unui parlamentar din jude, Cine este prefect?, Ce instituie rspunde de curenia strzilor? i multe altele de acest gen. Nivelul de cunotine poate fi folosit i ca nivel de control al valabilitii opiniilor. De exemplu, o proast opinie despre o instituie s-ar putea s provin din necunoaterea atribuiilor acesteia sau a realizrilor ei. Din punctul de vedere al formei ntrebrilor avem ntrebri nchise i ntrebri deschise, existnd posibilitatea s avem i ntrebri mixte (semideschise sau seminchise). O ntrebare nchis este aceea n care exist variante de rspuns care sunt oferite subiectului sau n care operatorul va ncerca s ncadreze rspunsul liber primit. Cele mixte ofer variante de rspuns, dar care s-ar putea s nu epuizeze variantele de rspuns i atunci ofer i varianta Alta i anume..., cernd subiectului s precizeze care este aceasta. Elaborarea variantelor de rspuns trebuie fcut cu mare grij. Variantele oferite trebuie s fie clare, ct mai complete (n caz c exist posibilitatea altor rspunsuri, se apeleaz la ntrebri mixte), i, n cazul n care se cere un singur rspuns ca variantele s fie mutual exclusive (altfel subiectul s-ar putea s aib probleme, fiind pus s aleag ntre dou variante care sunt adevrate). Problema ntrebrilor cu posibiliti multiple de rspuns merit tratat. n general se recomand evitarea acestora dac se dorete s aflm mai mult despre fiecare din itemii n chestiune. De exemplu, putem pune ntrebarea: La care dintre serviciile urmtoare ale Primriei ai apelat n ultimul an?: 1. Urbanism 2. Gospodrie local 3. Cultur 4. Economic 5. Patrimoniu 6. Nici unul. O astfel de abordare este potrivit n momentul n care nu dorim s facem distincii ntre variante. Se poate face o ierarhizare cantitativ, dar una calitativ va fi realizat doar prin alte ntrebri. Vom avea probleme i cu codificarea rspunsurilor (lucru foarte important n prelucrarea statistic a datelor) pentru c avnd mai multe rspunsuri posibile, numrul de combinaii este prea

mare. Dac dorim s obinem mai multe informaii despre interaciunea cu fiecare serviciu putem pune ntrebarea de forma: Ct de des ai apelat n ultimul an la serviciul X al Primriei: niciodat o dat de 2-3 ori mai mult de patru ori ntrebarea va fi pus pentru fiecare serviciu n parte. n momentul alegerii unui tip sau altul de variante de rspuns trebuie s avem n minte nivelul de msurare la care dorim s ajungem. Variantele de rspuns pot fi: Dihotomice, de tipul Da/Nu, mai potrivite pentru ntrebri de tip factual, dac exist sau nu ceva, sau cum ar fi ntrebarea referitoare la sexul subiectului; Rspunsurile pot fi de tipul unor scale nominale (n care nu exist relaii), cum ar fi: n ultimele 12 luni, n gospodria Dvs. veniturile bneti au provenit n principal din...? (se ncercuiete sursa principal de venit corespunztoare tuturor membrilor gospodriei, n ultimele 12 luni) 1. salariu de la stat 2. salariu de la firm privat 3. salariu de la firm mixt 4. ajutor omaj/alocaie de sprijin 5. alocaie copil 6. burs 7. venituri pe cont propriu 8. profit din afacere 9. munc de zilier

Dac este vorba despre opinii, rspunsurile trebuie s fie mai nuanate, mergndu-se pe ideea unor scale de tip ordinal, mai ales pe ideea cunoaterii intensitii opiniei (se folosete i n cazul ntrebrilor factuale, cnd se dorete aflarea intensitii unui fenomen). Exist mai multe posibiliti i aici. Putem avea: n ce msur cunoatei aciunile primarului i consilierilor locali din ultimul an? 1. n foarte mare msur 2. n mare msur 3. n mic msur 4. Deloc sau: 9. NR/N

n orice societate, unii oameni se consider bogai, alii se consider sraci. Dvs. unde v situai pe urmtoarea scar? (se arat scala de mai jos i se bifeaz poziia potrivit!) 0 srac 1 2 3 4 5 6 7 8 9 10 bogat

ntr-o astfel de scal vom obine o cuantificare mai exact a nivelului perceput al avuiei subiectului. Variantele de rspuns cele mai des ntlnite sunt: 1. Mult mai bun 1. Foarte mulumit 1. Acord total 2. Mai bun 2. Destul de mulumit 2. Acord parial 3. La fel 4. Mai proast 5. Mult mai proast 4. Deloc mulumit 4. Dezacord total

3. Nu prea mulumit 3. Dezacord parial 9. N/NR

N/NR nseamn Nu tiu/Nu rspund i este recomandat s fie inclus ca variant de rspuns dac nu dorim s form un rspuns, pentru c exist muli oameni care nu au o prere sau nu tiu sau nu vor s rspund. Uneori non-rspunsurile apar n cele mai neateptate locuri. n 1998, efectund un micro-sondaj n zona Pittsburgh (SUA) am obinut cel mai slab procentaj de rspunsuri tocmai referitor la sexul persoanelor! Numerotarea cu 9 i nu cu numrul corect al variantei de rspuns se folosete pentru diferenierea populaiei care nu tie sau nu rspunde n vederea unor viitoare prelucrri statistice. Uneori msurarea poate fi mai precis dac folosim o ntrebare deschis. De exemplu, la ntrebrile referitoare la vrst sau la venitul familiei. n chestionar se mai pot include i instruciuni de completare pentru subiect sau pentru operator (n exemplul cu bogia era i o instruciune pentru operator). Numrul optim de ntrebri din chestionar difer de la un subiect la altul. Cu ct problema studiat este mai complex i cercettorul mai ambiios, tendina va fi s fie ct mai multe ntrebri. Totui, chestionarul nu trebuie s devin prea lung, obosind i subiectul i operatorul. Trebuie avut n vedere n principal viteza cu care poate fi completat. Cu ct ntrebrile sunt mai complexe, cu att timpul de completare crete. Ca durat, dac este vorba de un sondaj pe strad acesta trebuie s dureze maximum 5-10 minute, iar n cazul unuia la domiciliu maximum 45 de minute. n consecin i numrul de ntrebri trebuie s se limiteze la cteva zeci, foarte rar putnd s ating 100 de ntrebri. Nu exist o ordine recomandat a ntrebrilor: o ntrebare poate aprea la nceputul sau la sfritul chestionarului. Nu se recomand nici s se urmreasc structuri logice sau tematice din motive legate de posibilitile de verificare pe care le permite introducerea n alte seciuni a unor ntrebri de control (dar nici nu trebuie s se ajung la o concepie haotic, n care s se sar de la o chestiune la alta). Se recomand s se nceap cu ntrebri simple, plcute, cu rolul de a sparge gheaa. Exist ntrebri tipice pentru evaluri. Putem avea astfel: 1) ntrebri legate de nevoi: Care este natura i dimensiunea problemei? Care sunt caracteristicile populaiei int? Care sunt nevoile populaiei? Ce servicii sunt necesare? Care este mrimea nevoilor? Ct timp trebuie furnizate serviciile? n ce mod pot fi furnizate serviciile? 2) ntrebri legate de modul n care este conceput i construit programul: Ce beneficiari va avea programul? Ce servicii vor fi furnizate? Care este cel mai bun sistem de furnizare a serviciilor? Cum ar trebui organizat programul? Ce resurse sunt necesare pentru desfurarea programului? 3) ntrebri legate de operaiunile programului: Obiectivele au fost atinse?

 Serviciile dorite sunt furnizate persoanelor crora le erau destinate? Exist persoane ale cror nevoi nu au fost satisfcute? Care este satisfacia clienilor? Exist probleme n funcionarea programului? 4) ntrebri legate de rezultatele programului: Obiectivele au fost atinse? S-au obinut rezultatele dorite? Efectele asupra clienilor au fost pozitive? Exist efecte adverse? Exist diferene n rndul beneficiarilor n ceea ce privete efectele programului? n ce domenii programul a funcionat cel mai bine? 5) ntrebri legate de cost i eficien: Resursele au fost folosite n mod eficient? Raportul cost-beneficiu este acceptabil? Ce alte alternative ar fi dus la acelai rezultat cu costuri mai mici? Toate cele de mai sus sunt mai mult problematici din care pot fi puse ntrebri. Putem pune ntrebarea ntr-un mod apropiat de formularea propus sau pentru fiecare dintre ele putem formula mai multe ntrebri, astfel nct s nelegem mai bine fenomenul. ntrebrile ar trebui s se concentreze pe problemele sociale cu care are legtur proiectul. Trebuie s existe o legtur direct ntre variabilele cu ajutorul crora se msoar impactul i ntrebrile chestionarului. Numrul i coninutul ntrebrilor trebuie s se plieze pe importana relativ a variabilelor. Accentul trebuie pus pe claritatea formulrii ntrebrilor. nc din aceast etap, o importan semnificativ o are influena variabilelor externe. Validitatea concluziilor depinde de msura n care poate fi anticipat i controlat influen acestora. Claritatea i relevana ntrebrilor, precum i ordinea n care ntrebrile sunt prezentate poate avea un impact semnificativ asupra validitii analizei. Problema variabilelor externe i a oportunitii ntrebrilor poate fi rezolvat prin pre-testarea instrumentului. n acest context, unii cercettori vorbesc despre procesul de clarificare sau de curare a instrumentului. nainte de a ncepe construcia unui chestionar n vederea utilizrii lui pentru evaluarea impactului social al unui proiect sau program, specialistul n tiine sociale trebuie s in cont de dou realiti: realizarea unor cercetri noi presupun, de regul mult timp, i n al doilea rnd, este recomandabil utilizarea cercetrilor anterioare. Studiile cantitative trebuie corelate cu tehnicile inductive de analiz a informaiei existente, cu analiza informaiei calitative i cu observaia. Un exemplu de chestionar utilizat n evaluare poate fi consultat n Anexa 2. 5.2. Metode calitative utilizate n evaluarea de proiecte Selectarea unei metodologii pentru evaluarea unui proiect sau a unui program i pune amprenta asupra ntregului proces de evaluare. De cele mai multe ori, selecia se fcea din rndul metodelor cantitative. Recent cercettorii metodelor de evaluare au observat anumite limitri ale tehnicilor cantitative privind rspunsul care trebuia dat anumitor ntrebri de evaluare. n acest referat voi sublinia anumite diferene existente ntre metodele cantitative i calitative de cercetare utilizate n procesul de evaluare. Tendina actual este de a combina cele dou abordri metodologice. Metodele

calitative de colectare a datelor la care m refer cu predilecie sunt: interviurile individuale, observaia participativ i analiza documentelor. Toate acestea particip uneori la construcia unui studiu de caz. Prin utilizarea metodelor calitative n evaluarea de programe, se obin o serie de descrieri ale organizrii i funcionrii programului, ale experienelor pe care le au cei implicai n program. Scopul acestor descrieri este oferirea unei imagini despre programul respectiv. Prin utilizarea metodelor calitative se ncearc gsirea unui rspuns la urmtoarele tipuri de ntrebri: 1. Cum funcioneaz programul? 2. Care este perspectiva participanilor n programul respectiv? Ct sunt ei de mulumii cu desfurarea sau cu rezultatele programului? Care este rolul fiecrui actor implicat? Care sunt principalele nemulumiri i care sunt cauzele acestora? 3. Cum s-au desfurat anumite activiti ale programului? Se urmrete descrierea tuturor aspectelor care pot fi relevante pentru nelegerea unui program. Din totalitatea informaiilor colectate prin interviuri, studii de caz, observaii de teren, vor fi ulterior selectate pentru raportul de evaluare acele informaii care ofer un rspuns pentru ntrebrile evalurii. 5.2.1. Observaia Observaia este o metod cu multiple avantaje n evaluarea de proiecte. Caracterul su noninvaziv este esenial n obinerea unor informaii nedistorsionate, spre deosebire de cele obinute prin interviu sau prin sondajul de opinie unde efectul de dezirabilitate social este mai pregnant. Evaluatorul poate realiza observaia i poate beneficia de informaiile culese prin aceast metod n cursul participrii n implementarea unui proiect, cu ocazia ntlnirilor i interaciunilor ocazionate de derularea proiectului. Datele astfel obinute trebuie notate imediat, nregistrrile fiind indicat s fie fcute ntr-un jurnal de observaie care urmeaz a fi analizat ulterior. Acest tip de date pot fi extrem de utile n evalurile de proces. De asemenea, evaluatorul poate colecta o serie de date prin analiza activitilor specifice unui program. n cursul interaciunilor cotidiene, un numr de detalii aparent nesemnificative se pot dovedi ulterior ca fiind eseniale. Ele pot atrage atenia evaluatorului asupra unor aspecte care urmeaz a fi analizate formal ulterior. De exemplu, dac n cazul evalurii activitii unui centru de zi pentru copii provenii din familii defavorizare, evaluatorul observ materialele didactice care se presupune c sunt utilizate zilnic n stare perfect (neatinse, neuzate) i poate pune ntrebri n legtur cu utilizarea efectiv a materialelor n timpul activitilor zilnice. Dac, n aceeai situaie, evaluatorul observ o atitudine de mirare a copiilor care intr n sala de mese la vederea fructelor i a feelor de mas, evaluatorul poate investiga ulterior condiiile n care copii iau masa de obicei, precum i dac sunt hrnii corespunztor. n evaluarea programelor observaia nu este folosit la adevrata sa valoare. O prim cauz este explicarea problemelor prin cauze sociale sau economice (de genul: srcia este datorat situaiei economice generale, salariilor mici, educaiei reduse, provenienei dintr-o familie cu mijloace reduse etc.). n anumite cazuri astfel de explicaii nu sunt suficiente, comportamentul putnd fi cauza real, iar pentru studiul comportamentelor observaia este cea mai bun metod. O a doua cauz este costul n timp i for de munc pentru a face suficiente observaii referitoare la un grup mare de oameni sau la o comunitate. Cercetrile efectuate pe astfel de teme dureaz perioade mari de timp, exact ceea ce lipsete de obicei ntr-o evaluare. Ca s dm un

exemplu, cercetarea unui clasic al observaiei, William Foot Whyte, Street Corner Society: The Social Structure of an Italian Slum (1943) a durat 5 ani! Caseta 1. Grila de observaie Gril de observaie pentru nvare activ Scopul cercetrii este determinarea gradului n care profesorul ncurajeaz nvarea activ. Grila este structurat, observatorul trebuind s identifice n ce msur profesorul d dovad de anumite comportamente. La final scorurile pentru fiecare comportament se nsumeaz, obinndu-se scorul profesorului. Numele profesorului: ________________ Clasa: ___________ Data: _________ Comportamentul profesorului Transmite cunotine -4 -3 -2 -1 0 1 2 3 4 Faciliteaz cunoaterea Distant i formal Mediul clasei este rigid Cunoatere bazat pe autoritate Pune accentul pe gndire unitar Planific i conduce toate activitile -4 -3 -2 -1 0 1 2 3 4 -4 -3 -2 -1 0 1 2 3 4 -4 -3 -2 -1 0 1 2 3 4 -4 -4 -3 -3 -2 -2 -1 -1 0 0 1 1 2 2 3 3 4 4 Cald i prietenos Mediul clasei este flexibil Cunoatere bazat pe descoperire Pune accentul pe gndire divers Permite elevilor s intervin n planificare i conducere Evalueaz singur munca elevilor Evaluarea se face doar n scopul notrii -4 -3 -2 -1 0 1 2 3 4 -4 -3 -2 -1 0 1 2 3 4 Implic elevii n evaluarea muncii lor Evaluarea se face pentru diagnosticare

Scorul final:_____________________________ Comentarii: _____________________________ Sursa: http://www.cabarrus.k12.nc.us/pdf/ActiveLearningObsInstru.1.pdf

5.2.2. Interviul individual Interviul individual este cel mai adesea utilizat n evaluarea unor programe de mici dimensiuni, cnd sunt implicai un numr relativ restrns de indivizi-cheie n implementarea unui program. Cnd utilizeaz acest tip de interviu, evaluatorul urmrete fie clarificarea modului de funcionare a programului, fie determinarea unor soluii pentru realizarea de schimbri n modul de funcionare (Chen, 2005, p. 79). Interviul individual este o ncercare de a obine informaii pentru evaluarea unui program prin intermediul unor ntrebri i rspunsuri din cadrul unor convorbiri ntre evaluator i participanii ntr-un anumit program. La baza interviului, fie c este individual, fie c este de grup, st un ghid de interviu care precizeaz mai mult sau mai puin exact ntrebrile care urmeaz a fi utilizate n cursul interviului. Spre exemplu, pentru evaluarea unui program al crui obiect l constituie un Centru de Zi pentru educarea copiilor precolari provenii din familii defavorizate, putem recurge la un interviu semistructurat. Interlocutorii vor fi prinii copiilor-beneficiari direci ai programului. n acest caz, putem utiliza urmtorul ghid de interviu: Caseta 2. Ghid de interviu utilizat n evaluare

Ghid de interviu pentru evaluarea Centrului de Zi pentru educarea copiilor precolari provenii din familii defavorizate Vrsta interlocutorului____________ Sexul interlocutorului_____________ Data_____________________________ Bun ziua, numele meu este____________. Scopul acestui interviu este s aflm prerea dumneavoastr despre acest CZ unde v aducei zilnic copilul. Sunt interesat n special de problemele pe care le-ai ntmpinat i de recomandrile pe care le avei. Dac suntei de acord, voi nregistra aceast convorbire, pentru a putea evita orice denaturare a conversaiei noastre. Tot ce vom vorbi aici rmne confidenial, doar un rezumat al prerilor tuturor persoanelor implicate n program, fr referin la numele acestora, va fi fcut public. Pentru nceput v rog s ne spunei dac avei vreun copil care frecventeaz centrul de zi i dac da, cum a fost ales copilul dvs. pentru programul Centrului de Zi? (Not: n funcie de rspuns se pot adresa alte ntrebri pentru clarificare). Avei cunotin s fi existat probleme n selecia participanilor n program? (Not: dac da, se continu cu ntrebri cum ar fi: Care au fost acestea?, tii de ce au aprut?, Cum au fost rezolvate? sau Ce sugestii avei pentru rezolvarea unor astfel de probleme?). Ct de mulumit suntei de serviciile oferite? (Not: se poate continua cernd detalii despre serviciile la care se refer, i poate fi utilizat o scal de la 1 la 10 pentru evaluarea fiecrui serviciu).

Care este programul zilnic al copiilor? (Not: dup ce se primete rspunsul se poate continua cu ntrebri cum ar fi: Cum ai aprecia prestaia educatorilor?, Cum apreciai comportamentul personalului auxiliar?). Cum colaborai cu personalul angajat al Centrului de Zi? (Not: se vor cere detalii i explicaii; se poate continua seria ntrebrilor cu: Ai participat la edintele cu prinii? Ct de des? Dar la serbri? Ce alte activiti implic participarea dumneavoastr?). Ce credei c nu este bun n programul centrului de zi? Not: se vor cere detalii i explicai; se poate continua cu ntrebarea Care sunt soluiile pe care le propunei pentru eventualele probleme? Care ar fi elementele pozitive ale acestui program? De ce credei acest lucru? (Not: se va insista pe explicarea motivelor pentru care acestea au fost menionate). Dac ai mai avea un copil ntre 3 i 6 ani l-ai nscrie la Centrul de Zi? Ce prere avei despre ntregul program? (Not: se va insista pe aspectele care nu au aprut mai devreme n discuie). Ce alte lucruri ar merita tiute despre program? (Not: se vor cere detalii i explicaii). 5.2.3. Focus grupul (FG) FG este un interviu structurat aplicat asupra unui grup special constituit cu ocazia interviului. Se folosete mult n domeniul marketingului, n care se urmrete aflarea opiniilor despre anumite produse sau servicii i pentru a completa anumite cercetri sociologice (pentru triangulare). O variant este cea n care sunt convocai experi (metoda Delphi), n care se urmrete ajungerea la o soluie sau la evaluarea unor situaii. Principalul scop al FG este surprinderea ct mai detaliat a atitudinilor, credinelor, sentimentelor, experienelor i reaciilor respondenilor ntr-o manier mai puin specific celorlalte metode calitative de cercetare fie c este vorba de observaie, interviu individual sau studiu de caz. Particularitatea FG este interaciunea. n comparaie cu interviul individual, care intenioneaz cunoaterea atitudinilor individuale, FG agreg o multitudine de perspective i procese emoionale ntr-un context de grup. Fa de observaie, FG poate furniza o cantitate mai mare de informaii ntr-o perioad mai scurt de timp, economisind astfel resurse (timp, bani, personal). n timp ce n cadrul observaiei cercettorul ateapt ca lucrurile sa se ntmple, n cadrul FG el conduce direcia investigaiei n sensul dorit, prestabilit prin ghidul de FG. n acest sens, FG nu este un eveniment spontan, ci organizat. FG poate fi utilizat n etapele preliminare sau exploratorii ale unei evaluri, n timpul acesteia, pentru a valida opiniile obinute n interviurile individuale, i informaiile provenite din studiul documentelor sau ulterior implementrii unui program pentru a evalua impactul sau pentru a da noi direcii de evaluare. FG poate fi utilizat ca metod de evaluare de preferin n combinaie cu alte metode de cercetare pentru verificarea validitii evalurii. Organizarea interviurilor FG necesit mai multe resurse i o mai bun planificare dect celelalte tipuri de interviu. Selectarea participanilor, pregtirea i adunarea lor n locuri dotate cu toate dispozitivele tehnice necesare ia de obicei mult timp.

Numrul recomandat de persoane participante la FG este de obicei ntre ase i zece (MacIntosh, 1981), ns anumii cercettori utilizeaz pn la 15 persoane (Goss, 1996), pe cnd alii se opresc la patru (Kitzinger, 1995). Numrul grupurilor variaz de asemenea, mergndu-se de la cte o ntlnire cu cele cteva grupuri formate, (Burgess 1996), la mai multe ntlniri cu un singur grup pan la mai multe ntlniri cu mai multe grupuri. FG dureaz de obicei ntre o or i dou ore. Sunt preferate locaiile neutre pentru a evita orice tip de dezirabilitate i asocierile cu influenele pozitive i negative pe care le-ar putea genera un anumit context. De altfel, FG utilizate pentru evaluarea unui program pot fi organizate ntr-o varietate de locuri: sli nchiriate, sli de edin (n care, eventual, subiecii ca grup pre-determinat se ntlnesc i cu alte ocazii, n timpul implementrii programului), etc. Selecia participanilor pentru FG nu este nici ea un proces simplu. Dac un grup e prea eterogen, sub aspectul genului sau al categoriei sociale sau ocupaionale, diferenele dintre participani pot avea un impact considerabil asupra contribuiilor acestora n cadrul FG. De asemenea, dac un grup e omogen din perspectiva anumitor caracteristici, diverse opinii sau experiene ar putea fi omise (Morgan 1988). Odat ce profilul participanilor a fost stabilit, urmtoarea provocare e reprezentat de localizarea lor. Recrutarea participanilor poate necesita timp, mai ales dac tema n discuie nu prezint beneficii imediate sau nu este ntr-un alt fel atractiv pentru participani. Acesta nu este ns cazul n evaluarea de programe, mai ales atunci cnd prin FG se testeaz satisfacia beneficiarilor fa de un anumit program, sau n cazurile n care programele sunt susinute de ctre anumii finanatori, iar actorii implicai i-au asumat obligaia transparenei. Odat ce ntlnirea a fost stabilit, rolul moderatorului devine esenial. El ofer informaii i explicaii clare n legtur cu scopul ntlnirii, i ajut pe participani s se simt n largul lor i nlesnete interaciunea dintre ei. n timpul ntlnirii moderatorul trebuie s anime dezbaterea prin ntrebri deschise, prin provocarea participanilor la a-i exprima opiniile. Rolul moderatorului se refer i la concentrarea continu a ateniei participanilor asupra subiectului. De asemenea, moderatorul trebuie s asigure fiecrui participant ansa de a interveni i n acelai timp, moderatorii trebuie s evite manifestarea propriilor opinii (Kreuger, 1988), pentru a nu influena anumii participani. Moderatorul trebuie s posede caliti deosebite de comunicare interpersonal, s fie un bun asculttor neprejudiciat i adaptabil. Astfel va fi ncurajat un dialog deschis, interactiv, eficient. Nivelul controlului impus de moderatori depinde de tipul proiectului, de tipul i scopul evalurii. Dac sunt implicai doi sau mai muli moderatori trebuie s existe un acord prealabil n legtur cu aportul fiecruia. E recomandabil ca unul dintre moderatori s supervizeze interaciunea grupului, iar celalalt s ia notie n legtur cu aspecte ale discuiei care nu pot fi nregistrate, precum i cu opinii sau reacii care trebuie clarificate ulterior. n evaluarea de programe, metoda poate fi folosit n urmtoarele scopuri: 1. S nelegem de ce a aprut o anumit problem n mediul din care sunt selectai participanii i n ce msur programul respectiv o acoper; 2. Pentru identificarea nevoilor recunoscute, dar i a celor latente i a satisfaciei fa de modul n care programul rspunde la ateptrile lor; 3. Gsirea unor posibile soluii pentru eventualele probleme ale programului;

4. Pentru a afla posibilele reacii fa de anumite soluii propuse de diferiii actori implicai in program; 5. Aflarea atitudinilor fa de anumite instituii sau programe sau a ncrederii n acestea. n evaluarea unui program, pot fi utilizate mai multe focus grupuri, rezultatele fiind ulterior corelate. Este chiar recomandabil ca n momentul n care avem de a face cu grupuri eterogene pe care vrem s le studiem, s construim mai multe focus grupuri. Este bine s evitm s reunim n acelai grup efii i subordonaii, persoane cu mai mult educaie i persoane mai slab educate, etc. pentru c difer modul n care se pun problemele, exist sentimente de team sau respect care pot mpiedica prezentarea unor puncte de vedere. De asemenea, populaia studiat poate fi mprit i pe faete ale problemei studiate. De exemplu, dac dorim s vorbim despre educaia contraceptiv n rndul tineretului ar fi bine s vorbim separat cu bieii i fetele. 5.2.4. Analiza documentelor Analiza documentelor este sursa de informaii cel mai adesea exploatat de ctre evaluatori mai ales din motive de economie de resurse: timp, bani, personal. n cadrul procesului de evaluare, analiza documentelor se poate referi la analiza rapoartelor, evidentelor contabile i nu numai, a planurilor anuale, a tuturor detaliilor legate de un anumit proiect sau program. Proveniena documentelor poate fi divers: organizaia finanatoare, implementatoare, contractant sau subcontractant. Marele avantaj este faptul c datele sunt deja adunate, nu mai este necesar organizarea unui sondaj de opinie, sau a altor metode de colectare a datelor. Una dintre problemele care apar n cazul utilizrii metode de analiz a documentelor este faptul c ele nu conin ntotdeauna totalitatea informaiilor necesare legate de rezultatele unui proiect sau program. Tocmai de aceea, n cadrul unui proces de evaluare, este necesar utilizarea mai multor metode de colectare a datelor. Informaiile obinute din analiza de documente pot fi completate prin utilizarea interviului, observaiei i chiar a chestionarului acolo unde este necesar. Documentele unui program trebuie privite critic, din punctul de vedere al informaiei coninute. O atenie deosebit trebuie acordat att cantitii informaiei, ct i calitii acesteia. Harry P. Hatry ofer o clasificare a principalelor probleme care pot aprea n procesul de analiz a documentelor i a metodelor de ameliorare a acestora (Tabelul 5). Tabelul 5: Clasificarea principalelor probleme care pot aprea n procesul de analiz a documentelor i a modalitilor de ameliorare a acestora
1. Problema Date lips sau incomplete 2. Date disponibile ntr-o form extrem de agregat Modaliti de ameliorare Cercetarea documentaiei conexe; Intervievarea personalului implicat n program pentru acoperirea a ct mai multe lipsuri; Reevaluarea obiectivelor i inteniilor evalurii (eventuala modificare sau anulare a unora dintre ele); Excluderea datelor lips sau estimarea ct mai exact a valorilor lips. Cercetarea nregistrrii datelor, dac acestea exist i sunt disponibile;

3.

Date care nu sunt comparabile

Realizarea unor colecii de date noi, originale; Renunarea la datele detaliate care nu sunt disponibile; Realizarea, acolo unde este posibil, a operaiilor prin care datele pot deveni comparabile; Concentrarea ateniei asupra procentelor i mai puin asupra valorilor absolute; Renunarea la aceste date, atunci cnd problema este insurmontabil;

Sursa: Wholey, Hatry i Newcomer (eds.), 2005, p. 398 Dup colectarea tuturor informaiilor relevante se recurge la clasificarea acestora i stabilirea categoriilor necesare pentru a oferi un rspuns ct mai clar i in acelai timp comprehensiv pentru ntrebrile evalurii. De exemplu, una dintre aceste ntrebri se poate referi la satisfacia beneficiarilor fat de un anumit program. Pentru nceput se adun toat informaia necesar, urmnd ca aceasta s fie subdivizat n categorii, modele i teme care o fac mult mai accesibil, uor de neles i de utilizat. Evaluatorul ncepe, de obicei prin lectura materialelor adunate (interviuri, studii de caz, observaii de pe teren), i prin ataarea de note pe marginea acestora (Wholey, Hatry i Newcomer, 2005). Caseta 3. Grila de analiz a documentelor Analiza paginilor web a unor instituii publice Chiar dac guvernarea electronic este mai mult dect un web-site, o analiz a paginilor de web ale unor instituii ne poate ajuta. Analiza s-a fcut pe baza unor criterii de msurare aplicate pe o scar de la 1 slab la 5 foarte bun. S-au identificat trei posibile utilizri ale paginilor web: informare, consultare i participare activ. Modul n care se pot realiza acestea sunt: 1) Informaie: structur, raport de activitate, adrese de contact, orar, obiective, proiecte; Accesibilitate: harta siteului, actualizare regulat, arhiv, baze de date, index sau maini de cutare, lizibilitate, timp de gsire a informaiei; 2) Consultare: informaii i politici de comunicare, posibilitatea de a trimite sugestii prin email, sondaje, timpul de rspuns la solicitri, buletine de informare; 3) Participare activ: forumuri de discuii, paneluri de ceteni, achiziii publice, audieri online. Au fost selectate cteva instituii publice ale cror pagini au fost analizate conform criteriilor de mai sus. Rezultatele au fost: Instituii publice Guvern Ministerul Administraiei Publice Locale Ministerul Informaiilor Informaie 2.75 2.66 2.16 Consultare 1.37 1.5 1.5 1 1 1 Participare activ Scor general Slab (1.70) Slab (1.72 Slab (1.55)

Publice Ministerul Comunicaiilor i IT Camera Deputailor Senatul Preedinia Avocatul Poporului Curtea Constituional Primria Bucureti

3.86 4.25 2.93 2.43 2.83 1.95 1.75

3.15 3.58 1.94 1.5 1.66 1.3 1.2 Sursa: Bjola, 2001, p. 30

1 1 1 1 1 1 1

Mediu (2.67) Mediu (2.94) Slab (1.95) Slab (1.64) Slab (1.83) Slab (1.41) Slab (1.31)

5.3. Metode complexe de cercetare Studiul de caz este metoda utilizat cu predilecie de Robert Stake. Cazul poate fi orice sistem delimitat care este interesant. O instituie, un program, o responsabilitate, o colecie sau o populaie poate reprezenta cazul (Stake, dup Shadish Jr, Cook i Leviton, 1995, p. 286). El face o clasificare a caracteristicilor specifice studiilor de caz i identific urmtoarele categorii (Stake, dup Shadish Jr, Cook i Leviton, 1995, p. 287): 1. Descrieri care sunt complete, holistice i care implic miliarde de variabile care nu sunt foarte clar izolate; 2. Date care se pot aduna, cel puin n parte, prin observaii personale; 3. Un stil de scriere informal, probabil narativ, posibil cu citate ad-literam, ilustraii i chiar aluzii i metafore; 4. Comparaiile sunt mai degrab implicite dect explicite; 5. Temele i ipotezele pot fi importante, dar ele rmn subordonate pentru nelegerea cazului. Metoda studiului de caz este utilizabil n evaluarea de programe mai ales cnd sunt ndeplinite urmtoarele condiii (Shadish Jr, Cook i Leviton, 1995, p. 320): 1. Evaluatorul opteaz pentru un spectru larg al analizei, mai degrab dect pentru fidelitate; 2. Anterior evalurii, sunt cunoscute prea puine probleme i ntrebri legate de obiectul evalurii; 3. Evaluarea va fi folosit n principal de persoane care, neavnd experiena programului, doresc o informaie contextual extensiv pentru a decide n ce msur programul acoper nevoile identificate; 4. Studiile de caz vor fi considerate ca fiind suficient de credibile de ctre client; 5. Descoperirea este o prioritate mai mare dect confirmarea. De multe ori, studiul de caz nu este menionat printre metodele clasice de colectare a datelor n cercetrile sociale. Acest lucru se ntmpl datorit faptului c nu avem de a face cu o metod n sine, ci mai degrab cu o metod care folosete la rndul ei alte metode, cum ar fi: analiza documentelor, observaia participativ sau non-participativ sau interviul (andor, 2005, p. 54). Principalul punct forte al studiului de caz, recunoscut chiar de ctre criticii lui Stake este facilitarea generalizrii naturaliste, mai avantajoas pentru elaborarea unor teorii i pentru studii

exploratorii, dect pentru confirmarea unor teorii sau testarea unor ipoteze (Shadish Jr, Cook i Leviton, 1995, p. 321). n funcie de tipul i de scopul evalurii, studiile de caz pot fi exploratorii, explicative i descriptive (andor, 2005. p. 54). Studiile de caz exploratorii sunt cele prin care se investigheaz o problem prea puin cunoscut pentru a fi formulate ntrebri i a fi definite probleme premergtor evalurii. Cele explicative ncearc identificarea unor relaii (de exemplu cauz-efect) care explic fenomenul studiat. Studiile de caz descriptive sunt cele care se raporteaz la o teorie i ncearc s vad n ce msur cazul studiat corespunde respectivei teorii. n How to Use Qualitative Methods in Evaluation, Michael Q Patton prezint un procesul pentru construcia unui studiu de caz care poate fi utilizat pentru evaluarea de programe. Pasul 1 al modelului const n adunarea tuturor datelor disponibile despre programul pe care dorim s l analizm. Aceasta este materia prim a studiului de caz. Pasul 2 este organizarea datelor brute adunate la pasul 1, clasificarea lor astfel nct s fie uor accesibile. Pasul 3 reprezint descrierea cazului, n stil narativ. Studiul de caz este aadar, o imagine descriptiv a programului care este evaluat, care face accesibil cititorului informaia necesar pentru a nelege programul respectiv. Informaiile cuprinse n studiul de caz sunt prezentate fie cronologic, fie tematic, uneori fiind posibil i util utilizarea ambelor criterii. Studiul de caz prezint o imagine comprehensiv, holistic a programului (Patton,1987, p. 149). Fie c trebuie evaluat un program avnd ca obiect nfiinarea unui centru de zi, fie c evalum un proiect prin care s-a nfiinat un muzeu, sau unul privind ordinea i curenia public, metodele de cercetare sunt extrem de utile. Programele publice, prin natura lor i prin impactul social pe care l au, impun utilizarea metodelor complexe de cercetare. Una dintre acestea este studiul de caz, care implic utilizarea interviului, observaiei, analizei documentelor i chiar a anchetei sociologice sau a sondajului de opinie. Primul pas n realizarea studiului de caz i a unei evaluri este adunarea a ct mai multe informaii despre program. Acest lucru poate fi realizat pornind de la o fi a proiectului n care apar principalele categorii de informaii necesare n procesul de evaluare (Anexa 1). Metodele de cercetare din arsenalul paradigmei calitative sunt frecvent utilizate pentru completarea informaiilor cerute n fia de proiect. Spre exemplu, pentru descrierea contextului unui program sau proiect pot fi utilizate, preferabil complementar, urmtoarele metode de cercetare: interviul, observaia, analiza calitativ a documentelor; pentru analiza structurii organizaionale utilizm de regul analiza calitativ a documentelor i interviul individual; pentru analiza documentelor programului putem apela la analiza calitativ a documentelor, iar pentru descrierea activitilor unui program cele mai complete informaii ne pot fi aduse de ctre utilizarea n paralel a interviului individual (cu coordonatorul proiectului), a focus-grupului (n care pot participa reprezentani ai tuturor prilor implicate n program), a analizei calitative a documentelor proiectului (cerere de finanare, plan metodologic, plan strategic i operaional) i a observaiei participative. Metodele calitative sunt de un real folos i n studiul actorilor implicai, a resurselor angajate, a rezultatelor ateptate i a celor efectiv realizate. Prin urmare, metodele calitative de cercetare sunt arhiprezente n arsenalul evalurii de programe. n cazul proiectelor de mari dimensiuni, informaiile aduse de acestea sunt completate prin date obinute n urma aplicrii metodelor cantitative de cercetare.

ntrebri: 1. Care sunt elementele de care trebuie s inem cont atunci cnd selectm metodele de cercetare utilizate n evaluarea unui program? 2. Care sunt avantajele utilizrii interviului ca metod de cercetare n evaluarea unui program? 3. Care sunt avantajele utilizrii sondajului de opinie ca metod de cercetare n evaluarea unui program? 4. Care sunt dezavantajele utilizrii observaiei ca metod de cercetare n evaluarea unui program? 5. Cte metode de cercetare putem utiliza pentru evaluarea unui program?

CAPITOLUL 6. INDICATORII PROGRAMULUI Evaluarea este legat de msurarea performanei, cel mai des a performanei unei instituii. Msurarea performanei este un proces prin care se stabilete ct de aproape suntem de scopurile anunate, incluznd informaii despre eficiena cheltuirii resurselor, rezultatele obinute, calitatea acestora i eficacitatea operaiunilor. Pentru a msura performana unui program trebuie s construim indicatori. Aceti indicatori pot fi foarte utili pentru monitorizarea programului atunci cnd sunt colectate i arhivate date privitoare la aceti indicatori, la perioade similare de timp (pot fi lunare, trimestriale, semestriale, anuale, n funcie de specificul programului). Indicatorii de performan se pot construi n legtur cu urmtoarele aspecte: Consideraii financiare; Satisfacia clienilor; Operaii interne; Satisfacia angajailor; Satisfacia comunitii. n spatele fiecrui program st o logic a interveniei, o legtur ntre alocarea de resurse i obiectivele propuse. Exist dou moduri n care putem privi aceast legtur: De sus n jos, pornind de la problema de rezolvat i de la obiectivul global pe care dorim s-l atingem. Acesta va putea fi atins doar pe baza atingerii unor obiective specifice, corespunztoare prioritilor. La rndul lor, acestea pot fi atinse doar pe baza ndeplinirii unor activiti la nivelul specificat n obiectivele operaionale. De jos n sus, astfel: Operaiunile programului vor fi realizate folosind resurse umane, financiare sau tehnice (inputuri); Operaiunile se vor concretiza ntr-un numr de outputuri (numr de kilometri de strzi reparate, numr de locuine construite, numr de programe care au fost evaluate, etc.); Rezultatele sunt efectele imediate ale programului asupra beneficiarilor (scderea numrului de defeciuni ale mainilor, numr de oameni care s-au mutat n cas nou, numr de programe care s-au mbuntit); Rezultatele se transform n impact asupra ndeplinirii obiectivelor globale, referindu-ne aici la succesul n rezolvarea pe termen lung a problemelor (de exemplu mbuntirea traficului, rezolvarea crizei locuinelor, funcionarea eficient a Primriei).

Impact (efecte pe termen lung)

Obiective globale

Rezultate (efecte directe i imediate)

Obiective specifice

Obiectivele programului

Outputuri (bunuri i servicii produse)

Obiective operaionale

Inputuri

Operaiunile programului

Figura 11: Reprezentarea grafic a logicii unui program Sursa: Comisia European, 2006 Putem vedea c n pentru fiecare tip de obiectiv avem un alt tip de efecte i, n consecin, putem avea un alt tip de evaluare. Uneori dorim s urmrim obiectivele globale (sau strategice) i, n consecin, vom evalua impactul. Dac ne intereseaz mersul de zi cu zi, vom lucra la nivelul obiectivelor specifice, evalund rezultatele. Se mai pot evalua i obiectivele operaionale, msurnd outputurile. De asemenea, mai putem evalua i modul n care se desfoar operaiunile programului. 6.1. Indicatori simpli Indicatorii unui program pot fi definii drept orice valori care pot fi calculate sau msurate i care ne pot da informaii despre gradul de succes al ndeplinirii obiectivelor unui program. Obiectivele sunt ateptri exprimate n termeni cantitativi (de exemplu, se ateapt o cretere economic anual de 5%, se dorete crearea a 100.000 de locuri de munc), iar indicatorii sunt msurtori reale, (indicatorul cretere economic se msoar la trecerea unui an de la anunarea obiectivului; dac este mai mare sau egal cu 5%, obiectivul a fost ndeplinit, la fel dac au fost create 100.000 de locuri de munc sau mai multe). Pot exista mai muli indicatori pentru fiecare obiectiv i de aceea este foarte important ca indicatorii propui s fie cu adevrat cele mai bune msuri ale ndeplinirii obiectivelor. Indicatorii pot fi grupai n apte mari categorii: beneficii sociale (BS), costuri sociale (CS), rezultate (R), beneficiile programului (BP), costurile programului (CP), outputuri (O) i inputuri (I). Indicatori sociali (BS i CS) Un indicator social cum ar fi beneficiile sociale sau costurile sociale se refer la societatea ca ntreg, nu doar la organizaia sau instituia care desfoar programul. n general, efectele oricrui program se regsesc la nivelul ntregii societi, nu doar la nivelul celor direct implicai. De exemplu, un program de construcie a unei autostrzi Cluj-Oradea va avea efecte nu doar n domeniul transporturilor i nu doar pentru cei care vor beneficia de noua construcie. Efectul se va regsi i n

domeniul dezvoltrii economice (cu toate consecinele sale) pe ruta autostrzii i, posibil, ntr-o scdere economic n zona vechii ci de acces dintre cele dou orae. n domeniul indicatorilor sociali trebuie s avem o relaie cauz-efect clar ntre programul n sine i beneficiile i costurile sociale. De exemplu, dac dup construcia autostrzii respective, n zon se nregistreaz o cretere economic de 8%, suntem siguri c se datoreaz doar autostrzii? Trebuie luate n calcul i alte elemente: nivelul creterii economice generale, poate c exist alte programe publice sau private care duc la creterea economic, poate c vremea mai bun a contribuit la creterea recoltei, poate c s-au descoperit n zon zcminte de petrol etc. Pentru a determina beneficiile sociale avem nevoie de msurarea creterii veniturilor sau averilor personale sau publice care s-a realizat datorit programului respectiv precum i determinarea posibilelor economii (publice sau private) datorit acelui program. Costurile sociale cuprind resursele consumate n timpul desfurrii programului, plus scderea veniturilor sau a averilor i cheltuielile suplimentare care apar datorit programului. n momentul n care beneficiile sociale depesc costurile sociale respectivul program se justific i organizaia care-l desfoar are o contribuie pozitiv pentru societate. n principiu acesta ar trebui s fie modul cel mai potrivit de evaluare a programelor din domeniul public; n realitate, datorit dificultii msurrii acestor indicatori, utilitatea practic este deseori contestat. Rezultatul Rezultatul (outcome) unui program al administraiei publice este diferit de cel al unei firme private. Pentru aceasta din urm scopul principal este profitul i rezultatul oricrei activiti ar trebui s se traduc n profit. Pentru sfera public se prefer exprimarea rezultatelor dorite ntr-o form nonfinanciar. De exemplu, pentru un program de instruire a personalului, sau de perfecionare (cum ar fi un curs de evaluare a programelor) scopul este de a oferi un serviciu educaional. nelesul cuvntului educaie este extrem de larg, mergnd de la sensurile cele mai largi pn la unele restrnse. n sensul cel mai restrns (prea des ntlnit n mentalitatea unor participani la astfel de cursuri) perfecionarea se refer doar la obinerea diplomei. Avem astfel un prim indicator: Numrul de absolveni ai cursului. Instruirea presupune i faptul c pregtim fora de munc pentru un anumit scop, astfel c un alt indicator este Numrul de cursani care au aplicat cunotinele dobndite. Un proces de nvmnt poate presupune i trezirea sau creterea interesului pentru cunoatere, i de aceea Numrul celor care continu cursurile la un nivel superior poate fi un bun indicator. Aceti indicatori sunt indicatori de baz, relativ uor de msurat. Mai greu de msurat sunt indicatorii care reflect mai fidel valoarea programului educaional cum ar fi: - Creterea nivelului de cunotine; - Succesul profesional pe care-l nregistreaz dup absolvirea cursului, msurat pe mai muli ani; - Valoarea respectivelor cursuri de perfecionare, dup opinia cursanilor, la fel, msurat pe mai muli ani. Trebuie s fim foarte ateni n momentul n care alegem indicatorii. Pentru o instituie este important s aib muli angajai care se perfecioneaz, dar acesta nu este un indicator absolut al succesului. Acest numr mare poate proveni dintr-un numr mare de cursuri care sunt oferite pe pia,

din faptul c taxele sunt suportate parial sau integral de ctre instituie (n condiiile n care cursurile ar trebui pltite din buzunarul propriu al fiecrui participant interesul ar fi mult mai mic; muli sunt doresc s participe la orice curs, pe orice tem, desfurat ntr-o staiune de la munte sau de la mare), etc. Acest indicator poate deveni cu adevrat relevant doar n momentul n care este pus n relaie cu alii. Beneficiile programului Indicatorul Beneficiile programului (BP) este msura financiar a rezultatului programului. Beneficiile sunt direct msurabile i se refer la resursele sau veniturile generate de program. Pentru o instituie public beneficiile unui program pot include: - Taxele aplicate; - Alocaii bugetare chiar dac din punctul de vedere al guvernului ar putea fi considerate costuri; - Granturi, sponsorizri, donaii. Chiar dac scopul unei instituii nu este acela de a genera beneficii, acestea nu pot fi neglijate, pentru c doar pe baza acestora se poate desfura activitatea de baz prestarea unor servicii publice. n general, toate instituiile ncearc s obin venituri proprii i s se bazeze ct mai puin pe alocaiile sau transferurile bugetare. Gradul n care se reuete (n condiiile n care legislaia permite) poate constitui un indicator de succes. Costurile programului Costurile programului (CP) sunt msura financiar a resurselor consumate pentru desfurarea programului. Cele mai des ntlnite costuri sunt: - Cheltuielile de personal salariile personalului; - Cheltuieli administrative; - Cheltuieli de capital sau investiii. Cheltuielile programului sunt foarte uor de calculat, n general putnd fi luate din cifrele contabile. Doar n msura n care aceeai resurs este folosit de mai multe programe trebuie gsit un mod de mprire a cheltuielilor aferente (de exemplu, dac n aceeai cldire funcioneaz dou programe, cheltuielile administrative de genul nclzire, ap, electricitate pot fi mprite ori n funcie de numrul personal, ori n funcie de suprafaa pe care o ocup fiecare unitate care desfoar un program). Outputul Outputul este o msur non-financiar a activitilor ntreprinse. n cazul unei universiti ar putea exista urmtorii indicatori: - Numrul de studeni; - Numrul de ore de curs predate; - Numrul de studeni care au apelat la Serviciul de Orientare Profesional. Trebuie fcut diferena ntre output i rezultat. Numrul de studeni (indicator de output) ne spune ct de mare este activitatea universitii; numrul de absolveni (indicator al rezultatului) ne spune care este rezultatul acelei activiti. ntre output, rezultat i scopul programului relaia poate fi reprezentat astfel: Numr de studeni (output) Numr de absolveni (rezultat) Educaie (scop)

Cteva exemple de outputuri i rezultate, pentru diferite domenii de activitate pot fi gsite n Anexa 2. Inputul Indicatorii de input sunt msuri non-financiare ale resurselor consumate n desfurarea programului. La capitolul input putem avea indicatori cum ar fi: - Numrul de personal; - Spaiile utilizate; - Numrul de maini, calculatoare, alt aparatur; - Alte resurse alocate (dac este cazul). O presupunere destul de des ntlnit este c fiecare cretere a inputului se va regsi ntr-o cretere a outputului (i mai ncolo n rezultate i n ndeplinirea scopului). Acest lucru este n general adevrat, dar nu ntotdeauna i nu trebuie generalizat sub forma: unica posibilitate s obinem rezultate este s mrim inputurile. Pentru un program de control (indiferent dac este pe linie de plata impozitelor, urbanism, circulaie, comercial, etc.), aceti indicatori de mai sus ar putea fi urmtorii: Scopul: Determinarea unui comportament corect din partea celor implicai Indicatori ai programului: Beneficii sociale: - Venituri sporite pentru cei care respect legea; Costuri sociale: - Costurile directe ale programului; - Venituri mai mici a celor sancionai (de exemplu se poate nchide pn la intrarea n legalitate o activitate economic); - Un climat aspru de control poate descuraja anumite iniiative, ceea ce duce la o scdere a ncasrilor din taxe i impozite. Rezultate: - Scderea procentajului celor care nu respect legea; - Condiii mai bune pentru cei care respect legea. Beneficiile programului: - ncasrile sporite din taxe i impozite datorate unui comportament corect; - ncasrile din amenzi; - Alocaii bugetare. Costurile programului: - Cheltuielile de personal salariile personalului; - Cheltuieli administrative; - Cheltuieli de capital sau investiii. Outputuri: - Numrul de cazuri care trebuie controlat; - Numrul de aciuni de control; - Numrul de amenzi date. Inputuri: - Numrul de ageni sau inspectori; - Spaiile pentru birouri sau ghiee; - Numrul de maini, calculatoare, alt aparatur .

6.2. Indicatori compozii Indicatorii unui program trebuie s serveasc dou scopuri: 1. S ne asigure c organizaia care-l desfoar i ndeplinete datoria fa de societate; 2. S ne asigure c resursele organizaiei sunt consumate n modul cel mai potrivit. n funcie de scopul ales, putem vorbi de eficacitate (Ce face organizaia respectiv, dac i-a atins scopurile?) i de eficien (Cum i atinge scopurile?). n cazul unui program de nvmnt scopul (de a oferi educaie) va fi atins pe baza mijloacelor: angajnd profesori, oferind spaii de nvmnt, calculatoare, cri, prin predarea unui anumit numr de ore. Un indicator de eficacitate este orientat spre rezultat (am obinut rezultatele dorite?), iar indicatorii de eficien se vor referi la modul n care am ajuns la rezultatele dorite. Un indicator de eficacitate este o msur a performanei exprimate n termenii rezultatelor. Performana este o msur a progresului nspre ndeplinirea unor obiective msurabile. Indicatorii de eficien sunt msuri ale activitilor ntreprinse ntr-un program, ncercnd s ne rspund la ntrebarea dac resursele au fost cheltuite n mod corect. Pentru fiecare indicator este posibil s se construiasc inte de performan. Pentru exemplul nostru, vom construi cteva obiective de performan.
Indicatori ai programului: Beneficii sociale Costuri sociale Rezultate Beneficiile programului Costurile programului Outputuri Inputuri Indicator de performan Venituri sporite pentru cei care respect legea Costurile programului Procentajul celor care respect legea Creterea veniturilor din taxe i impozite Cheltuielile de personal Numrul de aciuni de control Numrul de calculatoare Obiectiv de performan Creterea veniturilor cu x milioane de lei Costul unui control s fie x lei/an Creterea procentajului la x% ncasrile s creasc la x lei/an Reducerea cheltuielilor de personal la x lei Creterea numrului de aciuni la x Creterea numrului de calculatoare la x

Toi indicatorii trebuie s fie comparai cu intele sau obiectivele de performan. n momentul n care acestea au fost atinse, organizaia sau programul sunt pe drumul cel bun. Evident c obiectivele pot fi stabilite astfel nct s fie ndeplinite fr efort. De aceea, n multe cazuri obiectivele sunt formulate n ideea mbuntirii activitii: pentru beneficii s-ar putea s avem o cretere cu x% fa de anul anterior, costurile s fie reduse cu x% etc. Indicatorii compozii se obin prin raportarea unor indici la ceilali. Astfel avem: Beneficii/Costuri Sociale(BS/CS), care constituie cel mai bun indicator al eficacitii societale a unui program; Beneficii/Costuri (BP/CP) ne permite msurarea financiar a beneficiilor n raport cu costurile; Rezultate/Output (R/O) este o msur non-financiar care ne permite s msurm rata de succes a programului;

Rezultate/Cost (R/CP) ne permite s aflm costul eficacitii; Outputuri/Inputuri (O/I) este un indicator de utilizare a resurselor; Outputuri/Costuri (O/CP) ne furnizeaz costul cu care obinem o unitate de output; Inputuri/Costuri (I/CP) ne arat care sunt costurile obinerii resurselor. Indicatorii Beneficii/Costuri constituie baza a ceea ce se numete analiza cost-beneficiu.

6.3. Analiza cost-beneficiu i analiza cost-eficien n momentul n care trebuie decis ce program s fie pus n aplicare, sau trebuie evaluat modul n care funcioneaz programele deja existente trebuie s vedem ce beneficii aduc sau pot aduce acestea i cu ce costuri. Dou metode de a msura eficiena unui program sunt analiza cost-beneficiu (ACB) i analiza cost-eficien (ACE). Diferena dintre cele dou metode provine din modul n care exprimm rezultatele programului. n ACB acestea sunt reprezentate n termeni bneti, iar n ACE n termeni concrei. De exemplu, pentru un program de reducere a numrului de fumtori, analiza cost-beneficiu se va concentra asupra diferenei dintre banii cheltuii pe programul anti-fumat i beneficiile provenite din reducerea costurilor medicale asociate bolilor datorate fumatului, ct vreme analiza cost-eficien se va referi la suma cheltuit pentru fiecare fumtor care s-a lsat. Respectivele metode sunt folosite de mult vreme, ncepnd n SUA prin Flood Act Control (1937), ulterior gsindu-i aplicarea n tot mai multe arii, de la Planning, Programming and Budgeting System, sistem de construire al bugetelor aplicat din anii 60, la programe finanate de Banca Mondial etc. O prim problem legat de metodologia analizelor de eficien se refer la msurarea costurilor i beneficiilor. Trebuie spus c exist mai multe puncte de vedere din care putem calcula costurile i beneficiile unui program. S lum cazul unui program de transport local: avem trei pri implicate: cltorii, regia de transport local i Consiliul Local (cifrele sunt imaginare, reprezentnd costurile i beneficiile pentru 1 cltor, de obicei se prefer folosirea cifrelor totale). Am estimat valoarea timpului care se pierde cu deplasarea cu mijloacele de transport n comun estimnd un venit orar de 5 RON (echivalentul unui salariu 800 RON). Evaluarea se poate face din punctul de vedere al fiecrei pri implicate.
Beneficii Cltori RON Economie fa de 2 transportul cu maina personal Timp pierdut (12) 2 1 1 2 1 Regia Costul unui bilet Subvenii Total B Costuri Total C B/C B-C Personal ntreinere maini Combustibil RON 1 0.50 1.50 0.3 0.4 0.8 1.50 1.00 0 Consiliul Local RON Economie la capitolul 0.30 strzi

Subvenii

0.50 0.50 0.60 -0.20

Analiznd rezultatele vedem c acelai program are rezultate diferite din punctul de vedere al diferitelor pri interesate. Pentru cltori exist mai multe beneficii dect costuri, regia cheltuiete tot

ce ctig, iar oraul, sponsorul programului, pierde. n momentul n care un program se dovedete ineficient din punct de vedere economic, acesta trebuie regndit. Oraul are o singur posibilitate: s reduc subveniile pentru fiecare cltor. Aceasta va duce povara n spinarea regiei. Beneficiile sunt greu de sporit, avnd n vedere c am presupus c prin ncurajarea transportului n comun s-a fcut deja o economie la capitolul strzi. Regia de transport poate solicita aprobarea sporirii tarifului biletelor, dar acest lucru va duce, cel mai probabil, la scderea numrului de cltori, deci la sporirea cheltuielilor/cltor. Multe programe (mai ales cele sociale) realizeaz de fapt un transfer de resurse ctre ceteni, ceea ce nu este deloc ru. n cazul programului de mai sus este sprijinit cltorul, care va reui s economiseasc nite bani. Exist o bun ans ca respectivele economii s fie cheltuite ntr-un fel sau altul i o parte dintre bani s intre napoi n buget prin intermediul taxelor i impozitelor. La programele acestea de transfer de resurse ctre ceteni ne intereseaz s vedem dac ntradevr acest transfer este necesar i gradul de echitate al transferului nu cumva favorizm anumii ceteni n detrimentul altora? Dac este vorba de ajutorarea unor categorii defavorizate (cum ar fi diferitele tipuri de gratuiti pe liniile de transport pentru elevi, studeni sau pensionari) este n regul, dar dac vor beneficia de faciliti categorii socio-profesionale care nu au cu adevrat nevoie de ele, nseamn c programul nostru nu se desfoar bine. Este greu de calculat cum se traduc anumite rezultate n termeni bneti. Problema este cea mai spinoas cnd vorbim de valoarea unei viei omeneti. Putem s facem anumite calcule, cum ar fi impozitele pe care le pltete un om n toat viaa lui, deci i ce valoare se pierde dac acesta moare cu 10 ani nainte de a-i ncheia activitatea de contribuabil, dar nici un program nu-i poate propune s cheltuiasc doar o anumit sum pentru o via uman. Exist alte programe pentru care este iari greu de transformat beneficiile n bani. S lum exemplul unui program de alfabetizare desfurat ntr-o comunitate de rromi. Cum stabilim valoarea ataat alfabetizrii unei persoane? Este practic imposibil s aflm. Rezultatele se pot converti n bani pe mai multe criterii: - pe baza valorii de pia a serviciului/produsului oferit, lucru realizabil doar n condiiile n care pe pia exist astfel de programe (ar fi valabil pentru training, nvmnt, servicii sanitare, n general acolo unde statul nu deine monopolul); - pe baza deciziilor politice luate pn atunci: dac raportm beneficiile la un cost mediu al programelor aprobate deja n domeniul studiat. Apare problema instabilitii criteriilor care au stat la baza aprobrilor date; - pe baza dorinei de a plti o anumit sum pentru un anumit serviciu (n englez Willingness to Pay WTP). Acest lucru se poate constata pe baza unui sondaj de opinie prin care s aflm ct ar fi dispui s plteasc posibilii beneficiari ai unui astfel de serviciu. O alt problem apare n momentul n care un program se desfoar pe mai muli ani: cea a deprecierii valorii, a diferenei ntre banul pe care-l ai astzi i banul pe care-l vei obine mine. 1 miliard de lei (vechi sau noi) nseamn mai mult astzi dect va nsemna mine i mai puin dect a nsemnat ieri. n plus, banul de astzi va reprezenta mai mult peste o anumit perioad chiar dac-l inem doar n banc (datorit dobnzilor). Pentru a aduce valoarea la un numitor comun trebuie introdus un factor de depreciere anual, care este, din punct de vedere conceptual, inversul dobnzii. Pentru programele federale din SUA acesta a fost fix, de 7%, n perioada lui Reagan a crescut la 10%, iar din timpul preediniei lui Clinton se recomand s fie calculat n funcie de dobnda stabilit de

Trezorerie. n Romnia ar fi mai greu de calculat, pentru c inflaia a fost diferit n fiecare an i n plus mai exist aceast depreciere. Probabil c o soluie ar fi ori raportarea la dobnda stabilit de BNR (incluznd i deprecierea), ori, pentru programele deja desfurate, convertirea n euro i aplicarea unei deprecieri anuale de 7-10%. Acest factor de depreciere poate influena mult ACB, pentru c multe programe ncep prin cheltuieli masive la nceput (pentru construcia sau achiziia de cldiri, echipamente etc.), iar beneficiile ncep s apar dup civa ani. Valoarea prezent a beneficiului de peste n ani n condiiile unei deprecieri d se poate calcula astfel:

Valoarea

Beneficiu (1 d ) n

Pentru o depreciere de 10% n 5 ani valoarea prezent va fi de doar 62% din suma corespunztoare beneficiului. Un alt element care intr n calcul este cel al costurilor de oportunitate. Costul de oportunitate reprezint valoarea beneficiilor care s-ar fi realizat dac banii ar fi fost cheltuii n alt fel. Este destul de clar c banii respectivi puteau fi cheltuii pe alt program, care ar fi putut aduce beneficii. Aceste beneficii nerealizate trebuie incluse n analiza noastr la capitolul costuri. O alt posibilitate ar fi ca banii respectivi s fi fost transferai de la un alt program. S presupunem c ar fi transferai din bugetul programului transportului n comun. n consecin s-ar putea s fie amnat cumprarea de noi autobuze, deci i scoaterea din funciune a unor autobuze nvechite, ceea ce presupune costuri suplimentare pentru ntreinerea i repararea lor. Aceast sum suplimentar ar trebui luat n calcul ca i cost al programului nostru.
6.4. Evaluarea multi-atribut Evaluarea multi-atribut (Multi Attribute Utility Technology MAUT) este o tehnic aplicat n procesele de luare a deciziei pentru stabilirea celei mai bune alternative n condiiile existenei unor criterii diferite. MAUT poate fi folosit i n evaluare, att n evaluarea programelor viitoare, ct i n cea a celor deja existente. Avantajul este c putem include n analiz mai multe tipuri de rezultate (tim c un program d de obicei mai mult de un singur rezultat, voit sau nu) i s obinem la sfrit o singur evaluare. Pentru a ajunge la acest lucru se ntocmete o list de rezultate, pentru fiecare avnd stabilit un minimum i un maximum. Rezultatele se trec n funcie de distana la care se afl de minimum i de maximum, astfel nct s avem o scal comun i realiznd o estimare a rezultatului. Dup aceea se trece la acordarea unei importane fiecrui rezultat (de exemplu un rezultat poate avea o importan de la 1 la 10). Prin nmulirea importanei cu estimrile rezultatelor obinem cifrele finale. S presupunem c avem dou programe de nvmnt. Programul A are 400 de absolveni, dintre care i-au gsit locuri de munc n specialitatea lor n proporie de 50%. Programul B a avut 200 de absolveni, s-au angajat n specialitatea lor n proporie de 75%. Care program este mai bun? Observm c avem dou rezultate diferite: numr de absolveni i angajare n specialitate.

n cazul procentului angajrii putem spune c minimum este 0 i maximum 100%, deci lsm cifrele aa cum sunt. Numrul minim sau maxim de absolveni ar putea fi calculat n mai multe feluri. Cel mai simplu este s lum 0 ca minim i 400 ca maxim. Programul A va avea 100%, iar programul B 200/400X100%=50%. Obinem urmtorul tabel cu rezultate exprimate n aceeai unitate de msur (%).
Numr de absolveni Angajare n specialitate A 100 50 B 50 75

Urmeaz s ne stabilim prioritile. Aici exist un proces destul de sensibil. Fiecare organizaie i are setul su propriu de valori, propriile obiective. S-ar putea ca organizaia A s pun accentul pe numrul mare de absolveni n dauna calitii, iar organizaia B s prefere calitatea. Evaluatorii s-ar putea s aib un set de valori diferit, fie propriu, fie influenat de beneficiarii evalurii. Presupunnd c se ajunge la un consens asupra acordrii unei importane de 2 numrului de absolveni i de 3 procentului de angajri (deci prefernd ntr-o oarecare msur calitatea asupra numrului).
A 200 150 350 B 160 225 385

Numr de absolveni*2 Angajare n specialitate*3 Total

Programul B, care a totalizat 385 de puncte va fi mai bun dect programul A, care are doar 350.
ntrebri de evaluare: 1. Precizai principala diferen ntre indicatorii simpli i indicatorii compozii. 2. Care sunt indicatorii simpli ce pot fi utilizai n evaluarea unui program? 3. Precizai avantajele i dezavantajele utilizrii indicatorilor compozii n evaluarea unui program. 4. Cine trebuie s stabileasc sistemul de indicatori utilizat n evaluarea unui program? 5. Care sunt elementele de care trebuie s inem cont atunci cnd construim sistemul de indicatori?

BIBLIOGRAFIE

1. Allum, N.C, Bauer, M.W. i Gasgell, G., Quality, Quantity and Knowledge Interests. Avoiding Confusion in Bauer and Gasgell, Qualitative Research, London: Sage Publications, 2000. 2. Anderson, J.E., Public Policymaking, Boston: WadsworthCengage Learning, 2011. 3. Androniceanu, A., Managementul schimbrilor, Bucureti: Ed. Economic, 1999. 4. Bardach, E., A Practical Guide for Policy Analysis. The Eightfold Path to More Effective Problem Solving, Washington, D.C.: CQ Press, 2009. 5. Barrow, C.J., Social Impact Assessment: An Introduction, London: Arnold, 2003. 6. Barrow, C.J., Social Impact Assessment: An Introduction, Oxford University Press USA, 2001. 7. Bauer, R.A. (editor)., Social Indicators, Cambridge, MA: The M.I.T. Press, 1966. 8. Becker, H.A. i Vanclay, F. (editori), The International Handbook of Social Impact Assessment. Cheltenham, Colchester, UK: Edward Elgar Publishing, 2003. 9. Becker, H.A., Social Impact Assessment: Method and Experience in Europe, North America, and Developing World, London: UCL Press Limited, 1997. 10. Bellinger, W.K., The Economic Analysis of Public Policy, New York: Routledge, 2007. 11. Bjola, C., Strategies for Developing Information Societies: The case of Romania, IPF Interim Report, 2001. 12. Bronfenbrenner, U., The Ecology of Human Development, Cambridge, MA: Harvard University Press, 1979. 13. Bunch, M., Social Indicators: Annotations from the Literature, Working Paper F-02, Exploring Canadian Values: Foundations for Well-Being, Canadian Policy Research Networks Inc., Ottawa, 1995. 14. Burdge, R.J. (guest editor), The Practice of Social Impact Assessment, 2003, Impact Assessment and Project Appraisal, vol. 21, no. 2&3, pp. 84-234. 15. Burdge, R.J., A Community Guide to Social Impact Assessment, 3rd edition, Middleton: Social Ecology Press, 2004. 16. Burdge, R.J., The Concepts, Process and Methods of Social Impact Assessment, Middleton: Social Ecology Press 2004. 17. Burgess, J., Focusing on Fear, 1996, Area, vol. 28, no. 2, pp. 130-36. 18. Cerkez, M., Evaluarea programelor i politicilor publice. Teorii, metode i practice, Iai: Polirom, 2009. 19. Chelcea, S., Tehnici de Cercetare sociologic, Bucureti: SNSPA, 2001. 20. Chelimski, E. i Shadish, W.R. (editori), Evaluation for the 21st Century, Thousand Oaks, CA: SAGE Publications Inc., 1997. 21. Chen, H.T., Practical Program Evaluation: Assessing and Improving Planning, Implementation, and Effectiveness, Thousand Oaks, CA: Sage Publications Inc., 2005. 22. Chen, H.T., Theory-driven Evaluation, Thousand Oaks, CA: Sage Publications, 1990. 23. Chiriac D. i Hum, C., ,,Impactul socio-economic al fenomenelor naturale dezastruoase n Romnia inundaii, alunerri de teren, secet, 2002, Probleme Economice, vol. 20-21/2002 CIDE.

24. Cobb, C., Halstead, T. i Rowe, J., If the GDP is Up, Why is America Down?, 1995a , The Atlantic Monthly, October. 25. Cobb, C., Halstead, T. i Rowe, J., The Genuine Progress Indicator: Summary of Data and Methodology, Redefining Progress, 1995b. 26. Connell, J.P., Kubish, A.C., Schorr, L.B. i Weiss, C.H. (eds.), New Approaches to Evaluating Community Initiatives. Vol.1: Concepts, Methods, and Contexts. Washington, D.C.: The Aspen Institute, 1995. 27. Considine, M., Making Public Policy, Cambridge: Polity Press, 2005. 28. Cook, T.D. i Campbell, D.T., Quasi-experimentation: Design and Analysis Issues for Field Settings, Chicago: Rand McNally, 1979. 29. Copestake, J. et al., Assessing The Impact of Microcredit on Poverty: A Zambian Case Study, Centre for Development Studies, 2000. 30. Coryn, C.L.S. i Hattie, J.A., The Transdisciplinary Model of Evaluation, Thousand Oaks, CA: Sage Publications, 2006. 31. Curley, H. i Perianu, E., Assessment of the Evaluation Culture in Romania, 2006. 32. Dale, A., Taylor, N. i Marcus, L., Social Assessment in Natural Resource Management Institutions. Collingwood, Australia: CSIRO Publishing, 2001. 33. Diaconu, M., Evaluarea n nvmnt cu privire la nvmntul superior, Sesiunea de comunicri tiinifice, 20 mai 2004, Bucureti, [Online] disponibil la adresa http://www.ase.ro/biblioteca/carte2.asp?id=480&idb 34. Dunn, W.N., Public Policy Analysis. An Introduction, 4th edition, New Jersey: Pearson, 2008. 35. Dunn, W.N., Public Policy Analysis: An Introduction, New Jersey: Prentice Hall, 1986. 36. Dye, T.R., Understanding Public Policy, New Jersey: Prentice Hall, 1972. 37. Erikson, R. i Uusitalo, H., The Scandinavian Approach to Welfare Research, Swedish Institute for Social Research, Reprint Series No. 181, Stockholm, 1987. 38. Ewen, M.J., Public Policy. The Competitive Framework, Melbourne: Oxford University Press, 2006. 39. Fitzpatrick, J.L., Sanders, J.R. i Worthen, B.R., Program Evaluation, 3rd edition, Boston: Pearson, 2004. 40. Gerston, L.N., 2002, Public Policymaking in a Democratic Society. A Guide to Civic Engagement, New York: M.E. Sharpe, 2002. 41. Geva-May, I. i Wildavsky, A., An Operational Approach to Policy Analyis: The Craft, Norwell, MA: Kluwer Academic Publisher, 1997. 42. Goss, J.D. i Leinbach, T.R., Focus groups as alternative research practic, 1996, Area, vol. 28, no. 2, pp. 115-23. 43. Guess, G.M. i Farnham, P.G., Cases in Public Policy Analysis, Washington, D.C.: Georgetown University Press, 2000. 44. Hansen, H.Fo., 2005, Choosing Evaluation Models, A Discussion on Evaluation Design, 2005, Evaluation, vol. 11, no. 4, pp. 447-462. 45. Henderson, D.W., Social Indicators: A Rationale and Research Framework, Economic Council of Canada (Ottawa: Information Canada), 1974.

46. Hinea, C. i Mora, C., Management Public, n Administraie public, volum colectiv, ClujNapoca: Ed. Accent, 2000. 47. Howlett, M. i Ramesh, M., Studying Public Policy. Policy Cycles and Policy Subsystems, Oxford University Press, 1995. 48. Howlett, M., Ramesh, M. i Perl, A., Studying Public Policy. Policy Cycles and Policy Decisions. 3rd edition, Ontario: Oxford University Press, 2009. 49. Hughes, J., Project Managers Guide ot Evaluation, 2000, [Online] disponibil la adresa http://www.evaluate-europe.net/handbook/handbookpdf. 50. Hyman, H.H., Surveys in the Study of Political Psichology, n Knutson, J.N. (editor), Handbook of Political Psichology, Jossey Bass, 1973. 51. Ilie, S., Formal and informal incomes of the Romanian Households n Stnculescu, M i Neef, R. (editori), The Social Impact of Informal Economies in Eastern Europe, Ed. Ashgate U.K., 2002. 52. Ilu, P., Abordarea calitativ a socioumanului, Iai: Polirom, 1997. 53. Innes de Neufville, J., Social Indicators and Public Policy: Interactive Processes of Design and Application, New Brunswick, NJ: Transaction, 1975. 54. Innes, J., Disappointments and Legacies of Social Indicators, 1989, Journal of Public Policy, vol. 9, no. 4, pp. 429-432. 55. Innes, J.E., Knowledge and Public Policy: The Search for Meaningful Indicators, 2nd expanded edition, New Brunswick, NJ: Transaction Publishers, 1990. 56. Ionescu, G.G., Cazan, E. i Negrua, A.L., Modelarea i optimizarea deciziilor manageriale, Cluj-Napoca: Ed. Dacia, 1999. 57. Jenkins, W.I., Policy Analysis: A Political and Organisational Perspective, London: Martin Robertson, 1987. 58. Johnston, D.F., Toward A Comprehensive Quality-Of-Life Index, 1988, Social Indicators Research, vol. 20, pp. 473-496. 59. Junjan, V., Decizia n administraia public, Cluj-Napoca: Ed. Accent, 2000. 60. Kingdon, J.W., 1995, Agendas, Alternatives and Public Policies, 2nd ed., New York, Harper Collins College Publishers. 61. Kitzinger, J., Introducing focus groups, 1995, British Medical Journal, vol. 311, pp. 299-302. 62. Kleinmuntz, B., Why We Still Use Our Heads Instead of Formulas: Towards an Integrative Approach, Psychological Bulletin, 1990, no. 107, pp. 296-310. 63. Knoepfel, P., Larrue, C., Varone, F. i Hill, M., Public Policy Analysis, Bristol: The Policy Press, University of Bristol, 2007. 64. Knox, P.L., Social Well-Being: A Spatial Perspective, London: Oxford, 1975. 65. Kreuger.A., Focus groups: a practical guide for applied research, London: Sage Publications, 1988. 66. Kubish, A. et al., The Approaches to Evaluating Community Initiatives, Washington DC: The Aspen Institute, 1995. 67. Land, K., Social Indicators, n Encyclopedia of Sociology, 1992, pp 1844-1850. 68. Land, K.C., 1975, Social Indicator Models: An Overview, NY: Russell Sage Foundation, 1975.

69. Lua, M. (coord.), Impactul Integrrii Europene asupra Comunitii Clujene, 2003, [Online] disponibil la adresa www.casaeuropei.com. 70. Macintosh, J., Focus Groups in Distance Nursing Education, 1981, Journal of Advanced Nursing, vol, 18, pp. 1981-1985. 71. Malan, J., Benchmarking Evaluation Capacity in the New Member States, Centre for Strategy and Evaluation Services, 2004. 72. Mrginean, I., Politica Social. Studii 1990-2004, Expert, 2004. 73. Miroiu, A., Introducere n analiza politicilor publice, suport curs SNSPA, 2001. 74. Morgan, D.L., Focus Groups as Qualitative Research. London: Sage, 1988. 75. Noll, H.H., The International Experience: Social Indicators, paper presented at the Symposium on Measuring Well-Being and Social Indicators, Toronto, October 1996. 76. Patton, C.V. i Sawicki, D.S., Basic Methods of Policy Analysis and Planning, 2nd edition, New Jersey: Prentice Hall, 1993. 77. Patton, M.Q., Qualitative Research and Evaluation Methods, SAGE, 2002. 78. Patton, M.Q., Utilization-Focused Evaluation: The New Century Text, 3rd edition, Beverly Hills: Sage Publications, 1997. 79. Pronk, J. i Haq, M. (ed.), Sustainable Development From Concept to Action. The Hague Report. The Hague and New York, 1992. 80. Pyatt, G., SAMs, the SNA and National Accounting Capabilities, 1991, Review of Income and Wealth, vol. 37, no. 2, pp. 177-198. 81. Rossi, P., Freeman, H. i Lypsey, M., Evaluation, A Systematic Approach, 6th edition, London: Sage Publication, 1999. 82. Rotariu, T. i Ilu, P., Ancheta sociologic i sondajul de opinie: teorie i practic, Iai: Polirom, 1997. 83. Rotariu, T. i Ilu, P., Ancheta sociologic i sondajul de opinie: teorie i practic, Iai: Polirom, 2001. 84. Schorr, K., New Approaches to Evaluating Community Initiatives. Washington DC: The Aspen Institute, 1995. 85. Scriven, M., Evaluation in the New Millennium: The Transdisciplinary Vision in Donaldson, S.I. i Scriven, M. (eds.), Evaluating Social Programs and Problems: Visions for the Millennium, Wahwah, NJ: Lawrence Erlbaum Associates. 2003. 86. Scriven, M., Hard-Won Lessons in Program Evaluation, 1993, New Directions for Program Evaluation, vol. 58, San Francisco, CA: Jossey-Bass. 87. Scriven, M., The Evaluation Thesaurus, 4th edition, Thousand Oaks, CA: Sage Publications, 1991. 88. Scriven, M., The Transdisciplinary Model of Evaluation: Radical Implications, Paper presented at the meeting of the American Evaluation Association/Canadian Evaluation Society, Toronto, Canada, 2005. 89. Shadish, W.R. Jr., Cook, T.C. i Leviton, L.C., Fundamentele evalurii programelor: Teorii ale practicii , FIMAN, 1999. 90. Silverman, D., Interpreting Qualitative Data: Methods for analysing Talk, Text and Interaction, 2nd edition, London: Sage Publications, 2001.

91. Stake, Robert, Standards-Based and Responsive Evaluation, Sage, 2003. 92. Stanculescu, M. (coautor), Pre-Accesion Impact Studies. EU Cohesion Policy and Romania's Regional Economic and Social Development (bilingv), Institutul European, 2003. 93. Stanculescu, M. (coautor), Toward Country Led Development. A Multi-Partner Evaluation of the Comprehensive Development Framework. Findings from Six Country Case Studies: Bolivia, Burkina, Faso, Ghana, Romania, Uganda, Vietnam, IBRD, The World Bank Washinghton USA, 2003. 94. Stanculescu, M. i Neef, R. (editori), The Social Impact of Informal Economies in Eastern Europe, Surey: Ashgate, 2002. 95. Stufflebeam, D. L., CIPP Model (Context, Input, Process, Product), n Mathison, S. (ed.), Encyclopedia of Evaluation, Thousand Oaks, CA: Sage Publications, 2005. 96. Stufflebeam, D.L., Evaluation Models, 2001, New Directions for Evaluation, vol. 89, San Francisco, CA: Jossey-Bass. 97. Stufflebeam, D.L., The 21st Century CIPP Model, n Alkin, M.C. (ed.), Evaluation Roots, Thousand Oaks: CA: Sage Publications, 2004. 98. andor, S.D., Analiz i cercetare n administraia public, Cluj-Napoca: Ed. Accent, 2005. 99. Tashakkori, A. i Teddlie, C., Handbook of Mixed Methods in Social & Behavioral Research, Thousand Oaks: Sage Publications, 2003. 100. Tashakkori, A. i Teddlie, C., Mixed Methodology: Combining Qualitative and Quantitative Approaches, Thousand Oaks: Sage Publications, 1998. 101. Taylor, C.N., Hobson, B.C. i Goodrich, C.G., Social Assessment: Theory, Process and Techniques, Thousand Oaks: Sage Publications, 2004. 102. Vanclay, F., The International Handbook of Social Impact Assessment: Conceptual and Methodological Advances, Edward Elgar Publishing, 2003. 103. Von Winterfeld, D. i Edwards, W., Decision Analysis and Behavioral Research, New York: Cambridge University Press, 1986 104. Waddell, S., Lessons from the Healthy Cities Movement for Social Indicators Development, 1995, Social Indicators Research, vol. 34, no. 2, pp. 213-222. 105. Weimer, D.L. i Vining, A.R., Policy Analysis. Concepts and Practices, New Jersey: Prentice Hall, 1992. 106. Weimer, D.L. i Vinning, A.R., Policy Analysis: Concepts and Practice, New Jersey: Prentice Hall, 1989. 107. Weiss, C.H., Nothing as Practical as Good Theory: Exploring Theory-Based Evaluation for Comprehensive Community Initiatives for Children and Families n Connell, J.P., Kubish, A.C., Schorr, L.B. i Weiss, C.H. (eds.), New Approaches to Evaluating Community Initiatives. Vol.1: Concepts, Methods, and Contexts. Washington, D.C.: The Aspen Institute, 1995. 108. White, R. (ed.), Controversies in Environmental Sociology, Cambridge University Press, 2004. 109. Wholey, J.S., Hatry, H.P. i Newcomer, K.E. (editori), Handbook of Practical Program Evaluation, 2nd edition, San Francisco: Jossey-Bass, 2005. 110. Wolfson, M.C., POHEM a Framework for Understanding and Modelling the Health of Human Populations, 1994, World Health Statistical Quarterly, vol. 47, pp. 157-176.

RESURSE INSTITUIONALE 111. ARACIS, 2006, Metodologia de evaluare externa, standardele, standardele de referinta si lista indicatorilor de performanta a Agentiei Romne de Asigurare a Calitii n nvmntul Superior, Bucureti 112. Banca Mondial, 1993, Social Accounting Matrices, Chapter 20 of System of National Accounts, Inter-Secretariat Working Group on National Accounts. 113. Banca Mondial, 1994, Guidelines and Priciples for Social Impact Assessment. 114. Comisia European, 1995, Common Guidelines for Monitoring and Evaluation, Luxembourg: OPOCE. 115. ECOTEC, (2006)-Thematic Report on Support to PAJC in Bulgaria and Romania. 116. Ekos Research Associates Inc., 1996, Rethinking Government 1995, Final Report, July 12. 117. Elias, 2006, Report-Accreditation of the Public Administration Department at Babes-Bolyai University, Cluj-Napoca. 118. MWH, (2006), Ex-post evaluation of the PHARE programme in Romania. 119. Policy Research Committee, 1996, Growth, Human Development, Social Cohesion: Draft Interim Report, October. 120. Tavistock Institute et al., 2003, The Evaluation of Socio-Economic Development: The GUIDE. 121. United Nations, 1991, World Development Report, New York: Oxford University Press. 122. United States General Accounting Office (USGAO) , 2003, Report to Congressional Commities, Program Evaluation- An evaluation Culture and Collaborative Partnerships Help Build evaluation Capacity. RESURSE WEB

123. 124. 125. 126. 127. 128. 129. 130. 131. 132.

http://www.pbs.org/johngardner/chapters/4.html http://en.wikipedia.org/wiki/Watts_Riots http://www.evalsed.info http://www.evaluate-europe.net/handbook/handbookpdf http://www.soc.surrey.ac.uk/sru/SRU19.html http://www.worldbank.org http://www.cjph.ro/index.php?_init=public.parcuri_list& http://www.iccv.ro http://www.casaeuropei.com http://www.dog-eared.com/socialecologypress/

ANEXA 1. FI EVALUARE PROIECT

FIA EVALUARE PROIECT Nr. 1. DENUMIRE PROIECT:___________________________________________ 2. ACTORI IMPLICAI: a. SOLICITANT: _________________________________________________________________________________ _________________________________________________________________________________ b. PARTENERI: _________________________________________________________________________________ _________________________________________________________________________________ c. GRUP INT: _________________________________________________________________________________ _________________________________________________________________________________ d. FINANATOR: _________________________________________________________________________________ _________________________________________________________________________________ e. CO-FINANATORI: _________________________________________________________________________________ _________________________________________________________________________________ f. SUBCONTRACTANI: _________________________________________________________________________________ _________________________________________________________________________________ g. IMPLEMENTATOR: _________________________________________________________________________________ _________________________________________________________________________________ h. EVALUATORI: _________________________________________________________________________________ _________________________________________________________________________________ i. ALI PARTICIPANI: _________________________________________________________________________________ _________________________________________________________________________________ 3. PERIOADA DE DERULARE

_________________________________________________________________________________ _________________________________________________________________________________ 4. STADIUL ACTUAL AL IMPLEMENTRII _________________________________________________________________________________ _________________________________________________________________________________ 5. OBIECTIVE (GENERALE I SPECIFICE) _________________________________________________________________________________ _________________________________________________________________________________ _________________________________________________________________________________ _________________________________________________________________________________ 6. ACTIVITI (ENUMERARE, STADIU DE DERULARE, RESPONSABIL) Activitatea nr. Denumirea activitii Stadiul de derulare Responsabil Observaii

7. CALENDARUL INIIAL AL PROIECTULUI (pe luni) Luna 1 Activitatea 1 Activitatea 2 Activitatea 3 Activitatea 4 Activitatea 5 .. 8. DECALAJE Decalaj Activitatea 1 Activitatea 2 Activitatea 3 Activitatea 4 ........... Explicaie Luna 2 ..

9. DESCRIEREA IMPLICRII FIECRUI PARTENER Rol/Implicare Partener 1 Partener 2 Partener 3 Partener 4 Partener 5 .. 10. FINANARE (SE VA CERE ANEXAREA BUGETULUI) 11. OBSERVAII I EVENTUALE SCHIMBRI APRUTE PE PARCURS CARE AU DETERMINAT MODIFICAREA OBIECTIVELOR, ACTIVITILOR SAU CALENDARULUI PROIECTULUI) : ________________________________________________________________________ ________________________________________________________________________ Locaia/Data Coordonator proiect Observaii

ANEXA 2. CHESTIONAR

CHESTIONAR Rspunsurile la ntrebrile din prezentul chestionar vor contribui la realizarea unei evaluri a impactului pe care Programul educaional de Administraie public l are asupra studenilor. M.1. Ce anse i acorzi s fii angajat() ntr-o instituie din administraia public sau ntr-un serviciu public aflat n subordinea administraiei publice din Romnia? a. Foarte mari b. Mari Relative c. d. Mici Deloc e. (Pentru cei care au rspuns la ntrebarea anterioar cu a, b, c sau d) M.2. Consideri c ai avea mai multe anse s fi angajat() n administraia public sau serviciilor publice aflate n subordinea administraiei publice: a. Din mediul rural b. Din mediul urban N/NR c. M.3. Ct de hotrt() eti s ajungi s lucrezi, dup absolvire, n administraia public sau n serviciile publice aflate n subordinea acesteia? mi doresc doar acest lucru d.p.d.v. profesional a. b. Foarte hotrt(), dar a accepta i o alt variant c. Relativ decis() d. Nu sunt sigur() de acest lucru Nu intenionez deloc acest lucru e. M.4. Dac ar fi posibil, ai opta pentru a lucra ntr-o instituie din administraia public sau n serviciu public aflat n subordinea acesteia: Din mediul rural a. b. Din mediul urban Indiferent c. d. N/NR M.5. n ce msur eti decis() s i mbunteti nivelul de competene (de ex. prin continuare de studii la nivel de licen pentru absolvenii de colegiu, continuare de studii la nivel masteral pentru absolvenii seciei)? a. b. Acesta este cel mai important obiectiv al meu, dup absolvire Sunt anse mari s fac aceasta

c. d. e. f.

S-ar putea s fac acest lucru Sunt puine anse s fac acest lucru, dar nu exclud posibilitatea Nu doresc sub nici o form acest lucru N/NR

M.6. Urmtorea ntrebare se adreseaz doar studenilor de la secie: Dac vei dori s-i continui studiile, vei opta pentru un program de masterat: a. b. c. Din Romnia Din strintate N/NR

(Pentru cei care au rspuns la ntrebarea anterioar cu a:)

M.7. Dac vei opta pentru un program de masterat din Romnia, vei prefera unul: a. b. c. d. e. Oferit de secia de Administraie Public a Facultii de tiine Politice, Administrative i ale Comunicrii Oferit de o alt secie a Facultii de tiine Politice, Administrative i ale Comunicrii Oferit de o alt facultate din cadrul Universitii Babe-Bolyai Cluj-Napoca Oferit de o alt universitate din Romnia N/NR

M.8. Ct de util crezi c va fi pentru tine s menii legtura, dup absolvire, cu facultatea pe care ai absolvit-o? Acordai o not de la 1 la 5 i motivai nota acordat: 1______________2_______________3_______________4______________5 Motivai: _______________________________________________________________ M.9. Ct de util crezi c va fi pentru Secia de Administraie Public din cadrul Facultii de tiine Politice, Administrative i ale Comunicrii s pstreze legtura cu tine dup absolvire? Acordai o not de la 1 la 5 i motivai nota acordat: 1______________2_______________3_______________4______________5 Motivai: _______________________________________________________________ 10. Descrierea curriculei 1. Elemente de drept civil 2. Operare PC 3. Introducere n tiinele comunicarii i a relaiilor publice 4. Bazele economiei de pia 5. Sistem constituional i instituii politice n Romnia 1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 4 4 4 4 4 5 5 5 5 5

6. Relaii cu publicul i elaborarea documentelor oficiale 7. Drept administrativ 8. Finane i bugete publice 9. Descentralizare i politici regionale 10. Metode de cercetare n tiine sociale 11. Teorii organizaionale 12. Sisteme administrative comparate 13. Etic n administraia public 14. Managementul resurselor umane 15. Managementul ONG-urilor 16. Management financiar 17. Management public 18. Drept comunitar instituional 19. Drept penal 20. Teoria argumentarii 21. Seminar de cercetare 22. Evaluarea programelor n administraia public 23. Introducere n tiinele politice 11. Competene 1.Capacitatea de a consulta, a interpreta i de a aplica reglementrile n domeniul administraiei publice. 2. Capacitatea de analiz, sintez i prognoz, manifestate prin: spirit analitic i sintetic de interpretare a informaiilor, prin spirit inovator, discernmnt, realism, adaptabilitate i flexibilitatea gndirii. 3. Capacitatea de a rezolva probleme de o manier inovatoare. 4. Capacitatea de a folosi limbajul juridic i economic, specific tiinelor administrative. 5. Abiliti n ceea ce privete fundamentarea deciziilor publice. 6. Capacitatea de a utiliza tehnologiile informaionale specifice domeniului administraiei publice. 7. Cunoaterea, interpretarea i aplicarea reglementrilor legale din domeniul organizrii i

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2

3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4

5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5

1 1 1 1

2 2 2 2

3 3 3 3

4 4 4 4

5 5 5 5

funcionrii autoritilor i instituiilor publice, n domeniul funciei publice i a funcionarilor publici, actelor administrative, contractelor publice, prestrii serviciilor publice. 8. Cunoaterea practicii administrative i spirit de iniiativ n analiza i rezolvarea problemelor practice. 9. Posibilitatea de a evolua profesional datorit unei atitudini flexibile i deschise la nou. 10. Utilizarea tehnicilor informaionale. 11. Luarea unor decizii etice. 12. Capacitatea de a lucra n echp. 13. Construirea si aplicarea instrumentelor de cercetare. 14. Interpretarea rezultatelor cercetrilor. 12. Eficacitatea educaional 1.Profesorii au fost foarte bine pregtii pentru cursuri. 2. Profesorii au reuit s se transmit informaiile ntr-un mod clar i explicit. 3. Au oferit exemple practice. 4. Au ncurajat studiul bibliografiei suplimentare. 5. Au stimulat spiritul critic. 6. Profesorii dispun de strategii actualizate de predare pentru fiecare curs. 7. Au evaluat obiectiv cunotinele studenilor. 8. Au oferit consiliere pentru direcionarea carierei. 9. Au oferit recomandri pentru alte activiti educaionale (coli de var, conferine, master, internship, etc.,) 10. Profesorii au fost disponibili pentru consultaii n afara cursurilor. 11. Au organizat dezbateri n cadrul cursurilor/seminariilor. 13. Experiena practicii profesionale 1. Informaiile teoretice nsuite la cursuri a reflectat realitatea din instituiile administraiei publice

1 1 1 1 1 1

2 2 2 2 2 2

3 3 3 3 3 3

4 4 4 4 4 4

5 5 5 5 5 5

1 1 1 1 1 1 1 1 1

2 2 2 2 2 2 2 2 2

3 3 3 3 3 3 3 3 3

4 4 4 4 4 4 4 4 4

5 5 5 5 5 5 5 5 5

1 1

2 2

3 3

4 4

5 5

locale/centrale. 2. Posibilitatea de a lua contact cu sectorul executiv. 3. Realizarea stagiului de practic a contribuit la definirea alegerii viitoarei cariere. 4. Pe parcursul stagiului de practic, instituia gazd m-a ndrumat i mi-a oferit posibilitatea de a m implica n activitile organizaiei. 5. Stagiul de practic mi-a permis stabilirea de contacte n sectorul public. 6. Gsirea unei instituii pentru realizarea stagiului profesional a fost un proces facil. 7. Catedra de Administraie Public m-a ajutat s-mi gsesc o instituie pentru realizarea stagiului de practic profesional. 14. Baza material: patrimoniu i dotare 1. Procesul de admitere al studenilor 2. Procesul de nregistrare al studenilor. 3.Sprijinul material acordat (burse de studiu, burse de merit, burse sociale). 4. Dotarea bibliotecii cu resursele necesare programului educaional de Administraie Public. 5. Dotarea slii de calculatoare. 6. Spaii adecvate procesului de nvmnt. 7. Spaii de cazare pentru studeni. 8. Calitatea serviciilor de consiliere. 1. Nivelul personal de satisfacie fa de programul educaional de Administraie Public. 2. Dorina de a recomanda programul unui prieten. Comentarii vizavi de programul de Administraie Public:

1 1 1

2 2 2

3 3 3

4 4 4

5 5 5

1 1 1

2 2 2

3 3 3

4 4 4

5 5 5

1 1 1 1 1 1 1 1 1 1

2 2 2 2 2 2 2 2 2 2

3 3 3 3 3 3 3 3 3 3

4 4 4 4 4 4 4 4 4 4

5 5 5 5 5 5 5 5 5 5

15. Impresia generala fa de programul educaional de Administraie Public

V MULUMIM.

ANEXA 3. EXEMPLE DE INDICATORI DE OUTPUT I DE REZULTAT

Domeniul Acces la educaie Control Output Numr de coli Numr de proiecte Numr de participani Numr de organizaii sprijinite Numr de manifestri organizate Dimensiunea populaiei Numr de controale efectuate Numr de amenzi aplicate Numr de cursuri oferite Numr de cursani Numr de ore Numr de proiecte susinute Rata omajului Cantitate de deeuri colectat Desfiinarea rampelor clandestine Rezultat Reducerea abandonului colar Creterea nivelului de educaie Numr de vizitatori sau participani pe zi

Activiti culturalsportive

% din populaie care s-a conformat reglementrilor Numr de absolveni % celor care i folosesc cunotinele Numr de noi locuri de munc Scderea ratei omajului Gospodrii deservite (%) % de reciclare numr de rampe clandestine desfiinate Satisfacia participanilor Gradul de mbuntire a situaiei populaiei int Numrul persoanelor aparinnd unor grupuri defavorizate care beneficiaz de locuine noi Numr de afaceri noi n zon Numr de noi locuri de munc % din locuitori care vor s rmn n zon Creterea traficului Reducerea distanelor (km) Economia de timp (durata cltoriei*numr cltori) Satisfacia utilizatorilor Numr de zile n care temperatura din apartamente nu a corespuns ateptrilor Satisfacia utilizatorilor Numr de deconectri Reducerea traficului mainilor personale Satisfacia cltorilor

Cursuri de perfecionare Dezvoltare local Resurse umane Gestiunea deeurilor

Programe sociale

Fond locativ

Reabilitarea zonelor urbane Strzi

Numr de beneficiari Numr de proiecte implementate Numr de locuine date n folosin grupurilor defavorizate Numr de cldiri renovate

Numr de kilometri construii ori reabilitai

Termoficare

Numr de centrale modernizate Cantitatea de cldur furnizat Numr de curse Numr de rute oferite

Transport urban