La funcin de evaluacin de programas sociales en Chile, Brasil y Argentina Nerio Neirotti

1. INTRODUCCION El propsito de este trabajo es brindar un panorama del desarrollo de la funcin de evaluacin de programas y proyectos sociales en Chile, Brasil y Argentina. En la primera parte se justifica la necesidad de fortalecer esta funcin y se desarrolla el concepto de evaluacin con el que se aborda la tarea. En el punto siguiente se hace una exploracin sobre los antecedentes y el estado actual de la evaluacin en cada uno de estos tres pases. Se describe la experiencia del Programa de Evaluacin de Proyectos Gubernamentales de la Direccin de Presupuestos de Chile, junto con la del Programa de Monitoreo de Polticas Sociales; se aborda la prctica de la evaluacin en el marco del Plan Plurianual de Brasil; y por ltimo, se presenta el caso del Sistema de Informacin, Evaluacin y Monitoreo de Programas Sociales (SIEMPRO) de Argentina. Finalmente, en la ltima seccin, se esboza un anlisis comparado de los tres casos, con base en cinco parmetros: 1) institucionalizacin de la funcin evaluacin y aproximacin a la conformacin de un sistema; 2) utilidad y oportunidad de la evaluacin como insumo para la toma de decisiones y para mejorar el desempeo de la gestin; 3) correlacin entre la funcin evaluacin y la funcin presupuestaria; 4) desarrollo de capacidades de evaluacin en las reas sociales gubernamentales y de la oferta evaluativa en el sector privado; 5) propsitos prevalecientes en las evaluaciones (hacer ms eficiente el gasto, mejorar la gerencia, brindar orientacin a las polticas, desarrollar procesos de responsabilizacin). El artculo no ofrece recomendaciones acerca de un modelo adecuado de sistemas y metodologas de evaluacin, puesto que esto excedera el propsito de su elaboracin. Tampoco es el resultado de un proceso formal de investigacin - ni siquiera de carcter exploratorio - sino que est conformado apenas por un conjunto de reflexiones que se ha pretendido ordenar luego de leer diversos trabajos y entablar intercambios de ideas con algunos de los involucrados en la funcin evaluacin de los pases mencionados. La actividad ha sido motivada, sin embargo, por la inquietud de llevar a cabo una tarea de mayor magnitud y profundidad: queda pendiente una investigacin sobre el tema - con un abordaje sistemtico de la documentacin, entrevistas y visitas de campo - que parta de un previo anlisis del desarrollo de las polticas sociales en estos tres pases, del examen de sus procesos de modernizacin del Estado y finalmente, de la sistematizacin tanto de las teoras y metodologas sobre evaluacin de programas sociales como de las experiencias exitosas aplicadas en otros lugares del mundo. 1 Adems de la bibliografa citada y de referencia, este documento se apoya en las conversaciones que en su momento tuvo el autor con funcionarios y consultores de cada una de las siguientes instituciones: Direccin de Presupuestos y Ministerio de Planificacin y Cooperacin de Chile; Instituto de Investigaciones Econmicas Aplicadas (IPEA) y Ministerio de Planificacin, Presupuesto y Gestin de Brasil; y Sistema de Informacin, Monitoreo y Evaluacin de Programas Sociales (SIEMPRO) de Argentina.

Un interesante trabajo en este sentido, que ha sido tomado en parte como referencia - aunque su elaboracin no se apoya en el mismo esquema propuesto en este documento y su foco de atencin no se concentra en programas sociales - es el de Ricardo Toledo Silva, Identificar lies, Versin preliminar para la discusin, Projeto Fortalecimento da Funo Avaliao na Amrica do Sul, IPEA/BID, 2000.

2. EL DESAFIO DE IMPULSAR LA EVALUACION Chile, Brasil y Argentina han transitado la experiencia de transformar su modelo productivo y se encuentran en proceso de redefinicin de sus polticas sociales. En stas se observa una superposicin del esquema del estado de bienestar con las nuevas formas que pretenden dar impulso a la inversin en recursos humanos, en capital social, en mecanismos innovadores de redistribucin y sobre todo, que buscan dar respuestas al avance de la desocupacin y la precarizacin laboral, como as tambin al incremento y profundizacin de la pobreza. Estos pases han llevado a cabo, con distintas caractersticas y extensin, reformas de sus aparatos estatales, entre las que se incluye la transformacin de las reas sociales, especialmente de salud y educacin. Han desarrollado tambin, aunque con menor fuerza, intentos de institucionalizacin de polticas de reduccin de la pobreza, la exclusin y la inequidad social intentando incrementar las relaciones entre el Estado y la organizaciones de la sociedad civil. En este marco se llevan a cabo programas paradigmticos, que apelando a distintas denominaciones renta mnima, seguro de inclusin, ingreso ciudadano, etc. - tienen funciones ordenadoras y articuladoras de los otros programas sociales existentes, o son diseados con el propsito de reemplazar a los mismos. Nos encontramos entonces frente a mltiples imperativos: redefinicin de las polticas sociales; rediseo del aparato estatal y de sus funciones; respuestas a dimensiones desconocidas de desocupacin, pobreza y exclusin; desarrollo de nuevas prcticas de articulacin entre el Estado y las organizaciones de las sociedad civil. Dado que no existen recetas para abordar estas necesidades, el avance por experimentacin parece ser la forma ms indicada de avizorar las soluciones. En este sentido, la evaluacin, concebida como instrumento de aprendizaje, se agrega como un desafo ms en este caso, de carcter instrumental para brindar luz y contribuir a encontrar atajos en medio de un sendero plagado de incertidumbre, y a la vez, para hacer ms eficiente el uso de los recursos. La evaluacin es una forma de indagacin o investigacin de tipo valorativo, es decir, generadora de juicios de valor en funcin del patrn normativo de los involucrados en la intervencin social. En ese sentido produce conocimiento con dos propsitos: brindar elementos para la toma de decisiones y poner la informacin a disposicin de la ciudadana - esto ltimo, a los efectos de darle transparencia a la gestin de gobierno y de promover la participacin social -. Como seala Brown, 2 la evaluacin es til a los encargados de la gestin cotidiana porque permite centrar la atencin en el cumplimiento de los objetivos perseguidos y de la ejecucin; sirve a quienes tienen responsabilidades en niveles estratgicos, de conduccin de poltica general, en la medida en que proporciona informaciones sobre actividades - pasadas o en curso - que orientan en el diseo y planificacin de polticas; pero tambin cumple un importante funcin de responsabilizacin, en su sentido de rendicin de cuentas sobre la gestin, facilitando una actitud de los funcionarios ms proclive al debate y al aprendizaje en el proceso de debate pblico. La evaluacin es, esencialmente, aprendizaje que permite detectar y corregir errores al nivel de los programas o proyectos y generar una actitud cuestionadora sistemtica al nivel de las polticas. De igual modo la concibe Wiesner al afirmar que ...la evaluacin de resultados es un ejercicio heurstico. Es una forma de aprender de la experiencia y de verificar hiptesis sobre la forma como operan en la prctica los modelos tericos. Dentro de este contexto es una gua para completar los
2

Brown, Deryck R., La evaluacin de polticas y programas en la regin del Caribe de habla inglesa: problemas conceptuales y prcticos, Santiago de Chile, CEPAL, 2001. 2

mercados econmicos y polticos, donde siempre hay deficiencias, entre ellas, fallas de informacin y restricciones de economa poltica que operan idiosincrticamente, segn se trate de uno u otro sector, o de un pas u otro. 3 La evaluacin no es una etapa separada de la implementacin y planificacin, sino que constituye una funcin de la gestin integralmente concebida, en la que estn presentes, adems de la planificacin y la implementacin, la organizacin, la administracin presupuestaria, la direccin, el control, el desarrollo de recursos humanos, etc. 4 Todas estas funciones se realimentan mutuamente y, ms all de sus lgicas y tiempos diferentes, estn ligadas por una articulacin permanente. Cada vez que se decide hacer una nueva inversin o que se intenta cambiar el rumbo de una poltica o programa, es necesario hacer un anlisis de prospectiva en relacin con las distintas alternativas de intervencin y evaluar la viabilidad, factibilidad y sustentabilidad de la estrategia que se disee. Durante la implementacin de programas y proyectos es menester hacer el monitoreo, esto es, tomar conocimiento de la distancia o cercana entre la ejecucin del programa y los patrones de referencia su propia planificacin, el desempeo de otros programas similares o los logros de programas modelos (benchmarking) - . Con mayor profundidad y buscando explicaciones causales, durante la ejecucin se recomienda hacer evaluaciones de proceso tambin llamadas diagnsticas o de medio trmino - . Una vez transcurrido un tiempo en el que se considere que se pueden observar los efectos de una programa se impone la necesidad de hacer evaluaciones de resultados (productos y efectos) y con mayor tiempo, de impactos. En todos los casos el conocimiento producido arroja luz para la mejora de las dems funciones de la gestin y brinda elementos para la replanificacin. Segn Wiesner, la necesidad de evaluar la intervencin estatal en Amrica Latina tiene tres motivos: En primer lugar, el imperativo de darle mayor racionalidad a los ajustes y correcciones fiscales; en segundo lugar, la percepcin de los gobiernos de que deben pagar un costo poltico cada vez ms alto por la mala gestin de programas pblicos; y finalmente, la mayor demanda de participacin y transparencia por parte de la sociedad. Tambin seala que las rigideces presupuestarias constituyen un problema que atenta contra la mejora de las polticas pblicas y aboga por darle al gasto un carcter ms flexible y asociar las evaluaciones a las asignaciones del presupuesto. 5 La evaluacin no puede ser concebida sin atender el marco institucional en el que se desenvuelven las polticas, los programas y los proyectos, puesto que all es donde se inscribe la voluntad de desarrollar y aprovechar este aprendizaje, ya sea en los niveles estratgicos de toma de decisin, como en los niveles tcticos u operativos. Se puede decir, de acuerdo con Mora Quirs, que no tiene sentido dedicar tiempo y recursos a la evaluacin de instituciones pblicas cuyo accionar traducido en programas y proyectos - no corresponde ni a las prioridades del desarrollo nacional ni a las demandas de la sociedad 6 . Dicho autor, en referencia a la responsabilizacin por resultados, insta a abandonar el modelo tradicional centrado en la administracin de recursos para sustituirlo por el de satisfaccin de los usuarios, y agrega que esto ...supone un modelo de gestin pblica flexible y creativo, que otorga a los responsables de los programas mayor libertad para tomar decisiones y administrar los recursos, as
3

Wiesner, Eduardo, Funcin de evaluacin de planes, programas, estrategias y proyectos, Santiago de Chile, CEPAL, 2000. 4 Vase SIEMPRO, Gestin Integral de Programas Sociales Orientada a Resultados, Buenos Aires, SIEMPRO / UNESCO / FCE, 1999; CEPAL, Gestin de Programas Sociales en Amrica Latina, Santiago de Chile, 1998; y Olga Niremberg et. al, Evaluar para la transformacin, Buenos Aires, Paids, 2000. 5 Wiesner, Eduardo, op. cit. 6 Mora Quirs, Mario, Responsabilizacin por el control de resultados, en Consejo Cientfico del CLAD (coordinador), La Responsabilizacion en la Nueva Gestin Pblica Latinoamericana, Buenos Aires, CLAD/BID/EUDEBA, 2000, p.171. 3

como mayor responsabilidad personal por los resultados obtenidos. Coincide con el planteo expuesto precedentemente, respecto de la necesidad de crear ambientes propicios en la gestin pblica que garantice la integracin dinmica de los procesos de programacin, ejecucin y evaluacin. 7 Seala el autor que no hay una receta a seguir y que existe un conjunto de laboratorios a nivel internacional con diferentes estilos de transformacin de la gestin pblica, donde lo que distingue a un pas de otro es la estrategia y el nfasis puesto en distintos instrumentos. Canad ha desarrollado sistemas de evaluacin integrados, en el que cada ministerio y agencia cuenta con su propia oficina especializada y ha institucionalizado, por esta va, una cultura de evaluacin. Inglaterra, aunque muestra una prctica menos estructurada que Canad, ha hecho hincapi en la participacin social y en la democratizacin de la informacin, poniendo en prctica los Citizenss Charters, en virtud de los cuales el Estado se compromete ante los ciudadanos a cumplir con niveles determinados de calidad de los servicios. Estados Unidos ha impulsado la modernizacin sistemtica del proceso presupuestario y de control, y Nueva Zelandia se ha apoyado en la inclusin de incentivos directos a la eficiencia y a la productividad. Australia ha integrado la evaluacin de programas al proceso presupuestario y de control, en combinacin con el desarrollo de indicadores de desempeo e incentivos para la mejora de los servicios. En Amrica Latina, aparte de los pases que son objeto de anlisis en este trabajo, se destacan las experiencias de Colombia y Costa Rica. En el primer caso, se ha puesto en marcha un sistema de evaluacin de resultados de carcter nacional, dando cumplimiento al mandato de la Constitucin de 1991. El Sistema Nacional de Evaluacin de Resultados de la Gestin Pblica (SINERGIA) se sustenta en un modelo de gestin pblica integral y participativa. En Costa Rica se implant el Sistema Nacional de Evaluacin (SINE) bajo la conduccin del Ministerio de Planificacin Nacional y Poltica Econmica (MIDEPLAN) que se apoya en Compromisos de Resultados (CDR) entre el Presidente de la Repblica y los responsables de los organismos. 8 Se expone a continuacin, la naturaleza y el alcance de las experiencias de evaluacin de programas sociales de Chile, Brasil y Argentina, las cuales son descriptas en sus notas esenciales. En el caso de Chile y Brasil, los programas sociales son evaluados junto con otros programas pblicos, en el marco de sistemas que exceden el mbito de las polticas sociales. Distinta es la situacin de Argentina, donde el SIEMPRO fue creado con el propsito de aportar especficamente a la mejora de la poltica social. 3. EL CASO DE CHILE La descripcin de la experiencia chilena se apoya en la prctica de la Direccin Nacional de Presupuesto, del Ministerio de Hacienda, a travs del Programa de Evaluacin de Programas Gubernamentales y del Ministerio de Planificacin y Cooperacin (MIDEPLAN), a travs del Programa de Monitoreo de la Poltica Social. Es menester destacar, sin embargo, otras acciones relacionadas con la funcin evaluacin que son llevadas a cabo por distintos organismos pblicos nacionales, las cuales denotan un amplio despliegue de iniciativas de modernizacin del sector pblico, de implantacin de contratos de gestin, de definicin de metas ministeriales y de evaluacin previa de proyectos de inversin. Entre stas se destacan por su relacin ms directa con la funcin evaluacin - los Programas de Mejoramiento de la Gestin, puestos en prctica con el propsito de mejorar el desempeo institucional en relacin con las metas de modernizacin y consecuentemente, de asignar
7 8

Ibidem, pp. 176-177. Ibidem, pp. 188-217. Para profundizar sobre las experiencias de Colombia y Costa Rica, vase tambin las respectivas pginas web: http://www.dnp.gov.co y http://www.mideplan.go.cr 4

incrementos a las remuneraciones del personal. 9 Estos programas desarrollan sistemas de indicadores de gestin sobre los cuales se apoya la medicin del desempeo. Ms recientemente se ha conformado el Sistema de Gestin Estratgica Gubernamental que comprende un proceso de planificacin estratgica. Este ltimo incluye los siguientes instrumentos: lineamientos polticos y estratgicos, metas ministeriales y sus indicadores, metas regionales y sus indicadores, programas de mejoramiento de la gestin y ley de presupuesto del sector pblico. En este sistema est presente la evaluacin de desempeo y control de gestin por un lado, y el seguimiento y la evaluacin del impacto de la accin gubernamental por otro-.10 Evaluacin de Proyectos Gubernamentales11 El Programa de Evaluacin de Proyectos Gubernamentales tuvo inicio en 1997, cuando se llev a cabo la etapa piloto con la evaluacin de 20 proyectos, seguida de una segunda fase que incluy la evaluacin de 40 proyectos ms en 1988. En la Ley de Presupuesto para el ao 1997 se incluy un artculo que estableca que los programas podan ser objeto de evaluacin de sus resultados y que la misma sera tomada como antecedente para futuras asignaciones presupuestarias. El propsito del Programa es generar informacin vlida y oportuna de los resultados obtenidos por los programas evaluados, como un insumo para la toma de decisiones en los distintos niveles institucionales, en el marco del proceso de Modernizacin del Estado y de la Gestin Pblica. 12 Para cumplir con este propsito, se utiliza una metodologa preestablecida y las evaluaciones son efectuadas por observadores calificados, con apoyo de estudios complementarios cuando resulta necesario. Se busca que los resultados de las evaluaciones sean independientes, es decir, sin estar afectados por intereses econmicos, corporativos o institucionales, ya sean ajenos al Estado o que provengan del mismo. Estos resultados, adems de estar dirigidos a las instancias de decisin estatal, son de conocimiento pblico, es decir, que estn al servicio de la ciudadana en general y de la transparencia de la gestin. La ejecucin del Programa est a cargo de la Direccin de Presupuestos, en coordinacin con los Ministerios de Hacienda, Economa, Planificacin y Cooperacin y Secretara General de la Presidencia. Todos ellos nombran representantes que conforman un Comit Asesor del Programa y un Comit Tcnico, este ltimo dedicado a hacer recomendaciones de tipo operativo y metodolgico. A la Direccin de Presupuestos le cabe la responsabilidad de la gestin del programa incluyendo el diseo metodolgico y operativo del mismo, la provisin de recursos y la administracin de su operacin, como as tambin el envo de informes al Poder Ejecutivo y al Congreso Nacional. El espectro de programas a evaluar es amplio: abarca a los de fomento productivo y de desarrollo
9

Direccin de Presupuesto, Ministerio de Hacienda de Chile, Evaluacin del desempeo de servicios pblicos: Bases que fundamentan los incentivos institucionales, en CEPAL, Taller sobre evaluacin de la gestin del gasto pblico. Compendio de documentos, Santiago de Chile, 1998. 10 Ministerio de Planificacin y Cooperacin, Divisin Social, Departamento de Evaluacin Social, Seguimiento a las actividades realizadas por el Ministerio de Planificacin de Chile en el perodo 1999-2000, documento de trabajo presentado en el Taller del Proyecto Fortalecimiento de la Funcin Evaluativa para Sudamrica, IPEA / BID, en Brasilia, 19 y 20 de octubre del 2000, mimeo. 11 Si bien la denominacin del Programa hace referencia a proyectos gubernamentales, se debe entender que abarca programas tanto como proyectos. 12 Ministerio de Hacienda de Chile, Direccin de Presupuestos, Evaluacin de programas gubernamentales: La experiencia de Chile, documento presentado al Taller sobre Evaluacin de la Gestin del Gasto Pblico en Salud, organizado por CEPAL, Brasilia, enero de 1999, mimeo. 5

institucional junto a aqullos de naturaleza social. La seleccin de los mismos responde a los siguientes criterios: 1) aos de operacin, 2) importancia estratgica con base en las metas establecidas por cada ministerio, 3) suficiente informacin disponible, 4) recursos mnimos del programa, 4) cobertura nacional. El procedimiento de seleccin se inicia con una identificacin previa del Comit Tcnico, una preseleccin por parte del Comit Asesor, la aprobacin de la propuesta a cargo del Director de Presupuestos, la ratificacin de los ministerios responsables de los programas, la consulta al Congreso Nacional y la propuesta definitiva sancionada por el Comit de Ministros para la Modernizacin de la Gestin Pblica. La evaluacin est a cargo de paneles conformados por tres profesionales externos al sector pblico, provenientes del mbito acadmico, de consultoras, de centros privados de investigacin, de organismos internacionales o tambin por aqullos que se presenten individualmente. Los evaluadores son seleccionados segn la experiencia en el tema a evaluar, la funcin desempeada en diseo, ejecucin y evaluacin de programas, el nivel acadmico, la disponibilidad de tiempo y la complementariedad de especializaciones entre los miembros del panel. Una contraparte tcnica, conformada por los responsables de los programas a evaluar, tiene la responsabilidad de sistematizar y proveer informacin a los evaluadores. El proceso preevaluativo incluye, adems de la conformacin del panel, acciones de capacitacin metodolgica - a los efectos de homogeneizar criterios - con los responsables de los programas a evaluar, y tareas de recopilacin y sistematizacin de la informacin necesaria para llevar a cabo la evaluacin. El trabajo del panel tiene una duracin de tres meses y finaliza con la presentacin de un informe final que incluye conclusiones y recomendaciones, de acuerdo con los formatos estipulados y la documentacin de respaldo. La Direccin de Presupuestos da la aprobacin del informe final, de acuerdo con la recomendacin del Comit Asesor. Es de destacar que la institucin a cargo del programa evaluado hace las observaciones que considere pertinentes, tanto a los informes de avance como al final, todo lo cual es luego enviado al Poder Ejecutivo y al Congreso Nacional. Los aspectos bsicos a evaluar de cada programa son: 1) identificacin de los objetivos explcitos e implcitos, tanto a nivel de efectos como de productos, 2) anlisis de la justificacin y supuestos, 3) anlisis del cumplimiento de metas de cada programa, 4) conclusiones con base en la eficacia y eficiencia del programa, 6) conclusiones y recomendaciones en relacin al diseo y la gestin. En cuanto a la metodologa utilizada, se recurre al ordenamiento y anlisis de la informacin con base en el marco lgico. Este instrumento brinda estructura al proceso de planificacin y puede utilizarse en cualquier momento de la gestin de un programa (formulacin, implementacin o evaluacin). Permite reconstruir los programas, ordenando sus fines, propsitos, componentes y actividades y, de este modo, brinda un formato comn para llegar a acuerdos precisos para el anlisis de distintos actores. Contiene adems los indicadores objetivamente verificables para constatar el logro de los programas en sus distintos niveles y etapas, los medios de verificacin y los factores externos que se espera debern estar presentes para obtener los resultados esperados. 13 Un estudio realizado por el Departamento de Evaluacin de la Direccin de Presupuestos contiene una sistematizacin de las recomendaciones hechas por los paneles de expertos que efectuaron evaluaciones de 86 programas en los aos 1997, 1998 y 1999. En el mismo se destaca que la mayor parte de las mismas estn orientadas hacia la formulacin de los programas, seguida de la ejecucin. Se hace
13

Banco Interamericano de Desarrollo (BID), Oficina de Evaluacin (EVO), Evaluacin: Una herramienta de gestin para mejorar el desempeo de los proyectos, Washington D.C., 1997. 6

referencia especial a las falencias en el diagnstico y el diseo y, en consecuencia, en la definicin de las metas y las estrategias. Este hecho ha alertado a las autoridades gubernamentales acerca de la necesidad de fortalecer a los programas en las tareas inherentes a la planificacin. 14 El Programa de Monitoreo de la Poltica Social y el Sistema Integrado de Instrumentos de Apoyo a la Gestin Pblica Social El Ministerio de Planificacin y Cooperacin ha implementado desde 1992 un interesante Programa de Monitoreo de la Poltica Social15 , destinado a implantar a nivel regional, reas de seguimiento y monitoreo con base en recursos profesionales que se instalaban fsicamente en cada oficina regional y que trabajaban en coordinacin con los ejecutores de los programas sociales. Una evaluacin externa realizada en 1997 seala, entre otras conclusiones, que parte de los estudios realizados fueron tomados en cuenta para incorporar mejoras a los programas. A su vez, un balance de gestin realizado por el programa, sobre sus actividades realizadas entre 1994 y 1997, arroja la siguiente informacin: 1) Existe una generalizada descoordinacin entre los actores que participan en la implementacin de los programas. 2) La gestin es deficiente, siendo marcadas las dificultades en aquellos programas con varios servicios o instancias ejecutoras entre otros problemas, se seala que slo un 20% de los programas evaluados han cumplido con los objetivos y productos definidos en el diseo y que slo el 19 por ciento de ellos se adecuan a la realidad regional en la cual se han aplicado. 3) Frecuentemente se desconoce el acceso a los beneficios por parte de los destinatarios y hay desinformacin, por parte de la poblacin, sobre los beneficios disponibles y la forma de acceder a ellos. 4) Sin embargo, mucho programas han sido fructferos en cuanto a impulsar el desarrollo personal y la autoestima de los beneficiarios. Como consecuencia de los resultados anteriormente descriptos, la Divisin Social decidi efectuar un cambio en los objetivos del Departamento de Evaluacin Social y del Programa de Monitoreo de la Poltica Social, pasando de los estudios sobre programas puntuales a la produccin de herramientas para el diseo, anlisis y evaluacin de polticas, planes y programas. El balance de gestin del Programa de Monitoreo de la Poltica Social dio lugar tambin a la creacin del Sistema Integrado de Instrumentos de Apoyo a la Gestin Pblica Social compuesto por los siguientes instrumentos: 1) Metodologa para la evaluacin ex ante de programas sociales. La misma contiene: un conjunto de criterios estandarizados sobre consistencia, pertinencia, coherencia, eficiencia, eficacia, sustentabilidad y evaluabilidad; pautas de evaluacin con base en la operacionalizacin de los criterios; gua de requerimientos para la presentacin de programas y proyectos; y una caracterizacin de la accin evaluativa que se realiza actualmente en el Estado chileno. 2) Sistema de Monitoreo Interno (SMI). Se trata de una metodologa para la construccin de sistemas de monitoreo, que culmina con el diseo perfeccionado del programa y la elaboracin de indicadores de la gestin. 3) Sistema Integrado de Seguimiento y Evaluacin (SISE). Se trata de un modelo gil de seguimiento, apoyado en recursos informticos, que permite ingresar datos sobre planificacin y seguimiento y extraer reportes que proporcionan informacin acerca del estado de avance, la cobertura y el cumplimiento de las metas del programa. 4) Metodologa de Evaluacin a la Implementacin. Permite obtener un panorama de la brecha entre la planificacin e implementacin de un programa, a travs de un trabajo de campo apoyado en diversas tcnicas de recoleccin de informacin y de la participacin de todos los involucrados
14 15

Ministerio de Planificacin y Cooperacin de Chile, Divisin Social, Departamento de Evaluacin Social, op.cit. Ibidem. 7

(ejecutores, planificadores, evaluadores y beneficiarios). 5) Metodologa de Anlisis de Polticas Pblicas (MAPP). Est conformada por un marco conceptual y operacional para analizar crticamente el diseo de polticas, programas y proyectos y formular recomendaciones para mejorar la intervencin. Se ha elaborado un modelo analtico y una tipologa de polticas. Se opera a travs de talleres en los que interviene, junto a los equipos de las instituciones asesoradas, un equipo facilitador de la Secretara Ejecutiva del Comit de Ministros Social. 6) Metodologa para el establecimiento de lnea base a nivel territorial. Tiene por objeto asignar y focalizar recursos a nivel territorial local. Incluye una caracterizacin socioeconmica, demogrfica y cultural de la poblacin contenida en el territorio. 7) Sistema de Informacin de Programas Pblicos (SIPP). Est conformado por una base de datos, que opera en una plataforma de Internet, con informacin sobre programas pblicos. Este sistema es alimentado por los propios programas , que cuentan con equipos tcnicos responsables del ingreso y actualizacin de los datos. Un marco conceptual convencional y dimensiones preestablecidas permiten unificar la informacin de los 109 programas que participan del sistema. 4. EL CASO DE BRASIL La institucionalizacin de la planificacin en el mbito del sector pblico brasileo data del ao 1964, cuando se cre el Ministerio de Planificacin y, como parte del mismo, el Instituto de Investigacin Econmica Aplicada (IPEA) 16 . La Constitucin promulgada en 1988 brinda un importante marco para la modernizacion y articulacin de los procesos de planificacin y presupuestacin a travs del Plan Plurianual (PPA) y establece la subordinacin a este plan de todos los dems planes y programas nacionales, regionales y sectoriales, como as tambin de los respectivos presupuestos. Un importante antecedente de evaluacin es el Sistema de Seguimiento del Programa de Acciones Prioritarias del Gobierno Federal del Nordeste, que se puso en marcha a mediados de la dcada de 1990. Se trat de un emprendimiento de gran envergadura presupuestaria con financiamiento externo y de bancos oficiales orientado hacia los sectores considerados estratgicos para el desarrollo del Nordeste. El propsito fue contar con una experiencia piloto de sistema de seguimiento y evaluacin que guiara las evaluaciones de todos los programas regionales de gobierno. Esta experiencia sent un antecedente en cuanto demostr las potencialidades de la evaluacin como instrumento para orientar la correccin de las acciones de gobierno. Posteriormente, el Gobierno Federal puso en marcha el Plan Plurianual (PPA) para el perodo 1996/1999, definido como la experiencia ms abarcadora para la viabilizacin de los objetivos estratgicos de modernizacin del Estado, la reduccin de desequilibrios espaciales y sociales y la insercin competitiva del pas. Conforme a una exigencia de la Constitucin de 1988, la ley por la que se aprob el Plan indicaba que deba elaborarse un informe de seguimiento del mismo. Sin embargo, el informe del ao 1997 - que ofrece una visin general de accin del gobierno en cada rea - es ms descriptivo que analtico, limitndose a efectuar un relevamiento y ordenamiento de datos para luego confrontar valores de metas
16

La descripcin de la experiencia de Brasil ha sido hecha con base en la informacin que contiene la pgina web de IPEA (www.ipea.gov.br) y los siguientes documentos: Pedro Luiz Barros Silva, A avaliao de programas pblicos: uma estratgia de anlise, Relatorio Parcial, Projeto Fortalecimento da Funo Avaliao na Amrica do Sul, IPEA /BID, 2000, mimeo; Ministerio do Planejamento, Plano Plurianual: Manual de Avaliao, Brasilia, 2000; Gartenkraut, Michal, Uma Anlise Complementar para o Caso Brasileiro: o PPA 2000-03, Relatrio Preliminar, Projeto Fortalecimento da Funo Avaliao na Amrica do Sul, IPEA / BID, 2000, mimeo. 8

programadas con los de la ejecucin. Este informe tambin seala que se tuvo diversas dificultades para formular indicadores de evaluacin, razn por la cual la Secretara de Inversiones Estratgicas del Ministerio de Planificacin dise un nuevo modelo de planificacin. Se modific la antigua clasificacin funcional-programtica del Gobierno Federal, fijando 28 funciones de gobierno desdobladas en mltiples subfunciones. Se decidi conformar un sistema de informacin gerencial, con soporte electrnico, en el que figura informacin sobre cada programa (objetivos, indicadores, poblacin objetivo, unidades responsables, gerentes, metas y valores regionalizados, otras acciones que no se expresen financieramente, gestiones asociadas, cronograma fsico-financiero y datos situacionales). En relacin con la evaluacin, cada programa debe brindar informacin sobre la evolucin del indicador seleccionado para el mismo, cumplimiento de metas, grado de satisfaccin de la sociedad en relacin con el servicio que se brinda, logros de metas de calidad del servicio y de productividad. Con el propsito de desarrollar la nueva estrategia de planificacin se seleccionaron cincuenta y cuatro programas del Plan Plurianual para integrar el Programa Brasil en Accin, los cuales fueron sometidos a un rgimen especial de gerenciamiento y seguimiento, con base en los principios del Plan Director de Reforma del Estado de 1995. Entre los programas mencionados haba catorce pertenecientes al Area Social, clasificados en las siguientes categoras: agricultura, vivienda, saneamiento, salud y trabajo. Si se agregan los cinco programas correspondientes a la categora educacin (ubicada en el Area de Informacin y Conocimiento), los programas sociales suman diecinueve. El rgimen especial del Programa Brasil en Accin estaba guiado por los siguientes objetivos: 1) orientar el proceso presupuestario, sealando las prioridades; 2) detectar a tiempo los problemas de implementacin y procurar las medidas correctivas; 3) conformar la base de datos e informacin para atraer inversiones y facilitar la conformacin de sociedades entre el Gobierno y el sector privado. Con este nuevo rgimen se sell una combinacin del proceso de evaluacin con el de formulacin e implementacin, sentando las bases para superar el problema de la escasa importancia que se haba dado hasta entonces a la funcin evaluacin. Adems, en el ao 1998 el Ministerio de Planificacin y Presupuesto contrat - por licitacin internacional - con el Banco Nacional de Desarrollo un Estudio de Ejes Nacionales de Integracin y Desarrollo, que fue adjudicado al Consorcio Brasiliana. El estudio, basado en los principios del desarrollo sustentable y con un abordaje exclusivamente geoeconmico (se delimitaron geogrficamente un conjunto de regiones de planificacin, a las que se les llam ejes) , gener muchos de los conceptos que ms tarde se incorporaron en el proceso de elaboracin del Plan Plurianual 2000-2003, entre los cuales se destaca, en relacin con este trabajo, la importancia que se da a la incorporacin del desarrollo social, de la informacin, del conocimiento y del medio ambiente como oportunidades de desarrollo. El Plan Plurianual 2000-2003, tambin llamado Avana Brasil, est compuesto por 388 programas, entre los cuales 337 son de tipo finalstico, 34 de gestin de polticas pblicas, 14 de servicios al Estado y 3 de apoyo administrativo. El mismo se encuadra en un concepto de planificacin de tipo indicativa, abandonando definitivamente el carcter normativo y centralizado, que se sustentaba en el hecho de que el Estado era el principal ejecutor y proveedor de fondos para impulsar el desarrollo. Se observan importantes innovaciones conceptuales respecto del plan plurianual anterior, entre las cuales se destacan como las ms importantes las siguientes: 1) organizacin en programas de todas las
9

acciones del Gobierno Federal, con una matriz comn de estructuracin de los mismos; 2) adopcin del concepto de inversin estratgica; 3) adopcin de un modelo moderno de gerenciamiento, basado en los principios de gestin emprendedora nfasis en la obtencin de resultados - ; 4) designacin de un gerente para cada programa, con la responsabilidad de ser agente de cambio; 5) utilizacin de un sistema de informacin gerencial, concebido como nexo esencial entre el programa, su gerente, la supervisin del PPA y los dems agentes involucrados; 6) evaluacin anual de desempeo, de resultados y de satisfaccin de la poblacin objetivo; 7) promocin de la descentralizacin, de la integracin con estados y municipios, y de la conformacin de sociedades con el sector privado; 8) capacitacin e integracin de equipos, fundamentalmente en el caso de programas multisectoriales. Previo a la elaboracin del Plan, se llevaron a cabo los estudios preparatorios, se elabor un inventario de programas contemplando su integracin con el presupuesto, se elaboraron los programas de gestin y el sistema de informacin gerencial. En la etapa de elaboracin se dise una base estratgica (con insumos provenientes de las Orientaciones Estratgicas de la Presidencia de la Repblica y de las enseanzas extradas del Programa Brasil en Accin, entre otros), se consolidaron los programas y finalmente se conform el Plan. Respecto de la evaluacin, esta funcin comprende un anlisis anual de los resultados fsicos y financieros de cada programa y de los resultados globales del Plan. Se contemplan tres etapas de evaluacin: 1) La que se hace sobre cada programa, que es conducida por los gerentes. 2) La evaluacin que se hace en cada ministerio o secretara de Estado, a cargo de los responsables de planeamiento del rea, coordinadores de gerencia y gerentes de los programas. La misma se lleva a cabo teniendo en cuenta las Orientaciones Estratgicas del Presidente de la Repblica y las Orientaciones Estratgicas Sectoriales, y utilizando el procesamiento automtico del Sistema de Informacin Gerencial. 3) La evaluacin global est a cargo del Ministerio de Planificacin, Presupuesto y Gestin, y consiste en un anlisis de conjunto de los programas en relacin a las Orientaciones Estratgicas del Plan. En relacin con la primera y la segunda, la evaluacin se hace tanto sobre los resultados como sobre el diseo y la implementacin. A su vez se indaga sobre el alcance de los objetivos propuestos en la planificacin, la consecucin de las metas, el grado de ejecucin fsica y financiera de los programas y actividades, y el grado de satisfaccin de la sociedad en relacin con los bienes y servicios ofrecidos por el programa. En cuanto a la evaluacin del Plan Plurianual como un todo, se analiza el desempeo del conjunto de programas teniendo en cuenta los macroobjetivos. El texto definitivo del Manual de Evaluacin del Plan termin de elaborarse en diciembre de 2000, luego de que la Secretara de Planificacin e Inversiones Estratgicas llev a cabo, junto con IPEA, un curso para orientar a los gerentes de programas y representantes de rganos sectoriales de todos los ministerios y secretaras de Estado en las actividades de evaluacin de Avanza Brasil. Cerca de 500 participantes presentaron sugerencias de perfeccionamiento que fueron consideradas para la elaboracin del texto final. El Manual comprende todos las directivas, etapas y procedimientos a emplear en el proceso de evaluacin, desde la evaluacin de cada programa por el respectivo gerente hasta el envo al Congreso del informe final. Resulta de inters incorporar en este anlisis la experiencia del Programa de Apoyo a la Gestin Social en Brasil, que se implant con el objetivos de elevar los niveles de efectividad de los programas sociales prioritarios del gobierno federal y que dio lugar a la implementacin de un conjunto de
10

proyectos integrados y capaces de retroalimentarse, a saber: Adecuacin de Programas Sociales Prioritarios, Fortalecimiento del Sistema de Informacin, Diseo e Implementacin de Estrategias de Evaluacin, Capacitacin en Liderazgo y Estrategia, Capacitacin de Equipos Federales en Diseo y Gestin de Programas Sociales, y Capacitacin de Equipos de Gobiernos Estatales (Red Nacional de Capacitacin). En este contexto se evalu - siguiendo un abordaje de evaluacin formativa - un subconjunto de programas sociales prioritarios del gobierno federal (cinco sobre un total de veinticinco), todos ellos en su fase de implementacin, con el objeto de incorporar nuevos patrones en el desarrollo de la poltica social brasilea. Los programas seleccionados fueron: Programa de Agentes Comunitarios de Salud / Salud de Familia, Programa Carta de Crdito, Programa Pro-Saneamiento, Programa Nacional de Fortalecimiento de la Agricultura Familiar, Programa de Erradicacin del Trabajo Infantil / Niez Ciudadana. Para completar, se desarroll un modelo metodolgico de evaluacin. 17 4. EL CASO DE ARGENTINA El SIEMPRO (Sistema de Informacin, Monitoreo y Evaluacin de Programas Sociales) fue creado en el ao 1995 por resolucin 2851/95 de la ex Secretara de Desarrollo Social. Argentina estaba claramente rezagada en cuanto a la conformacin de los nuevos experimentos de ingeniera social que se estaban desarrollando en Amrica Latina, tales como los fondos de inversin social, por entonces implantados en varios pases y los sistemas de informacin, planificacin y evaluacin creados con el objeto de otorgarle racionalidad y mayor eficiencia, equidad y transparencia a la poltica social. En esta oportunidad se gestion un prstamo del Banco Mundial que incluy, en el marco del Proyecto de Proteccin Social, montos asignados a SIEMPRO, otros destinados al financiamiento de FOPAR (Fondo Participativo de Inversin Social) y una partida para programas sociales orientados a resolver de manera directa problemas de pobreza y exclusin social. El SIEMPRO fue concebido como un instrumento de fortalecimiento de las reas sociales, a nivel nacional y provincial, y de apuntalamiento de la Secretara de Desarrollo Social por entonces de reciente creacin que dependa de la Presidencia de la Nacin y tena la responsabilidad de coordinar el Gabinete Social, como as tambin de ejecutar, financiar o apoyar tcnicamente programas sociales focalizados. A partir de diciembre de 1999, SIEMPRO depende de la Secretara de Tercera Edad y Accin Social, la cual pertenece al Ministerio de Desarrollo Social y Medio Ambiente (MDSMA), creado por entonces y el Gabinete Social funciona en el mbito de la Jefatura de Gabinete de Ministros. De acuerdo a la Pgina Web de SIEMPRO 18 , de la que se extrae parte de la informacin para este anlisis, el objetivo del Programa es contribuir a la construccin de una nueva institucionalidad pblica en lo social, por medio de la generacin de herramientas y conocimientos que permitan al
17

Pedro Luiz Barros Silva y Nilson do Rosrio Costa, A avaliao de programas pblicos: reflexes sobre a experincia brasileira, Relatrio final, Universidade Estadual de Campinas, Ncleo de Estudos de Polticas Pblicas, Projeto Fortalecimento da Funo Avaliao na Amrica do Sul, IPEA/BID, 2000, pp. 46-49. 18 Vase www.siempro.gov.ar. Otras fuentes de informacin sobre la que se apoya la descripcin de la experiencia de SIEMPRO son: Hardi, Clarisa, Sistema de Informacin, Evaluacin y Monitoreo de Programas Sociales -SIEMPRO- de Argentina, Proyecto Fortalecimiento de la Funcin de Evaluacin en Amrica Latina, IPEA / BID, 1998, mimeo; Ministerio de Desarrollo Social y Medio Ambiente de Argentina, Sistema de Informacin, Monitoreo y Evaluacin de Programas Sociales, 1999; Secretara de Desarrollo Social de Argentina, Productos del Siempro, 1999, versin en CD. Se incluyen tambin las Guas de Programas Sociales que SIEMPRO ha editado durante los aos 1998, 1999 y 2000 (esta ltima, slo con programas sociales del MDSMA). 11

MDSyMA y a las dems reas sociales nacionales y provinciales mejorar su capacidad para realizar diagnsticos de los problemas sociales, afianzar una cultura del monitoreo y evaluacin de las polticas, programas y proyectos en este rea y, por ltimo, promover la capacitacin de sus recursos humanos. En la estructura de SIEMPRO se advierten dos niveles: 1) nivel nacional, conformado por una Unidad Ejecutora Central; 2) niveles provinciales, conformados por Unidades Ejecutoras Provinciales (UEPs). El programa est conducido por un Coordinador que depende del Secretario de Tercera Edad y Accin Social y la Unidad Ejecutora Central est compuesta por el Area de Informacin Social, el Area de Evaluacin y Monitoreo de Programas Sociales, el Area de Provincias y Capacitacin (de la cual dependen las UEPs provinciales), el Sistema de Identificacin y Registro de Familias Beneficiarias Actuales y Potenciales de Programas Sociales (SISFAM), la Unidad de Anlisis de Polticas Sociales y la Unidad Informtica. El Programa ha desarrollado, desde su creacin, diversas actividades de capacitacin, recoleccin y sistematizacin de informacin, de monitoreo y evaluacin de programas, como as tambin de estudios y anlisis de la realidad social. Entre los productos ms importantes que proveen informacin se encuentran la Encuesta de Desarrollo Social y Acceso a Programas Sociales (denominada, en su segunda versin, Encuesta de Condiciones de Vida), el Sistema de Identificacin y Registro de Familias Beneficiarias Actuales y Potenciales de Programas Sociales (SISFAM), la Biblioteca de Informacin Social Interactiva (BISI) y el Sistema Integrado de Monitoreo de Programas Sociales (SIM). La Encuesta de Desarrollo Social, efectuada por primera vez en 1997, recogi informacin sobre una variada gama de temas que no haban sido abordados en encuestas anteriores. Su procesamiento ha dado lugar a varias publicaciones de anlisis sistemtico de informacin sobre dichas temticas. La segunda encuesta Encuesta de Condiciones de Vida 2001 se realiza actualmente en conjunto con el Instituto Nacional de Estadsticas y Censos y brindar informacin sobre las siguientes reas temticas: vivienda y medio urbano, caractersticas de las familias, aspectos sociodemogrficos de la poblacin, acceso a los servicios de salud, comportamientos de la poblacin que contribuyen a crear los factores de riesgo para la salud, salud reproductiva, cobertura educativa y problemas de rendimiento escolar, educacin no formal, trabajo e ingresos, trabajo infantil, cuidado de la primera infancia, actividad fsica y deportiva, vida cotidiana y trabajo voluntario. Por medio de la misma se busca, tambin, conocer el alcance y grado de cobertura de los programas y servicios sociales y el acceso diferencial de la poblacin a los mismos segn el nivel de ingresos. SIEMPRO ha desarrollado el Sistema de Identificacin y Registro de Familias Beneficiarias Actuales y Potenciales de Programas Sociales - SISFAM -, cuyo objetivo es registrar a la poblacin que est recibiendo prestaciones de programas del Ministerio de Desarrollo Social y Medio Ambiente y a la poblacin que, por sus condiciones de vida, es potencial beneficiaria de programas sociales. El sistema cuenta con una base de datos conformada por un registro de beneficiarios de programas y un relevamiento censal de ciertas reas geogrficas (provinciales o municipales). Hasta el momento, 15 provincias se han incorporado a SISFAM y est previsto avanzar con las restantes. En el marco del SISFAM se desarroll un Indice de Calidad de Vida (ICV) que contempla variables relacionadas con aspectos demogrficos, de ocupacin, de vivienda con sus respectivos servicios, salud y capital humano. Adems de la definicin de las caractersticas socioeconmicas de la poblacin, el ndice est constituido por un ordenamiento de la poblacin, con base en un algoritmo de determinacin de puntajes para cada uno de los factores y suma de los mismos.

12

La Biblioteca de Informacin Social InteractivaI(BISI) ofrece a travs de internet informacin sistematizada extrada de la Encuesta de Desarrollo Social, de la Encuesta Permanente de Hogares, del Censo Nacional de Poblacin y Vivienda, del Programa Nacional de Estadsticas de Salud, del Programa Nacional de Vigilancia Epidemiolgica, de estadsticas internacionales provistas por organismos internacionales y de indicadores econmicos del Ministerio de Economa y del Banco Central. El Sistema Integrado de Monitoreo de Programas Sociales (SIM), contiene informacin sobre la ejecucin de programas del Ministerio de Desarrollo Social y Medio Ambiente. No ejerce el monitoreo de cada programa en particular, a cargo de los responsables de los mismos, sino que desarrolla el monitoreo del conjunto a un nivel estratgico. Cada programa carga su propia informacin en el momento de la planificacin y de la ejecucin. La informacin que contiene se refiere bsicamente a los montos presupuestados y ejecutados; prestaciones (bienes y servicios que ofrece el programa, clasificados por categoras y cuantificados) planificadas y realmente brindadas; y cobertura (beneficiarios categorizados y cuantificados) estimada y realmente alcanzada. La carga de informacin se efecta al menos trimestralmente, es acumulativa y anualmente se carga informacin sobre indicadores de resultado. La desagregacin geogrfica permite contar con datos a nivel nacional, provincial y, en algunos casos, tambin municipal. El SIM contiene tambin la informacin descriptiva de programas sociales nacionales - se incluyen tanto los del Ministerio de Desarrollo Social y Medio Ambiente como los de otros Ministerios - y provinciales orientados a resolver problemas de pobreza y vulnerabilidad social, integrando datos que anteriormente se ubicaban en la Base de Programas Sociales. La descripcin de los programas, ofrecida por los equipos de gestin a cargo de los mismos, sirve de base para la confeccin de la Gua de Programas Sociales. La misma se editaba anualmente y contena la totalidad de los programas hasta el ao 1999, y slo los programas del Ministerio de Desarrollo Social y Medio Ambiente a partir del ao 2000. SIEMPRO cuenta con 18 unidades provinciales, que constituyen bases de apoyo para el desarrollo de tareas de recoleccin de informacin, estudios, evaluaciones y actividades de capacitacin. La capacitacin, dirigida a los equipos de las provincias y de los municipios, aborda los siguientes temas: gestin integral de polticas y programas sociales orientada a resultados, presupuesto pblico, planificacin estratgica, situacin social y pobreza, capacidad de gestin y polticas sociales, anlisis y uso de la informacin social para la toma de decisiones. La misma se desarrolla a travs de varias modalidades: 1) Curso Semipresencial de Posgrado de Poltica y Gerencia Social. Duran alrededor de un ao y se realizan en convenio con las universidades nacionales. Los destinatarios son equipos tcnicos y polticos seleccionados por las autoridades provinciales. 2) Talleres. Tienen una duracin de dos das. 3) Asistencia tcnica directa a los equipos de las reas sociales de provincias o municipios. 4) Seminarios y conferencias. El SIEMPRO realiz y financi seis evaluaciones de programas sociales entre 1996 y 1999: dos evaluaciones consecutivas del Programa Trabajar - empleo de emergencia -, dos de programas alimentarios (PRANI y ASOMA), la evaluacin del Programa Social Agropecuario y la del Fondo Participativo de Inversin Social. A principios de 2000 se finaliz el diseo y la construccin de lneas de base de los programas PAGV y PROAME. Tambin se finaliz una evaluacin de servicios sociales desde la perspectiva de los involucrados en la Provincia de Misiones. Actualmente se encuentran en
13

proceso el diseo y la construccin de la lnea de base para la segunda etapa del FOPAR, una evaluacin de la gestin estatal provincial orientada a las organizaciones dela sociedad civil, una evaluacin de programas alimentarios en un grupo de provincias y una evaluacin del gasto social consolidado de las reas sociales en un grupo de provincias. Se estn realizando tambin evaluaciones sobre algunos programas provinciales. El alcance de la actividad de SIEMPRO no cubre todo el espectro de programas sociales nacionales ni an el del conjunto de programas focalizados. Sin embargo, el objetivo de mejorar la calidad de la gestin pblica a travs del seguimiento y evaluacin est contemplado en los programas que componen el Plan de Modernizacin del Estado, aunque el desarrollo de los mismos es incipiente y poco se ha avanzado an sobre las reas sociales. Entre ellos se encuentra el Programa Carta Compromiso con el Ciudadano, conforme al cual, los organismos que se adhieren definen estndares de calidad de servicios y se comprometen a cumplirlos. La Carta Compromiso se est aplicando sobre varios programas pero entre ellos no hay ninguno que pertenezca al algn sector social. 19 En el marco del rgimen de Acuerdos Programa previstos en la Ley N 25.152, se ha creado recientemente y por lo tanto, an no ha sido aplicado - el Sistema de Administracin de Unidades Ejecutoras de Programa, las cuales tendrn la responsabilidad de establecer: a) un programa presupuestario especfico, b) un compromiso de resultados de gestin inicial correspondiente y c) un sistema de evaluacin de resultados. Cada programa deber adems elaborar sus indicadores objetivos de desempeo, los cuales integrarn el Sistema de Evaluacin de Resultados. En el decreto de creacin del Sistema se seala que los gerentes de programa sern responsables de la eficiencia, eficacia y economa en la administracin de recursos, como as tambin del logro de metas presupuestarias y del logro de resultados fijados en los compromisos de gestin. 20 5. ANLISIS COMPARADO Luego de haber descripto la prctica de la evaluacin de programas sociales en Chile, Brasil y Argentina se intenta hacer en este punto un anlisis comparado con base en cinco parmetros: 1) institucionalizacin de la funcin evaluacin y aproximacin a la conformacin de un sistema; 2) utilidad y oportunidad de la evaluacin como insumo para la toma de decisiones y para mejorar el desempeo de la gestin; 3) correlacin entre la funcin de evaluacin y la funcin presupuestaria; 4) desarrollo de capacidades de evaluacin en las reas sociales gubernamentales y de la oferta evaluativa en el sector privado; 5) propsitos prevalecientes en las evaluaciones (hacer ms eficiente el gasto, mejorar la gerencia, brindar orientacin a las polticas, desarrollar procesos de responsabilizacin). Institucionalizacin de la funcin evaluacin y aproximacin a la conformacin de un sistema Valadez y Bamberger sealan, al abordar los asuntos organizacionales y gerenciales de la evaluacin de programas, que los sistemas de evaluacin pueden ser clasificados segn el nivel de integracin vertical y la variedad de actividades de evaluacin que llevan a cabo. En el nivel ms bajo ubican la evaluacin de programas/proyectos que se efecta aisladamente, la cual es generalmente requerida por
19 20

Vase www.cristal.gov.ar Poder Ejecutivo Nacional, Decreto 992/2001, en Boletn Oficial, N 29.705, 1. Seccin, 7 de agosto de 2001, pp. 2-4. 14

la agencia financiadora. Luego sitan las evaluaciones que se realizan tanto a nivel de programas como del organismo a cargo del sector (ministerio o secretara), las cuales tienen cierto tipo de estandarizacin y cuyos resultados son sintentizados en algn nivel. Seguidamente, colocan las evaluaciones a cargo de agencias, generalmente ubicadas en ministerios de planificacin, finanzas o algn otro a cargo de la evaluacin. Estas agencias tienen la responsabilidad de confeccionar formatos estandarizados, de elevar sntesis de evaluacin a la mxima autoridad y de hacer recomendaciones para solucionar problemas de gestin. En el cuarto nivel se encuentran los sistemas de tipo federal, en pases con estas caractersticas. 21 En los tres casos se observa la constitucin de un sistema tal como lo describen Valadez y Bamberger, aunque con diferencias de matices. Tanto Chile como Brasil cuentan con una ley que da fuerza legal y genera obligaciones a los programas, pero no es este el caso de Argentina. El de Brasil aparece como el sistema ms comprehensivo, que incluye a la totalidad de programas organizados en el Plan Plurianual, con tres niveles de evaluacin (el de programa, a cargo del gerente; el de sector, a cargo del ministro o secretario; y el nivel general de todo el plan, a cargo del Ministerio de Planificacin, Presupuesto y Gestin). Este Ministerio tiene, a su vez, un rol claro de autoridad institucional en materia de evaluacin. Sin embargo, cabe destacar la opinin de Gartenkraut 22 , quien seala que sobresale la carencia de integracin de las acciones, puesto que los resultados obtenidos hasta ahora por el PPA son an insuficientes probablemente esto se debe, en gran medida, a la rigidez propia del sector pblico, que hace que los cambios en los modelos de planificacin y gestin sean lentos por acarrear estilos culturales de difcil modificacin -. En la elaboracin de los programas, a cargo de los ministerios, no se tuvo suficientemente en cuenta el concepto de agrupacin de inversiones y de maximizacin de sinergia, desarrollado en el Estudio de los Ejes. A su vez, pocos programas son verdaderamente intersectoriales. Sugiere que se debe proceder a integrar acciones mediante la prctica de gerenciamiento conjunto de grupos de programas, escogidos con base en una metodologa anloga a la utilizada en el Estudio de los Ejes. En relacin con la evaluacin, el autor considera que se han presentado problemas de implementacin que son, en realidad, perfectamente salvables. Pero considera ms difcil encontrar una solucin a nivel del PPA, puesto que en el proceso de evaluacin participan diversos rganos de la administracin, con atribuciones no siempre bien delimitadas. Sugiere concentrar la evaluacin estratgica en pocos rganos, dndole prioridad a aqullos que ya cuentan con las atribuciones de evaluacin. En el caso de Chile, el Programa de Evaluacin de Programas Gubernamentales de la Direccin de Presupuestos no trabaja con la totalidad de programas sino que hace una seleccin cada ao en funcin de criterios que ya fueron sealados en el punto 2. En este sentido es menos comprehensivo que el sistema de Brasil y tampoco ofrece evaluaciones a nivel agregado, ni por sector ni sobre la totalidad de los programas. An cuando se haya conformado el Sistema Integrado de Instrumentos de Apoyo a la Gestin Pblica Social, queda la duda sobre los problemas que puede acarrear la superposicin de autoridades en materia de evaluacin, puesto que cumplen funciones en torno a ella el Ministerio de Hacienda, la Secretara General de la Presidencia y MIDEPLAN.

Valadez, Joseph y Bamberger, Michael, Countries,Washington, D.C., World Bank, 1994. 22 Gartenkraut, Michal, op.cit.

21

Monitoring

and

Evaluating

Social

Programs

in

Developing

15

Finalmente, el Programa SIEMPRO, de Argentina no hace evaluaciones por sector ni han sido stas organizadas con algn criterio de prioridad, sino que ms bien se han llevado a cabo segn la demanda de los programas o de los organismos financiadores 23 . Las evaluaciones sectoriales que estn actualmente en proceso (una evaluacin de programas alimentarios en un grupo de provincias y una evaluacin del gasto social consolidado de las reas sociales en otro grupo de provincias) aportarn datos tiles para la toma de decisiones pero no permiten afirmar que se est en camino hacia la conformacin de un sistema evaluativo. En cuanto al Sistema Integrado de Monitoreo, ste slo recoge informacin de los programas del Ministerio de Desarrollo Social y Medio Ambiente para lo cual no cuenta con la fuerza legal de una resolucin ministerial quedando afuera la mayora de programas orientados a resolver problemas de pobreza y vulnerabilidad social. El despliegue de unidades provinciales de SIEMPRO en dieciocho provincias sienta las bases para el desarrollo de un sistema de carcter federal, aunque la instalacin del SIM en dichas unidades recin est en sus comienzos. Para finalizar, en Argentina no hay autoridad en materia de evaluacin de programas y se observan superposiciones entre las funciones que desempea SIEMPRO, Jefatura de Gabinete y el mismo Ministerio de Economa y Hacienda. Utilidad y oportunidad de la evaluacin como insumo para la toma de decisiones y para mejorar el desempeo de la gestin El Banco Mundial estimaba ya en 1994, que alrededor de 100 pases en desarrollo llevaban a cabo alguna actividad regular de monitoreo y evaluacin de programas sociales, las cuales se daban desde el nivel de monitoreo bsico de proyectos hasta la conformacin de sistemas generales de evaluacin a nivel nacional. Al analizar estos casos, observaba la reiteracin de ciertos problemas de tipo poltico, gerencial y metodolgicos, entre otros. Los problemas de tipo poltico se detectaban en muchos de los sistemas generales, en funcin de la influencia que estos podan tener sobre las decisiones de manejo presupuestario. Por lo tanto, eran visualizados como amenaza para su futuro por parte de ciertos programas o bien como un poderoso recurso que convena ser controlado, y eran trasladados de un ministerio a otro o sus recursos eran reducidos. Los problemas gerenciales estaban asociados a las dificultades para identificar los usuarios principales de la informacin, para definir los tipos de informacin que podan requerir los potenciales usuarios y para comparar la importancia y establecer prioridades entre los estudios solicitados. Por ende, quienes demandaban las evaluaciones frecuentemente se quejaban de que las mismas no eran tiles, no llegaban a tiempo o eran incomprensibles. Los problemas metodolgicos tenan que ver con una crtica generalizada a los mtodos cuasiexperimentales, considerados poco tiles desde el punto de vista operativo y muy costosos. Este cuestionamiento fue dando lugar al uso de metodologas ms flexibles, de menor escala, de enfoques combinados (cuanti-cualitativos) y menos costosos. 24
23

Vase Nerio Neirotti, Reflexiones sobre la prctica de la evaluacin de programas sociales en Argentina (1995 1999), ponencia presentada en el V Congreso Internacional sobre Reforma del Estado y de la Administracin Pblica, CLAD, Santo Domingo, 2000. 24 Valadez, Joseph y Bamberger, Michael, op. cit. 16

El informe anterior nos ilustra sobre el hecho de que no basta con instalar los sistemas de evaluacin, sino que tambin es menester garantizar su utilidad. Para que el conocimiento producido genere insumos que permitan corregir la gestin, es necesario que ste sea pertinente, es decir, adecuado a los problemas que se intenta resolver y que llegue a tiempo, conforme a los ritmos de toma de decisiones. En esta parte del anlisis, se puede observar que el Programa de Evaluacin de Chile ofrece informacin a tiempo pero sobre un reducido nmero de programas elegidos. A su vez, los criterios de seleccin de los mismos no establecen que estos deban ser necesariamente representativos del resto o servir de referencia al conjunto de programas de cada sector. Por otra parte, MIDEPLAN observa que, de las evaluaciones efectuadas por los paneles de expertos entre 1997 y 1999 surge un nmero alto nmero de recomendaciones que son poco potentes y muy genricas 25 . No obstante, la evaluacin de la evaluacin realizada ha impulsado un proceso de reformulacin de la metodologa. La Direccin de Presupuestos se ha planteado varios desafos a mediano plazo relacionados con las limitaciones actuales del Programa. 26 El primero de ellos es avanzar hacia la definicin y constitucin de un sistema de evaluacin integrado de programas pblicos que coordine las acciones dispersas, que d coherencia a las distintas metodologas de evaluacin y anlisis utilizadas y que contenga un sistema de informacin estndar, con datos actualizados sobre cada uno de los programas. Otro desafo es el de evaluar las polticas pblicas a nivel global y sectorial, de analizar la coherencia entre los programas y las polticas en las que estos se inscriben y, adems, establecer metodologas de evaluacin transversal de programas para analizar efectos e impactos conjuntos ya sea porque benefician a una misma poblacin-objetivo, porque intervienen en una misma rea geogrfica o porque estn orientados al mismo sector o poltica -. Para lograrlo se aclara sera necesario coordinar las acciones de la Secretara General de la Presidencia, el Ministerio de Planificacin y Cooperacin, el Ministerio de Hacienda y el Ministerio de Economa. Por ltimo, se seala que sera necesario contar con un sistema de difusin de los resultados de manera ordenada, clara y oportuna. El sistema de Brasil, pese a cubrir un espectro tan amplio de programas, no parece brindar informacin que llegue a tiempo, puesto que los resultados de la evaluacin hecha luego de un ao de gestin no son conocidos antes del envo de la nueva Ley de Presupuestos al Congreso, menos an al momento de elaborarse el nuevo presupuesto para el ao entrante. Acerca de su pertinencia se podr saber en el futuro, puesto que la metodologa unificada que se ha establecido en el Manual de Evaluacin se aplicar por primera vez este ao. Las evaluaciones efectuadas por SIEMPRO han provisto insumos para la modificacin de los programas, y en el caso de la construccin de instrumentos como las lneas de base, stas se han incorporado a los sistemas internos de evaluacin. En cuanto al SIM, provee informes anuales y reportes sobre la ejecucin de programas del Ministerio de Desarrollo Social y Medio Ambiente en las provincias. Como en el caso de Chile, y de manera ms acentuada, la informacin resulta til para un grupo muy reducido de programas. Aqullos que no estn bajo la rbita del MDSMA proveen informacin sobre la ejecucin directamente a Jefatura de Gabinete de Ministros, la cual a su vez cuenta con su propia base de datos. Resulta ilustrativo adems, analizar el peso relativo del gasto del Ministerio de Desarrollo Social y Medio Ambiente en la masa presupuestaria de la administracin pblica nacional. Si observamos la
25 26

Ministerio de Planificacin y Cooperacin de Chile, Divisin Social, Departamento de Evaluacin Social, op.cit., p. 16. Ministerio de Hacienda de Chile, Direccin de Presupuestos, op.cit, p. 26. 17

distribucin por jurisdiccin, a este Ministerio le corresponde en gasto con finalidad social slo un 3,88%. En lo que respecta al gasto social en programas focalizados (que representa un 15% del gasto pblico social), el Ministerio recibe un 25,7% y el resto se distribuye entre el Ministerio de Infraestructura y Vivienda (22,5%) y Ministerio de Trabajo (18,5%). Con base en este panorama, se observa claramente el alcance limitado que SIEMPRO tiene en la evaluacin y monitoreo de programas sociales en general y de programas sociales focalizados en particular. 27 Correlacin entre la funcin evaluacin y la funcin presupuestaria Wiesner plantea que la institucionalizacin normativa de la evaluacin se puede dar en cualquier entidad de gobierno (ministerio de planificacin, hacienda, jefatura de gabinete, ministerio especializado en la temtica, etc.) siempre y cuando exista la firme decisin poltica de hacerla funcionar. Sin embargo, sea como fuere, recomienda que la funcin est atada a la toma de decisiones presupuestarias. 28 Tanto en Chile como en Brasil la relacin evaluacin / presupuesto est explcitamente sealada por ley, y en el ltimo caso, por mandato constitucional. Sin embargo, no resulta claro en ninguno de los dos pases con qu criterios operativos se toman las decisiones ni tampoco y en consecuencia - cul es el margen de obligatoriedad o permisividad con que los responsables de la toma de decisiones en la asignacin presupuestaria tienen en cuenta los resultados de las evaluaciones y sus recomendaciones. En conclusin: El fundamento legal impulsa el proceso de correlacin entre ambas funciones, pero que no brinda garantas de que ste se d automtica e inmediatamente, quedando todava un largo camino para contar con un sistema articulado como el de Canad o Estados Unidos, o ms cerca nuestro, el de Costa Rica o Colombia. Esta ligazn est totalmente ausente en la experiencia argentina por no ser SIEMPRO un sistema de alcance global del conjunto de programas sociales y por no tener sus recomendaciones carcter obligatorio para los responsables de la asignacin presupuestaria. El Ministerio de Desarrollo Social y Medio Ambiente tiene incluso serias limitaciones para efectuar reasignaciones en su propio presupuesto, dado que el grueso del mismo se destina al financiamiento de pensiones no contributivas y de la cobertura de salud de los pensionados. El carcter rgido de este sector del gasto no admite margen para modificaciones que pudieran surgir de recomendaciones producidas por el ejercicio de la evaluacin, dado que se apoya en regmenes de fuerte peso institucional. 29 Sin embargo, el rgimen de Acuerdos Programa y la reciente creacin del Sistema de Administracin de Unidades Ejecutoras de Programa abre un camino para la coordinacin entre la Secretara para la Modernizacin del Estado de Jefatura de Gabinete de Ministros a cargo del mismo y el SIEMPRO. Aunque la experiencia recin comienza y la incorporacin de programas al Sistema es voluntaria, su funcionamiento ha sido propuesto como el medio para avanzar paulatinamente hacia una gestin con planificacin y evaluacin de resultados.

27

SIEMPRO, Anlisis del gasto social de la Administracin Pblica Nacional, Informes de Polticas y Programas Sociales N 1, septiembre de 2000. 28 Wiesner, Eduardo, op. cit. 29 Ibidem. 18

Desarrollo de capacidades de evaluacin en las reas sociales gubernamentales y de la oferta evaluativa en el sector privado La funcin evaluacin se fortalece en la medida que se instalan capacidades gerenciales y metodolgicas para su desarrollo, y en tanto se desarrolla una cultura proclive a la misma. La capacitacin, la experimentacin y junto con stas, la generacin de mayor conciencia sobre la necesidad y utilidad de la evaluacin constituyen el camino ineludible para la conformacin de sistemas tiles. A su vez, la evaluacin no puede desarrollarse en el sector pblico en la medida en que no cuente con el inters en la ciudadana y de las organizaciones de la sociedad civil. El desarrollo de las capacidades y la cultura evaluativa en la sociedad resulta til para ampliar los espacios de ciudadana y de participacin en las decisiones de carcter pblico. Pero tambin es menester generar, a partir de la demanda estatal, una oferta de servicios de evaluacin de alta calidad en el sector privado. En este sentido, Wiesner vuelve sobre el tema presupuestario al afirmar que si los resultados de las evaluaciones no lograr afectar los procesos de asignacin presupuestaria, ser muy difcil desarrollar la demanda real de evaluacin. Esta no tendra credibilidad. Y ser entonces tambin difcil que la oferta de evaluaciones tenga adecuada capacidad tcnica y flexibilidad para responder eficientemente 30 . Al comparar la experiencia de los pases en relacin con este parmetro, es clara la profusa actividad de capacitacin desarrollada en los tres casos. Chile implementa un variado men de capacitacin a travs de su Sistema Integrado de Instrumentos de Apoyo a la Gestin Pblica Social, reforzado a su vez al conocerse los resultados de las evaluaciones que denotaron debilidad de los programas en el diseo y los diagnsticos. SIEMPRO lleva a cabo un proceso de capacitacin con temtica y modalidades diversas a la vez que ha adquirido mayor fuerza en el desarrollo de sus sistemas de informacin. La diferencia radica en que el nfasis de MIDEPLAN en la capacitacin est puesto sobre las estructuras centrales, mientras que SIEMPRO acta fundamentalmente sobre las provincias, con escasos aportes hacia organismos nacionales. El Ministerio de Planificacin, Presupuesto y Gestin de Brasil, por su parte, desarroll una amplia ronda de consultas y capacitacin para encarar el proceso evaluativo con unidad de criterios. En cuanto al desarrollo de la oferta evaluativa en el sector privado, la experiencia que ms se destaca es la de Chile, con la organizacin de paneles y la convocatoria de evaluadores por concurso, lo cual genera naturalmente un proceso de movilizacin y competitividad en torno a este quehacer profesional que estimula una produccin de creciente calidad. Propsitos prevalecientes en las evaluaciones Al analizar los propsitos prevalecientes, tales como hacer ms eficiente el gasto, mejorar la gerencia, brindar orientacin a las polticas o desarrollar procesos de responsabilizacin, se busca analizar la nota distintiva en el estilo de transformacin de la gestin pblica, es decir, en la estrategia o el nfasis puesto en los distintos instrumentos, al decir de Mora Quirs. 31 Cada uno de estos propsitos est concebido, en este anlisis, como incluido en el siguiente, dndole a la escala una complejidad y densidad creciente. De este modo, el propsito de hacer ms eficiente el gasto aparece como el ms
30 31

Ibidem, p. 15. Mora Quirs, Mario, op. cit. 19

simple y el del de desarrolar procesos de responsabilizacin como el ms ambicioso. Desde esta perspectiva de anlisis, se observa que SIEMPRO surge con una consigna que incluye todos los aspectos mencionados, aunque en sus inicios se acenta la preocupacin por racionalizar el gasto y desarrollar las herramientas de focalizacin en los programas contra la pobreza y la vulnerabilidad social. La prctica de la evaluacin provee pocos insumos para la mejora gerencial aunque la capacitacin brindada a provincias responde a un diagnstico implcito que habla de la debilidad de capacidades a este nivel. A nivel de orientacin de polticas los aportes nacen de la sistematizacin de la informacin social pero no de los resultados de evaluaciones. Brasil ha puesto su acento en la mejora de la gerencia (a nivel de programas) y en la consistencia entre la implementacion de los programas y el cumplimiento de orientaciones estratgicas establecidas a nivel general de gobierno y a nivel sectorial (lo cual se acerca al propsito de brindar orientacin a las polticas). El carcter pblico de la informacin producida a travs de las evaluaciones abrir, aparentemente, el camino para el desarrollo de procesos de responsabilizacin. Chile tambin ha apostado fundamentalmente a la mejora de la gestin, y as lo demuestran tanto los estudios y las recomendaciones realizadas por los paneles como los resultados del Programa de Monitoreo de Polticas Sociales - la decisin de la Divisin Social de ubicar el nfasis de la accin en la produccin de herramientas para el diseo, anlisis y evaluacin, denota la postergacin de los intentos de hacer aportes a nivel de polticas -. El Programa de la Direccin de Presupuestos plantea que las evaluaciones tienen dos destinos el Congreso y la ciudadana y, aunque no existe un mecanismo establecido para viabilizar la llegada de los resultados a la sociedad, este hecho marca el rumbo hacia el desarrollo de procesos de responsabilizacin. Conclusiones Brasil ha puesto marcha el Plan plurianual, como instrumento general de orientacin de polticas y de organizacin del presupuesto. La planificacin depende, en ltima instancia, del Ministerio de Planificacin, Presupuesto y Gestin y en este marco, la evaluacin est ms instalada como prctica institucional, con una autoridad responsable, con un marco legal de nivel constitucional y un sistema cuya tecnologa est en proceso de desarrollo. Esta realidad ofrece una slida base para darle a la evaluacin utilidad y un uso efectivo, para desarrollar capacidades pblicas y privadas, para ligar la evaluacin con la asignacin presupuestaria y para avanzar en el desarrollo de procesos de responsabilizacin. La Direccin de Presupuestos de Chile cuenta con un sistema de evaluacin, tambin ligada al presupuesto y que tiene fuerza legal, aunque se extiende sobre un grupo pequeo de programas. MIDEPLAN ha tomado a su cargo la reflexin sobre la evaluacin y la tarea de articular las distintas practicas dispersas, que no alcanzan a conformar un sistema con las caracatersticas del brasileo, pero que cuentan con experiencia y estn en proceso de articulacin. Argentina instal el SIEMPRO en el ao 1995 con el propsito de ampliar su influencia sobre todas las reas sociales, pero el mismo nunca pudo trascender efectivamente la Secretara de Desarrollo Social en la que se organiz, hoy Ministerio de Desarrollo Social y Medio Ambiente. La conformacin de una autoridad social - todava difusa ha sido anunciada como desafo por el Gobierno Nacional, junto con la articulacin y reorganizacin de la diversidad de la oferta programtica. Este hecho, junto con la
20

constitucin del Sistema de Unidades Ejecutoras de Programas y la experiencia acumulada por SIEMPRO, permite advertir el desarrollo de la funcin evaluacin a una escala mayor de la conocida hasta ahora. BIBLIOGRAFA Ballart, Xavier, Cmo evaluar programas y servicios pblicos? Madrid, MAP, 1992. Banco Interamericano de Desarrollo (BID), Oficina de Evaluacin (EVO), Evaluacin: Una herramienta de gestin para mejorar el desempeo de los proyectos, Washington D.C., 1997. Barros Silva, Pedro Luiz, A avaliao de programas pblicos: uma estratgia de anlise, Relatorio parcial, Projeto Fortalecimento da Funo Avaliao na Amrica do Sul, IPEA/BID, 2000. Barros Silva, Pedro Luiz y Rosrio Costa, Nilson do, A avaliao de programas pblicos: reflexes sobre a experincia brasileira, Relatrio final, Universidade Estadual de Campinas, Ncleo de Estudos de Polticas Pblicas, Projeto Fortalecimento da Funo Avaliao na Amrica do Sul, IPEA/BID, 2000. Brown, Deryck R., La evaluacin de polticas y programas en la regin del Caribe de habla inglesa: problemas conceptuales y prcticos, Santiago de Chile, CEPAL, 2001. CEPAL, Gestin de Programas Sociales en Amrica Latina,, Santiago de Chile, 1998. CEPAL, Taller sobre evaluacin de la gestin del gasto pblico. Compendio de documentos, Santiago de Chile, 1998. Consejo Cientfico del CLAD (coordinador), La Responsabilizacion en la Nueva Gestin Pblica Latinoamericana, Buenos Aires, CLAD/BID/EUDEBA, 2000. Fernndez Ballesteros, Roco (ed.), Evaluacin de Programas. Una gua prctica en mbitos sociales, educativos y de salud, Madrid, Sntesis, 1996. Garnier, Leonardo, Funcin de coordinacin de planes y polticas, Santiago de Chile, CEPAL, 2000. Gartenkraut, Michal, Uma Anlise Complementar para o Caso Brasileiro: o PPA 2000-03, Relatrio Preliminar, Projeto Fortalecimento da Funo Avaliao na Amrica do Sul, IPEA / BID, 2000. Hardi, Clarisa, Sistema de Informacin, Evaluacin y Monitoreo de Programas Sociales -SIEMPROde Argentina, Proyecto Fortalecimiento de la Funcin de Evaluacin en Amrica Latina, IPEA / BID, 1998, mimeo. Ministerio de Desarrollo Social y Medio Ambiente de Argentina, Sistema de Informacin, Monitoreo y Evaluacin de Programas Sociales, 1999 Ministerio de Hacienda de Chile, Direccin de Presupuestos, Calidad de servicio y atencin al usuario en el sector pblico, Santiago de Chile, Dolmen, 1997. Ministerio de Hacienda de Chile, Direccin de Presupuestos, Evaluacin de programas gubernamentales: La experiencia de Chile, documento presentado al Taller sobre Evaluacin de la Gestin del Gasto Pblico en Salud, organizado por CEPAL en Brasilia, 1999, mimeo. Ministerio de Hacienda de Chile, Direccin de Presupuestos, Programa de Evaluacin de Proyectos Gubernamentales, Informe de sntesis general, presentado al Comit Interministerial de Modernizacin de la Gestin Pblica, 1997. Ministrio do Planejamento do Brasil, Plano Plurianual: Manual de Avaliao, Brasilia, 2000. Ministerio de Planificacin y Cooperacin (MIDEPLAN) de Chile, Divisin Social, Departamento de Evaluacin Social, Seguimiento a las actividades realizadas por el Ministerio de Planificacin de Chile en el perodo 1999-2000, documento presentado en el taller del Proyecto Fortalecimiento de la Funcin Evaluativa para Sudamrica en Brasilia, 2000, mimeo. Ministerio de Planificacin y Poltica Econmica (MIDEPLAN) de Costa Rica, Area de Evaluacin y Seguimiento, Sistema Nacional de Evaluacin (SINE), 1997. Neirotti, Nerio, Reflexiones sobre la prctica de la evaluacin de programas sociales en Argentina (1995 1999), ponencia presentada en el V Congreso Iternacional sobre Reforma del Estado y
21

de la Administracin Pblica, CLAD, Santo Domingo, 2000. Niremberg, Olga, Ruiz, Violeta y Brawerman, Josette, Evaluar para la transformacin, Buenos Aires, Paids, 2000. Poder Ejecutivo Nacional, Argentina, Decreto 992/2001, publicado en Boletn Oficial N 29.705, 1. Seccin, 7 de agosto de 2001, pp. 2-4. Sann Angel, Hctor, Control de gestin y evaluacin de resultados en la gerencia pblica, Santiago de Chile, CEPAL, 1999 Secretara de Desarrollo Social de Argentina, Productos del Siempro, 1999, versin en CD. SIEMPRO, Anlisis del gasto social de la Administracin Pblica Nacional, Informes de Polticas y Programas Sociales N 1, 2000. SIEMPRO, Gestin Integral de Programas Sociales Orientada a Resultados, Buenos Aires, SIEMPRO / UNESCO / FCE, 1999. SIEMPRO, Guas de Programas Sociales, 1998, 1999 y 2000. Subirats, Joan, Los instrumentos de las polticas, el debate pblico y el proceso de evaluacin, en Gestin y Poltica Pblica, vol IV, N 1, 1995. Toledo Silva, Ricardo, Identificar lies, Versin preliminar para la discusin, Projeto Fortalecimento da Funo Avaliao na Amrica do Sul, IPEA/BID, 2000. Valadez, Joseph y Bamberger, Michael, Monitoring and Evaluating Social Programs in Developing Countries,Washington, D.C., World Bank, 1994. Wiesner, Eduardo, Funcin de evaluacin de planes, programas, estrategias y proyectos, Santiago de Chile, CEPAL, 2000. Pginas web consultadas: http://www.cristal.gov.ar http://www.dnp.gov.co http://www.ipea.gov.br http://www.mideplan.cl http://www.mideplan.go.cr http://www.siempro.gov.ar

RESEA BIOGRAFICA Nerio Neirotti Aroz 2938, 5 Piso, Dpto. A 1425, Ciudad de Buenos Aires Repblica Argentina Tel.: 54 11 4803 0362 e-mail: nneirotti@elsitio.net nneirotti@hotmail.com Director de la Carrera de Especializacin en Planificacin y Evaluacin de Programas Sociales, Departamento de Planificacin y Polticas Pblicas, Universidad Nacional de Lans, Argentina. Consultor de la Secretara de Tercera Edad y Accin Social, Ministerio de Desarrollo Social y Medio Ambiente, Argentina. Ex Responsable de Evaluacin y Monitoreo de SIEMPRO (Sistema de Informacin, Evaluacin y Monitoreo de Programas Sociales), Ministerio de Desarrollo Social y Medio Ambiente,
22

Argentina. Ex Subsecretario de Control de la Gestin Pblica, Gobierno de la Provincia de Mendoza, Argentina. Ex Director Ejecutivo del Programa de Modernizacin del Estado, Gobierno de la Provincia de Mendoza, Argentina. Master of Public Affairs, Lindon B. Johnson School of Public Affairs, University of Texas. Diploma en Evaluacin de Polticas y Proyectos Sociales, ILPES / CEPAL.
Licenciado en Sociologa, Universidad Nacional de Cuyo, Argentina.

23