INDICADORES Y MONITOREO DEL IMPACTO DE LAS INTERVENCIONES DE LAS CONTRAPARTES DEL EED EN EL PER

Documento de trabajo1 Walter Melgar Paz

PRESENTACIN
En los ltimos aos, en el Per se ha incrementado las exigencias institucionales y sociales por dar cuenta de manera clara y efectiva, de los resultados alcanzados con los aportes de la cooperacin internacional y las contribuciones en la reduccin de la pobreza o en la solucin de problemas sociales especficos. Como correlato de ello se tiene una mayor demanda y oferta de instrumentos de planificacin y gestin de proyectos de promocin del desarrollo. Unos orientados a la formulacin ms rigurosa de las metas y las formas de lograrlas; otros enfocados en los procesos de gestin de la informacin de manera continua a fin de anticiparse a las desviaciones de los ritmos y alcances previstos por los proyecto; finalmente estn aquellos que privilegian las formas de dar cuenta de los logros alcanzados al culminar las intervenciones. Lo cierto es que las organizaciones de promocin del desarrollo siguen mostrando una relativa diversidad en las formas y en los niveles de calidad de entrega de las evidencias respecto a los impactos positivos generados por sus intervenciones. El tamao o dimensin de la organizacin, el volumen de recursos destinados para los cambios, el tiempo de la intervencin, las reas temticas que aborda, los grupos de referencia o beneficiarios que atiende, los instrumentos de planificacin, monitoreo y evaluacin que emplea, etc., pueden ser factores que expliquen dichas diferencias; pero tambin las prioridades, las competencias adquiridas y los recursos internos que se destinan para estas tareas de gestin. Por disposicin de Ministerio de Cooperacin del Gobierno Federal (BMZ) y de la Contralora Federal General, el EED solamente puede aprobar proyectos a ser cofinanciados con recursos del Ministerio que tengan un nmero limitado de objetivo realistas, precisos, concretos y alcanzables en el perodo de duracin del proyecto (normalmente tres aos), con indicadores que permitan monitorear y evaluar el cumplimiento de los objetivos establecidos al final del perodo de aprobacin. De otro lado, uno de los acuerdos planteados en el taller de contrapartes del EED (Lima, noviembre del 2006), se refiere a la necesidad de mejorar la calidad de los sistemas PME, a partir de reconocimiento de sus propios sistemas y la forma de cmo operan. En el Taller de Contrapartes de EED (setiembre del 2007) y a partir de la
1

Documento elaborado por Walter Melgar Paz, por encargo expreso del Sistema de Facilitacin EED Per, para la Reunin informativa y de dilogo entre Copartes peruanas y EED, a realizarse en la ciudad de Lima el mes de marzo del 2010

presentacin del estudio sobre sus sistemas PME2 - se acord una agenda de trabajo, en la cual se seala identificar algunos procesos comunes y hacer un ejercicio de anlisis, considerando los avances desiguales (de los sistemas PME) que existen entre las instituciones.3 Es un acuerdo entre las contrapartes y EED para este prximo trienio, la definicin e implementacin de un proceso de monitoreo y evaluacin de impacto sobre alguna intervencin relevante o algn caso que la organizacin considere emblemtico y que haya contado de alguna manera- con la contribucin de EED. Se espera que en los prximos 3 aos, 4 o 5 contrapartes puedan disear sus planes de monitoreo y evaluacin de impacto, determinar sus enfoques y mtodos operativos y la respectiva implementacin del estudio. Es por ello que, aprovechando la Reunin informativa y de dilogo entre Copartes peruanas y EED, queremos avanzar en definiciones y acuerdos ms operativos, para lo cual se solicit al Sistema de Facilitacin Regin Andina, y en particular al Sistema de Facilitacin EED Per, la elaboracin del presente documento de trabajo en donde se resume una discusin sobre los lmites y posibilidades de los sistemas PME de las organizaciones de promocin del desarrollo, y se avanza en propuestas para mejorar la formulacin de indicadores tangibles y la implementacin de monitoreo y evaluacin de impacto por casos emblemticos.

Sistema de Facilitacin Per Lima, febrero del 2010

Anlisis de los sistemas de planificacin, monitoreo evaluacin de las contrapartes peruanas de EED. Enrique Quedena Zambrano, Frank Prez Len. Evangelischer Entwicklungsdienst EED, Escuela para el Desarrollo - Sistema de Facilitacin EED Per. Lima diciembre 2007. 3 Taller de Contrapartes del EED. 23 de noviembre del 2007. Ayuda Memoria. Zariza Arias, Frank Prez. Sistema de Facilitacin EED-Per. Lima, 18 de diciembre del 2007, Pg 3. (Documento interno).

1. ESTADO DE LOS SISTEMAS PME EN LAS OPD

A pesar de los avances alcanzados en los ltimos 20 aos por las organizaciones de promocin del desarrollo (OPD), respecto a la implantacin y gestin de sistemas de PME, existe la percepcin de que los sistemas aludidos presentan -la mayora de las veces- limitaciones en su utilidad para responder a los procesos cotidianos de operacin y aportar efectivamente al desarrollo de la gestin estratgica de la organizacin. En una encuesta aplicada a ms de 100 integrantes de 13 OPD4, se indag (entre otros temas) la percepcin de los sistemas PME de sus propias organizaciones; el 20% expres una alta valoracin respecto a la utilidad de sus sistemas de planificacin y un 15% sobre los de monitoreo y evaluacin. Los aspectos sobre los que mayor utilidad encuentran a la planificacin son: la orientacin de los procesos de monitoreo y evaluacin, y la identificacin de nuevas competencias necesarias a desarrollar en el equipo. Mientras que consideran que contribuyen poco (o nada) a los procesos de innovacin de sus procesos y productos, delegacin de responsabilidades y desarrollo de conceptos. Los campos ms reconocidos en cuanto a la utilidad de los sistemas de monitoreo y evaluacin, estn referidos a la atencin de las demandas de los procesos internos de trabajo (frente a demandas de agentes externos) y a la conexin con los procesos de planificacin (en ambos casos probablemente vinculado a la entrega de informacin sistematizada de perodos o tiempos ya concluidos). Mientras que los de menor valoracin se refieren al uso para la discusin interna y atencin a la demanda de los equipos para la accin (probablemente referido a los procesos en curso y sus formas futuras de intervencin), as como para la delegacin de responsabilidades. En el ao 2005, el Ministerio para la Cooperacin al Desarrollo de los Pases Bajos, realiz un estudio en el Per como parte de la investigacin del Departamento de Evaluacin de Polticas y Operaciones (IOB) sobre el monitoreo y evaluacin en el Programa de Cofinanciamiento. Se indag sobre los sistemas PME de 20 de las 60 OPD contrapartes de la cooperacin holandesa en el Per (algunas de las cuales son contrapartes del EED).5 En el informe preliminar, se llega a la siguiente conclusin:
En la prctica, en todas las organizaciones se utiliza una variedad de mecanismos de retroalimentacin, los mismos que proporcionan suficiente informacin a las diferentes partes interesadas, sobre el uso de los insumos, la implementacin de las actividades y el logro de productos. Sin embargo, la retroalimentacin sobre los efectos/impactos de las intervenciones en los beneficiarios es menos evidente. La mayor parte del monitoreo no proporciona informacin estructurada sobre el particular, sino ms bien en forma de impresiones.

Realizado como parte del proyecto Desarrollo de sistemas de monitoreo y elaboracin de indicadores con las contrapartes de Novib en el Per, ejecutado por Escuela para el Desarrollo entre los aos 1999 y 2004, y publicado en: Los pasos perdidos de la planificacin. Walter Melgar Paz, Samuel Machacuay Romero. Cuadernos de Experiencias N 1. Escuela para el Desarrollo. Lima 2005. 5 A nosotros se nos encarg el estudio de la zona sur del Per.

Al parecer, en la mayora de los proyectos transcurre un tiempo considerable entre la intervencin y el momento en que los efectos/impactos se manifiestan. Al parecer, en estos casos, el monitoreo no es la mejor manera de recolectar la informacin. La evaluacin puede ser una mejor opcin, pero por ser de corta duracin -y que en consecuencia no ofrece mucho tiempo para hacer una visita de campo solo pueden recolectar informacin estructurada en casos excepcionales. Aparentemente, las organizaciones no hacen uso completo de la informacin disponible () y se recolecta ms para la toma de decisiones operacionales (y a veces para el aprendizaje cotidiano), que para la toma de decisiones estratgicas y para formular una misin, visin o poltica.6

De otro lado, en el estudio de los sistemas PME realizado con las contrapartes del EED en el Per7, se indaga sobre los principales lmites o problemas que an subsisten en la planificacin, monitoreo y evaluacin (entendidas como subsistemas), desde la perspectiva de los directivos o responsables de las unidades o funciones de planificacin. Estos factores son ms o menos recurrentes o graves, en funcin del modelo de gestin de los sistemas PME que estaran adoptando las organizaciones: basado en una persona o una unidad operativa y en eventuales delegacin de funciones, basado en la lnea de mando institucional o bastado en la gestin por equipos (descentralizado). Asimismo, dependen de la cultura de la organizacin y del capital instalado para atender las demandas propias de los sistemas. En general, las limitaciones identificadas hacen referencia a los siguientes aspectos:
Limitaciones o problemas presentes en los subsistemas PME
Planificacin
No participan todos los agentes que deben participar y de la forma ms productiva posible. No existen diagnsticos adecuados y oportunos para alimentar la reflexin y decisiones en la planificacin. Escasa capacidad para reaccionar a los cambios y complejidad de los contextos y necesidades internas. Asignacin de tiempo insuficiente para la reflexin y anlisis de procesos. Diversidad de demandas formales por uso de instrumentos y formatos de parte de las agencias.

Monitoreo
Poca claridad en las responsabilidades y las formas de participacin. Escaso aportes a la gestin institucional y a los otros subsistemas PME. Dificultades para la definicin y estandarizacin de los aspectos de la realidad que se requieren medir (indicadores). No se cuenta con indicadores sensibles a los enfoques y discurso institucional. Diversidad y discontinuidad de instrumentos de registro de datos. No se articula a los estudios de lnea de base o diagnsticos previos.

Evaluacin
Dirigidos para atender demandas externas (agencias) antes que internas. No incorporan anlisis del contexto con calidad suficiente para vincularlos con los resultados alcanzados. Competencias insuficientes para el diseo, conduccin, apropiacin y retroalimentacin de la gestin institucional. Recursos financieros limitados para atender los requerimientos (tiempo, personal, insumos, informacin, asesora) de evaluaciones serias y consistentes.

En los ltimos meses, hemos realizado un estudio de lnea de base del plan institucional de una de las contrapartes del EED y exploramos (de manera comparativa con el estudio de 2004) el grado de utilidad de la informacin generada por los
6

Estudio sobre Monitoreo y Evaluacin en el Programa de Cofinanciamiento realizado por IOB. Informe de Misin Per. A.R.M. Schutte. I.O.B. La Haya. 2004. (Documento interno). 7 Anlisis de los sistemas de planificacin, monitoreo y evaluacin de las contrapartes peruanas del EED. Enrique Quedena Zambrano, Frank Prez Len. EED - Sistema de Facilitacin EED Per. Lima 2007.

sistemas PME, desde el punto de vista de los integrantes de la organizacin. Una de las conclusiones apunta lo siguiente:
() cerca de la mitad considera que existe un bajo nivel de utilidad de la informacin generada internamente por los sistemas PME y solo el 21% considera que el nivel de utilidad es alto. Los campos que menos se favorecen con la informacin generada por los sistemas institucionales, son: i) La produccin de conceptos, ideas e innovaciones, ii) La produccin de documentos que den cuenta de los aprendizajes institucionales (informes, sistematizaciones, publicaciones, etc.), iii) La identificacin y anticipacin a los problemas en los procesos de trabajo, iv) El seguimiento y balance de coyuntura y procesos externos, v) La produccin de conocimiento organizacional (estudios, sistematizaciones, jornadas de reflexin), vi) Procesos de planificacin organizacional (estratgica y operativa).

Como se puede apreciar, sigue pendiente el desarrollo de mecanismos tiles de planificacin, monitoreo y evaluacin de los proyectos, programas y planes de las OPD, que se orienten a atender las dimensiones estratgicas de la gestin organizacional, como la produccin de conceptos para la intervencin, la generacin de innovaciones, el conocimiento de los procesos claves del contexto, la produccin de informacin que sustente los argumentos y las contribuciones al desarrollo. Estas son las dimensiones que aseguran la vigencia y sostenibilidad de una organizacin de promocin del desarrollo y son stas precisamente- las que no vienen siendo favorecidas por los sistemas PME. A continuacin revisamos algunas caractersticas de los sistemas PME que pueden ayudar a explicar esta situacin de escasa valoracin de la utilidad de dichos sistemas en las organizaciones que promueven el desarrollo en nuestro medio: 1. Sistemas adquiridos como resultado de la necesidad de recursos financieros

En los 70s, la elaboracin y tramitacin de un proyecto, se sustentaron bsicamente en el convencimiento de nuestro compromiso social y en la confianza tica y poltica establecida con la agencia cooperante. Un conjunto de objetivos generalsimos y un listado de actividades (de lo ms voluntariosas), precedidas de un relato exhaustivo de la situacin nacional, eran suficientes. Las exigencias de la cooperacin (y de sus donantes) en cuanto a la factibilidad de las ideas propuestas y del buen uso de los recursos transferidos se hicieron mayores a fines de los 80s. Planificacin y evaluaciones ex-ante se impusieron en el medio. Se inicia as la era de los zoop, los marco lgico, los planes estratgicos, las matrices de monitoreo, como argumento de fiabilidad. Y con ellos, las decenas de formatos que inundaron los anaqueles de los planificadores nativos. La necesidad de asegurar el uso eficiente del recurso financiero llev a adoptar cada uno de los formatos, sin discutir de manera suficiente la esencia y los conceptos que stos nos traan en cuanto componente de un sistema de planificacin. La preocupacin se centr en aplicar correctamente el instructivo antes y por encima de 5

la discusin y argumentacin de las ideas. El instrumento fue elevado a categora de fin. Es una caracterstica de las OPD de nuestro medio, que alberguen diversas y variadas formas (y formatos) de hacer planes y proyectos y que es expresin de las diversas y variadas relaciones establecidas con la cooperacin internacional. Una convivencia tolerante que, al no ser comprendida en su naturaleza y conceptos orientadores, genera (en no pocos casos) confusin y malestar entre sus operadores. 2. Babel o de los sistemas polglotas y polismicos

Producto de la convivencia de sistemas de elaboracin de planes y proyectos, dentro de las OPD, se puede apreciar la existencia de un cuerpo de trminos con acepciones dismiles y que hacen alusin a los diversos elementos, sus jerarquas y/o las funciones que cumplen dichos elementos, al interior de cada uno cada uno de dichos sistemas. As, no es raro encontrar en una misma institucin (y hasta en un mismo equipo) discusiones, confusiones y hasta conflictos por el uso de los trminos y sus formulaciones, situacin que se explica, nuevamente, por los orgenes de dichos sistemas y los mecanismos a travs de los cuales, han ingresado y han sido implantados en parte o en toda la organizacin. El problema es que no se han preocupado en desarrollar un sistema propio y un instrumento explicativo de dicho sistema, en donde cada trmino, cada instrumento, es enunciado, formulado y definido segn los parmetros institucionales; estableciendo, adems, sus correspondencias con los sistemas de elaboracin de proyectos, monitoreos, evaluaciones de las agencias de cooperacin, aliviando de esta forma la comunicacin interna y externa, y afianzando cierto grado de autonoma en sus sistemas de gestin. 3. Divergencia entre el tiempo administrativo y tiempo de desarrollo en la formulacin de planes. Un hecho consustancial a la formulacin de un plan o un proyecto, es la asignacin de un determinado horizonte temporal a los resultados que se espera obtener con las intervenciones. Lo cierto es que, independientemente del campo de accin, las estrategias propuestas, las necesidades a atender, el sector social involucrado, o la cobertura de los servicios, los proyectos suelen ser formulados en escalas temporales definidas en trminos administrativos. Cuando incorporamos la temporalidad en los proyectos, hacemos referencia a los rangos de aos con los que la agencia organiza administrativamente el financiamiento que otorga, ms no a lo que dura una realidad en variar significativamente en sus caractersticas centrales. Si asumimos que los procesos sociales sobre los cuales pretendemos intervenir se constituyen por un conjunto de variables, y si tomamos en cuenta que stas tienen sus propios ritmos y velocidades para cambiar de valor, entonces tendramos que conocer y tomar en cuenta el comportamiento de dichas variables para expresarlos adecuadamente en el diseo del proyecto. 6

La planificacin en tiempos reales (tiempo de desarrollo) prevalecer as sobre la planificacin en tiempos administrativos. De lo contrario, seguiremos constatando al final de nuestras intervenciones que en el plazo que planificamos el proyecto (tiempo administrativo), no obtuvimos el nivel de resultado esperado. 4. La comprensin del planeamiento y el control

El planeamiento se entiende como actividades fundamentalmente orientadas a la formulacin de planes claros y lgicos, mediante el empleo de sistemas que tienen poco margen para incorporar la incertidumbre, planes que en la mayor parte de los casos deben irremediablemente cumplirse, an cuando se reconoce que pudieran ajustarse en alguna medida. La calidad de los planes se entiende como el respeto por los procedimientos y formatos establecidos por el sistema que se emplee. Los que generalmente se orientan a lograr la claridad de la formulacin. Acorde con ello el desarrollo de capacidades para la planificacin se ha entendido como el desarrollo de las habilidades para participar en los procesos y emplear las herramientas, contempladas por el sistema. En cuanto a los sistemas de monitoreo y evaluacin, los conceptos que se emplean parecen estar todava mucho menos desarrollados, pues se les entiende fundamentalmente como sistemas que deben facilitar la verificacin de resultados y la deteccin de desviaciones respecto del plan. El monitoreo y la evaluacin estn fundamentalmente fijados en responder a las preguntas: Quin, cundo, cunto, qu. Intentando dar cuenta de los resultados alcanzados y en mucha menor medida se interroga sobre las razones por las que han sido obtenidos o no. Es decir las actividades de planificacin parecen disociados a los cambios permanentes de contextos y las de monitoreo no se ligan con los procesos de elaboracin de conocimientos. Esto se evidencia en los procesos de extraer enseanzas de la prctica, en donde las sistematizaciones se hacen luego de haber culminado una experiencia y, en el mejor de los casos, sirven para corregir las debilidades de la planificacin y el monitoreo, y se abocan a organizar la informacin; limitacin conceptual que afecta seriamente la calidad de los logros hasta ahora alcanzados por la mayor parte de las sistematizaciones. 5. Claridad de los conceptos que orientan la prctica de promocin

Parece ser que los instrumentos diversos de planificacin, monitoreo y evaluacin pierden fuerza y utilidad si es que los equipos de trabajo no tienen claramente definidos los conceptos claves que expresan lo que quieren lograr, o el cambio que se quiere generar con la intervencin. Los integrantes de los equipos tienen por prctica utilizar trminos que son parte de la doctrina y el discurso del desarrollo y que expresan grandes aspiraciones humanas: pobreza, justicia, equidad, democracia, etc. Sin embargo, al ser trasladados a los instrumentos de planificacin (plan estratgico o marco lgico), no son 7

suficientemente representados en indicadores que permitan registrar las evidencias empricas de la ocurrencia del concepto en la realidad. La revisin de diversos planes y proyectos nos dan cuenta del predominio de indicadores de actividades o de produccin (generalmente cuantitativos), mas no as de la naturaleza del cambio que se persigue (cuantitativa y cualitativa); y que debera expresar precisamente la esencia de nuestra misin y nuestra contribucin al desarrollo. Un plan que carece de claridad en el sealamiento de la naturaleza del cambio, da como consecuencia un sistema de monitoreo y evaluacin que se reduce a dar cuenta de actividades realizadas y no tanto los cambios propiamente dichos. 6. Los indicadores y sus posibilidades de estandarizacin

Una de las cosas que nos queda claro es el definir a los indicadores como construcciones de orden conceptual, ms que de orden tcnico. En efecto, en innumerables ensayos que hemos hecho con los grupos que viene a nuestros cursos, hemos podido constatar que la posibilidad de construir un buen indicador, no solo exige claridad conceptual sobre lo que se quiere indicar (no solo el concepto, sino la definicin y la determinacin correcta del trmino que lo represente), sino que adems, dicho concepto vara segn los marcos tericos y los contextos especficos en los cuales se sita quien planifica. 7. Y cul es el lmite inferior del plan

Los planes y proyectos se formulan y se implementan para generar cambios en una determinada direccin y magnitud. De esos estamos totalmente seguros. Generalmente sabemos en dnde y en cunto queremos estar al cabo de la implementacin del proyecto. Definimos los alcances cuantitativos del indicador seleccionado. Pero cuntas veces tenemos suficiente informacin sobre el estado inicial de dicho indicador, de tal forma que nos permita determinar razonablemente dicho valor esperado al final de nuestra intervencin? Ms an, cmo asegurar que nuestra intervencin (conjunto de actividades, tecnologa, recursos, etc.) va a modificar al indicador en el valor esperado? La exploracin sobre el valor inicial de un indicador y sobre los posibles factores que lo explican, son pues una tarea necesaria para determinar del valor esperado por el proyecto. No se podr definir el punto de llegada, si no se conoce el punto de partida. 8. Tensin entre los instrumentos y prctica de observacin, registro y presentacin de la informacin.

Los instrumentos que solemos utilizar en los sistemas PME (marco lgico, matriz de monitoreo, etc.), de por s tienen limitaciones fsicas (celdas), las mismas que registran con mayor facilidad cantidades, mas no cualidades. La calidad de un proceso y resultado final, exige mayor espacio y otras formas de expresin que no son los 8

alfanumricos o lgico-matemtico, que es el lenguaje que privilegia las celdas y los programas informticos de mayor uso y difusin en nuestro medio. La necesidad de simplificar, reducir, concretar la informacin, lleva inevitablemente a preferir cantidades como expresin del cambio, dejando de lado la exposicin de la calidad de dicho cambio. Este efecto se ve agravado por lo que sealamos en el punto anterior (escasa definicin operacional de los conceptos doctrinales). 9. Tensin entre los sistemas comunicativos existentes al interior de la organizacin con los instrumentos PME utilizados.

Cuando hemos interrogado a los promotores de las OPD por cul es el resultado al que se dirige su accin, stos suelen responder haciendo uso de estrategias comunicativas de orden descriptivas y extensas, antes del uso de sntesis directas. Las respuestas suelen empezar diciendo por ejemplo, te cuento que ..... Y es que nuestra cultura es estructural e histricamente oral y por tanto, extensiva en el discurso. Mientras que los instrumentos que solemos utilizar no contemplan esta caractersticas de nuestra cultura y formas comunicacionales. Un problema adicional tiene que ver con el hecho de que, privilegiado el lenguaje cuantitativo en el tratamiento de la informacin, exige de parte de las OPD, un manejo de herramientas complementarias como las estadsticas y en particular el uso de informacin de cuadros de doble entrada (dos variables). Una caracterstica de la informacin cuantitativa de los informes es que es de tipo descriptiva (distribucin de frecuencias), con lo cual el anlisis de la informacin se torna insuficiente. 10. El mejor sistema de monitoreo y evaluacin es aquel que se instala en la prctica cotidiana (sin ser advertido)

Hasta ahora, los instrumentos de planificacin, monitoreo y evaluacin no han logrado instalarse en el inconsciente colectivo de los equipos. Suelen aplicarse en dimensiones independientes de la prctica promocional. Situacin que es percibida y valorada como trabajo adicional. Al parecer, en los casos en que los instrumentos de planificacin y monitoreo han sido elaborados por los equipos o han sido incorporados por ellos a sus prcticas cotidianas, stos son mejor valorados, tanto en la funcin (registro de informacin para el aprendizaje vs. control de personal) como en su aplicabilidad. Frente a estas situaciones, el EED y sus contrapartes se enfrentan a dos tareas que tienen que ver con incorporar decisiones y mecanismos de gestin de los sistemas PME, con el objetivo de lograr mayores niveles de utilidad de sus productos. i) Establecer mejores maneras de formular objetivos e indicadores para los proyectos, que incrementen la factibilidad de dar cuenta de manera tangible los logros comprometidos; ii) Establecer formas prcticas y tiles de administrar procesos de monitoreo y suministrar informacin sobre el impacto que genera nuestras intervenciones en la sociedad local, y a travs de ellas, el aporte del EED. 9

2. OBJETIVOS E INDICADORES TANGIBLES. UNA NECESIDAD

VIGENTE EN LOS PROYECTOS
En comunicacin reciente,8 el EED ha puesto en conocimiento de sus contrapartes en el Per, que en adelante y por disposicin del Ministerio de Cooperacin del Gobierno Federal y de la Contralora Federal General-, solamente puede aprobar proyectos cofinanciados con recursos del Ministerio, que cumplan con las siguientes condiciones: 1. un nmero limitado y razonable de objetivos, y que el objetivo del proyecto sea solo y nada ms que 1; 2. los objetivos deben ser realistas, precisos, concretos y alcanzables en el perodo de duracin del proyecto, el cual, normalmente es de 3 aos y excepcionalmente de 5 aos; 3. los indicadores seleccionados deben permitir monitorear y evaluar el cumplimiento de los objetivos establecidos al final del perodo de aprobacin; 4. los indicadores deben tener la cualidad de poder ser expresados en porcentaje de logro durante y al final de la ejecucin del proyecto; esto en la medida que el EED tiene que presentar al Ministerio sus respectivos informes y rendiciones de cuentas en trminos de porcentaje de logro o cumplimiento de los compromisos asumidos. Frente a estos requerimientos, debemos tener en cuenta los siguientes conceptos y recomendaciones operativas: Caractersticas generales de la estructura del plan, programa o proyecto Cada propuesta (plan o proyecto) presentada al EED debe expresar con claridad su estructura de objetivos:
1 nico objetivo de mayor jerarqua, de mediano o largo plazo y entendido como una hiptesis de cambio 1 nico objetivo de Programa, alcanzable en el tiempo y a travs del esquema de intervencin propuesto
Objetivo de sub programa / proyecto / lnea de accin

Objetivo de desarrollo

Objetivo de Programa

Objetivo de sub programa / proyecto / lnea de accin

Objetivo de sub programa / proyecto / lnea de accin

1 objetivo por cada componente, alcanzable en el tiempo y con las actividades propuestas y recursos solicitados

Objetivos, efectos, resultados, indicadores. Documento cursado por el EED en diciembre del 2009

10

Por tanto, independientemente de la nomenclatura que los formatos de elaboracin de planes y proyecto tengan en cada organizacin, debe quedar claro la estructura, jerarqua y caractersticas de cada nivel y componente del sistema de objetivos. Definicin clara del sentido y naturaleza del cambio propuesto La comunicacin nos recuerda que es necesario que el plan/programa/proyecto describa y analice los procesos existentes en los mbitos de intervencin, pero sobretodo, que se defina con claridad cul o cules de esos procesos son materia de nuestra intervencin y cules sern las caractersticas especficas del nuevo escenario, al finalizarla. Nuestra misin, marcos conceptuales, agenda poltica, especializacin tcnica y recursos movilizados, determinarn la naturaleza de dicha intervencin, otorgndole una cualidad particular, una tonalidad especial, una perspectiva singular, al nuevo escenario, como correlato de nuestra presencia y accin. Por tanto, es necesario que en el momento de diseo del plan/programa/proyecto, se cuente con una claridad y posicin conceptual y poltica tanto del sujeto/objeto de cambio, como del cambio propiamente dicho que se quiere producir. Y que ello se traduzca operacionalmente; transitando as de la ideologa, el discurso y el concepto, a las evidencias empricas que expresen la existencia de dicha posicin en una realidad local concreta. QU es lo que se quiere lograr -como situacin de cambio- al trmino de los prximos tres o cinco aos? Qu significa ese QU? Cmo se debera manifestar ese QU, en trminos concretos, en el espacio y tiempo de intervencin, y segn nuestros enfoques y apuestas? Responder estas peguntas de manera clara se constituyen en una terea necesaria, ms an si consideramos que nuestros objetivos suelen formularse utilizando categoras con un alto grado de abstraccin y complejidad, como por ejemplo:

El desarrollo de capacidades de participacin ciudadana, incidencia pblica, articulacin, dilogo e intercambio con la sociedad y el Estado. La participacin ciudadana en el proceso de construccin y afianzamiento de la democracia, la descentralizacin y la gestin concertada de los espacios locales. El desarrollo de una educacin ciudadana con criterios de interculturalidad y derechos humanos. La democratizacin de la comunicacin pblica y de los medios para un mayor compromiso con la agenda de desarrollo. La construccin de ciudadana, descentralizacin, participacin poltica e igualdad de oportunidades de las mujeres. La incorporacin de los temas del desarrollo humano en las agendas pblicas, las polticas, programas y servicios, a escala nacional y en los espacios locales, regionales. El acceso en mejores condiciones al mercado regional, nacional e internacional, por parte de los pequeos productores de las regiones andinas. La dinamizacin de la economa local sobre la base del desarrollo territorial, la gestin social y sostenible de recursos naturales renovables, los sistemas de produccin agropecuaria sostenible y la vigencia de empleo digno y productivo.

11

Curiosamente los planes/programas/proyectos abundan en explicaciones sobre las actividades que van a realizar, pero no definen suficientemente las caractersticas del cambio concreto que proponen en su discurso. Construccin y seleccin de indicadores claves Para efectos de los compromisos formales entre EED y sus contrapartes en el Per, podemos definir a los indicadores como aquellos componentes del proyecto que describen los criterios y caractersticas de xito del proyecto, los mismos que expresan una situacin de cambio positivo de la realidad. Lgicamente, los indicadores surgen del proceso de discusin conceptual y poltica de la orientacin y naturaleza de dicho cambio. Es decir, los indicadores expresan el concepto de aquello a que la organizacin se refiere en su propuesta de intervencin. Si no existe claridad en la definicin conceptual y poltica, difcilmente podremos tener indicadores pertinentes. Esta definicin de indicador supone dos elementos relacionados: i) el aspecto de la realidad que experimenta el cambio, y ii) el valor esperado del cambio a experimentar por dicho aspecto de la realidad. Por tanto, el indicador (para nuestro sistema), debe expresarse en trminos de meta.9 Como sabemos, los indicadores van a servirnos para medir los avances y logros finales de nuestra intervencin, en todos sus niveles (actividades, productos o servicios, objetivos especficos, objetivo general, etc.). Y podemos convenir en que stos se orientan a dar cuenta especialmente los siguientes aspectos:

Objetivo de desarrollo

Objetivo de Programa

La diferencia global entre la situacin actual y la situacin original, en un contexto determinado, como consecuencia de los cambios especficos sucedidos en los sujetos, objetos o procesos materia de nuestra intervencin. Los cambios especficos que suceden en las cualidades de los diversos sujetos, objetos o procesos materia de nuestra intervencin, como correlato de la generacin de productos y/o del uso sostenido de los servicios brindados por el proyecto. El volumen de la produccin y/o la cobertura de los servicios generados por el proyecto, as como la oportunidad y costos.

Objetivo de sub programa / proyecto / lnea de accin

Objetivo de sub programa / proyecto / lnea de accin

Objetivo de sub programa / proyecto / lnea de accin

Actividades Actividades Actividades

Actividades Actividades Actividades

Actividades Actividades Actividades

Solo para ilustrar la diversidad de posiciones existentes respecto a los sistemas PME, mencionaremos que esta definicin a la que estamos llegando, es considerada por DESCO como errada. Ver: Evaluacin de proyectos de desarrollo local. Enfoques, mtodos y procedimientos. Centro de Estudios y Promocin del Desarrollo. Lima 2007. Pg. 40

12

 Definicin del alcance del cambio propuesto: las metas del proyecto Una vez determinado conceptualmente el cambio que se propone y definido operacionalmente, queda la tarea de precisar el alcance del cambio propuesto. Es decir, las metas correspondientes al proyecto. Obviamente que para poder determinarlas, hay que partir de lo que se ha logrado ya en los mbitos de accin, en perodos anteriores (conocimiento de las fuerzas favorables y condiciones). Pero tambin es imprescindible tener una lnea de base, o -por lo menos- algunos elementos que puedan servir de informacin sobre el estado inicial de los principales aspectos sobre los cuales el proyecto busca incidir. Ahora bien, la posibilidad de expresar de forma los alcances esperados de los indicadores, as como la conversin en % de logro (en un momento determinado o al final del proyecto) depende de la naturaleza y complejidad de cada uno de ellos. El EED nos recomienda que, independientemente de la naturaleza y complejidad del indicador, lo recomendable es proponer y registrar sobre los menos posibles, tratando de seleccionar aquellos que den cuenta del cambio que se quiere propiciar (pertinentes), pero que adems, sean posibles de gestionar en el tiempo de implementacin del proyecto, ya sea porque por la posibilidad de acceder a los datos, ya sea porque tengamos la capacidad de manejarlos (viables). El arte consiste, creo, en la limitacin, nos sugiere la comunicacin que desarrollamos con este documento. Ahora bien, una cosa es medir y dar cuenta del avance o logro en el incremento de los ingresos de las familias, o del incremento en el rendimiento promedio de las parcelas en un determinado valle, o la reduccin de los niveles de desnutricin en determinada poblacin infantil, que medir y dar cuenta del avance o logros alcanzados en el afianzamiento de los capacidades de gestin participativa de los gobiernos locales de una determinada mancomunidad de municipios rurales. El asunto es que, la mayora de los objetivos y sus resultados esperados de nuestros proyecto, contienen altos grados de complejidad y abstraccin, los mismos que exigen hacer una serie de operaciones de descomposicin y definiciones especficas para poder llegar a establecer una forma de medir y dar cuenta del grado de avance o logro de los mismos. Y que esta, adquiera la propiedad de ser presentada en trminos porcentuales.

13

Un ejemplo (con el permiso de las amigas de FLORA TRISTN):

FLORA TRISTN (FT), en la matriz de resumen del proyecto presentado al EED, nos propone un Resultado 1.1 que a la letra dice: Se ha logrado, a nivel local, regional nacional, la implementacin de polticas pblicas a favor del derecho de las mujeres a una vida sin violencia, los derechos sexuales y derechos reproductivos, y el derecho a la participacin poltica paritaria. Veamos: Como hemos dicho, la formulacin de los objetivos de un proyecto expresan la sntesis del pensamiento terico y poltico de nuestra organizacin. Este pensamiento puede existir de manera formal o informal, en trminos explcitos o implcitos, con un cuerpo estructurado o desestructurado, con slidos argumentos o basado en el sentido comn, expandido o concentrado en algunas pocas personas. Pero el hecho es que existe. Por tanto, los objetivos al expresar una complejidad de dimensiones, requieren ser exhibidas explcitamente para poder indicar aquellos aspectos claves sobre los que debemos tener control y sobre los que vamos a rendir cuentas, al final de nuestra intervencin. En el caso de FT, sabemos que es una organizacin feminista que viene trabajando por la ampliacin de la ciudadana de las mujeres en el Per, y para lo cual orienta su accionar sobre el desarrollo de las capacidades de las propias mujeres, sobre las polticas pblicas y sobre los procesos locales que consideran estratgicos para el logro de su misin. Dicho lo cual, podemos observar que el Resultado formulado por FT, incluye por lo menos seis dimensiones, algunas de ellas explcitas y otras implcitas: i) La materia del derecho de la mujer que se busca promover a travs de la poltica pblica ii) La poltica pblica iii) El cambio sustantivo de la poltica sobre la materia del derecho de la mujer que refiere la poltica (y que es la esencia de la propuesta y apuesta de FT) iv) El grado de implementacin del cambio sustantivo de la poltica v) La escala espacial de la cobertura de la poltica vi) La cobertura del beneficio sustantivo de la poltica pblica Parece un trabalenguas, pero es el proceso de desglose conceptual que se deriva de la formulacin del Resultado 1.1 materia del anlisis. Ahora bien, todo este ejercicio generalmente no es realizado en el papel, sino en la mente de quien disea el proyecto, quien -a su vez- suele concentrar el conocimiento y la experiencia a la que refiere dicho proyecto. Sigamos. Desde el punto de vista de la misin de FT, el elemento organizador sera los derechos de las mujeres, los mismos que nos van a permitir organizar el proceso de operacionalizacin y construccin de los indicadores claves: Ahora bien, en tanto la estrategia es incidir en la poltica pblica, habra que tener en cuenta que sta (la poltica pblica) se trata de un conjunto de principios, objetivos, lneas de accin e instrumentos que el Estado (expresado en sus diferentes podres o entidades de gobierno) define con el propsito de asegurar el comportamiento de los actores individuales, colectivos e institucionales involucrados en el logro de una situacin deseada (en este caso los derechos de las mujeres).

14

Por tanto, para efectos del Resultado 1.1 la poltica pblica tiene: i) elementos de contenido propuesto, ii) el instrumento concreto sobre el que se quiere incidir y iii) la entidad encargada de aplicar dicho instrumento concreto (que expresa la poltica pblica). Con ello tendramos la siguiente tabla, advirtiendo que el cambio sustantivo de la poltica pblica, an merece una mayor precisin respecto a los contenidos y propuestas (sello, marca, distintivo de FT que afianza su identidad y la distingue de otras organizaciones que actan sobre lo mismo); salvo que en los contextos nacional, regionales y locales no existan estos instrumentos, y que el solo hecho de pondera en agenda, ya sea una contribucin del proyecto (y de FT).
Poltica pblica Materia del derecho de la mujer Cambio sustantivo de la poltica (apuesta/propuesta poltica de la organizacin) Que los instrumentos poltico-normativos del Estado reconozcan las necesidades y demandas de las mujeres y su derecho a decidir en la esfera de su salud integral, su sexualidad y reproduccin. Que los procesos y mecanismos locales de planificacin y gestin del desarrollo, aseguren la participacin y ejercicio de los derechos de las mujeres. Entidad encargada de ejecutar el instrumento de la poltica pblica Congreso de la Repblica Hospitales pblicos Escala espacial de cobertura de la poltica pblica Nacional Cobertura del beneficio sustantivo (poblacin beneficiaria) Por precisar

Instrumento de la poltica pblica

Vida sin violencia Sexuales y reproductivos

Ley de derechos Sexuales y Reproductivos. Protocolos para la aplicacin del aborto teraputico

Por precisar

Por precisar

Participacin poltica paritaria

Ley de Alternancia de Mujeres en las listas electorales. Plan Regional de Igualdad de Oportunidades Plan Local de Igualdad de Oportunidades

Congreso de la Repblica Gobierno Regional Gobierno Local

Nacional

Por precisar

Cusco y Junn

Por estimar

Provincia de Yauyos, distritos de San Juan de Lurigancho y Villa El Salvador

Por estimar

De la Tabla anterior y del proyecto de FT, se desprende que, al final del proyecto, deberan estar en la posibilidad de mostrar (si todos los supuestos se cumplen) los siguientes logros: El Congreso de la Repblica ha debatido al menos dos leyes a favor de los derechos de las mujeres: la Ley de Derechos Sexuales y Derechos Reproductivos, y la Ley de Alternancia de Mujeres en las listas electorales. Dos gobiernos regionales (Junn y Cusco) han implementado sus respectivos planes regionales de igualdad de oportunidades. Una municipalidad provincial (Yauyos) ha implementado su Plan de Igualdad de Oportunidades. Dos municipalidades distritales (San Juan de Lurigancho y Villa El Salvador) han implementado sus planes de igualdad de oportunidades. Un nmero indeterminado de hospitales pblicos han aprobado los Protocolos para la aplicacin del aborto teraputico. Pero aqu surge la necesidad de definir y describir con mayor claridad el escenario deseado y esperado, como correlato de nuestra intervencin, y que permita dar cuenta de

15

manera emprica y tangible ese Se ha logrado () la implementacin de polticas pblicas a favor del derecho de las mujeres a (). Y que depende (claro est) de las prioridades de FT, as como de cada contexto en el cual se interviene y del estado inicial de los procesos sobre los que se quiere intervenir (lnea de base). Lo cual nos lleva a responder una serie de preguntas:
Poltica pblica Instrumento de la poltica pblica Ley de Derechos Sexuales y Derechos Reproductivos Entidad encargada de ejecutar el instrumento de la poltica Congreso de la Repblica

Descripcin ptima/mxima del cambio propuesto en el instrumento de la poltica como factor de contribucin de FT, observables al final de la intervencin Qu se entiende por han discutido y cmo mostrar mi sello: Qu contenidos del proyecto de Ley discutido dara cuenta de la incidencia directa de FT? Qu argumentos de la sustentacin del proyecto de Ley expresara la incidencia directa de FT? Qu fuerzas polticas o congresistas favorables a los contenidos y argumentos expresaran la presencia de FT en dicho proceso de discusin? Cul sera el estado administrativo o de procedimiento dentro del Congreso, al que se esperara llegar, respecto al proyecto de Ley? Idem

Ley de Alternancia de Mujeres en las Listas Electorales Plan de Igualdad de Oportunidades

Congreso de la Repblica

Gobierno Regional de Junn

Qu se entiende por han implementado y cmo mostrar mi sello: Qu contenidos del Plan Regional de Igualdad de Oportunidades dara cuenta de la incidencia directa de FT en la Regin Junn? Qu argumentos de la sustentacin de las prioridades de la implementacin del PRIO expresara la incidencia directa de FT? Qu organismos, funcionarios, autoridades favorables a los contenidos y argumentos expresaran la presencia de FT en dicho proceso de decisin e implementacin del PRIO? Qu cobertura de beneficios se espera tener con la implementacin del PRIO, como resultado de la intervencin de FT? Idem, para el caso del PRIO en la Regin Cusco Idem, para el caso del PIO de la Provincia de Yauyos Idem, para el caso del PIO del distrito de San Juan de Lurigancho Idem, para el caso del PIO del distrito de Villa El Salvador Qu significa aprobar los protocolos, en el mismo sentido de las definiciones arriba sealadas. En qu hospitales pblicos? Por tanto, en cuntos?

Plan de Igualdad de Oportunidades Plan de Igualdad de Oportunidades Plan de Igualdad de Oportunidades Plan de Igualdad de Oportunidades Protocolos para la aplicacin del aborto teraputico

Gobierno Regional de Cusco Municipalidad Provincial de Yauyos Municipalidad de San Juan de Lurigancho Municipalidad Distrital de Villa El Salvador Hospitales pblicos

16

La tercera columna que hemos construido, da cuenta de una serie de cualidades (variables) que nos permite apreciar los valores mximos esperados, a partir de los cuales podramos describir valores intermedios y valores mnimos (o valores actuales que dan la lnea de base). En este ejemplo (y de manera arbitraria) se trata de 4 variables para el caso de las leyes (contenido inserto en los articulados de la ley, argumentos utilizados, fuerzas polticas de soporte, estado final del proceso) y 4 para el caso de los PIOs (contenido del Plan aprobado, argumentos utilizados, fuerzas polticas de soporte, cobertura de beneficios).10 De esta forma, podemos ver (de manera anticipada) todas las posibles combinaciones de situaciones a las que puede arribar el Resultado 1.1 en un momento determinado, y en especial, al final del proyecto.

Instrumento de la poltica pblica Ley de Derechos Sexuales y Derechos Reproductivos

Descripcin de escenario de logro nulo o mnimo Cualidad 1 en su valor actual Cualidad 2 en su valor actual Cualidad 3 en su valor actual Cualidad 4 en su valor actual Idem

Descripcin de escenario de logro intermedio o parcial Cualidad 1 en su valor medio Cualidad 2 en su valor medio Cualidad 3 en su valor medio Cualidad 4 en su valor medio Idem

Descripcin de escenario de logro ptimo o mximo Cualidad 1 en su valor mximo esperado Cualidad 2 en su valor mximo esperado Cualidad 3 en su valor mximo esperado Cualidad 4 en su valor mximo Idem

Ley de Alternancia de Mujeres en las Listas Electorales Plan de Igualdad de Oportunidades Plan de Igualdad de Oportunidades Plan de Igualdad de Oportunidades Plan de Igualdad de Oportunidades Plan de Igualdad de Oportunidades Protocolos para la aplicacin de aborto teraputico

Idem Idem Idem Idem Idem Cualidad 1 en su valor actual Cualidad N en valor actual

Idem Idem Idem Idem Idem Cualidad 1 en su valor medio Cualidad N en su valor medio

Idem Idem Idem Idem Idem Cualidad 1 en su valor mximo esperado Cualidad N en su valor mximo esperado 30 tems o cualidades empricas objetivamente verificables

Cmo poder sintetizar toda esta complejidad de procesos, en un solo indicador, y que a su vez pueda ser expresado en una formula numrica y en trminos porcentuales? Ante esta situacin, suelen tomarse varias decisiones, en funcin del grado de dominio de nuestros propios conceptos y herramientas de planificacin y gestin de la informacin:

10

Para el caso de los Protocolos, falta precisar la informacin.

17

i)

Indicar el cambio propuesto y su logrado (la inclusin de algunos intereses y demandas de las mujeres propios de sus derechos- en las polticas pblicas, y su puesta en prctica), a travs de los productos o servicios elaborados por la OPD y que son necesarios para dicho cambio, pero que no expresan el cambio en s mismo; por ejemplo: se han elaborado 3 propuestas de Resolucin de Alcalda. Indicar el cambio propuesto y su logro, a travs de una de las dimensiones del cambio, generalmente aquel que tiene naturaleza cuantitativa (en este caso la entidad encargada de implementar la poltica), pero no da cuenta de la caracterstica del cambio, y que es precisamente el aporte sustantivo de la intervencin de la OPD; por ejemplo: 3 gobiernos locales y 2 gobiernos regionales han implementado polticas pblicas favorables a los derechos de las mujeres.

ii)

iii) Indicar el cambio propuesto y su logro, a travs de la descripcin de sus componentes cualitativos adosado a los de naturaleza cuantitativa, lo que hace extenso y descriptivo al indicador, aunque sienta las bases para su seguimiento en materia de cantidad y calidad, y por tanto, pasible de ser convertido en porcentaje; por ejemplo: En 3 gobiernos locales se aprueban el PIO con la participacin de 400 mujeres representantes de 25 organizaciones y entidades locales en total, y en donde se determina que las 10 entidades pblicas que operan en dichos mbitos, registren informacin de los servicios incluyendo la variable gnero, as como la implementacin de ambientes privados para la atencin de casos de violencia contra la mujer en los 9 establecimientos de la PNP y 16 Centros de Salud existentes, en el Congreso se ha iniciado la discusin de la Ley X y la Ley Y, con el respaldo de 20 congresistas de 3 fuerzas polticas, en donde se incluye el artculo referido a , en 20 hospitales de tales regiones se ha aprobado y puesto en funcionamiento el Protocolo.; ... iv) Indicar el cambio propuesto y su logro, a travs de la construccin de un artificio que nos permita convertir la complejidad del objetivo y su naturaleza predominantemente cualitativa, en una representacin numrica, para fines de realizar operaciones matemticas (agregacin, comparacin, proyeccin, etc.), necesarias para el diagnstico de lnea de base, el monitoreo y la evaluacin. Es decir, construir un ndice (y su respectiva escala de medicin) que nos permita dar cuenta del grado o el nivel de implementacin de instrumentos de polticas pblicas favorables a los derechos de las mujeres, bajo los cnones de FT en particular, y del movimiento feminista en general. No es propsito de este documento mostrar la forma en que se construye un ndice y su escala. Solo queremos advertir que dichos instrumentos son los apropiados para dar cuenta de realidades complejas. Al ndice de Desarrollo Humano (cuyos valores van de 0.0 a 1.0), se le puede agregar otros ejemplos como el ndice de conflictividad socio-ambiental, o el Defensmetro (de la Defensora del Pueblo) que mide el grado de eficiencia y cooperacin de las entidades del Estado para resolver demandas de los ciudadanos (y que en parte utiliza el Tablero de Mando o Balance Scorecard); o los indicadores de buen gobierno o ndice de gobernabilidad, del Banco Mundial.

18

En fin, existen muchos ejemplos de cmo es que una organizacin puede construir sus instrumentos para dar cuenta de manera numrica, parte de la realidad que tiene componentes cualitativos. Llegar a estos niveles de desarrollo de nuestros sistemas depende de algunos factores: i) Conviccin de que es necesario y til elaborarlos, ii) Conocer nuestros temas y nuestras realidades, iii) Tener dominio conceptual, metodolgico y tcnico, iv) Dedicar tiempo y recursos para su desarrollo y mantenimiento. Lo cierto es que si tomamos en cuenta que las contrapartes del EED en el Per vienen trabajando sus temas por lo menos unos 20 aos, con una relacin con EED de 15 aos o ms, con 6 a 10 proyectos financiados consecutivamente por contraparte, y con un importante apoyo al desarrollo de sistemas PME desde los Planes de Desarrollo Organizativo y Fortalecimiento Institucional (DOFI), es de suponerse que estas condiciones tienen algn grado de avance como soporte a la gestin de la informacin y a la rendicin de cuentas. O en todo caso, deberan tenerlo.

Un ejemplo final al vuelo. Si hablamos del afianzamiento de la institucionalidad democrtica, podramos coincidir que uno de sus componentes es la democratizacin de la informacin sobre la gestin regional y local, y una forma de dar cuenta de ello es el nivel de actualizacin de informacin emitida en el portal del Gobierno Regional. Pues bien, segn PROPUESTA CIUDADANA, Los gobiernos regionales vienen logrando avances sostenidos en la actualizacin de sus portales. En la undcima evaluacin, 20 de 25 gobiernos regionales presentan portales completos y actualizados. El 78.6 % de grado de actualizacin de la informacin que los gobiernos regionales han alcanzado en conjunto representa un gran avance frente al 53% que tenan a comienzos de 2007.11 Informacin que resulta del instrumento construido para monitorear el nivel de actualizacin de la informacin de la gestin de los gobiernos regionales, que consta de 9 dimensiones y 36 indicadores especficos; y que les permite mostrar informacin grfica como la siguiente:

11

Boletn de Vigilancia de los Portales de Transparencia 2009-III: Crece a 20 el nmero de Gobiernos Regionales que difunden informacin de su gestin. Propuesta Ciudadana. Setiembre 2009. Pg. 8. En: http://www.propuestaciudadana.org.pe/popup.shtml?x=80969

19

Fuente: Gobiernos regionales Elaboracin: Grupo Propuesta Ciudadana

20

3. Evaluacin y monitoreo del impacto de nuestras contribuciones: Casos emblemticos

Existen diversas definiciones sobre evaluacin y sobre impacto, de las cuales se construyen (tambin diversas) definiciones de evaluacin de impacto. Para efectos ilustrativos vamos a presentar una que sintetiza la diversidad sealada:
La evaluacin del impacto tiene como objeto determinar si el programa o proyecto produjo los resultados en las personas, hogares e instituciones y si estos resultados son atribuibles a la intervencin. Las evaluaciones del impacto tambin permiten determinar consecuencias no previstas en los beneficiarios, ya sean positivas o negativas. Algunas preguntas que abordan las evaluaciones del impacto incluyen las siguientes: i) Cmo afect el proyecto a los beneficiarios?; ii) Algn mejoramiento fue el resultado directo del proyecto o se hubiese producido de todas formas?; iii) Se podra modificar el diseo del programa para mejorar sus repercusiones?; iv) Se justificaban los costos? Para asegurar un rigor metodolgico, una evaluacin del impacto debe estimar el escenario contrafactual o simulado alternativo, es decir lo que habra ocurrido si el proyecto nunca se hubiera realizado (Baker 2000). Se lleva a cabo cuando el proyecto ha alcanzado su pleno desarrollo; es decir, algunos aos despus de concluida la ejecucin, cuando se supone que los beneficios previstos fueron alcanzados (ONU 1984:19-20). Tambin se llama "evaluacin sumativa" o "evaluacin totalizadora".12

Sobre la base de esta definicin general, es que el EED, a travs del Sistema de Facilitacin Per, ha propiciado en estos ltimos aos, el desarrollo de estudios de evaluacin de impacto con algunas de sus contrapartes. Entre 1998 y 1999 se llev a cabo una sistematizacin de experiencias de determinadas contrapartes en la regin andina del Per, en donde se constata la inexistencia de diagnsticos completos previo a las intervenciones, limitaciones en el trabajo sistemtico de gestin de la informacin referidas a los indicadores claves de los proyectos, as como la dificultad para correlacionar los cambios e impactos observados, con las estrategias especficas diseadas para cada intervencin. A pesar de estas deficiencias, se comprueba que los esfuerzos de promocin se traducen efectivamente en mejores condiciones y alternativas de vida para la superacin de la pobreza de las comunidades beneficiadas con los proyecto, si bien las evidencias eran todava limitadas. 13 En el ao 2002 se difunde los resultados de un estudio dirigido por A. Bebbington sobre la identificacin de los impactos de las OPD sobre las estrategias de vida de la poblacin de la regin alto-andina de Per y Bolivia.14 Las conclusiones a que se arriba
12

Conceptos Calves de Evaluacin y Seguimiento de Programas y Proyectos. Breve Gua. Vernica E. Via, Ada Ocampo Cobos. PREVAL, FIDA. Lima, (s/f). Pg 51 13 Cooperacin externa, ONG y desarrollo. Avances e impactos en la lucha contra la pobreza en dos regiones del Per: Cusco y Cajamarca. Escuela para el Desarrollo. Lima, 1999.
14

El programa de co-financiamiento de Holanda y sus contribuciones al desarrollo rural en las zonas altas de Per y Bolivia. BEBBINGTON, Anthony. Septiembre del 2002. (Documento preparado para el Steering Committee for the Evaluation of Netherlands Co-financing Programs).

21

en el estudio son crticas respecto al poco impacto de las OPD sobre las estrategias de vida que va diseando la poblacin. Tomando en cuenta estos antecedentes, se plante nuevamente la necesidad de responder a los interrogantes surgidos, pero ahora sobre la pertinencia de las OPD, ms all de los proyectos especficos que ejecuten. De este modo, se explor la posibilidad de ejecutar otro estudio, pero con carcter diferente al amplio trabajo anteriormente mencionado, pues no era posible realizar un estudio de impacto propiamente dicho, dado que no se dispona de los recursos requeridos para llevar a cabo un acopio sistemtico y estadsticamente representativo de informacin de tipo cuantitativo. Resultado de aquella reflexin, en el ao 2003 se propone un estudio exploratorio que complementara los hallazgos obtenidos por algunas de las OPD que participaron en el proceso anterior (sistematizacin de 1998-1999). As, se plante el ensayo de un nuevo procedimiento metodolgico que permita determinar las contribuciones efectivas de cada OPD al desarrollo de sus espacios locales, relacionndolas con determinados cambios atribuibles a sus intervenciones.15 Para ello, se defini como contribucin al aporte concreto que brinda el equipo de la ONG, a partir de su propia experiencia, para la prctica de promocin del desarrollo. En este sentido, el estudio se centr directamente en la acepcin positiva de aquello efectivamente realizado. Por tanto, no se trat de una evaluacin convencional, pues no busc contraponer y dar un juicio de valor respecto a lo que logr frente a lo que debi haber logrado. Ms bien, se aboc a alcanzar evidencias sobre lo que realmente se obtuvo como logro tangible en tanto contribucin o aporte efectivo. A su vez, en la parte relacionada con los impactos, se busc identificar cambios sostenibles relacionados con el nivel de vida de las familias, los cuales pueden ser atribuidos (as sea parcialmente) a la intervencin de las OPD estudiadas. Con la finalidad de identificar las principales expectativas de EED y sus contrapartes respecto al financiamiento institucional y examinar hasta qu punto se estn cumpliendo, el ao 2008 e realiz un estudio con once contrapartes, basado en un cuestionario preparado para tal fin. 16 Como parte del estudio se solicit a las contrapartes que identifiquen y definan un caso emblemtico, el mismo que deba expresar la esencia de los beneficios del apoyo institucional del EED, en tanto contribuciones a la sociedad, y como resultado de su aporte financiero. En la Tabla siguiente se resumen dichos casos emblemticos.

15

Contribuciones e identificacin de impactos. Casos de la Asociacin Arariwa y CEDEP Ayllu de Cusco, Per. Informe Final. Augusto Cavassa, Jos Alfonso Heredia. Escuela para el Desarrollo - Sistema de Facilitacin de EED Per. Lima, enero del 2004. 16 Estudio Apoyo Institucional Contrapartes EED Per. Informe. Javier Daz-Albertini F. Sistema de Facilitacin EED Per. Enero 2009. Pgs. 22 27.

22

CONTRAPARTE

CASO

CALANDRIA CEDEP CEDEPAS NORTE CEPES CIED CIPCA COORDINADORA RURAL DESCO ESCUELA PARA EL
DESARROLLO

FLORA TRISTN PROPUESTA CIUDADANA

Veedura Ciudadana de la Comunicacin Social Apoyo a la descentralizacin y gestin local El programa de desarrollo econmico rural CONVEAGRO Colores para Antioqua Fortalecimiento de espacios de concertacin para la gobernabilidad democrtica y el desarrollo local Agendas Agrarias Desarrollo camlidos sudamericanos La formacin de generaciones de promotores y gestores del desarrollo Comisara de la Mujer Sistema de Vigilancia Ciudadana

El estudio clasifica en cuatro grupos a los casos emblemticos: a. Experiencias relacionadas directamente con el fortalecimiento de la gobernabilidad local y regional, a la luz del proceso de descentralizacin en el pas: la experiencia de PROPUESTA CIUDADANA que, como consorcio de OPD, ha logrado establecer un sistema de vigilancia ciudadana en 15 de las 24 regiones del pas; el CIPCA y CEDEP que han afianzado los sistemas de concertacin local, especialmente alrededor de los principales mecanismos e instrumentos de gestin va programas de asesora y capacitacin. b. Experiencias econmicas y productivas, como la del CIED y Colores para Antioqua que ha logrado poner en valor los recursos tursticos, agrcolas y naturales de un pequeo poblado de la sierra limea; o el CEDEPAS NORTE, con su aporte a que el pequeo productor agrcola del norte del pas adquiera la capacidad y posibilidad de participar en el mercado y contribuir al desarrollo local. c. Las propuestas que intentan incorporar las demandas del pequeo productor, la comunidad campesina y la comunidad nativa, en el debate regional y nacional, como CEPES con CONVEAGRO y la COORDINADORA RURAL con las Agendas Agrarias, desde diferentes pticas. d. Las que buscan fortalecer la capacidad de la sociedad civil para participar en la sociedad y as impulsar el desarrollo, como el caso de FLORA TRISTN y la experiencia de las Comisaras de la Mujer como instrumento de defensa de los derechos de la mujer; CALANDRIA y la generacin de un movimiento que vigila los medios de comunicacin desde la sociedad civil, defendiendo los derechos de los ciudadanos y exigiendo niveles de calidad y de rendicin de cuentas; y ESCUELA PARA EL DESARROLLO, que cumple una labor de fortalecimiento de las capacidades de los integrantes de OPD, autoridades y funcionarios gubernamentales, sobre la base de una permanente revisin de sus metodologas y contenidos.

23

El estudio, luego de la revisin de las sntesis de estos casos, concluye que:

A pesar de sus diferencias y variaciones, es sorprendente cmo las once experiencias comparten hilos conductores comunes () toman tiempo porque ocurren en un medio poltico caracterizado por la desconfianza y la debilidad o ausencia de instituciones estatales. De ah que las experiencias descritas difcilmente pueden sustentarse en proyectos de corto plazo y con objetivos demasiado especficos y por ello ha sido posible gracias al financiamiento institucional.

Tomando en cuenta estos antecedentes y consideraciones, podemos convenir en los siguientes trminos de referencia para posteriores procesos de evaluacin y monitoreo de los impactos generados por los proyectos que han contado con el apoyo financiero del EED en el Per: 1. 2. Se trata de un concepto hecho accin, Es una intervencin compleja de la organizacin contraparte, que puede adquirir forma de proceso, producto y/o servicio, en cuya esencia sean identificados los beneficios del apoyo institucional del EED, en tanto contribucin a la sociedad, y como resultado de su aporte financiero, Que su ocurrencia o funcionamiento pueda ser directamente relacionado con la misin, concepcin y estrategias de intervencin de la organizacin contraparte, y en particular con los aportes financieros que el EED ha transferido para financiar los planes/programas/proyectos, Siendo posible la confluencia de otros esfuerzos y contribuciones, es indispensable que se aprecie, con independencia, los rasgos propios de la identidad de la organizacin contraparte y que la diferencien de las dems intervenciones, Con no menos de 3 aos de ocurrencia o funcionamiento, Que signifique una contribucin o aporte directo a la atencin de necesidades, demandas o expectativas de las poblaciones locales identificadas, Que suponga algn grado de autonoma frente a la organizacin contraparte y que se sustente en dinmicas propias, iniciativas o responsabilidades de gestin de los actores, poblaciones o entidades locales sobre las que dirigi el plan/programa/proyecto, Algn otro rasgo que surja del colectivo de contrapartes como sugerencia.

3.

4.

5. 6. 7.

8.

Identificado el caso emblemtico, la organizacin contraparte debe proceder a disear la matriz de evaluacin del impacto de las contribuciones del EED, tomando en cuenta por lo menos las siguientes dimensiones de recoleccin y anlisis de la informacin:

24

Matriz de diseo metodolgico de la evaluacin de impacto del caso emblemtico (CE)

Dimensin Preguntas claves En qu medida el CE expresa la misin y la doctrina de la organizacin contraparte Fijacin de la razn de ser de la organizacin contraparte En qu medida el CE es sensible a los cambios de la doctrina y la estrategia de la organizacin contraparte Cmo es que se expresan las principales lneas de accin de la organizacin contraparte en la constitucin y desarrollo del CE y que han sido financiadas con aporte del EED En qu medida el CE responde y se adapta a las necesidades, demandas, expectativas de desarrollo de la poblacin local En qu medida el CE se corresponde a las estrategias que implementan las poblaciones para resolver sus necesidades significativas Cules son los beneficios directos que genera el CE en el espacio territorial o mbito en el cual se inserta Cul es la especificidad o diversidad de agentes o poblacin local que se beneficia del CE En qu grado el CE viene alcanzando autonoma y sostenibilidad y en qu consiste Qu factores del contexto favorecen y cules ponen en riesgo la marcha del CE Sostenibilidad En qu medida el CE viene generando innovaciones independientemente a la intervencin y tutela de la organizacin contraparte; en qu consisten dichas innovaciones Cmo es que el CE proyecta fuerza e incide sobre determinados procesos de su contexto inmediato o mediato Cmo es que el CE se constituye en referente para otras dinmicas sociales, productivas, institucionales, etc. Cunto es la inversin que significa la existencia del CE y cmo es que se justifica Otra pregunta relevante Metodologa de acopio e interpretacin de la informacin Por precisar, segn cada caso Idem

Idem

Idem

Pertinencia de la propuesta

Idem

Idem

Beneficios

Idem

Idem Idem Idem

Idem

Incidencia y replicabilidad

Idem

Costo Otra dimensin

Valoracin de las aportaciones de los diversos agentes intervinientes

25

Los pre-requisitos para incursionar en esta tarea: i) ii) iii) iv) v) vi) Conviccin de que es necesario y til realizar el monitoreo y evaluacin de impacto por caso emblemtico, Tomar la decisin -a ms alto nivel- de llevarlo adelante, Conocer nuestros temas y nuestras realidades locales, Tener dominio conceptual, metodolgico y tcnico para el diseo y desarrollo de estudios aplicados, Definir liderazgos y responsabilidades en el equipo, Dedicar tiempo y recursos para su desarrollo y mantenimiento.

Siendo una propuesta, no sabremos de su viabilidad y utilidad si es que no ensayamos con estas consideraciones generales, las vamos perfeccionando en el camino y vamos comunicando y socializando sus fortalezas y debilidades. De tal manera de construir un mecanismo viable y sobretodo til, para poder dar cuenta de nuestras contribuciones en la sociedad y con los aportes del EED y nuestra propia prctica.

26

Bibliografa
BEBBINGTON, Anthony. El programa de co-financiamiento de Holanda y sus contribuciones al desarrollo rural en las zonas altas de Per y Bolivia. Septiembre del 2002. (Documento preparado para el Steering Committee for the Evaluation of Netherlands Co-financing Programs). CAVASSA, Augusto; HEREDIA, Jos Alfonso. Contribuciones e identificacin de impactos. Casos de la Asociacin Arariwa y CEDEP Ayllu de Cusco, Per. Informe Final. Lima: Escuela para el Desarrollo - Sistema de Facilitacin de EED Per, 2004. DAZ-ALBERTINI F, Javier. Estudio Apoyo Institucional Contrapartes EED Per. Informe. Lima: Sistema de Facilitacin EED Per, 2009. MELGAR PAZ, Walter; MACHACUAY ROMERO, Samuel. Los pasos perdidos de la planificacin. Cuadernos de Experiencias N 1. Lima: Escuela para el Desarrollo, 2005. PROPUESTA CIUDADANA. Crece a 20 el nmero de Gobiernos Regionales que difunden informacin de su gestin. Boletn de Vigilancia de los Portales de Transparencia 2009-III. Propuesta Ciudadana, Setiembre 2009. En http://www.propuestaciudadana.org.pe QUEDENA ZAMBRANO, Enrique; PREZ LEN, Frank. Anlisis de los sistemas de planificacin, monitoreo y evaluacin de las contrapartes peruanas del EED. Lima: EED - Sistema de Facilitacin EED Per, 2007. RODRIGUEZ SOSA, Jorge; ZEBALLOS, Molvina. Evaluacin de proyectos de desarrollo local. Enfoques, mtodos y procedimientos. Lima: DESCO, 2007. SCHUTTE, A.R.M. Estudio sobre Monitoreo y Evaluacin en el Programa de Cofinanciamiento realizado por IOB. Informe de Misin Per. La Haya: I.O.B., 2004. (Documento interno). SOBERN, Luis. Cooperacin externa, ONG y desarrollo. Avances e impactos en la lucha contra la pobreza en dos regiones del Per: Cusco y Cajamarca. Lima: Escuela para el Desarrollo, 1999. VIA, Vernica E.; OCAMPO COBOS, Ada. Conceptos Calves de Evaluacin y Seguimiento de Programas y Proyectos. Breve Gua. Lima: PREVAL - FIDA. (s/f)

27