Snip

Ministerio de Economa y Finanzas
Viceministerio de Economa y Finanzas
Direccin General de Poltica de Inversiones
Pautas Generales para la
Evaluacin Ex Post de Proyectos de Inversin Pblica
Pautas Generales para la Evaluacin Ex Post de Proyectos de Inversin Pblica
Ministerio de Economa y Finanzas Direccin General de Poltica de Inversiones DGPI Director General: Carlos Giesecke Sara-Lafosse Direccin de Normatividad, Metodologa y Capacitacin Unidad de Instrumentos Metodolgicos Agencia de Cooperacin Internacional del Japn - JICA Consultor: Hajime Sonoda Primera Publicacin: Marzo 2012 1,000 ejemplares HECHO EL DEPOSITO LEGAL EN LA BIBLIOTECA NACIONAL DEL PERU N 2012 - 02669
2012 AGENCIA DE COOPERACIN INTERNACIONAL DEL JAPN JICA y MINISTERIO DE ECONOMIA Y FINANZAS DEL PER MEF. La informacin contenida en esta gua puede ser reproducida total o parcialmente, siempre y cuando se mencione la fuente de origen y se enve un ejemplar a la Agencia de Cooperacin Internacional del Japn - JICA y al Ministerio de Economa y Finanzas del Per - MEF.
Contenido
Presentacin 7
1.
MARCO CONCEPTUAL
1.1. 1.2. Qu es la Evaluacin Ex Post? Cules son los Criterios que se aplican en la Evaluacin Ex Post? 1.3. 1.4. Cules son los Momentos de Evaluacin Ex Post de un PIP? Relaciones entre los Criterios y los Momentos de la Evaluacin Ex Post 1.5. Perspectiva General de la Evaluacin Ex Post
11 13
14 25
29 32
2. METODOLOGA Y HERRAMIENTAS PARA LA EVALUACIN EX POST

2.1 2.2. 2.3. Los Pasos a seguir en la Evaluacin Ex Post Marco Lgico Mtodos
35 37 42 52
Sistema Nacional de Inversin Pblica
3. PAUTAS PARA LA EVALUACIN DE CULMINACIN

3.1. 3.2. aspectos Generales Pasos en la Evaluacin de Culminacin
59 61 65
4. PAUTAS PARA EL SEGUIMIENTO EX POST

4.1. 4.2. aspectos Generales Preparacin del Informe de seguimiento Ex Post
81 83 85
5. PAUTAS PARA LA EVALUACIN DE RESULTADOS

5.1. 5.2. 5.3. 5.4. aspectos Generales Pasos en la Evaluacin de Resultados actividades Preparatorias para la Evaluacin de Resultados Preparacin del Informe de Evaluacin de Resultados 5.4.1. 5.4.2. 5.4.3. 5.4.4. 5.4.5. 5.4.6. 5.4.7. 5.4.8. 5.4.9. Orientaciones Generales aspectos Generales Evaluacin de Pertinencia Evaluacin de Eficiencia Evaluacin de Eficacia Evaluacin de Impactos Directos Evaluacin de sostenibilidad Conclusiones, Recomendaciones y Lecciones aprendidas Informacin y anexos
89 91 95 99 107 107 111 118 122 128 134 140 147 149
Anexos
anexo 1. Contenidos Mnimos para la Evaluacin de Culminacin anexo 2. Contenidos Mnimos para el seguimiento Ex Post anexo 3. Contenidos Mnimos para la Evaluacin de Resultados Anexo 4. Formato Simplificado de la Evaluacin de Culminacin anexo 5. Modelo de Trminos de Referencia anexo 6. Indicadores Tpicos de sectores Principales 153 159 163 173 181 191
Presentacin
l Sistema Nacional de Inversin Pblica - SNIP, tiene como finalidad contribuir a la ampliacin y mejora de la provisin de servicios pblicos para la poblacin, a travs de la optimizacin del uso de los recursos pblicos destinados a la inversin; para lo cual, establece principios, procesos, metodologas y normas tcnicas relacionadas con las diversas fases de los
proyectos de inversin (preinversin, inversin y postinversin). Le corresponde al Ministerio de Economa y Finanzas, a travs de la Direccin General de Poltica de Inversiones DGPI, liderar el Sistema. Desde el inicio de la operacin del Sistema, fines del ao 2000, a diciembre de 2011 se han declarado viables alrededor de 140 mil Proyectos de Inversin Pblica (PIP) con un monto de inversin aproximado a 198 mil millones de Nuevos Soles; parte importante de dichos proyectos est en la fase de post inversin, esperndose que estn prestando a los usuarios los servicios previstos durante la preinversin.
A efectos de verificar que la poblacin beneficiaria de dichos proyectos est recibiendo los servicios en la cantidad y con la calidad prevista, as como obtener lecciones aprendidas sobre los procesos que se ha seguido en cada fase del ciclo de stos, se requiere evaluar la situacin en la que se encuentra cada uno y contrastarla con las previsiones que se realizaron en los estudios de preinversin. Debemos sealar que dicha evaluacin se efecta al proyecto para conocer si fue adecuadamente planteado, ejecutado y est generando resultados, diferencindose as de una accin de control, fiscalizacin o de una evaluacin del desempeo institucional. Luego de haber realizado esfuerzos para desarrollar instrumentos metodolgicos y herramientas para las fases de preinversin e inversin, la Direccin General de Poltica de Inversiones ha llevado a cabo, con el apoyo del JICA y la participacin de los operadores del SNIP, acciones orientadas a la elaboracin de metodologas y herramientas para la evaluacin ex post. Como resultado de dichas acciones se dispone de instrumentos metodolgicos de carcter general y sectorial; las Pautas Generales que se presentan a continuacin tienen como propsito proporcionar orientaciones para efectuar la evaluacin ex post de los proyectos de inversin pblica de cualquier sector o tipologa. Las Pautas Sectoriales toman en cuenta las caractersticas particulares y especificidades de cada uno; hemos avanzado ahora con los sectores Energa, Salud, Saneamiento y Transportes. Se ha consensuado que la evaluacin ex-post tiene 4 momentos: la evaluacin de culminacin, el seguimiento ex post, la evaluacin de resultados y el estudio de impactos. Las pautas generales contienen el marco conceptual de la evaluacin ex post, as como las orientaciones para los tres primeros
momentos; la evaluacin de impactos es un tema que se desarrollar posteriormente. Esperamos que la aplicacin de estas pautas a los proyectos que estn terminando o en operacin, permita conocer si la poblacin est recibiendo los servicios y est satisfecha con stos, as como los problemas que se deben resolver para lograr que a futuro los proyectos se planteen adecuadamente, sean ejecutados con eficiencia y la poblacin se beneficie de manera sostenida con servicios de calidad. Invitamos a quienes consulten o apliquen los instrumentos de evaluacin ex post, a colaborar en el proceso continuo de mejoras del SNIP, a travs de sus opiniones, sugerencias y propuestas de metodologas para la aplicacin en otros sectores o tipologas de PIP. Finalmente, quiero destacar que el desarrollo de estas pautas se hizo posible con el invaluable apoyo de la Agencia de Cooperacin Internacional del Japn-JICA, a quienes expresamos nuestro agradecimiento.
Carlos Giesecke Sara-Laffose Director General de Poltica de Inversiones Ministerio de Economa y Finanzas
10
1 Marco Conceptual
11
1. Marco Conceptual
1.1. Qu es la Evaluacin Ex Post?1

Una evaluacin en general, es la recoleccin y anlisis sistemtico de evidencias con el propsito de mejorar el entendimiento del objetivo evaluado, as como tener la capacidad de emitir opiniones respecto al mismo. En el contexto del sistema Nacional de Inversin Pblica (sNIP), la evaluacin ex post se define como una evaluacin objetiva y sistemtica sobre un proyecto cuya fase de inversin ha concluido o est en la fase de post inversin. El objetivo es determinar la pertinencia, eficiencia, efectividad, impacto y la sostenibilidad a la luz de los objetivos especficos que se plantearon en la preinversin. Una evaluacin ex post debe proveer informacin til y verosmil. Es una herramienta de aprendizaje y de gerencia para mejorar los procesos de anlisis, planificacin y ejecucin de proyectos, as como la toma de decisiones. La evaluacin ex post tiene dos objetivos principales: i) Retroalimentacin a travs de las lecciones y recomendaciones para mejorar la administracin y desempeo de la inversin pblica, para el mismo proyecto evaluado, proyectos similares y polticas del sector.
1 Esta seccin es elaborada basndose en documentos preparados por organismos internacionales, agencias donantes entre otros, Principles for Evaluation of Development assistance(Development assistance Committee/ OECD, 1991), a UNICEF Guide for Monitoring and Evaluation (UNICEF), Lineamientos de la JICa para la Evaluacin de Proyectos Mtodos Prcticos para la Evaluacin de Proyectos (JICa, 2004)
13
Marco Conceptual Marco Conceptual
ii)
Transparencia del proceso y los resultados de la inversin pblica.
a travs de la evaluacin de los xitos y fracasos, se genera valiosa informacin la cual puede retroalimentar y ayudar a mejorar la inversin pblica. En tanto se disponga del mayor nmero de experiencias documentadas posibles, se contribuir a optimizar el uso de recursos de inversin pblica. La nocin de transparencia de la evaluacin ex post contribuye a que la poblacin y los beneficiarios en particular, tengan un conocimiento claro sobre los procesos, los resultados y el impacto de la inversin pblica. La informacin acerca de los resultados e impactos de la inversin pblica debe de ser preparada para el pblico y las autoridades. Es importante sealar que la evaluacin ex post no es sinnima de control o fiscalizacin; se trata de analizar los resultados de los PIP y obtener lecciones aprendidas para mejorar la calidad de la inversin pblica, as como proveer de informacin a las autoridades y poblacin.
1.2. Cules son los Criterios que se Aplican en la Evaluacin Ex Post?

1.2.1. Los Cinco Criterios
Se adoptan los cinco criterios de evaluacin para realizar una evaluacin ex post de PIP, que originalmente se propuso en 1991 por el Comit de asistencia para el Desarrollo (DAC) en la Organizacin para la Cooperacin Econmica y el Desarrollo (OECD), para evaluar el valor que tiene llevar a cabo un proyecto para desarrollo, desde un punto de vista amplio y en una forma integral. Los criterios han sido adaptados para su aplicacin en el sNIP.
14
Tabla 1.1 Los Cinco Criterios de Evaluacin

Pertinencia Medida en que los objetivos de un PIP son coherentes con las necesidades de los beneficiarios, los contextos regional y local, y las polticas del pas.
Eficiencia
Medida en que los recursos / insumos (fondos, tiempo, etc.) se han convertido econmicamente en productos (output) del proyecto. se asocia con los componentes de un PIP.
Eficacia
Medida en que se lograron o se espera lograr los objetivos del PIP. se asocia al propsito del PIP y los fines directos.
Impacto
Cambios de largo plazo, positivos y negativos, primarios y secundarios, producidos directa o indirectamente por un PIP. Se asocia con los fines de un PIP. Continuidad en la generacin de los beneficios de un PIP a lo largo de su perodo de vida til. se asocia con el mantenimiento de las capacidades para proveer los servicios y el uso de stos por parte de los beneficiarios.
Sostenibilidad
1.2.2. Relacin de los Criterios con el Modelo Lgico de un PIP

En el siguiente grfico se muestra la relacin entre el modelo lgico del proyecto (rbol de medios-fines y objetivos del marco lgico) y los cinco criterios de evaluacin. De los cinco criterios, cuatro de ellos estn relacionados con el modelo lgico, el criterio de pertinencia no se relaciona directamente con el modelo lgico y por tal razn se considera de manera separada en el grfico.
15
Grfico 1.1: Criterios de Evaluacin Ex Post y Modelo Lgico de un PIP
Previsto Positivo Negativo
No previsto
Modelo Lgico del Proyecto
Impacto
Impactos
Fin ltimo Fines indirectos Fines directos
Eficacia
Efecto Directo Operacin/Utilizacin Productos

Sostenibilidad
Objetivo centralproposito
ComponentesMedios Fundamentales
Eficiencia
Ejecucin Insumos
accciones Tiempo, recursos humanos, fondos, etc.
Pertinencia
Lineamientos de la poltica sectorial-funcional y contexto (nacional, regional, local). Necesidades y prioridades de la poblacin y su nivel de satisfaccin con el proyecto. Consistencia entre las acciones, componentes y resultados previstos. Identificacin y preparacin para los riesgos importantes (factores externos).
16
Como se podr apreciar en el grfico se requiere de insumos que mediante la ejecucin de las acciones se transformarn en los productos previstos en cada uno de los componentes o medios fundamentales del proyecto; por ejemplo, aulas, consultorios equipados, conexiones de agua. El criterio de eficiencia evaluar si se lograron los productos con igual calidad, con la misma o menor cantidad de recursos programados y en un tiempo igual o menor al previsto. Los productos deben ser operados para proporcionar los bienes o servicios para los usuarios y stos debern ser utilizados a efectos de poder atribuir los beneficios al proyecto, es decir lograr el objetivo central o propsito. El criterio de eficacia evaluar si se alcanz el objetivo central, por ejemplo acceso a matrculas, atenciones de salud, agua potable y si la rentabilidad social esperada se cumple. a partir del logro del objetivo central o propsito se generar una cadena de cambios, que en el modelo lgico se conoce como fines del proyecto, por ejemplo incremento en el nivel de aprendizaje, la disminucin de tasas de morbilidad. El criterio de impactos evaluar los impactos generados por el PIP. Un proyecto es considerado como pertinente cuando ha sido planificado de acuerdo con la poltica sectorial-funcional, el contexto regional y local, y respondiendo a las necesidades importantes de los beneficiarios. El anlisis de la relacin entre el modelo lgico de un PIP y los criterios de la evaluacin ex post, demanda tener claridad en los conceptos y trminos que se usan. En este sentido, se presenta la siguiente tabla de correspondencias en los trminos utilizados en el SNIP y en estas pautas.
17
Tabla 1.2 Correspondencia de Conceptos y Trminos

rbol de Medios-fines Fines Fin ltimo Fin Indirecto Fin Directo Marco Lgico Otros Trminos Usados en las Pautas Impactos Previsto / No previsto Positivo / Negativo Directo / Indirecto Efectos Objetivo Central Propsito Beneficio Directo Efecto Directo Intencional Resultados
Fin
Medio Fundamental
Componente
Productos
Efecto es el cambio intencional o no intencional generado directa o indirectamente por el proyecto.
Impacto se refiere a los efectos a largo plazo que son generados por el proyecto; los efectos pueden ser positivos y negativos, intencionales y no intencionales, previstos y no previstos. Tambin se puede incluir efectos a mediano plazo.
fin es parte del impacto, pero limitado a lo intencional y positivo. Objetivo Central en el rbol de medios-fines es igual al Propsito en el marco lgico, que es tambin el Beneficio Directo o el Efecto Directo intencional
18
del proyecto. Es el resultado del proyecto logrado por la utilizacin de los servicios y bienes producidos por el proyecto. El Medio fundamental en el rbol de medios-fines es igual al Componente en el marco lgico. El resultado de los componentes son los productos2 a travs de los cuales se crear, ampliar, mejorar o recuperar la capacidad para la produccin de bienes o prestacin de servicios en la fase de post inversin, en ingles se conoce como output. Resultados incluyen los logros a nivel de productos (componentes), Efectos e Impactos del proyecto.
1.2.3. Las Preguntas de Evaluacin por Criterios

En cada criterio se considera una serie de preguntas, denominadas Preguntas de Evaluacin, las cuales son de bastante utilidad para el diseo de un estudio de evaluacin.
Por ejemplo, ambientes pedaggicos, consultorios equipados, conexiones domiciliarias de agua potable, obras de arte en una carretera.
19
a) Pertinencia La evaluacin de la pertinencia responder a las siguientes preguntas:
Preguntas de Evaluacin: Pertinencia

Relevancia Dentro de las Polticas y Prioridades del Sector al momento de su aprobacin, el objetivo central fue vlido dentro del marco de las polticas y prioridades del sector? Es el objetivo central an vlido, en el contexto actual, tanto a nivel nacional, local, regional, as como en el marco de las polticas y prioridades del sector? se dieron cambios de polticas y prioridades, desde la declaracin de viabilidad del proyecto? Satisfaccin de las Necesidades y Prioridades de los beneficiarios Los bienes y servicios intervenidos con el proyecto, han sido demandados tal y como fue proyectado? De ser as Qu factores han contribuido? De no ser as, Cules son las causas que explican las diferencias encontradas? Estn los beneficiarios directos satisfechos con los bienes y servicios que se intervinieron con el proyecto? Porque estn satisfechos o insatisfechos? El proyecto consider las necesidades importantes de los beneficiarios? Validez de la Estrategia del Proyecto Fue la estrategia inicial del proyecto (alternativa seleccionada, combinacin de componentes etc.) la ms adecuada para el contexto de ese momento y el actual? Fue posible aplicar otra estrategia? son las acciones y productos consistentes con el objetivo central del proyecto as como con los fines inicialmente diseados? Gestin de los Riesgos Importantes Se identificaron los riesgos importantes, tanto en la fase de ejecucin como en la post inversin y stos se consideraron en el plan de implementacin del PIP y en la gestin de los bienes y servicios intervenidos con ste?
20
b) Eficiencia La evaluacin de la eficiencia responder a las siguientes preguntas:
Preguntas de Evaluacin: Eficiencia

Logro de los Productos del Proyecto Previstos y Reales Los productos previstos en los componentes se ejecutaron en trminos de la misma cantidad y calidad? En caso de ser positiva la respuesta Qu factores contribuyeron? En caso de ser negativa la respuesta Cules fueron las causas? Eficiencia en Cuanto al Periodo y Costo del Proyecto El PIP se ejecut en los plazos previstos en la preinversin y en el expediente tcnico (si hubo modificaciones)? En caso de ser positiva la respuesta Qu factores contribuyeron? si existieron retrasos, Cules fueron las causas?, Qu fue lo que realiz la UE para hacer frente a los mismos y evitar posteriores retrasos? El PIP se ejecut con el presupuesto previsto en la preinversin y en el expediente tcnico (si hubo modificaciones)? En caso de ser positiva la respuesta Qu factores contribuyeron? si los costos fueron mayores, Cules fueron las causas?, Qu fue lo que realiz la UE para hacer frente a los mismos y evitar posteriores incrementos? Existi alguna estrategia de ejecucin ms eficiente? Eficiencia Global Cul ha sido el grado de la eficiencia en trminos generales en la ejecucin del proyecto considerando el nivel de ejecucin de componentes y la eficiencia en cuanto al periodo y costo del proyecto? Problemas de Ejecucin Cules han sido los principales factores que influyeron en la eficiencia? Cules fueron las principales dificultades y limitaciones de la Unidad Ejecutora en relacin a la ejecucin del proyecto?
21
c) Eficacia La evaluacin de la eficacia responder a las siguientes preguntas:
Preguntas de Evaluacin: Eficacia

Operacin y Utilizacin de los Productos Generados en la fase de Inversin Los productos3 generados por el proyecto, son operados y utilizados tal y como fueron concebidos? Cul es el nivel de operacin y utilizacin? Si los niveles de operacin y utilizacin son los previstos Cules son los factores que han contribuido o contribuyen? Si los niveles de operacin y utilizacin de los productos son menores de lo que se tena previsto Cules son las razones? Fue posible realizar acciones para mejorar dichos niveles? a futuro cmo se pueden mejorar estos niveles? Con los productos generados en la fase de inversin se producen los bienes y/o servicios intervenidos con el proyecto en la cantidad y calidad prevista? si no fuese as Cules son las causas? cmo se podra mejorar? Logro del Objetivo Central del Proyecto Fue alcanzado, o se alcanzara, el objetivo central del proyecto (en trminos de metas)? Cul es el nivel de logro del objetivo central? Si el objetivo fue alcanzado Cules son los factores que han contribuido o contribuyen? Si el logro del objetivo no es el previsto Cules son las razones por las cuales el objetivo del proyecto no se ha cumplido an o el nivel es menor al que se tena previsto? Fue posible realizar acciones para lograr el objetivo del proyecto? Cmo se puede mejorar a futuro? Eficacia Global Cul ha sido el grado de la eficacia en trminos generales del proyecto, considerando el grado de operacin y utilizacin de los productos (componentes) para la produccin de los bienes y servicios en la post inversin, logro del objetivo central (beneficios directos) y la rentabilidad social del proyecto? Cules han sido los factores que ms influenciaron en la eficacia del proyecto? Cmo se puede mejorar la eficacia del proyecto?
Continua
3 aulas, consultorios, sistema de agua potable, etc.
22
Continuacin
Rentabilidad Social Considerando informacin de beneficios y costos reales Cul es la rentabilidad social del proyecto? Cmo han variado los resultados respecto a los indicadores previstos de costo/ beneficio o costo/efectividad cuando se declar viable o se verific la viabilidad (de ser el caso)? Cules son las razones por las cuales la rentabilidad social real sea igual, mayor o menor a la proyectada originalmente? De ser el caso, Cul es el Costo social de la demora en la ejecucin y puesta en marcha del proyecto?
d) Impacto La evaluacin de los impactos solo considerar los impactos directos y responder a las preguntas siguientes:
Preguntas de Evaluacin: Impacto

Impactos Previstos Hasta qu punto los impactos previstos (los fines directos o cambios favorables y previstos) fueron alcanzados? Cmo y hasta qu punto el proyecto contribuy con estos cambios? Hasta qu punto podemos atribuir estos cambios al proyecto? Qu ser necesario para poder maximizar los impactos previstos? Impactos Negativos e Impactos No Previstos Qu impactos negativos gener o genera el proyecto? El proyecto ha tomado algn tipo de medida con el fin de minimizar los impactos negativos? Qu es necesario para minimizar los efectos negativos? Existe algn impacto positivo no-previsto? Qu tendra que hacerse para maximizar estos efectos positivos?
23
e) Sostenibilidad La evaluacin de la sostenibilidad responder a las preguntas siguientes:
Preguntas de Evaluacin: Sostenibilidad

Operacin y Mantenimiento En la actualidad Cules son las condiciones fsicas y funcionales de la infraestructura, equipos e instalaciones (productos asociados con los componentes) que se ejecutaron con el proyecto? Estn operativas? si no lo estuviesen, Cul es el motivo? En cuanto al mantenimiento, Qu tipo de estrategia es la que se maneja? Mantenimiento preventivo y/o mantenimiento correctivo? se cuenta con un plan de mantenimiento bien definido? Se han realizado las acciones de mantenimiento previstas? Si no se estuviese realizado el mantenimiento Cules son las causas? Cmo se puede mejorar? se producen los bienes y/o servicios intervenidos con el proyecto en la cantidad y calidad prevista? si no fuese as cules son las causas? cmo se podra mejorar? Cules son las principales dificultades y limitaciones en cuanto a la operacin y mantenimiento? Capacidad Tcnica y Gerencial del Operador Se realizaron los arreglos institucionales para la operacin y mantenimiento? Funcionan correctamente? Las entidades responsables y usuarios (de ser el caso) tienen la suficiente capacidad tcnica y administrativa para cumplir con la operacin y el mantenimiento? Recibi el operador capacitacin en cuanto a la operacin y mantenimiento? Fue suficiente? El operador cuenta con un programa de capacitacin propio?
Continua
24
Continuacin
Sostenibilidad financiera Cul es el presupuesto planeado y el asignado para la operacin y mantenimiento? Cmo estn financiados los costos de operacin y mantenimiento? Hasta qu punto los ingresos generados mediante la operacin del proyecto cubren los gastos operativos, el mantenimiento y de reinversin en el proyecto? Cules son las probabilidades de que el costo de operacin y mantenimiento sea cubierto durante la vida til del proyecto? Riesgos Existen riesgos de desastres o de conflictos sociales para el proyecto? Se adoptaron medidas para reducirlos, si es as cules? Cmo est preparado para asimilar o recuperar de los desastres o conflictos? Sostenibilidad Global Cul es el grado de sostenibilidad global del proyecto? Cules han sido los factores que ms influenciaron la sostenibilidad del proyecto? Cmo es que la sostenibilidad del proyecto puede ser mejorada?
1.3. Cules son los Momentos de Evaluacin Ex Post de un PIP?

El ciclo de un proyecto en el sNIP est compuesto por 3 fases, preinversin, inversin y post inversin. Es en la fase de post inversin en donde se realizar la evaluacin ex post considerando 4 momentos, evaluacin de culminacin, seguimiento ex post, evaluacin de resultados y estudio de impacto, tal como se puede apreciar en el siguiente grfico.
25
Grfico 1.2: El Ciclo de un PIP y el Proceso de Evaluacin
Evaluacin Ex Ante
Seguimiento y Evaluacin
Evaluacin Ex Post
Preinversin
Inversin
Postinversin Evaluacin de Culminacin Seguimiento Ex Post Evaluacin de Resultados
Estudio de Impactos
1.3.1. Evaluacin de Culminacin

Ser realizada al finalizar la fase de inversin en trminos fsicos, independientemente si se cuenta con la liquidacin de obras o el informe de cierre del PIP, mientras la documentacin est disponible, la memoria de las experiencias est fresca y sea fcil ubicar a los involucrados. La evaluacin de culminacin tiene como propsitos:
26
I.
El reflejo inmediato del proceso de ejecucin del PIP para medir la eficiencia de la misma, en trminos de tiempos, costos y metas, y obtener lecciones y recomendaciones relacionadas con el planeamiento y ejecucin de proyectos.
II.
Analizar las perspectivas de la sostenibilidad del proyecto, en trminos de la disponibilidad de los factores necesarios para la operacin y mantenimiento adecuado, que posibiliten la entrega oportuna del bien o servicio determinado, concluyendo con las recomendaciones pertinentes incluida la relacionada a la necesidad del seguimiento ex post.
Es una auto-evaluacin a cargo de la UE mediante un proceso participativo de todos los involucrados con el PIP, tanto en la fase de preinversin como en la de inversin. Esta evaluacin es obligatoria para todos los PIP. Dependiendo del monto de inversin, se aplicarn distintos contenidos para la evaluacin.
1.3.2. Seguimiento Ex Post

Cuando en la evaluacin de culminacin se concluye la necesidad de realizar acciones para asegurar la operacin y el mantenimiento adecuado de los proyectos, la UE conducir, en colaboracin con la entidad responsable de la operacin y mantenimiento, un proceso de seguimiento para asegurar la implementacin de las recomendaciones de la evaluacin de culminacin. En caso de identificarse problemas se recomendar o realizar las acciones necesarias. El seguimiento ex post es particularmente importante para los proyectos que sern transferidos a los operadores, como gobierno local, comunidades, y para los proyectos parcialmente operados y mantenidos por los usuarios. Este seguimiento, se realizar entre uno y dos aos despus de la terminacin de la ejecucin del proyecto, siendo til que sea al menos un ao despus del inicio de la operacin.
27
1.3.3. Evaluacin de Resultados

Es una evaluacin integral de un proyecto donde se utilizan los cinco criterios; pertinencia, eficiencia, eficacia, impacto y sostenibilidad y tiene como objetivo servir a los dos propsitos principales de la evaluacin ex post del PIP; Retroalimentacin a travs de las lecciones y recomendaciones para mejorar la administracin y desempeo de la inversin pblica. Transparencia del proceso y los resultados de la inversin pblica.
En la evaluacin de resultados el criterio de impactos solo se aplicar sobre los impactos directos, de manera parcial y dependiendo de la disponibilidad de datos, presupuesto y tiempo. La evaluacin de resultados es realizada por la Unidad Formuladora a travs de un Evaluador Externo Independiente (EEI) mediante la modalidad de contrato (consultora), dentro del periodo de 3 a 5 aos despus de iniciada la operacin el proyecto (provisin de bienes y servicios a los beneficiarios). Dependiendo de la tipologa de PIP se establecen lneas de corte en funcin al monto de inversin para definir si es de carcter obligatoria o por muestreo.
1.3.4. Estudio de Impacto

Es un estudio centrado en algunos temas que proporcionan informacin para la mejora de las estrategias y polticas para el desarrollo socioeconmico. se aplica a proyectos con especial importancia, en los que se esperan efectos de sinergia a mediano y largo plazo. En este estudio se mide el impacto indirecto y final de un PIP o un grupo de PIP relacionados con una determinada poltica para analizar la contribucin a los cambios generados. Posteriormente, se elaborar una gua para la aplicacin de este tipo de estudios.
28
1.4. Relaciones entre los Criterios y los Momentos de la Evaluacin Ex Post

Conforme avanza el tiempo, los resultados del proyecto en sus diferentes fases van evolucionando de acuerdo al modelo lgico. Los cuatro diferentes momentos de evaluacin ex post en el sNIP sern llevados a cabo de acuerdo con la evolucin de los resultados del proyecto, aplicando selectivamente los diferentes criterios de evaluacin. El cuadro anterior ilustra la relacin entre los cinco criterios de evaluacin y los cuatro momentos de la evaluacin ex post.
Tabla 1.3 Los Momentos de la Evaluacin Ex Post y los Criterios Aplicados

Criterios Evaluacin de Culminacin Seguimiento Ex Post Evaluacin de Resultados x Estudio de Impactos
Pertinencia
Eficiencia
Eficacia
x (x) Impactos Directos (x) Evaluacin Actualizada (x) Operacin y Mantenimiento x
Impacto
sostenibilidad
29
En la Evaluacin de Culminacin se aplicar el criterio de eficiencia, preguntndonos que tan eficiente fue la conversin de los insumos en productos (componentes). Tambin se revisa las condiciones necesarias para la sostenibilidad del proyecto a efectos de identificar la necesidad o no de un seguimiento al cumplimiento de stas. El Seguimiento Ex Post se enfocar en la operacin y mantenimiento, los cuales son cruciales para la sostenibilidad. En la Evaluacin de Resultados se aplican los cinco criterios, dentro de los cuales la evaluacin del impacto estar limitada a los efectos directos en el corto y mediano plazo, dependiendo de la disponibilidad de datos y recursos para el estudio. En cuanto a la eficiencia, los resultados de la evaluacin de culminacin sern utilizados si es que en el proyecto se realiz esta evaluacin. En el Estudio de Impacto se aplican los criterios de eficacia, impacto y sostenibilidad; se enfocar principalmente en los efectos indirectos (impacto), estableciendo las relacionales causales atribuibles al proyecto.
30
31
1.5. Perspectiva General de la Evaluacin Ex Post

A manera de resumen se presenta el siguiente grfico:
Grfico 1.3: Perspectiva General de la Evaluacin Ex Post en el SNIP
Impactos Impactos Indirectos Impactos Directos Propsito (Objetivo Central)

Operacin y Mantenimiento, Utilizacin
Estudio de Impacto
Seguimiento Ex Post
Componentes
Ejecucin
Evaluacin de Resultados
Insumos
Evaluacin de Culminacin
Seguimiento Ex Post
Evaluacin de Resultados Evaluacin
Estudio de Impacto anlisis de impactos directos e indirectos del PIP o conjunto de PIP y de la sostenibilidad de la intervencin Depende de las caractersticas de PIP (mediano a largo plazo)
Reflejo inmediato de Descripcin la ejecucin del PIP y anlisis actualizado de sostenibilidad
seguimiento de cumplimientos de condiciones que aseguren la operacin y mantenimiento
integral de los resultados a nivel de componentes, objetivo central e Impactos Directos
Tiempo
a la culminacin
1-2 aos despus de la culminacin
3-5 aos despus de iniciada la operacin
Continua
32
Continuacin
Evaluacin de Culminacin Todos (Dependiendo mbito de Aplicacin del monto de inversin se aplicarn contenidos ad hoc) Seguimiento Ex Post seleccionados segn la recomendacin por la Evaluacin de Culminacin Evaluacin de Resultados Dependiendo de la lnea de corte por tipo de PIP se aplicar a todos o a una muestra. UF a travs de Evaluador Competencia UE OPI Externo Independiente (EEI) UF-OPI (de ser el caso el rgano que Principales Involucrados haya declarado la viabilidad -Operador del servicio, contratistas o proveedores UE - Operador del servicio Entidades u Organizaciones con compromisos para la operacin y mantenimiento OPI que declar la viabilidad (u otro rgano de ser el caso) UE Operador del servicio Operador del servicio OPI a travs de Evaluador Externo Independiente (EEI) seleccionados (un PIP o un grupo de PIP) Estudio de Impacto
Pertinencia, Criterios Eficiencia y sostenibilidad Eficiencia, sostenibilidad Eficacia, Impactos y sostenibilidad Impactos y sostenibilidad
33
34
Metodologa y herramientas para la Evaluacin Ex Post
35
2.1. Los Pasos a Seguir en la Evaluacin Ex Post

La evaluacin es el acto de emitir un juicio de valor apoyado por evidencias, por lo tanto, no es satisfactorio nicamente llegar a la conclusin que se alcanzaron los objetivos o calificar un proyecto de acuerdo con algunos criterios al final de los estudios de evaluacin. Para satisfacer dichos objetivos, la evaluacin ex post de un proyecto tendr los siguientes pasos:
Grfico 2.1: Los Pasos para la Evaluacin Ex Post

Medicin de los resultados y efectos de un proyecto. Examen del proceso, factores que influyen y relaciones causales. Emisin de un juicio de valor sobre el proyecto Recomendaciones, Lecciones Aprendidas
El nivel de logro de los insumos, las actividades, los componentes, el objetivo central, los finesdirectos e indirectos.
Preinversin, Inversin
Pertinencia
acciones concretas a alguien
Eficiencia Utilizacin de los productos y logro del objetivo central e impactos esperados Enseanzas generalizables y aplicables
Eficacia
Impacto Las relaciones causales entre el proyecto y sus efectos
sostenibilidad
37
Metodologa y Herramientas
2. Metodologa y Herramientas para la Evaluacin Ex Post
2.1.1. Medicin de los Resultados de un Proyecto

La medicin de los resultados tiene por objeto comprender lo que ha logrado el proyecto respecto a lo previsto en el estudio de preinversin con el que se declar viable. Es decir, el nivel de logro de los productos (asociados a los componentes), el objetivo central y los fines directos e indirectos se miden al momento de la evaluacin y se comparan con lo que se ha previsto (comparacin entre lo planificado y los resultados real). Esta comparacin se har de manera cuantitativa hasta donde sea posible. En cuanto a los efectos o impactos del proyecto, hay casos en los que no se cuenta con una base slida para poder comparar, debido a la falta de metas concretas o datos de la lnea base. En casos como stos y sin restringirse a stos, otro tipo de comparacin puede ser til para determinar los efectos del proyecto. Por ejemplo la comparacin de la situacin de los beneficiarios o de la regin que recibi la influencia del proyecto antes y despus del mismo (comparacin antes y despus del proyecto). Diferentes tipos de comparacin usados en evaluacin ex post se explican en seccin 2.3.1
2.1.2. Examen del Proceso, los Factores que Influyen y las Relaciones Causales
a pesar de que el grado de xito de un proyecto puede ser medido mediante la evaluacin de resultados obtenida a partir de estas comparaciones, no es suficiente para examinar el proyecto en relacin al contexto en el que fue planificado y realizado, ni para poder indagar los factores que promovieron o impidieron el logro de los resultados esperados. Un conocimiento detallado del proyecto es esencial si es que desean obtener lecciones y recomendaciones para poder ser usadas como retroalimentacin para el mismo proyecto y otros proyectos similares en marcha y en el futuro. Es por este motivo que el examen de los procesos de implementacin, operacin y mantenimiento, as como las relaciones causales entre el proyecto, los efectos directos e indirectos y los factores internos / externos son necesarios.
38
Comprende la descripcin de los antecedentes que dieron origen al proyecto y su paso por la fase de preinversin. se debe tener presente que la calidad de los estudios de preinversin afectan los resultados del proyecto, ya sea porque no se alcanzan los resultados esperados o porque se postergan los beneficios del mismo. La calidad de los estudios, tiene relacin directa con la calidad de la informacin, una buena identificacin de alternativas, un buen estudio de mercado y la gestin de los riesgos inherentes al proyecto. b. El proceso de ejecucin del proyecto En el examen del proceso de ejecucin, se analizar si durante la fase de inversin las actividades se realizaron como se planearon originalmente y lo que fue el proceso de la ejecucin del proyecto, destacando los factores que contribuyeron o dificultaron el proceso. Con frecuencia, la informacin sobre el proceso de ejecucin se convierte en evidencia de apoyo para la evaluacin de la eficiencia; en el SNIP el seguimiento y evaluacin de la fase de inversin ser una de las fuentes bsicas de informacin para la aplicacin de dicho criterio. En algunos casos, la participacin de los beneficiarios desempea un papel importante, no slo en la ejecucin si no tambin en la operacin y mantenimiento y puede afectar la eficacia y sostenibilidad de tales proyectos; as mismo, es posible que se hayan establecido arreglos institucionales con la entidad u organizacin que se encargar de la post inversin o financiar parte o el total de los costos. Por lo tanto, en este examen del proceso de ejecucin es til tambin para la actualizacin del anlisis de los factores que puedan dificultar el xito del proyecto o generar posibles riesgos para una adecuada operacin y mantenimiento.
39
a. Proceso de preparacin del proyecto:
c. El nivel de operacin, utilizacin y los factores influyentes Un proyecto slo puede otorgar el beneficio esperado y lograr su objetivo central, cuando es operado, es decir que se produce los bienes o servicios que se intervinieron con el PIP, y utilizado, es decir los bienes o servicios que se producen son utilizados por los beneficiarios, tal como fue originalmente previsto. Es importante saber hasta qu punto el proyecto se encuentra operativo (o est disponible), quin utiliza los bienes y servicios, hasta qu punto y con qu fines. Este tipo de informacin es sumamente importante, con el propsito de establecer una relacin clara entre el proyecto y los cambios observados en la poblacin objetivo para el cual se dise el mismo. si los productos (asociados a los componentes) de un proyecto estn siendo operados o utilizados en menor o mayor medida de lo esperado, en la evaluacin ex post se debera investigar exhaustivamente sobre este hecho, las razones que lo suscitaron y cmo se podra mejorar. Si los bienes o servicios estn siendo producidos o utilizados en menor o mayor medida de lo que fue previsto, se debe averiguar las causas de esta situacin, las mismas pueden ser encontradas en el planeamiento, la coordinacin interna o externa, condiciones externas, recursos para la operacin y mantenimiento, sobreestimacin o subestimacin de la demanda, no finalizacin de la inversin relacionada, etc. d. Las relaciones causales entre el proyecto y los impactos directos / indirectos El examen de las relaciones causales tiene el propsito de investigar cmo y hasta qu punto el proyecto contribuy al logro de los fines directos / indirectos del mismo. Un proyecto es simplemente una intervencin entre muchas y, por lo tanto, siempre hay influencias provocadas por otros factores (intervenciones). Por lo tanto, el evaluador tiene que aislar los efectos del proyecto examinando las causas de las relaciones entre los
40
asociados a stos. Para poder medir los efectos aislados de un proyecto, idealmente, se adoptar una comparacin entre un grupo objetivo (con el proyecto) con un grupo de control (sin el proyecto; con las mismas condiciones que el grupo objetivo salvo la intervencin del proyecto) y observar los cambios antes y despus del proyecto. sin embargo en la realidad no es fcil obtener un buen grupo de control para una evaluacin ex post y poder medir cuantitativamente los efectos de un proyecto. Por lo que el hecho de complementar la informacin haciendo uso de comparaciones basadas en antes y despus del proyecto as como mtodos cualitativos como entrevistas y talleres, para examinar al detalle y poder describir los efectos del proyecto, se convierten en prcticas usuales. Diferentes tipos de comparacin usados en evaluacin ex post se explican en la seccin 2.3.1
2.1.3. Aplicacin de los Criterios de Evaluacin

Utilizar los cinco criterios para evaluar un proyecto, permite observar su valor desde puntos de vista diferentes y, como resultado, se puede especificar diversos factores que influyen en el xito o fracaso del proyecto. Cada criterio tiene una serie de sub-criterios, en forma de preguntas y son usados como una gua cuando un estudio de evaluacin est siendo diseado. El enfoque de cada criterio variar entre los cuatro momentos de evaluacin ex post del sNIP. Explicaciones sobre cada criterio con mayores detalles se present en la seccin 1.2.
2.1.4. Recomendaciones, Lecciones Aprendidas y Retroalimentacin

Los hallazgos de una evaluacin ex post tienen valor nicamente cuando se retroalimentan y se utilizan. Se considera que la evaluacin ex post es una herramienta
41
cambios observados en la sociedad y el proyecto as como otros factores
prctica de gestin y por ello es necesario hacer recomendaciones especficas y tomar lecciones a partir de los resultados de la evaluacin. Una recomendacin sugiere una accin concreta a alguien. Las recomendaciones son propuestas de acciones que tienen por objeto mejorar la eficacia, la sostenibilidad, la calidad y la eficiencia de una intervencin. Incluyen medidas especficas, sugerencias y consejos sobre el proyecto objetivo o para los interesados. Una leccin es una enseanza. Las lecciones aprendidas son generalizaciones basadas en las experiencias de un proyecto, programas o polticas, que se aplican a situaciones ms amplias. Con frecuencia, las lecciones destacan los puntos fuertes o dbiles en la preparacin, el planeamiento, la ejecucin y la puesta en prctica que afectan al desempeo, los resultados y el impacto. Las recomendaciones y lecciones aprendidas se deben enviar a las entidades involucradas en la preparacin, ejecucin y operacin del proyecto, as como a otras organizaciones relacionadas, para que se puedan utilizar y sean aplicadas. Es importante investigar los factores a fondo, dentro de un contexto amplio, incorporando informacin y puntos de vista de todos las partes involucradas, con el fin de poder recabar lecciones y hacer recomendaciones que sean prcticas, relevantes y realistas. Este proceso participativo tambin ayudar a establecer y reforzar el sentimiento de propiedad de las conclusiones de la evaluacin, por lo tanto incrementar las posibilidades de su aplicacin por parte de ellos.
2.2. Marco Lgico

2.2.1. Concepto de Marco Lgico
Marco lgico es una herramienta que se utiliza para mejorar el diseo de las intervenciones, ms frecuentemente a nivel del proyecto. Comprende la identificacin
42
relaciones causales, indicadores, medios de verificacin y los supuestos o riesgos que puede influir en el xito o el fracaso. Esta relacin causal vertical se llama modelo lgico. De esa manera facilita la planeacin, la ejecucin y la evaluacin de un proyecto. El concepto central del marco lgico se encuentra en las relaciones causales en los cuatro niveles en la parte izquierda del Resumen de Objetivos, que son; Fin, Propsito, Componentes, y acciones. La combinacin de estos cuatro niveles y los supuestos de la cuarta columna ofrecen una forma sistemtica de expresar para qu se quiere llevar a cabo el proyecto? y qu se necesita para alcanzar el objetivo del proyecto? A esta relacin se le denomina modelo lgico o la lgica vertical del marco lgico. En la segunda y tercera columnas se describen los indicadores y medios de verificacin que expresan como medir el logro de objetivos y componentes, e insumos utilizados para el proyecto.
Tabla 2.1 Matriz del Marco Lgico Resumen de Objetivos fines Propsito (Objetivo Central) Componentes Acciones Indicadores Medios de Verificacin Supuestos
43
de elementos estratgicos tales como acciones, componentes, propsito, fin, y sus
La mayor ventaja de utilizar un marco lgico en la evaluacin ex post de un proyecto, es que la disposicin y definicin clara de objetivos de la intervencin en trminos de los indicadores sirven como una base rgida para la valoracin de resultados y la aplicacin de los cinco criterios. adems, los supuestos, si se identificaron adecuadamente, sirven como una gua principal para el examen del proceso, los factores que influyen y las relaciones causales entre el proyecto y sus efectos. Sin embargo en algunos casos, el marco lgico no fue bien definido a la hora de preparar el proyecto o, lo que es peor, ni siquiera existe. Tambin hay casos en los que el proyecto sufri modificaciones significativas las cuales no se ven reflejadas en el marco lgico del mismo. Por lo tanto a la hora de elaborar una evaluacin ex post, usualmente, es necesario revisar el marco lgico de la preinversin y ajustarlo.
2.2.2. Cmo Definir los Indicadores Apropiados?

Los indicadores son usados para valorar los resultados y efectos de la intervencin. En el marco lgico hay una columna de Indicadores para medir los objetivos. En la columna, la medicin de componentes, el propsito del proyecto y los fines se establecen de manera especfica con las metas. Adems, la siguiente columna a la derecha, Medios de verificacin muestra los mtodos de recopilacin de datos para los indicadores. Cuando se disea un estudio de evaluacin ex post, el evaluador necesita examinar si el propsito y los fines del proyecto estn descritos con los indicadores y mtodos de medicin adecuados. Por lo general hay varias maneras de medir un fenmeno especfico. En una evaluacin es necesario examinar si los indicadores y medios de verificacin descritos en el marco lgico coinciden con el contenido del proyecto o la situacin de la poblacin objetivo, as como la aplicabilidad en la evaluacin ex post. a continuacin se describen los criterios generales para revisar la idoneidad de los indicadores y medios de verificacin.
44
Pertinentes y Vlidos: si los indicadores explican directa y adecuadamente un fenmeno definido en las descripciones de propsito o fines. Los indicadores pertinentes explican el objetivo con mayor claridad y por lo tanto, facilitan la medicin del nivel de su logro.
Operativos: si los indicadores estn definidos para ser lo suficientemente operativos. Por ejemplo, el indicador del nmero de tcnicos de nivel medio que han alcanzado el xito no se puede medir a menos que el significado de haber alcanzado el xito sea lo suficientemente claro. En su lugar, se puede definir como aquellos que obtuvieron un empleo dentro de un ao a partir de haber recibido la capacitacin profesional o aquellos que obtuvieron un aumento de salario.
Medios de Verificacin Disponibilidad y Accesibilidad: El costo de la medicin depende de las estrategias de medicin y de la disponibilidad de datos secundarios y accesibilidad a los mismos. si se cuenta con datos secundarios accesibles y confiables, se puede establecer un simple indicador prctico al costo mnimo. Los indicadores que slo se pueden medir a partir de encuestas de gran escala podran no ser prcticos desde el punto de vista del costo y el tiempo. Confiabilidad: si los datos recopilados son confiables. Los datos pueden ser ms confiables si se pueden obtener los mismos resultados en cada medicin. La fuente de informacin tambin debe ser confiable y es necesario eliminar hasta donde sea posible las parcialidades de un encuestador.
45
Indicadores
2.2.3. Definicin de los indicadores a diferentes niveles

En el marco lgico, los indicadores para medir los resultados de un proyecto se definen en tres niveles distintos: a nivel de componentes, del propsito y del impacto (fines), que podra a su vez subdividirse en los seis niveles indicados en el siguiente grfico.
Grfico 2.2: Modelo Lgico Detallado
fin ltimo
Impactos Indirectos Condiciones Externas
Impactos Directos Condiciones Externas
Propsito
Beneficios Directos (Efectos directos intencionales) Condiciones Externas
3 2
Utilizacin de los bienes y Servicios Demanda Disponibilidad de los bienes y Servicios Operacin y Mantenimiento
Componentes
Productos (Capacidad instalada para producir bienes y servicios) Ejecucin del PIP Tiempos, recursos humanos, fondos, etc.
Acciones Insumos
46
sean completos, precisos y claros, sera adecuado desarrollar para el proyecto un modelo lgico detallado, identificando los objetivos y supuestos (condiciones) de cada nivel y considerar posibles indicadores en cada nivel. a) Productos. Indicadores relacionados con los parmetros fsicos y funcionales de las instalaciones proporcionadas por el PIP, incluyendo la capacidad instalada de produccin de servicios (por ejemplo, la capacidad de una planta de tratamiento de agua, de una central trmica, etc.) el nmero de usuarios de los servicios para los cuales se estableci un acceso fsico (por ejemplo, nmero de conexiones domiciliarias). Los logros alcanzados, basados en los indicadores de productos, bsicamente no estn influenciados por la operacin del proyecto. b) al nivel del Propsito, tal y como se muestra arriba, pueden haber tres diferentes niveles: Disponibilidad / Oferta de bienes y servicios (con la condicin de una operacin y mantenimiento adecuados) Utilizacin / Produccin de bienes y servicios (con la condicin de la existencia de una demanda) Beneficios Directos o Efectos Directos Intencionales (a los beneficiarios) Los indicadores pueden ser definidos para cualquier proyecto a cada nivel, excepto en algunos casos en donde los niveles de disponibilidad/oferta y utilizacin/produccin de bienes y servicios comparten algunos indicadores. c) Disponibilidad / Oferta. Indicadores de calidad y cantidad de los servicios disponibles, as como, el tiempo de duracin del servicio (horario), poblacin y rea geogrfica para las cuales estarn disponibles. Algunos de estos
47
Con el fin de definir un conjunto de indicadores para la evaluacin ex-post que
indicadores pueden servir tambin como indicadores del desempeo de la Operacin y Mantenimiento del proyecto. Es importante destacar que la buena operacin y mantenimiento del mismo es condicin importante para la disponibilidad de los servicios y bienes. d) Utilizacin / Produccin. Indicadores sobre quin utiliza / consume los servicios producidos por el proyecto?, hasta qu punto? y con qu propsito? se consumen los servicios. Nmero de usuarios y la tasa de utilizacin de la capacidad de produccin tambin se incluyen. Los logros alcanzados con base en los indicadores de utilizacin, son generalmente influenciados por la demanda de servicios as como el nivel de disponibilidad / oferta. Indicadores en este nivel son muy importantes, especialmente cuando indicadores para el beneficio directo son difciles de verificar, ya que la utilizacin es la condicin ms importante para la realizacin del beneficio que se le quiere proporcionar a la poblacin objetivo. Al respecto, medir la utilizacin, por ejemplo el volumen total de trfico en caso de un proyecto de caminos, no es suficiente. Para analizar los resultados del proyecto de carretera es necesario saber quin utiliza el camino? y con qu fines? Este tipo de informacin es crucial para evaluar el impacto directo del proyecto. e) Beneficio Directo. Beneficio directo a los usuarios de los servicios ofrecidos por el proyecto. El beneficio se define como cambios favorables para los beneficiarios (o poblacin objetivo), en comparacin con las situaciones antes o sin la intervencin del proyecto, que son causadas por la utilizacin de los servicios y bienes prestados por el proyecto. El beneficio ser directo cuando es el principal factor de esos cambios. El objetivo central de un proyecto se define mejor a este nivel. Si los cambios en s mismos son difciles de medir, la opinin de los beneficiarios acerca de los cambios puede ser medida por un indicador indirecto de dichos cambios. Cabe sealar que si
48
para ofrecer bienes y servicios, tambin se consideran estos beneficios directos o efectos directos generados. a la hora de disear un estudio de evaluacin ex post es muy importante escoger indicadores a este nivel que sean relevantes a la luz del objetivo central y fines del proyecto as como considerar los medios necesarios para la verificacin de los mismos. f) Impacto Directo. Impactos favorables directos y previstos, logrados despus del beneficio directo de un proyecto. Los proyectos estn diseados para contribuir a los efectos directos, mientras que el grado de contribucin ser parcial y significativamente influenciado por otros factores externos. El propsito de la inversin pblica es llevar beneficios a la poblacin objetivo, por lo tanto, idealmente el objetivo central del proyecto ser definido y medido al nivel de Beneficio Directo a los beneficiarios. Sin embargo, en muchos casos, por ejemplo un proyecto para electrificacin rural, la falta de bienes y servicios en s misma, es identificada como el problema central y de acuerdo a esto, el objetivo central del proyecto est definido al nivel de Utilizacin / Produccin (ejm. consumo de energa elctrica) o aun ms bajo a nivel de Disponibilidad / Oferta (ejm. nmero de abonados). En estos casos, dependiendo de la formulacin del objetivo en el estudio de preinversin, los Beneficios Directos podran haber sido considerados como parte de los impactos directos (ejemplo mejor iluminacin en la casa, mayor acceso a la informacin, etc.), y no como parte del objetivo central. La siguiente tabla muestra algunos ejemplos de indicadores en cada nivel. as mismo, en el anexo 6 se presenta un conjunto de indicadores a nivel sectorial.
49
un proyecto incluye los componentes para mejorar el rendimiento operativo
Tabla 2.3 Ejemplo de Indicadores

Intervenciones en Carretera Intervenciones en Servicios de Salud - Ratio de enfermedades detectadas y tratadas de manera adecuada durante su etapa inicial dentro del EEss o la Microred - Los niveles de conocimiento y conciencia en la poblacin sobre prevencin y tratamiento de diversas enfermedades - Prcticas de acciones preventivas contra las enfermedades
- Frecuencia de traslados fuera de la comunidad Impactos Directos - Frecuencia de transporte pblico - Densidad de accidentes - Excedente exportado de los productos agrcolas
Beneficios Directos / Efectos Directos Intencionales
- Costo del transporte (incluye costo de tiempo y de operacin de vehculos) - Costo de mantenimiento de carretera - Tarifas para pasajeros y carga - Merma de productos agrcolas - Volumen de trfico por tipo de vehculo y por origen / destino
- Cobertura - Cobertura de partos / vacunas de nios
Utilizacin / Produccin de servicios/bienes
- Nmero de pasajeros - Tonelaje carga - Distribucin de origen y destino de trfico
- Nmero de atenciones realizadas - Nmero de atendidos - Nmero de partos atendidos - Referencias y contra referencias
Continua
50
Intervenciones en Carretera
Intervenciones en Servicios de Salud - Disponibilidad y accesibilidad a servicios de salud de calidad dentro del rea de influencia del PIP. Cambios en: Horarios
Disponibilidad de servicios/bienes
- Nmero de das transitable por ao - velocidad promedio o IRI
Cobertura geogrfica Nivel y alcance de los servicios Calidad de los servicios Nmero de ambientes fsicos operativos y adecuados. Capacidad de consultas externas - rea construida / rea rehabilitada - Cantidad y tipo de equipamiento provisto
- Nmero de carriles Componentes - Longitud - Tipo de pavimento
al seleccionar los indicadores para una evaluacin ex post, lo primero ser tener presente qu indicadores tienen valores objetivos (metas) y lnea base en los estudios de preinversin y luego hay que verificar la factibilidad de la recoleccin de datos. En el caso de los indicadores que se encuentran en el nivel ms bajo, son los que estn ms cerca de los componentes y generalmente son ms fciles de verificar que los que se encuentran en niveles superiores. Es recomendable, que la verificacin de indicadores en los niveles superiores no se realice, sin que se hayan verificado los indicadores en los niveles inferiores, por cuanto, se notara la falta de eslabn en el modelo lgico, por lo que sera difcil establecer relaciones causales entre el proyecto y sus efectos.
51
Continuacin
si un proyecto es parte de un sistema ms grande, algunos de los indicadores pueden aplicarse tanto para el proyecto como para todo el sistema, o solo para uno de los dos, dependiendo de las caractersticas del proyecto y del indicador. Por lo tanto, cuando se seleccionan indicadores, es importante sealar cul es el rango de aplicacin de cada indicador.
2.3. Mtodos
2.3.1. Mtodos de Comparacin
al disear un estudio de evaluacin, una combinacin apropiada de las comparaciones de diferentes dimensiones, as como una combinacin adecuada de los mtodos cuantitativos y cualitativos, debe examinarse teniendo en cuenta factores como las caractersticas del proyecto y de los efectos, la disponibilidad de la informacin (los valores objetivo, lnea base, etc.), la disponibilidad y la calidad de grupo de control, el presupuesto disponible para estas actividades, etc. al evaluar los efectos e impactos de un proyecto se deben efectuar comparaciones en diferentes dimensiones. a) Comparacin entre lo Planificado / Lo Logrado b) Comparacin entre antes / Despus de Proyecto c) Comparacin entre Con / sin Proyecto d) Comparacin Temtica
52
A. Planificado / Logrado
Indicador
Meta
B. Antes / Despus
Indicador
C. Con / Sin Proyecto

Indicador
Lnea base
Grupo de Control
antes del Despus del Proyecto Proyecto
a) La comparacin entre lo planificado y lo logrado (las metas y los logros) realmente es una comparacin bsica para medir la magnitud de los logros de los componentes, de la operacin, utilizacin y del objetivo central o los efectos directos del proyecto. Esta comparacin requiere metas (valores objetivos) que deben ser tomados de los estudios de preinversin. En caso de existir discrepancias, las causas y factores que las originaron, deben ser investigadas. sin embargo, para los efectos indirectos o impactos, las metas no se suelen establecer a nivel de preinversin. En cualquier nivel, si las metas no fueron establecidos explcitamente, se puede comparar con los estndares establecidos y/o promedio nacional / regional. b) La comparacin antes y despus del proyecto es usualmente utilizada para medir los efectos del proyecto. Esta comparacin requiere la lnea base, el valor del indicador antes de la intervencin del proyecto, para poder realizarla, la cual no siempre est disponible para los efectos indirectos (impactos). sin
53
Grfico 2.3: Los Tipos de Comparacin
embargo si no se hubiese preparado la lnea base con anterioridad, es an posible llevar a cabo una comparacin de antes y despus generando la lnea de base al momento de la evaluacin, por ejemplo a travs de entrevistas a los involucrados con el proyecto usando preguntas retroactivas como cunto era.antes del proyecto?, lo que inevitablemente reducir el grado de confiabilidad de la informacin. Tambin debemos anotar el hecho de que la comparacin antes y despus del proyecto no se limita la informacin cuantitativa, ya que tambin se puede aplicar usando mtodos cualitativos a travs de preguntas como cmo o qu eraantes del proyecto? sin embargo, la comparacin entre antes / despus del proyecto tiene una limitacin; la dificultad de separar el impacto de un proyecto de la influencia de otros factores. Por lo tanto, este tipo de comparacin debe ser compensada por un examen cuidadoso de las relaciones causales entre el proyecto y los cambios observados socioeconmicos y ambientales despus del proyecto. c) La comparacin con y sin proyecto es til para determinar el impacto de un proyecto que est separado de la influencia de otros factores. En caso de tener disponible a un grupo de control (en el caso de sin intervencin del proyecto) es lo ms apropiado para aislar el impacto de un proyecto. Un grupo de control, es un grupo similar al grupo de beneficiarios en todas sus condiciones menos en el hecho de no haber recibido la intervencin de un proyecto. Este enfoque que compara los cambios en estos dos grupos es llamado el modelo cuasi-experimental4. Se utiliza usualmente
Un modelo experimental es el mtodo que produce los resultados ms fiables dentro de los mtodos de medicin de los efectos cuantitativos. El grupo beneficiario (el grupo experimental, con intervencin) y el grupo de no-beneficiarios (el grupo de control, sin intervencin) son definidos de antemano a travs de un muestreo al azar. Los cambios que se den entre el antes y despus de la implementacin del proyecto o la poltica, son medidos y comparados entre estos dos grupos. sin embargo este mtodo tiene problemas ticos (la justificacin de proveer de un servicio a un grupo de gente escogida al azar) as como el tiempo y el costo que requerir la recoleccin de la data. Por lo tanto, sta es usada rara vez para asistir el desarrollo de una evaluacin.
54
transcurso de periodos bastante largos que duran aos. La dificultad en tomar este tipo de aproximacin es la falta de disponibilidad de un grupo de control y la gran cantidad de recursos necesarios para su implementacin. Mtodos cualitativos tambin se pueden aplicar en este tipo de comparacin. d) Comparacin temtica se utiliza para analizar los resultados de un proyecto de algunos puntos de vista especficos, por ejemplo, comparacin entre los casos de xito y los de fracaso, comparaciones por algunas caractersticas socioeconmicas / naturales de la poblacin o reas objetivo tales como el nivel de ingresos, la distancia al mercado, la fertilidad del suelo, clima, etc.
2.3.2. Mtodos Cuantitativos y Cualitativos

Generalmente se considera que la forma ms adecuada de llevar a cabo una evaluacin ex post completa es combinando mtodos tanto cuantitativos como cualitativos. Los Mtodos Cuantitativos son aquellos en los que las opiniones estn basadas en comparaciones, tendencias y en algunos casos anlisis estadsticos de datos numricos. Generalmente, stos son usados para la valorizacin de logros de resultados o efectos del proyecto. La informacin para los mtodos cuantitativos se obtiene de los registros de la ejecucin, operacin, utilizacin del proyecto, archivos y datos estadsticos de las organizaciones relacionadas de alguna manera al proyecto, as como el trabajo de campo. Si esa informacin pudiera ser recolectada y analizada estadsticamente con rigurosidad, las conclusiones podran ser relativamente sencillas de generalizar. Pero usualmente la recopilacin de la informacin es una actividad que requiere una enorme cantidad de recursos, adicionalmente se debe considerar que los nmeros por si solos no dicen mucho sobre los factores detrs de los hallazgos.
55
en la evaluacin de impactos a gran escala que son investigados en el
56
descripciones, categoras, diagramas, mapas, fotos etc. La informacin cualitativa se obtiene a travs de entrevistas individuales o grupales, talleres, observaciones de campo etc. y se usa principalmente para entender el contexto, analizar las causas y relaciones as como los factores que influyen y que no estn representados de manera directa en la informacin cuantitativa. En otras palabras, esta informacin es indispensable para poder interpretar los datos numricos. sin embargo, si por ejemplo se aplicasen mtodos cualitativos solo a una pequea parte de una poblacin grande o gran nmero de comunidades que haya sido objeto de un proyecto, sera muy difcil generalizar los hallazgos., sumndole a esto el hecho de que los prejuicios podran distorsionar las observaciones cuando de informacin cualitativa se trata. De este modo podemos apreciar que cada mtodo tiene sus ventajas y desventajas, pero que si se aplican balanceadamente se complementan. Usualmente, los cambios en el rea u objetivo son revelados a travs de mtodos cuantitativos a la vez que las causas y procesos detrs de estos cambios son investigados a travs de mtodos cualitativos. Los mtodos cuantitativos establecen tendencias generales de cambio en el rea objetivo, mientras que los mtodos cualitativos brindan un entendimiento detallado del contexto, las relaciones causales y factores de las tendencias, enriqueciendo la interpretacin de los datos numricos.
57
Los Mtodos Cualitativos se basan en informaciones cualitativas tales como
58
Pautas para la Evaluacin de Culminacin
59
3. Pautas para la Evaluacin de Culminacin
3.1.
Aspectos Generales
3.1.1. Consideraciones bsicas
La evaluacin de culminacin se realizar tan pronto se haya finalizado la
ejecucin fsica del proyecto, no siendo condicin indispensable que se haya liquidado las obras. Para los casos en los que el PIP haya sido materia de seguimiento, la evaluacin de culminacin considerar las actas de los Comits de seguimiento o Comits de Inversiones y considerar la participacin de los integrantes del Comit en los talleres de evaluacin.
3.1.2. Propsito
a) El reflejo inmediato del proceso de ejecucin del PIP para medir la eficiencia de la misma, en trminos de tiempos, costos y metas, y obtener lecciones y recomendaciones relacionadas con el planeamiento y ejecucin de proyectos. b) Analizar las perspectivas de la sostenibilidad del proyecto, en trminos de la disponibilidad de los factores necesarios para la operacin y mantenimiento
61
adecuado, que posibiliten la entrega oportuna del bien o servicio determinado, concluyendo con las recomendaciones pertinentes incluida la relacionada a la necesidad del seguimiento ex post.
3.1.3. Competencia
La evaluacin de culminacin, estar a cargo de la Unidad Ejecutora - UE, por constituir la instancia institucional sobre la cual recae la responsabilidad de la ejecucin del proyecto. Los dems involucrados en el proceso de ejecucin apoyarn a sta, es el caso del rgano Tcnico que se encarg de los aspectos tcnicos de los componentes del PIP.
3.1.4. mbito de Aplicacin

La evaluacin de culminacin es obligatoria para todos los Proyectos de Inversin Pblica, se efectuar de acuerdo con los Contenidos Mnimos para la Evaluacin de Culminacin (anexo 1), segn la lnea de corte establecida por monto de inversin; estas pautas constituyen las orientaciones para tal fin. Para aquellos PIP cuyo monto de inversin se encuentre por debajo de la lnea de corte, se aplicar el Formato simplificado de la Evaluacin de Culminacin (anexo 4). En la siguiente tabla se especifican las lneas de corte por sector.
62
Tabla 3.1 Lneas de Corte para Evaluacin de Culminacin

Millones de Nuevos soles
Evaluacin de Culminacin Contenidos Mnimos >3 >3 > 1,2 >3 >3 >3 >3 Formato Simplificado <= 3 <= 3 < = 1,2 <= 3 <= 3 <= 3 <= 3
Sectores
Educacin, Cultura y Deportes Salud Energa Agricultura Saneamiento Transportes Otros
Los Contenidos Mnimos los encontrar en el anexo 1 de estas Pautas y el Formato en el anexo 4 de la misma.
3.1.5. Tiempo
La evaluacin de culminacin se lleva a cabo inmediatamente despus de concluida la ejecucin del PIP; se espera que la ejecucin fsica y la ejecucin financiera estn al 100%; sin embargo, si las liquidaciones de los contratos demoraran o las transferencias no se concretaran, para la evaluacin de culminacin debe considerarse
63
la ejecucin fsica de todos los componentes o que se ha efectuado la transferencia a la operadora (acta de recepcin suscrito por la operadora) o que ya se haya iniciado la operacin. La Unidad Ejecutora deber preparar el informe de la evaluacin de culminacin dentro de los seis meses de la culminacin fsica de todos los componentes del PIP (incluyendo aquellos componentes intangibles).
3.1.6. Metodologa
La metodologa debe incluir la recopilacin y el anlisis de documentos relacionados al proyecto, as como una serie de entrevistas y reuniones personales y grupales o talleres con quienes intervienen en la ejecucin y la operacin del proyecto. La evaluacin de culminacin es un proceso de autoevaluacin participativo, que puede desarrollarse con o sin una consultora que facilite el proceso. La consultora sera necesaria en los casos en que: se requiere la recopilacin y anlisis extenso de informacin a travs de visitas de campo. Se requiere realizar varios talleres con los actores (entre ellos los beneficiarios) que participaron en el proyecto. Las competencias especficas no estn disponibles en la UE, lo que obliga a realizar una investigacin tcnica en profundidad sobre las cuestiones relacionadas con los problemas de ejecucin, calidad de los componentes fsicos, y/o la sostenibilidad del proyecto.
64
3.2.
Pasos en la Evaluacin de Culminacin

Para la evaluacin de culminacin se plantean 4 pasos como se puede apreciar
en el siguiente grfico.
Grfico 3.1: Pasos para la Evaluacin de Culminacin
Recoleccin de informacin
Sistematizacin y anlisis de la informacin
Elaboracin del informe de evaluacin
3.2.1. Recoleccin de Documentos y Registros sobre el Proyecto

La primera tarea en la preparacin de la evaluacin de culminacin es la recoleccin de documentos y registros del proyecto en cuestin; las fuentes de informacin incluyen, pero no se limitan a: Estudio de preinversin, incluyendo trminos de referencia o planes de trabajo Expediente (s) Tcnico (s), estudio definitivo aprobado, especificaciones tcnicos o similares y, incluyendo trminos de referencia con los que se contrataron. Informes de consistencia (Formato sNIP 15) Registro de variaciones en la fase de inversin (Formato sNIP 16) Contratos Planes de trabajo (en caso de modalidad de administracin directa) actas de seguimiento
65
Discusin y anlisis de los resultados preliminares
Informe de liquidacin fsica y financiera Informe final de consultora para la supervisin actas de sesin del Comit de seguimiento (anexo sNIP 21) acta de entrega y recepcin del proyecto Convenio de transferencia Entrevistas con personas y agentes relevantes Talleres y/o reuniones con los beneficiarios que participan en la ejecucin u operacin y mantenimiento Registros de operacin y mantenimiento (de ser el caso) Encuestas y otras investigaciones de campo (que se hayan realizado previamente en la fase de preinversin o durante la ejecucin del PIP) Otros (Considerar otros que puedan ser especficos del sector)
3.2.2. Sistematizacin y Anlisis de la Informacin

Despus de revisar los documentos recogidos y consultar con los involucrados directos, se desarrolla una descripcin secuencial de cada uno de los eventos ms importantes ocurridos durante la ejecucin del proyecto, realizando una comparacin entre los productos (asociados a los componentes), los costos y tiempos de ejecucin previstos y reales. Asimismo, se identifican los factores que hayan contribuido o limitado la ejecucin del PIP y que merecen analizarse con mayor profundidad. Este paso va a requerir de la asignacin de un profesional que sistematice y analice la informacin y prepare la evaluacin preliminar. si la Unidad Ejecutora no dispone del profesional es conveniente que contrate a un consultor que tambin apoyara las reuniones de validacin y la elaboracin del informe de culminacin. Producto de la sistematizacin se har una evaluacin preliminar que ser sometida a consideracin de los involucrados en el PIP.
66
3.2.3. Discusin y Anlisis de los Resultados Preliminares

Habiendo identificado a los principales involucrados en la ejecucin del proyecto, se desarrollar un taller para la discusin y anlisis de la sistematizacin de la informacin recabada anteriormente. Para ello, es importante contar con la participacin de representantes de la UE, UF, el rgano que declar la viabilidad (OPI, DGPI u otros), el contratista, supervisor, funcin al rol que hayan desempeado en la fase de ejecucin o que tendrn en la operacin y mantenimiento). En caso de que los beneficiarios participen en la operacin y mantenimiento del proyecto, ser necesario contar con su participacin en el taller. Se elaborar una agenda de los temas que se analizarn en la reunin, la misma que en lneas generales puede incluir los siguientes puntos: Resumen del proyecto Evaluacin de la eficiencia Comparacin de los productos ( Componentes ), previstos y reales Comparacin de los tiempos de ejecucin, previstos y reales Comparacin de los costos de inversin previstos y reales. Eficiencia global Anlisis de los factores positivos y negativos que han incidido en la eficiencia de la ejecucin del PIP Evaluacin de la sostenibilidad Evaluacin de Culminacin
67
operador, y otros que se consideren relevantes para el desarrollo de la evaluacin (en
Situacin actual de operacin y mantenimiento Riesgos y problemas para la operacin y mantenimiento Conclusiones, lecciones y recomendaciones Para facilitar la discusin sobre el proyecto, se entregar a los participantes la evaluacin preliminar, los que a su vez debern preparar informacin relevante sobre las acciones de su competencia para presentarla, compartirla y complementar la evaluacin preliminar. La UE en la convocatoria deber precisar la informacin que se espera de los participantes.
3.2.4. Preparacin de Informe de la Evaluacin de Culminacin

La UE deber preparar el informe de evaluacin de culminacin, de acuerdo a los contenidos mnimos y las pautas cuyo desarrollo presentamos a continuacin: a) Resumen Ejecutivo se deber presentar una sntesis que contemple los siguientes aspectos: a. b. C. D. E. Resumen del PIP (nombre, objetivo, componentes) Evaluacin de la eficiencia Evaluacin de la sostenibilidad Lecciones aprendidas Recomendaciones
b) Resumen del Proyecto Sobre la base del estudio de preinversin incluir informacin que caracterice al PIP, tal como el Cdigo SNIP, Nombre del PIP, Fecha de declaracin del viabilidad, monto de la
68
inversin declarada viable, Unidad Ejecutora prevista, plazo de ejecucin previsto para la implementacin del proyecto. Describir el objetivo central del proyecto as como los componentes que fueron aprobados en el estudio de preinversin con el cual se otorg la viabilidad. En caso de existir modificaciones sustanciales o no, indicarlas explicando las causas de las modificaciones. c) Metodologa Utilizada Evaluacin de Culminacin
69
Sealar la metodologa utilizada en la evaluacin de culminacin del proyecto, en relacin a la recoleccin de informacin, fuentes de informacin, documentacin revisada, nombre y cargo de las personas clave consultadas y que participaron en el PIP. Indicar si se tuvo el apoyo de alguna consultora. d) Proceso de la Ejecucin Sealar las entidades y organizaciones que han participado en la ejecucin del proyecto, especificando la funcin que cumple cada una y la relacin entre ellas. Acompaar con un organigrama. Elaborar una descripcin secuencial de cada uno de los eventos importantes ocurridos durante la ejecucin del Proyecto. Incluye las fechas de: Declaracin de viabilidad Verificacin de la declaracin de viabilidad (si aplica) Fecha de suscripcin y trmino real de contratos y/o convenios principales (tanto para expediente tcnico como para obras fsicas y componentes intangibles) Transferencias del proyecto (si aplican) Inicio de operacin
Cambio en la implementacin de la organizacin (si aplica) Otros e) Evaluacin de la Eficiencia Anlisis comparativo de los componentes del proyecto previstos en el estudio de preinversin con el que fue declarado viable, el expediente tcnico o similar y lo realmente ejecutado. Si existieran diferencias, identificar las causas de stas. Logro de los Productos (Asociados a Componentes) Comparacin entre las metas de productos previstos en el estudio de preinversin declarado viable, el expediente tcnico o similar y las metas realmente logradas (ejecutadas), para identificar variaciones tanto cualitativas como cuantitativas. Las comparaciones sern realizadas por productos, considerando: (i) dimensiones fsicas, tales como longitud, reas, etc.; (ii) la capacidad que suma el proyecto a la prestacin de bienes y servicios; (iii) localizacin y lmites del rea de influencia del servicio (dnde es que estos bienes y servicios provistos por el proyecto se encuentran disponibles); (iv) la calidad de los productos de acuerdo a los estndares de las especificaciones tcnicas contemplados en la normatividad competente. En caso de existir modificaciones significativas al proyecto original, que requirieron de una verificacin de la viabilidad, se debe comparar: el proyecto original, proyecto modificado y resultados reales. El nivel de ejecucin de componentes se define a travs de un indicador (o la combinacin de indicadores, si fuera necesario) ms apropiado segn la naturaleza del objetivo central del proyecto. La siguiente frmula establece el principio utilizado para la comparacin entre las principales diferencias
70
en el nivel de ejecucin de componentes. En el caso del uso de un solo indicador, su aplicacin es directa. No obstante, si se utiliza ms de un indicador, se deber proponer una combinacin adecuada a fin de obtener un indicador nico que facilite la estimacin que permita juzgar si el ratio es mayor o menor que la unidad.
Nivel de Ejecucin de Componentes = Componentes Ejecutados (indicador) / Componentes Planificados (indicador)

Si los resultados en los componentes actuales tienen alguna desviacin o variacin con relacin a los expuestos en el proyecto original o modificado, se debern analizar y explicar las causas de estas variaciones o desviaciones, as como las circunstancias por las que la UE se vio en la necesidad de hacer dichas modificaciones, con el fin de observar si stas son razonables y se enmarcan dentro del objetivo central del proyecto. Luego, se examinan las posibles alternativas que existieron para responder de mejor manera a las circunstancias. Si las modificaciones o variaciones inciden en el objetivo central, identificar posibles alternativas de decisin referidas a estrategias o modos de ejecucin, a fin de responder mejor a las circunstancias relacionadas a la modificacin de los componentes. Eficiencia en el Tiempo de Ejecucin del Proyecto Anlisis comparativo entre el tiempo de ejecucin previsto en el estudio de preinversin con el cual fue declarado viable y el tiempo real empleado a nivel de cada producto, componente o paquete de contratos, incidiendo en las causas de las diferencias. Comparacin entre lo previsto en el estudio de preinversin con el que el proyecto fue declarado viable y el tiempo real en el que se ejecutaron los productos, componentes o paquete de contratos y/o convenios. Evaluacin de Culminacin
71
Comparacin de la fecha de culminacin del proyecto y/o la fecha en que se inicia la operacin del proyecto, con la fecha planificada originalmente; analizando las causas de las diferencias en cada uno de los componentes o paquetes de contratos y/o convenios. o En la presente metodologa, se considerar el mes siete siguiente a la declaratoria de viabilidad, como el inicio de la ejecucin del proyecto (es decir como el mes 1 planificado). se asume que desde que se declara viable el PIP puede transcurrir un tiempo aproximado de 6 meses hasta que se logre su inclusin en el presupuesto y se inicie la ejecucin. o Comparar por productos o de ser posible por contratos, el periodo (en meses) de los procesos de los concursos (caso de concursos de seleccin) y de la ejecucin real con los tiempos considerados en el estudio de preinversin e identificar las restricciones que se tuvieron durante el proceso de ejecucin. En el caso de administracin directa considerar los productos y componentes considerados en el plan de trabajo. Identificar las causas de los retrasos por cada componente o paquete de contratos y anlisis de si la UE pudo realizar un mejor planeamiento. Reexaminar la factibilidad del plan de implementacin original, considerando el hecho de que puedan existir mejores opciones con el fin de minimizar demoras. Recabar las opiniones de la UF, UE, OPI, contratistas, supervisor (y rgano Tcnico Responsable) en relacin a las causas de los retrasos y la factibilidad del plan original para la ejecucin. Realizar una evaluacin de la eficiencia respecto del tiempo de ejecucin del proyecto, teniendo en cuenta los componentes y el grado de demora
72
en la ejecucin de los mismos. La eficiencia en el tiempo de ejecucin del proyecto, puede estimarse mediante la siguiente frmula:
Eficiencia en el Tiempo de Ejecucin = Nivel de Ejecucin de Componentes x (Periodo Planeado / Periodo Real)
Eficiencia en el Costo del Proyecto Anlisis comparativo entre el costo total de inversin del proyecto previsto en el estudio de preinversin con el cual fue declarado viable y el costo total del proyecto en su ejecucin (a precios de mercado), a nivel de cada producto, componente o paquete de contratos. Identificar y cuantificar las variaciones y sus causas. Analizar el plan de ejecucin financiera. En caso que la liquidacin no haya sido concluida, se trabajar con una estimacin de los costos finales de inversin y la evaluacin de culminacin ser preliminar, debindose ajustar en la evaluacin de resultados. Comparacin del costo total previsto en el estudio de preinversin con el que el proyecto fue declarado viable) y el costo real del proyecto a nivel de cada producto, componente o paquete de contratos para identificar variaciones. anlisis de las causas que originaron las diferencias de costos de cada uno de los productos, componentes o paquete de contratos. Identificar las causas de las variaciones en los costos por cada componente o paquete de contratos; analizar si la UE manej la situacin con una estrategia apropiada. Reexaminar la factibilidad del plan de ejecucin financiera con el fin de considerar la existencia de alguna mejor opcin a fin de minimizar costos. o Las opiniones de la UF, UE, OPI y/u rgano que declar la viabilidad si fuese distinto a la OPI, Contratista, supervisor, deben estar referidas a Evaluacin de Culminacin
73
examinar las causas de las variaciones en los costos y la factibilidad del plan original financiero. o Se debe analizar cmo vari el expediente tcnico en relacin al estudio de preinversin, a nivel de cada uno de sus componentes, a fin de establecer las causas de dichas variaciones. Realizar una evaluacin de la eficiencia en el costo del proyecto teniendo en cuenta los productos y el grado de variaciones en la ejecucin de los mismos. La eficiencia en el costo del proyecto se determinar teniendo en cuenta el nivel de ejecucin de componentes y el grado de variacin (sobrecosto o costo menor):
Eficiencia en el Costo = Nivel de Ejecucin de Componentes x (Costo Planeado / Costo Real)

Eficiencia Global y Problemas de Ejecucin Evaluacin de la eficiencia en trminos generales del proyecto basada en el nivel del logro de los productos, los tiempos de ejecucin y los costos de inversin del proyecto. La evaluacin de la eficiencia global puede tener como resultado 2 opciones, la primera cuando es posible cuantificar los ratios (opcin a) y la segunda alcanzada a travs de calificaciones que conduzcan a determinar un orden de magnitud (opcin b): Opcin a.
Eficiencia Global = Nivel de Ejecucin de Componentes x (Periodo Planeado / Periodo Real) x (Costo Planeado / Costo Real)
74
Opcin B.
Eficiencia en el Tiempo
Media
Alta
baja
Media
1.0
Eficiencia en el Costo
Identificar los principales problemas que afectaron la eficiencia, as como las debilidades y limitaciones en cuanto a la preparacin y ejecucin del proyecto. basado en el anlisis anteriormente mencionado y tomando como referencia las opiniones de la UF, UE, OPI, y de ser necesario tambin de los contratistas y/o supervisores, identificar los principales problemas para la ejecucin y analizar a profundidad sus causas primordiales. a continuacin presentamos una lista gua para analizar la variedad de problemas y fuentes de ineficiencias: Calidad de los estudios de preinversin y del expediente tcnico o estudio definitivo; planificacin de la ejecucin en aspectos fsicos, tcnicos y financieros. Gestin del proyecto; recursos humanos, cronograma organizacional, procedimientos, etc.
75
1.0
Modalidad de ejecucin; administracin directa, administracin indirecta (por contrata, asociacin Pblica Privado, Ncleo Ejecutor, Obras por impuestos).
En los casos que presenten una participacin comunal significativa, evaluar los trminos de su participacin y su incidencia en la eficiencia.
Eficacia de la supervisin de la elaboracin de los expedientes tcnicos as como de la ejecucin de los componentes del proyecto.
Capacidad de la UE, en trminos de recursos tcnicos, financieros y humanos para el proyecto.
Disponibilidad de materiales de construccin as como de contratistas experimentados.
Condiciones externas: clima, desastres naturales, conflictos sociales, cambios en las polticas gubernamentales y/o regulaciones, cambio de autoridades que ocasionan cambios en las prioridades y en los equipos tcnicos, etc.
Otros.
f) Evaluacin de la Sostenibilidad Evaluar los factores sealados en el estudio de preinversin con el que se declar la viabilidad que garantizan que el proyecto generar los beneficios y resultados esperados a lo largo de su vida til, y analizar si los mismos se mantienen o presentan variaciones y en qu medida. Especial inters es la identificacin de problemas ocurridos en el periodo de ejecucin as como los riesgos posibles en la operacin y mantenimiento. Identificar los problemas relacionados con la ejecucin del proyecto, transferencia, liquidacin formal y otros problemas identificados despus de la culminacin del PIP. Se debe analizar sus causas y soluciones propuestas a considerar en el informe de evaluacin. si existe algn conflicto entre las partes relacionadas, como la UE, los contratistas y operadores, se indicar las opiniones de cada una y sugerir opciones de solucin.
76
Anlisis actualizado sobre la sostenibilidad, considerando las variaciones principalmente en los siguientes aspectos: o o Productos, componentes del proyecto Marco legal y regulaciones especficas. Marco organizacional, recursos humanos, tcnicos, financieros y logsticos, as como la participacin de los beneficiarios en la operacin y mantenimiento (de ser el caso). Evaluacin de Culminacin
77
Riesgos en cuanto a desastres naturales y/o conflictos sociales que puedan afectar la operacin del proyecto.
Realizar una nueva proyeccin de los costos a precios de mercado de mantenimiento y operacin del proyecto, a lo largo de su vida til e identificar los riesgos para la sostenibilidad financiera del proyecto, as como evaluar el grado de sostenibilidad financiera del mismo.
Identificar los riesgos posibles durante la operacin y mantenimiento del proyecto. Examinar asimismo, hasta qu punto el proyecto est preparado para lidiar con ellos. adems, examinar las posibles medidas a tomar por parte de la entidad a cargo de la operacin y mantenimiento y los otros agentes con el fin de minimizar el riesgo.
Examinar si es que: o Las responsabilidades del operador, as como de aquellos que toman parte de la operacin y el mantenimiento estn claramente definidas, y entendidas por todas las partes, sin ningn tipo de duplicidad o conflicto entre ellas. o La capacidad del operador en trminos tcnicos, administrativos, organizativos y de personal sea la adecuada para ejecutar y supervisar la operacin y mantenimiento del proyecto.
El operador puede seleccionar una compaa calificada (sector privado) basado en un criterio establecido y as poder contar con un buen sistema de control de la calidad del trabajo a travs de la supervisin y asistencia tcnica.
La comunidad o grupo de usuarios a los cuales se les encarga parte o la totalidad de la operacin y mantenimiento cuenta con una estructura organizacional, con buen funcionamiento y es capaz de manejar esto.
El presupuesto para la operacin y mantenimiento, se prepara con indicaciones claras sobre las fuentes y cuanta de los ingresos del proyecto basado en la proyeccin actualizada de ingresos y egresos.
Las instituciones responsables se han comprometido en la asignacin de fondos pblicos suficientes para llenar la brecha financiera que no estara cubierta por los ingresos del proyecto.
a travs de entrevistas y/o discusin en taller con el operador (incluidas las compaas y las comunidades a su cargo), averige si piensan que ellos mismos pueden llevar a cabo la operacin y mantenimiento, o si es que necesitan contar con asistencia tcnica.
Deber obtener las opiniones de las personas que recibieron capacitacin mediante el proyecto, consultando sobre la utilidad de esta y hasta qu punto ellos se encuentran satisfechos con la misma.
g) Lecciones Aprendidas y Recomendaciones Como consecuencia del anlisis del proceso de ejecucin del proyecto de inversin pblica, se determina un conjunto de lecciones aprendidas y se efectan las recomendaciones correspondientes. Las lecciones aprendidas durante la experiencia del proyecto, considera tanto los factores sujetos de correccin como las buenas prcticas
78
identificadas. Estas lecciones debern ser generalizadas y aplicables a proyectos similares, sugiriendo medidas concretas. Las lecciones aprendidas pueden desarrollarse en los siguientes niveles y aspectos: o o Nivel de polticas. Nivel del proyecto, en sus 3 fases (preinversin, inversin y post Evaluacin de Culminacin
79
inversin). o o Relacin con otros PIP del sector o tipologa Relacin con otros sectores
Recomendaciones sobre los siguientes aspectos: o Medidas a tomar para solucionar los problemas relacionados a las deficiencias de la obra, transferencia, liquidacin formal del PIP. o Medidas a tomar por la entidad encargada de la operacin y mantenimiento. o o Determinacin sobre la necesidad de un seguimiento ex post del proyecto. actividad de seguimiento a la operacin y mantenimiento del proyecto de parte de la UE, a fin de asegurar los beneficios correspondientes. o Otras recomendaciones relacionadas con el proyecto.
h)
Referencia de la Informacin y Anexos Incluir las referencias sobre la ubicacin de la informacin que se ha utilizado para la elaboracin del informe de evaluacin, precisando el nombre del responsable del rea donde se puede encontrar.
Anexos conteniendo informacin adicional til para el desarrollo de la evaluacin de culminacin.
80
Pautas para el seguimimiento Ex Post
81
4. Pautas para el seguimimiento Ex Post
4.1.
Aspectos Generales
4.1.1. Objetivo
El propsito del seguimiento ex post es asegurar la operacin y el mantenimiento
adecuado de los proyectos que requieran una atencin adicional luego de culminada su ejecucin y al inicio de operacin. Para tales proyectos, la UE conducir, en colaboracin con la entidad responsable de la operacin y mantenimiento, un seguimiento ex post proyecto, el desempeo de la operacin inicial, identificar posibles problemas y riesgos para la operacin y mantenimiento, determinar sus causas, si las hubiera, y recomendar las acciones necesarias. seguimiento Ex Post
83
para evaluar el cumplimiento de los acuerdos y compromisos para la operacin del

El seguimiento ex post se llevar a cabo si es recomendado por la evaluacin de culminacin. El seguimiento ex post sera importante para los siguientes PIP. PIP para ser transferidos a los Gobiernos Locales que no tienen recursos tcnico-financieros suficientes. PIP que se operan y se mantienen con una fuerte participacin de los beneficiarios o las comunidades.
PIP para los que an no est garantizada la asignacin de los recursos humanos y financieros u otros componentes necesarios para la operacin y mantenimiento. PIP para los que cualquier riesgo significativo es detectado, como por ejemplo, los desastres, conflictos sociales, la complejidad tcnica, etc.
4.1.3. Tiempo
La fecha estimada para realizar el seguimiento ex post ser especificada por recomendacin de la evaluacin de culminacin, dependiendo de la naturaleza de las dificultades o los riesgos relacionados con la operacin y mantenimiento. Se recomienda que el seguimiento ex post se lleve a cabo al menos durante un ao despus del inicio de la operacin del proyecto.
4.1.4. Metodologa
La metodologa debe incluir la recopilacin y el anlisis de documentos relacionados al proyecto, as como una serie de entrevistas y reuniones personales y grupales con quienes intervienen en la operacin y mantenimiento. Las fuentes de informacin se incluyen, pero no se limitan a: Estudios de Preinversin Expediente Tcnico aprobado Informe de la Evaluacin de Culminacin (en caso de existir) Entrevistas con personas y agentes relevantes, entre otros el operador del PIP Talleres y/o reuniones con beneficiarios que participan a la operacin y mantenimiento Otros
84
4.2.
Preparacin del Informe de Seguimiento Ex Post

4.2.1. Resumen del Proyecto
sobre la base del estudio de preinversin y la fase de inversin, incluir informacin
que caracterice al PIP, tal como el cdigo sNIP, nombre del PIP, fecha de declaracin de viabilidad, monto de la inversin declarada viable, Unidad Ejecutora, plazo de ejecucin. Describir el objetivo central del proyecto as como los componentes que fueron aprobados en el estudio de preinversin con el cual se otorg la viabilidad. En caso de existir modificaciones sustanciales o no, indicarlas explicando las causas de las modificaciones.
4.2.2. Disposiciones para la Operacin y Mantenimiento

Detalle de la propuesta de organizacin y gestin de la operacin y mantenimiento que se ha previsto en el estudio de preinversin con el que fue declarado viable el PIP. seguimiento Ex Post
85
Precisar entre otros: Propiedad del proyecto. Modo de operacin: operacin directa, contrato con el sector privado, participacin de beneficiarios, etc. El marco normativo que permite llevar a cabo la operacin del proyecto.
si las disposiciones en relacin con la operacin y mantenimiento se hubiesen modificado en relacin con el estudio de preinversin, especificar los cambios y las causas de stos.
4.2.3. Desempeo Inicial de la Operacin

Evaluacin respecto hasta qu punto los productos generados en la fase de inversin del proyecto (infraestructura, equipamiento, entre otros) cumplen con su funcin originalmente prevista5. Detectar deficiencias fsicas o funcionales y analizar las causas. Cmo se implementaron las recomendaciones de la evaluacin de culminacin (en caso de existir). Comparacin de los resultados previstos y reales de la operacin y mantenimiento, teniendo en cuenta los siguientes aspectos: Cantidad, perfil y capacidad de los recursos humanos dispuestos para la operacin y mantenimiento. La disposicin financiera real para la operacin y mantenimiento del proyecto, los recursos financieros asignados y los gastos de operacin y mantenimiento realizados. Nivel de operacin y utilizacin del proyecto.
Los resultados previstos sern recabados de la evaluacin de culminacin si sta se hubiese realizado. 4.2.4. Debilidades, Limitaciones y Riesgos para la Operacin y Mantenimiento Desarrollar una evaluacin crtica de la capacidad gerencial en la parte tcnica, financiera y de recursos humanos disponibles para el operador,
Por ejemplo, hay mdicos para que se brinden atenciones en los consultorios equipados estn disponibles, los laboratorios estn equipados y en condiciones para que los profesores enseen a los estudiantes, el sistema de agua para riego est en condiciones operativas para conducir eficientemente el agua hacia las reas agrcolas.
86
basado en el desempeo inicial de la operacin del proyecto con el propsito de develar las debilidades y limitaciones del operador. Este anlisis requerir la participacin del operador u operadores, as como de los beneficiarios que participan en la operacin y el mantenimiento (de ser el caso). Examen de las causas de los factores de riesgo que puedan significar un deterioro futuro en el rendimiento de la operacin.
4.2.5. Lecciones Aprendidas y Recomendaciones

Las lecciones aprendidas durante la experiencia inicial de la operacin del proyecto. Una de las caractersticas esenciales de las lecciones aprendidas, es que stas puedan ser aplicadas a proyectos similares, sugiriendo medidas concretas. Recomendaciones en los siguientes aspectos: Medidas tomadas por el operador. Alguna actividad de seguimiento por parte de la UE, incluyendo la implementacin de asistencia tcnica o financiera para el operador. Otras recomendaciones relacionadas con el proyecto. seguimiento Ex Post
87
88
Pautas para la Evaluacin de resultados
89
5. Pautas para la Evaluacin de Resultados
5.1.
Aspectos Generales
5.1.1. Propsito
La evaluacin de resultados es la evaluacin ms importante realizada en
la fase de post inversin. Es una evaluacin exhaustiva, haciendo uso de los 5 criterios, con el propsito de servir a los dos objetivos principales de una evaluacin ex post: el de retroalimentar informacin para la mejora de la administracin y performance de la inversin pblica y de servir como base para la rendicin de cuentas (transparencia). Con el fin de poder servir a dichos propsitos, los reportes sobre la evaluacin de resultados, ya sean en versin completa o resmenes, son compartidos en el sector respectivo, con el gobierno regional, local, y otras agencias u organizaciones involucradas en el ciclo del PIP, as como con el pblico en general, va internet. Evaluacin de Resultados
91
5.1.2. Competencia
La evaluacin de resultados ser llevada a cabo por la UF a travs de un Evaluador Externo Independiente (EEI).

La evaluacin de resultados es obligatoria para todos los proyectos de inversin pblica, cuyo monto de inversin a precios de mercado sea mayor a la lnea de corte;
sta se realizar considerando los Contenidos Mnimos para la Evaluacin de Resultados (anexo 3). Para aquellos PIP cuyo costo se encuentre por debajo de la lnea de corte, se realizar por muestreo. En la siguiente tabla se presentan las lneas de corte para la evaluacin ex post de resultados.
Tabla 5.1 Lneas de Corte para Evaluacin de Resultados

Millones de Nuevos soles
Evaluacin de Resultados Sectores Todos Educacin, Cultura y Deportes Salud Energa Agricultura Saneamiento Transportes Otros >5 >5 >6 > 10 > 10 > 10 >6 Por Muestreo <= 5 <= 5 <= 6 < = 10 < = 10 < = 10 <= 6
5.1.4. Tiempo
La evaluacin de resultados se lleva a cabo dentro del periodo comprendido entre el tercer y quinto ao luego de iniciada la operacin de un PIP. El tiempo se definir teniendo en cuenta los siguientes factores:
92
El hecho de existir demoras significativas, por ejemplo dos o tres aos, para el inicio de las operaciones, luego de haberse culminado la fase de inversin del PIP. El tiempo necesario para que la operacin se consolide o alcance su perodo de maduracin y se puedan apreciar los resultados; por ejemplo, un proyecto de irrigacin requerir un mayor tiempo para poder observar los efectos en la produccin agrcola. El momento indicado para la evaluacin de resultados debe ser definido por la OPI correspondiente, en funcin al informe de la evaluacin de culminacin (de ser el caso) u otras fuentes de informacin y diagnsticos en general.
5.1.5. Metodologa
La metodologa est basada en la aplicacin de los 5 criterios establecidos, pertinencia, eficiencia, eficacia, impacto y sostenibilidad. Respecto a la aplicacin de los criterios, la medicin de los resultados se realiza a travs de los indicadores sealados en el marco lgico elaborado en el estudio de preinversin o, de ser el caso, en el marco lgico ajustado con fines de esta evaluacin. La medicin de los efectos e impactos de un proyecto, utilizando los indicadores, se realizar en diferentes dimensiones dependiendo de la disponibilidad de informacin, Evaluacin de Resultados
93
para ello se puede aplicar los siguientes mtodos6 : Comparacin entre lo planificado / lo logrado: Comparacin respecto a la meta establecida en el estudio de preinversin y/o con estndares existentes. Comparacin entre antes / Despus del Proyecto: Comparacin respecto a una lnea base para medir el cambio en la magnitud del indicador como resultado del proyecto.
6 Mayor detalle de los mtodos en la seccin 2.3.1.
Comparacin entre Con / sin Proyecto: Comparacin que puede medirse a travs de un grupo de control en un mbito donde no ha intervenido el proyecto. Es posible aplicar: sin embargo, no es fcil encontrar un grupo de control ideal y se requiere una mayor cantidad de recursos. En todos los casos, debe encontrarse las causas de las variaciones, a fin de tener elementos slidos para encontrar lecciones aprendidas y recomendaciones. En este proceso, se recurrir a la recopilacin y el anlisis de documentos relacionados al proyecto, as como una serie de entrevistas y reuniones personales y grupales o talleres con quienes intervienen en la ejecucin y la operacin del proyecto.
5.1.6. Organizacin
La evaluacin de resultados ser realizada por la UF a travs del Evaluador Externo Independiente (EEI) contratado, que realizar la evaluacin en base a los TdR preparados por la UF. En el proceso participarn los involucrados en el ciclo del PIP, tal como la OPI, la UE, el operador de los servicios (encargado de la operacin y mantenimiento), entre otros. La UF tomar las previsiones dentro de su organizacin, para asegurar una buena concepcin de la evaluacin de resultados y el seguimiento (supervisin) de la misma.; especial importancia deber concitar la elaboracin de los TdR (Trminos de Referencia) para el EEI. El EEI est constituido por un grupo de expertos (segn el tipo del proyecto) requeridos para la evaluacin de resultados. Las especialidades de stos, as como el grado de participacin (persona-mes) dependern de las caractersticas del PIP y de otras particularidades que puedan tener y que requieran una investigacin profunda. Con el propsito de asegurar la transparencia e imparcialidad, aquellas compaas e individuos que hayan estado directamente involucrados en la preparacin, planificacin y ejecucin del PIP, no sern elegibles como posibles evaluadores.
94
algunos de los conceptos y metodologas usadas para la evaluacin ex post son de uso comn en los estudios de preinversin, por ende, expertos con experiencia en estudios de preinversin de proyectos similares, pero no en el proyecto en cuestin, podran ser incluidos en la lista de posibles evaluadores. En general, se requieren los siguientes expertos para la evaluacin de resultados de un PIP. Especialistas en: La formulacin y/o evaluacin de PIP El sector en cuestin Recopilacin y anlisis de datos a travs de talleres y encuestas El estudio para la evaluacin de resultados requiere una amplia gama de informacin, incluyendo los estudios de preinversin, el expediente tcnico, registros de ejecucin, operacin y mantenimiento, comentarios y opiniones de los involucrados en la preparacin / ejecucin / operacin as como informacin de campo (de beneficiarios y otros). Es indispensable obtener la cooperacin de todos los actores involucrados (no solamente la UF y la UE) sino tambin las entidades encargadas de la operacin y el mantenimiento. aunque el estudio sea implementado por la UF, es la OPI la que asume la responsabilidad de la coordinacin entre los actores involucrados, as como con cualquier otra organizacin relevante.
5.2.
Pasos en la Evaluacin de Resultados

a. Para la evaluacin de resultados se requiere la realizacin de actividades preparatorias con el objeto de elaborar los trminos de referencia que garanticen la contratacin del EEI adecuada al PIP, as como el logro de los objetivos de la evaluacin. Uno de los aspectos ms importantes es la recoleccin de la informacin sobre las tres fases del ciclo de un PIP; sobre la base del anlisis de dicha
95
informacin se efectuar una evaluacin preliminar para identificar aquellos temas que ameritan un anlisis ms profundo. Con estos insumos se podr precisar los alcances, actividades, recursos necesarios, entre otros, que se incorporarn en los TdR b. Una vez que se contrate al EEI se proceder a la realizacin de la evaluacin de resultados que ser validada y complementada por los involucrados en el ciclo del PIP. La primera actividad ser la entrega, por parte de la UF, de toda la documentacin base recopilada en la etapa preparatoria de esta evaluacin. El EEI presentar el plan de trabajo y una vez aprobado por la UF, se iniciar el proceso de recopilacin de informacin adicional sealada en los TdR y el posterior anlisis de la misma. La UF prestar la asistencia necesaria para facilitar la recoleccin de informacin adicional de la institucin as como de otras organizaciones tales como los encargados de la operacin y el mantenimiento. Antes de la culminacin del estudio, se realizar un taller, especficamente para compartir los resultados, conclusiones, opiniones y/o recomendaciones entre las partes involucradas. se conocern y discutirn las opiniones y puntos de vista de la UF, la UE, la OPI y las entidades encargadas de la operacin y mantenimiento, las cuales se incorporarn en el informe final de la evaluacin de resultados. El reporte ser finalizado luego de su aprobacin por parte de la UF y la OPI. En caso de que existan algunos puntos de vista diferentes a los presentados por el EEI, stos podrn ser incorporados y explicitados en el informe. c. Finalmente, para que se cumplan con los objetivos de la evaluacin, se deber difundir los resultados.
96
El EEI realizar exposiciones sobre la evaluacin de resultados aprobada, con participacin de la UF, UE, OPI y otros organismos involucrados e interesados, con la finalidad de socializar las lecciones aprendidas y conclusiones de la evaluacin. se publicar el informe de evaluacin de resultados en la pgina web del sNIP. Las lecciones aprendidas con esta evaluacin, se incorporarn en una batera de lecciones aprendidas incorporadas en un acpite denominado banco de Lecciones aprendidas. El primer beneficiario de la evaluacin de resultados, ser el propio PIP, por cuanto la OPI correspondiente propiciar que las recomendaciones contenidas en el informe, se incorporen en la vida real del proyecto de manera de asegurar la sostenibilidad del mismo. Lo sern tambin los PIP de la misma tipologa y finalmente el SNIP. En el siguiente grfico se muestra los pasos a seguir para esta evaluacin.
97
Grfico 5.1: Pasos en la Evaluacin de Resultados
Recoleccin de documentacin disponible Evaluacin preliminar Planeamiento de la evaluacin de resultados Elaboracin de los Trminos de Referencia Proceso de seleccin del EEI Orientaciones al EEI
Realizacin de la Evaluacin de Resultados Entrega al EEI de la documentacin recopilada Elaboracin del plan de trabajo Recopilacin de informacin adicional Elaboracin del informe preliminar Validacin del informe preliminar Elaboracin del informe final
Socializacin de las lecciones aprendidas Publicacin del informe en el Portal del sNIP
Actividades Preparatorias
Retroalimentacin de la Evaluacin de Resultados
98
5.3.
Actividades Preparatorias para la Evaluacin de Resultados

En el siguiente grfico se muestra el proceso a seguir a efectos de lograr
la contratacin del Evaluador Externo Independiente EEI, sobre la base de unos adecuados trminos de referencia.
Grfico 5.2: Actividades Preparatorias para la Evaluacin de Resultados
Recoleccin de documentacin disponible
Proceso de seleccin del EEI Evaluacin preliminar Planeamiento de la evaluacin de resultados Elaboracin de los Trminos de Referencia
Orientaciones al EEI
5.3.1. Recoleccin de Documentos y Registros Sobre el Proyecto

La primera actividad de preparacin de la evaluacin de resultados es la recoleccin de documentos y registros del proyecto que ser evaluado. Entre los Evaluacin de Resultados
99
documentos y registros principales deben estar incluidos: Estudios de preinversin. se debe incluir informacin de toda la fase de preinversin (perfil y factibilidad, y de ser el caso prefactibilidad), especialmente el estudio sobre el cual se declara viable el proyecto. Esta exigencia se debe a la carencia de alguna informacin importante en el nivel de factibilidad, como por ejemplo el planteamiento de causasefectos o medios-fines. Se incluir tambin los TdR o planes de trabajo del estudio.
Ficha de registro en el banco de Proyectos. Expediente Tcnico aprobado, especificaciones tcnicas, estudio definitivo, o similar (para componentes no relacionados con infraestructura). Informe de Consistencia (formato sNIP 15). Registro de variaciones en la fase de inversin (Formato sNIP 16). Contratos. Planes de trabajo (caso de administracin directa). Informe final de supervisin. actas de seguimiento de la fase de inversin (anexo sNIP 21). Informe de Cierre o Informe de la Evaluacin de Culminacin, seguimiento Ex post (si existiese). Informes de Liquidacin Fsica y Financiera. Convenio de transferencia y/o operacin (de ser el caso). acta de entrega y recepcin del proyecto. Documento de entrevistas con personas y agentes relevantes. Memoria de talleres y/o reuniones con los beneficiarios que participan en la ejecucin u operacin y mantenimiento. Registros de operacin y mantenimiento. Encuestas y otras investigaciones de campo. Otros.
100
La disponibilidad de informacin de la fase de inversin es un aspecto crtico para la evaluacin de resultados, cuando previamente no se realiz la evaluacin de culminacin; lo es tambin el acceso a la informacin sobre la fase de post inversin (operacin y mantenimiento). La Unidad Formuladora (UF) debe realizar las gestiones para que previo a la elaboracin de los TdR, se recoja la informacin disponible de las fases de preinversin, inversin y post inversin y se establezca con precisin la informacin que recabar el EEI a efectos de dimensionar los alcances del estudio y las actividades a realizar para contar con la informacin necesaria.
5.3.2. Evaluacin Preliminar

El propsito principal de la evaluacin preliminar, es identificar las variaciones entre los resultados esperados y los logrados y las razones principales de stas, para ello se realizar la comparacin entre el estudio de preinversin, expediente tcnico y los resultados obtenidos realmente. sobre esa base se plantearn los aspectos que debern ser analizados y profundizados en la evaluacin que realice el EEI, los cuales sern incorporados en los TdR. Sistematizacin de los Hitos del Ciclo del PIP Despus de revisar los documentos recopilados y consultar con los involucrados directos, se desarrolla una descripcin secuencial de cada uno de los hitos ms importantes ocurridos durante la preinversin, ejecucin y operacin del Proyecto. Asimismo, se identifican problemas en este proceso que requieren investigacin a fondo. Evaluacin de Resultados
101
Grfico 5.3: Principales hitos en el Ciclo del PIP
Declaracin de viabilidad Verificacin de viabilidad (de ser el caso) aprobacin del expediente tcnico o similares Contratode obras, equipos, etc. Inicio de la ejecucin fsica de las inversiones Finalizacin de la ejecucin fsica de las inversiones Transferencia Inicio de operaciones
102
5.3.3. Comparacin entre lo Planificado y lo Logrado

Utilizando la informacin disponible, la UF realizar una comparacin entre lo planificado (segn declaratoria de viabilidad) y lo logrado en cada nivel del marco lgico, a fin de realizar las precisiones correspondientes en los TdR de acuerdo a los requerimientos del proyecto. si en algn aspecto, no se encuentra la informacin necesaria, tomar nota sobre esta carencia y requerirla al EEI. Los tems de comparacin son los siguientes: Los componentes planificados y logrados El costo del proyecto planificado y real (por componentes) El perodo del proyecto planificado y real Los indicadores principales del objetivo central del proyecto: meta y lo logrado.
5.3.4. Planeamiento de la Evaluacin de Resultados

Ajuste del Marco Lgico El marco lgico preparado en los estudios de preinversin debe ser ajustado tomando en consideracin los puntos mencionados en la seccin 5.4.1. Los indicadores adecuados as como los medios para su verificacin tienen que ser identificados. A travs del proceso de ajuste se va alcanzando un mejor entendimiento del proyecto, camino hacia la preparacin del estudio de evaluacin de resultados. El marco lgico en esta etapa es an tentativo y sujeto a ser revisado ms adelante por el EEI contratado. Enfoque del Estudio La relevancia especfica de cada uno de los cinco criterios de evaluacin, podr ser enfatizada de acuerdo a las caractersticas de cada proyecto, los asuntos relacionados con el proyecto y a los intereses especficos de la UF y la OPI o el rgano Evaluacin de Resultados
103
que declar la viabilidad del PIP. El enfoque ser expresado a travs de preguntas especficas de evaluacin desarrolladas a travs de una discusin entre los principales involucrados, las cuales complementarn las preguntas incluidas en estas Pautas Generales, seccin 5.4. Los aspectos especficos a evaluar pueden ser identificados a travs de la revisin de documentos y consultas a aquellas personas involucradas en la preinversin, ejecucin de las inversiones y operacin del proyecto. Tales aspectos estarn entonces reflejados en los trminos de referencia, de manera especfica, agregando detalles o simplemente agregando nuevos aspectos que requieren mayor anlisis en la evaluacin. Requerimiento de Informaciones y Disponibilidad El requerimiento y disponibilidad de informacin es evaluado, con el fin de estimar el nivel de esfuerzo requerido en trminos de tiempo y costo para su recopilacin, a fin de llevar a cabo el estudio de evaluacin. Con este propsito, debe prepararse una lista con los tems de la informacin que se requiere, en referencia a los indicadores establecidos en el marco lgico (ajustado de ser el caso) y se ajustar el enfoque especfico de la evaluacin en funcin a este anlisis. Seguidamente, se realizar un rpido examen de la informacin adicional que se requerir, las fuentes posibles de informacin por cada uno de los tems con el fin de realizar una estimacin sobre el costo y tiempo que requerir la generacin y/o recopilacin de informacin. La disponibilidad de los valores objetivos (metas) as como de la lnea de base, necesita ser clarificadas en este examen. Este anlisis debe realizarse para cada uno de los indicadores del marco lgico ajustado. Al evaluar la disponibilidad de la informacin, es necesario calificar cada tem de la manera siguiente: Informacin lista y disponible en la institucin. Informacin disponible en la institucin luego de procesar datos (Cul es el costo estimado y en qu tiempo?)
104
Informacin disponible a ser solicitada a otra organizacin (Cul es el costo estimado y en qu tiempo?) Informacin no disponible. Necesidad de trabajar con informacin primaria a travs del trabajo de campo. (Cul es el costo estimado y en qu tiempo?) si la informacin no estuviese disponible o demandara muchos recursos para ser generada, el enfoque especfico de la evaluacin necesitar un reajuste, as como una reduccin del alcance de recoleccin de informacin para el estudio, a fin de ser ejecutados con el presupuesto asignado. Alcance del Estudio En esta etapa, es necesario asumir algunos alcances generales del estudio de evaluacin, especialmente para la evaluacin de la efectividad y el impacto del proyecto, teniendo en cuenta lo siguiente: La clase de comparaciones que se harn. Lo Planificado / lo Logrado, Antes / Despus y Con / sin Proyecto. El tipo o mtodo de recoleccin de informacin y anlisis apropiados. El tamao requerido de las muestras para la encuesta. Localidades y/o zonas para el estudio de campo. Estimacin de los Recursos Necesarios para el Estudio de Evaluacin Teniendo como base el alcance del estudio, se define el perfil de los expertos requeridos en el equipo del EEI. Dependiendo del volumen y la complejidad en la recoleccin de informacin y anlisis de los mismos, el nivel de participacin (personames) de cada experto deber ajustarse a lo requerido por el estudio. Por otro lado, el alcance del estudio puede ser ajustado al presupuesto disponible, cuidando un nivel mnimo de calidad. En general, el costo total para un estudio de evaluacin de Evaluacin de Resultados
105
resultados depender principalmente de la complejidad de los componentes del proyecto y la magnitud del trabajo de campo requerido.
5.3.5. Proceso de Seleccin del EEI

Preparacin de los Trminos de Referencia (TdR) Los Trminos de Referencia sern preparados por la UF y aprobados por la OPI correspondiente, incluirn: Antecedentes, justificacin y objetivos del estudio de evaluacin de resultados Resumen del proyecto a evaluar mbito de la evaluacin (enfoque y preguntas para la evaluacin) Alcance del estudio y diseo de la muestra Entregables del estudio (productos) Expertos requeridos segn especialidad y funcin. Perfiles profesionales Cronograma de implementacin Cronograma de pagos Anexos: Contenidos mnimos de la evaluacin de resultados, Marco Lgico ajustado, resumen del estudio de preinversin, Informe de Cierre o Informe de Evaluacin de Culminacin, etc. Proceso de Seleccin La seleccin del EEI se realizar de acuerdo a los procedimientos establecidos por OsCE.
106
5.3.6. Orientaciones al EEI

Una vez seleccionado el EEI y firmado el contrato, la UF proveer a ste los documentos e informacin disponible y sostendrn una reunin inicial de orientacin para explicar y discutir lo siguiente: Marco general y los instrumentos (los Contenidos Mnimos, las Pautas Generales y sectoriales) de la evaluacin de resultados Una idea general del proyecto a evaluar Antecedentes e intencin de cada pregunta especifica de evaluacin Metodologa y plan de trabajo
Una de las tareas ms importantes de la UF para iniciar la labor del EEI es contactarla con los involucrados claves del proyecto, como la UE, la OPI, el Operador y otros especficos de acuerdo a la naturaleza del proyecto.
5.4.
Preparacin del Informe de Evaluacin de Resultados

5.4.1. Orientaciones Generales
107
El informe de evaluacin de resultados debe elaborarse de forma gil y sencilla, de manera que sea entendida con facilidad por los tomadores de decisiones y el pblico en general. se tendr presente que lo importante es el anlisis global, equilibrado e integrado, basado en la aplicacin de los 5 criterios, que permita luego plantear conclusiones concretas y lecciones recomendaciones prcticas y tiles. Considerar que el informe de evaluacin es el resultado de un proceso de recopilacin, medicin, anlisis e interpretacin de informacin de fuentes primarias y secundarias; en este sentido se sugieren los siguientes pasos para realizar la evaluacin.
El proceso debe iniciarse con la revisin de los documentos provistos por la Unidad Formuladora incluyendo el marco lgico, los indicadores y el enfoque especfico de la evaluacin. sobre esta base deber establecer los requerimientos de informacin, los informantes clave (involucrados en las 3 fases del ciclo del PIP), los mtodos de recopilacin de informacin y las fuentes de informacin que tendr que consultar. El trabajo de campo es clave para recopilar informacin de fuentes primarias sobre el proyecto y los beneficiarios. Debe planificarse este trabajo estableciendo la muestra, elaborando los instrumentos de recopilacin de informacin (encuestas, guas o cuestionarios de entrevistas y sondeos, etc.), los planes de aplicacin de las encuestas, los planes de entrevistas, el plan de inspeccin fsica del proyecto y rea de influencia, entre otros. se sugiere que se aproveche la visita al proyecto para contactar con los usuarios y principales involucrados, aplicar los instrumentos de recopilacin de informacin y realizar reuniones y talleres si fuesen necesarios. La visita al proyecto, planificada previamente para la evaluacin de resultados tiene los siguientes objetivos; Verificacin de las condiciones fsicas y funcionales de los productos (infraestructura, equipamiento, entre otros) provisto por el proyecto. Investigacin de las causas del deterioro fsico y mal funcionamiento, si lo hubiere, por ejemplo alguna debilidad en el planeamiento y calidad en el diseo de construccin y supervisin, operacin inadecuada y mantenimiento, etc. Dado que el objetivo principal de la evaluacin ex post es el de obtener lecciones tiles y recomendaciones, no una auditora ni control, no es necesario llevar a cabo una extensa inspeccin de campo para todo el proyecto. Se puede focalizar en la parte de mayor preocupacin primaria, o se puede hacer en base a muestreos.
108
se debe tener presente que para evaluar la calidad y las condiciones de operatividad de los productos generados en la fase de ejecucin de las inversiones, es necesario considerar los principios tcnicos y normas de regulacin del sector correspondiente (por ejemplo estndares). Sobre la base de la informacin recopilada y sistematizada se efectuar el anlisis siguiendo las preguntas generales y especficas para cada uno de los 5 criterios; de este anlisis se identificarn lecciones y recomendaciones. Como resultado se tendr el informe preliminar de evaluacin de resultados que ser sometido a discusin entre los principales involucrados en un taller. El informe final de evaluacin de resultados considerar los aportes del taller. El EEI deber preparar el informe de evaluacin de resultados, de acuerdo a los contenidos mnimos y las pautas cuyo desarrollo se presenta a continuacin. Los aspectos metodolgicos y aquellos de carcter tcnico muy especializado deben incluirse en un anexo del informe.
109
Grfico 5.4: Principales Pasos para la Evaluacin de Resultados
Revisin de documentos provistos por la UF
Diseo muestra Diseo de instrumentos para recopilacin de informacin (encuestas, entrevistas, sondeos, entre otros) Recopilacin de informacin Plan de inspeccin fsica del proyecto Visita al proyecto Taller con involucrados
Identificacin de informantes clave y fuentes de informacin Trabajo de campo
aplicacin de criterios de evaluacin
Formulacin de recomendaciones y lecciones aprendidas
Elaboracin de informe preliminar
Presentacin y discusin con involucrados
Elaboracin del informe final
110
Contenido del Informe 5.4.2. Aspectos Generales

a) Resumen Ejecutivo se deber presentar una sntesis del informe que contemple los siguientes aspectos: a. Resumen del proyecto. sealar nombre, objetivo central, componentes, rbol de objetivos, fines, medios y acciones. b. Evaluacin de la pertinencia. Hacer un resumen de la relevancia del PIP dentro de las polticas y prioridades del sector, la satisfaccin de las necesidades de los beneficiarios, la validez de la estrategia y la gestin de los riesgos ms importantes. C. Evaluacin de la eficiencia. Presentar un resumen de la eficiencia en cuanto a logro de productos ejecutados en la fase de inversin (asociados a componentes), tiempos de ejecucin y costos de inversin. D. Evaluacin de la eficacia. Resumir los resultados de la evaluacin de la operacin y utilizacin de los productos ejecutados en la fase de inversin, Evaluacin de Resultados
111
el logro del objetivo central, la rentabilidad social. E. Evaluacin de los impactos directos. Resumir la evaluacin de los impactos directos previstos, de los impactos directos negativos y de los impactos directos no previstos. F. Evaluacin de la sostenibilidad. Resumen de los problemas identificados y propuestas para garantizar la sostenibilidad. G. Conclusiones, Recomendaciones y Lecciones aprendidas.
b) Participantes en la Evaluacin de Resultados Instituciones Involucradas sealar las instituciones participantes en el proceso de la evaluacin de resultados, indicando sus aportes, por ejemplo Unidad Formuladora, Oficina de Programacin e Inversiones, Operador, Unidad Ejecutora, etc. Evaluador Externo Independiente sealar la conformacin del equipo de trabajo, incluyendo nombres, especialidades y funciones de cada uno. c) Resumen del Proyecto Informacin General: sobre la base del estudio de preinversin con el que se declar viable el PIP, incluir informacin que lo caracterice, tal como el cdigo sNIP, nombre del PIP, UE prevista, fecha de declaracin de viabilidad, monto de inversin declarado viable. Si hubiese modificaciones y verificaciones, indicar fecha y nuevo monto de inversin. sobre la base del informe de culminacin o de la informacin recopilada, sealar la fecha de culminacin del PIP, el monto de inversin ejecutado, la fecha de inicio de operacin. Objetivo Central y Componentes: Describir el objetivo central y los componentes del proyecto tal como fue declarado viable. En caso de existir modificaciones que hayan requerido o no verificacin de la viabilidad del PIP, indicar los cambios en el objetivo central as como en los componentes del proyecto original. Problemas, Causas y Efectos: Resumir el diagnstico y el planteamiento del problema, sus causas y efectos en el estudio de preinversin a nivel de perfil.
112
Incluir el rbol de causas-problemas-efectos y el rbol de medios-objetivosfines. d) Marco Lgico Ajustado para la Evaluacin Ex post El marco lgico ajustado del proyecto a fin de usarlo como base de la evaluacin ex post, deber considerar los siguientes aspectos: Coherencia y consistencia entre la descripcin del propsito y los componentes con los que figuran en el marco lgico y los rboles en el estudio de preinversin. Modificacin de los componentes que hayan requerido o no una verificacin de la viabilidad. La descripcin del fin, identificando los fines directos e indirectos. Indicadores apropiados para medir el propsito y los fines. Los supuestos incluyendo todos los factores de riesgo importantes.
Es importante ajustar el marco lgico a fin de precisar el propsito y fin directo del proyecto y contar con indicadores adecuados que permitan el anlisis comparativo, as mismo, porque el marco lgico considerado en el estudio de preinversin en algunos el marco lgico ajustado est considerado en el anexo de los Trminos de Referencia (TdR). El EEI debe revisar y analizar nuevamente el marco lgico ajustado y presentar una versin final ajustada. Los siguientes puntos tendrn que ser considerados. Las descripciones del propsito (el objetivo central) y de los componentes considerados en el marco lgico deben de ser consistentes con las que figuran en el texto y el rbol de medios-fines en el estudio de pre-inversin que sirvi como base de la declaracin de viabilidad. En caso de existir Evaluacin de Resultados
113
casos no refleja adecuadamente lo que se quiere con el proyecto. Por estas razones,
alguna discrepancia entre las descripciones consideradas en el estudio de preinversin, las mismas que debern ajustarse tomando en cuenta lo siguiente: Contexto actual y propsito de la inversin. Quines son los beneficiarios directos (usuarios) de los servicios sobre los cuales se intervino con el proyecto. Establecer el mejor nivel de definicin (factible) del objetivo central, expresado en trminos de acceso al servicio, o utilizacin del servicio o mediante los beneficios que alcanzan los beneficiarios mediante esta utilizacin del servicio. Ejemplo, un proyecto de abastecimiento de agua potable, el nivel de acceso o disponibilidad es incremento de cobertura, el nivel de utilizacin es el incremento del consumo familiar de agua potable. La definicin del objetivo central, se basar en relacin con el problema identificado, si el problema fue de acceso, o el problema fue limitaciones en el consumo familiar de agua. Modificaciones, en el objetivo central alguno de los componentes, que hayan implicado o no verificaciones de viabilidad. La descripcin del fin, estar dividida en fin directo y fin indirecto. En el caso del fin directo, ste estar sujeto a mediciones y anlisis dentro de la evaluacin de resultados. Revisar el rbol de medios y fines y reconfirmar los fines directos que correspondan a los impactos directos previstos. Si es necesario, agregar otros fines directos relevantes. La seleccin de indicadores apropiados para propsito e impacto tienen que contar con medios reales para su verificacin bajo la evaluacin de resultados. Mostrar la meta cuando se encuentren definidas en preinversin- para cada indicador, a efectos de poder hacer referencia a un valor objetivo y al tiempo en el que se especifica que se alcanzar. Los indicadores para
114
propsito, hasta donde sea posible, sern compuestos por indicadores para los tres niveles: Nivel de Oferta ( disponibilidad) de los bienes y servicios que fueron intervenidos por el proyecto7. Nivel de Utilizacin por los usuarios (beneficiarios directos) de los bienes y servicios que fueron intervenidos con el proyecto. Nivel de beneficios (efectos directos intencionales) obtenido por los usuarios (beneficiarios directos) de la utilizacin de bienes y servicios que fueron intervenidos por el proyecto. Los supuestos sern revisados con el fin de incluir los principales factores de riesgo que fueron considerados durante la formulacin y diseo del proyecto. Los supuestos que no fueron considerados aquella vez pero que fueron identificados luego debern entonces ser incluidos, por ejemplo considere los siguientes aspectos: Disponibilidad de recursos para la ejecucin del proyecto. Disponibilidad de recursos para la operacin y mantenimiento. Peligros que pudiese generar desastres o conflictos sociales. Avances y culminacin de la inversin o el proyecto relacionado/as. Cambios en el marco legal e institucional. Variacin de la Demanda del servicio que proveer el proyecto. Otras situaciones polticas, sociales y econmicas relacionas al proyecto.
7 servicios de atencin preventiva de la salud, carretera, servicios de recoleccin de residuos slidos, servicios de abastecimiento de agua potable o agua para riego, etc.
115
e) Ciclo del PIP Elaborar una descripcin secuencial de cada uno de los principales eventos, durante las fases de preinversin, inversin y post inversin hasta la fecha de la evaluacin. Incluir el organigrama de la organizacin prevista para la fase de ejecucin del PIP, acompaado de una breve descripcin de la funcin que cumple cada organizacin (u rgano) y la relacin entre ellas. En caso de haberse producido algn cambio en el esquema organizacional durante la ejecucin del proyecto, explicar brevemente los antecedentes y razones de este cambio. Descripcin secuencial de los principales eventos durante las fases de preinversin, inversin y post inversin hasta la fecha actual. Incluye las fechas de: Declaracin de viabilidad Fecha de suscripcin de contratos principales Duracin de contratos principales Transferencias (si aplican) Inicio de operaciones Evaluacin de culminacin (si aplica) Seguimiento ex post (si aplica) Modificacin de la declaracin de viabilidad (si aplica) Cambio en la implementacin de la organizacin (si aplica) Otros
116
f) Aspectos Metodolgicos Metodologa de la Evaluacin de Resultados Descripcin breve de la metodologa de evaluacin de resultados8. Explicar brevemente los 5 criterios utilizados, el anlisis comparativo aplicado y diagrama de flujo del proceso de la evaluacin de resultados. - Interrogantes Especficas de la Evaluacin de Resultados Sealar y explicar el propsito de las interrogantes especficas para la evaluacin de resultados del PIP, las mismas que debern haberse explicitado en los trminos de referencia. Instrumentos y Mtodos Aplicados Exponer los instrumentos y mtodos utilizados para la recoleccin y anlisis de la informacin. Incluir lista de los principales documentos revisados. Detallar trabajo de campo con lo siguiente: fecha de realizacin, metodologa empleada para la recoleccin de informacin en el campo y anlisis de la misma, etc. se deber incluir: Lista de los principales documentos revisados. Evaluacin de Resultados
117
Identificar las fuentes de informacin. Metodologa empleada para la recoleccin de informacin en el campo y anlisis de la misma; locacin y nmero de entrevistas, nombre y cargo de los entrevistados, reuniones/talleres, fecha de los trabajos de campo, mtodo de muestreo (incluyendo determinacin de la muestra), etc.
Otros.
8 Esta seccin es para aquellos que no conocen la metodologa de evaluacin de resultados.
En los siguientes tems, correspondientes a los cinco criterios, se orienta la aplicacin de las preguntas de evaluacin por cada criterio, que ya han sido detalladas en la seccin 1.2.3. Estas preguntas tienen un rol motivador para identificar los aspectos centrales que se necesita conocer sobre los resultados del proyecto. Por lo tanto, no es necesario organizar el informe respondiendo a estas preguntas de manera independiente y por separado. Sintetizando, el informe debe organizarse de tal manera que la lgica de anlisis sea fcil de comprender.
5.4.3. Evaluacin de Pertinencia

Un proyecto es evaluado como pertinente cuando ha sido planificado de acuerdo con la poltica sectorial-funcional, el contexto regional y local, y respondiendo a las necesidades importantes de los beneficiarios. Para ello: Se contrasta el objetivo del PIP con las polticas, planes, entre otros. Se compara la demanda de los bienes y servicios prevista y real y se analiza el nivel de satisfaccin de los usuarios. Se examina la validez de la estrategia del PIP, vista a travs de las alternativas, los componentes. Se analiza cmo han sido gestionados los riesgos ms importantes, previstos o no en la preinversin. La pertinencia se evala en dos momentos, cuando fue declarado viable y al tiempo de la evaluacin de resultados. a) Relevancia Dentro de las Polticas y Prioridades del Sector al momento de su aprobacin, El objetivo central fue vlido dentro del marco de las polticas y prioridades del sector?
118
Examine la prioridad del proyecto y la manera cmo se enmarca dentro de los lineamientos de poltica sectorial-funcional, los planes de desarrollo concertados y el programa multianual de inversin pblica, en el contexto nacional, regional y local. El planteamiento del marco de referencia en el estudio de preinversin es revisado a travs de la observacin de las polticas y/o planes citados en el estudio, as como con entrevistas con la UF, UE y OPI. Es el objetivo central an vlido, en el contexto actual, tanto a nivel local, regional as como de las polticas y prioridades del sector? se dieron cambios de polticas y prioridades en l, desde la declaracin de viabilidad del proyecto? Examine los cambios en polticas y prioridades, planes de desarrollo y programas de inversiones multianuales relacionados con el proyecto y sus antecedentes, seguido de una evaluacin de la validez del objetivo central del proyecto en relacin a las polticas, planes y programas actuales del sector en el contexto regional / local, a travs de la revisin de documentos y entrevistas con la OPI. b) Satisfaccin de las Necesidades y Prioridades de los beneficiarios Evaluacin de Resultados
119
Los servicios intervenidos con el proyecto, han sido demandados tal y como fue proyectado? De ser as Qu factores han contribuido? De no ser as, Cules son las causas que explican las diferencias encontradas? Revise las proyecciones de la demanda realizadas durante el estudio de preinversin, as como los supuestos y los parmetros utilizados, y comparar con la situacin actual. Especial atencin debe prestarse a la comparacin en cuanto al nmero de personas que el proyecto atendera (poblacin demandante efectiva), demanda por persona
(ratio de concentraciones o intensidad de uso), la validez de las metodologas empleadas. Investigar las causas de las discrepancias en caso de que stas existan a travs de informacin obtenida de la UF, la UE, la operadora, los beneficiarios y otras fuentes. Estn los beneficiarios directos satisfechos con los servicios que se intervinieron con el proyecto? Porque estn satisfechos o insatisfechos? El proyecto cubri las necesidades importantes de los beneficiarios? A travs de una encuesta directa a los beneficiarios, evale el nivel de satisfaccin de los usuarios respecto a los bienes y servicios que estn recibiendo, as como las razones para la satisfaccin insatisfaccin. Verifique si el proyecto cubri las necesidades importantes de la poblacin especfica, indagando con los beneficiarios sobre sus necesidades principales y cules de stas fueron cubiertas por el proyecto. c) Validez de la Estrategia del Proyecto Fue la estrategia inicial del proyecto (alternativa seleccionada, combinacin de componentes, etc.) la ms adecuada para el contexto de ese momento y el momento actual? Fue posible aplicar otra estrategia? Analice el proceso de definicin de los componentes, acciones y de las alternativas de solucin en el estudio de preinversin, as como los resultados obtenidos en la evaluacin ex post en cuanto a efectividad, impacto y sostenibilidad del proyecto; sobre esa base concluya si la alternativa fue seleccionada basndose en supuestos bien fundamentados y si es que se exploraron otras alternativas. son las actividades y productos9 consistentes con el objetivo central del proyecto as como con los fines inicialmente diseados?
9 Por ejemplo, aulas, consultorios, conexiones de agua potable, carretera, puentes,
120
Examinar la validez de la secuencia lgica considerada en el estudio de preinversin, revisando el rbol de causas-efectos, el rbol de mediosfines y el marco lgico. El mismo anlisis para ajustar el marco lgico, debe aplicarse en este acpite. De otro lado, tambin considerar la magnitud, calidad (especificaciones) y localizacin de los productos planificados en el estudio de preinversin en relacin con el objetivo central y las metas y comparar dichos aspectos con la situacin real. En el anlisis se debe incluir: Factores que influyeron para que la utilizacin sea menor y para que no se haya alcanzado el propsito central. Productos o actividades incluidas en el proyecto que no fueron bien utilizados o que no eran absolutamente necesarias para la obtencin del objetivo central. d) Gestin de los Riesgos Importantes se identificaron los riesgos importantes, tanto en la fase de ejecucin como en la post inversin y stos se consideraron en el plan de implementacin del PIP y en la gestin de los servicios intervenidos con este? Revisar si; Evaluacin de Resultados
121
Todos los supuestos importantes, cruciales para el xito del proyecto, fueron considerados y reflejados en la planificacin. a la hora de la formulacin del proyecto, no se subestim la probabilidad de la materializacin de importantes supuestos. Fueron identificadas las posibles medidas a tomar para reducir los riesgos y si estas fueron incorporadas a la planificacin y ejecutadas.
Riesgos importantes incluyen pero no se limitan a: Disminucin o demora en la asignacin de recursos para el proyecto. Cambio de gobierno, cambios organizacionales o institucionales, cambios de personal en puestos claves, etc. Falta de disponibilidad de contratistas calificados. Escasa asignacin de recursos para operacin y mantenimiento. La existencia de condiciones naturales que no se detectaron (condiciones geolgicas, tipo de suelos, etc.). Peligros (que pueden afectar al proyecto o que ste puede generar). Conflictos sociales (que pueden afectar al proyecto o que ste puede generar). Cambios en las condiciones del mercado (oferta, demanda, precios). si hubo o no demoras en la implementacin de la inversin relacionada (aplica cuando el PIP forma parte de un Programa de Inversin o cuando se trata de intervenciones cuya ejecucin era compromiso de otra institucin).
5.4.4. Evaluacin de Eficiencia

Un proyecto es evaluado como eficiente cuando ha generado los productos (asociados a los componentes) esperados, con igual calidad y con la misma o menor cantidad recursos programados y en un tiempo igual o menor al previsto. Al realizar la evaluacin de la eficiencia, los resultados de la evaluacin de culminacin, en caso de estar disponibles, debern ser utilizados.
122
La diferencia de esta evaluacin con la considerada en la evaluacin de culminacin (si el proyecto tuvo esta evaluacin), es que en esta oportunidad se incluyen elementos adicionales (liquidacin y otros que contribuyan a medir la eficiencia) y adems porque esta evaluacin es realizada con el punto de vista de un tercero (el Evaluador Externo Independiente). a) Logro de los Productos Ejecutados en la fase de Inversin del Proyecto Los productos previstos en los componentes se ejecutaron en trminos de la misma cantidad y calidad? En caso de ser positiva la respuesta Qu factores contribuyeron? En caso de ser negativa la respuesta Cules fueron las causas? Las comparaciones de las metas entre lo previsto y lo real, sern realizadas por productos y segn los componentes asociados a stos, para identificar variaciones tanto cualitativas como cuantitativas. se considerar (i) dimensiones fsicas, tales como longitud, reas, etc.; (ii) la capacidad que suma el proyecto a la prestacin de bienes y servicios; (iii) localizacin y lmites del rea de influencia del servicio (dnde es que estos bienes y servicios provistos por el proyecto se encuentran disponibles); (iv) la calidad de los productos de acuerdo a los estndares de las especificaciones tcnicas contemplados en la normatividad competente. En caso de existir modificaciones significativas al proyecto original (estudio de preinversin con el que se declara viable), las cuales necesitaron de una verificacin de la viabilidad, el anlisis comparativo se realiza entre estos tres momentos: declaracin de viabilidad, verificacin de viabilidad y los resultados reales. Las razones del cambio deben de ser examinadas para determinar si fueron realizadas de manera razonable y son justificables. Evaluacin de Resultados
123
si los resultados en los componentes tienen alguna desviacin o variacin con relacin a los considerados en el estudio de preinversin, las causas de estas variaciones o desviaciones, as como las circunstancias por las que la UE se vio en la necesidad de realizar dichas modificaciones, sern examinadas y analizadas con el fin de observar si son razonables y se enmarcan dentro del objetivo central del proyecto. Luego se examinan las posibles alternativas que existieron para responder de mejor manera a la situacin de ese momento. b) Eficiencia en el Tiempo de Ejecucin del Proyecto El PIP se ejecut en los plazos previstos en la preinversin y en el expediente tcnico (si hubo modificaciones)? En caso de ser positiva la respuesta Qu factores contribuyeron? si existieron retrasos, Cules fueron las causas?, Qu fue lo que realiz la UE para hacer frente a los mismos y evitar posteriores retrasos? considerar el mes siete (7) siguiente a la declaratoria de viabilidad, Se como el inicio de la ejecucin del proyecto (es decir como el mes 1 de la fase de inversin)10. Comparar por productos, componentes o de ser posible por contratos, el periodo (en meses) de los procesos de los concursos (caso de concursos de seleccin) y de la ejecucin real con los tiempos considerados en el estudio de preinversin e identificar las restricciones que se tuvieron durante el proceso de ejecucin. En el caso de administracin directa considerar los componentes considerados en el plan de trabajo.
10 Este es un plazo promedio consensuado en las reuniones de validacin de los instrumentos de evaluacin ex post, asumindose que un PIP declarado viable y priorizado dispondr de presupuesto transcurridos 6 meses de la fecha de declaracin de viabilidad.
124
Identificar las causas de los retrasos por cada componente o paquete de contratos y analizar si la UE pudo realizar un mejor planeamiento con el fin de minimizar demoras. Recabar las opiniones de la UF, UE, OPI, y rgano Tcnico designado- en relacin a las causas de los retrasos y la factibilidad del plan original para la ejecucin.
c) Eficiencia en el Costo del Proyecto El PIP se ejecut con el presupuesto previsto en la preinversin y en el expediente tcnico (si hubo modificaciones)? En caso de ser positiva la respuesta, Qu factores contribuyeron?, si los costos fueron mayores Cules fueron las causas?, Qu fue lo que realiz la UE para hacer frente a los mismos y evitar posteriores incrementos? Comparacin del costo total de inversin previsto (en el estudio de preinversin sobre la base de la informacin con la que el proyecto fue declarado viable) y el costo real del proyecto, a nivel de cada producto, componente o paquete de contratos, para identificar variaciones. Identificar las causas de las variaciones en los costos, por cada producto, componente o paquete de contratos y analizar si la UE manej la situacin con una estrategia apropiada a efectos de minimizar costos. Las opiniones de la UF, UE, OPI y rgano Tcnico Designado deben estar referidas a examinar las causas de las variaciones en los costos y la factibilidad del planteamiento original del cronograma financiero. Se debe analizar cmo vari el expediente tcnico en relacin al estudio de preinversin, a nivel de cada uno de sus componentes, a fin de establecer las causas de dichas variaciones. d) Eficiencia Global Cul ha sido el grado de la eficiencia en trminos generales en la ejecucin del proyecto considerando el logro de los productos (asociados a Evaluacin de Resultados
125
componentes) y la eficiencia en cuanto al tiempo de ejecucin y costo de inversin del proyecto? El nivel de ejecucin de componentes se define a travs de un indicador (o la combinacin de indicadores, si fuera necesario) ms apropiado segn la naturaleza del objetivo central del proyecto. La siguiente frmula establece el principio utilizado para la comparacin en el nivel de ejecucin de componentes. En el caso del uso de un solo indicador, su aplicacin es directa. No obstante, si se utiliza ms de un indicador, se deber proponer una combinacin adecuada a fin de obtener un indicador nico que facilite la estimacin que permita juzgar si el ratio es mayor o menor que la unidad.
Nivel de Ejecucin de Componentes = Componentes Ejecutados (indicador) / Componentes Planificados (indicador)

Realizar una evaluacin de la eficiencia respecto del tiempo de ejecucin del proyecto, teniendo en cuenta los componentes y el grado de demora en la ejecucin de los mismos. La eficiencia de los plazos de ejecucin del proyecto, pueden estimarse mediante la siguiente frmula:
Eficiencia en el Tiempo de Ejecucin = Nivel de Ejecucin de Componentes x (Periodo Planeado / Periodo Real)
Realizar una evaluacin de la eficiencia en el costo del proyecto teniendo en cuenta los productos y el grado de sobrecosto en la ejecucin de los mismos. La eficiencia en el costo del proyecto se determinar teniendo en cuenta el nivel de ejecucin de componentes y el grado de variacin (sobrecosto o costo menor):
126
Eficiencia en el Costo = Nivel de Ejecucin de Componentes x (Costo Planeado / Costo Real)

La evaluacin de la eficiencia global puede tener como resultado 2 opciones, la primera cuando es posible cuantificar los ratios (opcin A) y la segunda alcanzada a travs de calificaciones que conduzcan a determinar un orden de magnitud (opcin b). Consultar seccin 3 evaluacin de culminacin. e) Problemas de Ejecucin Cules han sido los principales factores que influyeron en la eficiencia? basado en el anlisis anteriormente mencionado y tomando como referencia las opiniones de la UF, UE, OPI, y de ser necesario tambin de los contratistas y/o supervisores, se identificarn los principales problemas que se tuvieron en la fase de ejecucin y se analizarn a profundidad sus causas primordiales. En la seccin 3 evaluacin de culminacin se presenta una lista de posibles fuentes de ineficiencia. Cules fueron las principales dificultades y limitaciones de la Unidad Evaluacin de Resultados
127
Ejecutora en relacin a la ejecucin del proyecto? Haciendo referencia a la auto evaluacin de la UE y a la opinin de la OPI, identificar y examinar las principales dificultades y limitaciones de la UE que surgieron durante la ejecucin del proyecto en cuestin. El anlisis debe permitir extraer lecciones y recomendaciones concretas y aplicables.
5.4.5. Evaluacin de Eficacia

Un proyecto es calificado como eficaz cuando el objetivo central del proyecto ha sido alcanzado. La evaluacin de la eficacia ser realizada usando los indicadores seleccionados a nivel de la operacin, utilizacin de los productos ejecutados en la fase de inversin, as como de los resultados relacionados con el objetivo central del proyecto. La rentabilidad social alcanzada tambin ser considerada. a) Operacin y Utilizacin de los Productos Generados en la fase de Inversin Para que se logre el objetivo central es necesario que los productos que han sido ejecutados en la fase de inversin sean operados adecuadamente y se utilicen para producir los bienes y servicios que se proporcionan a los beneficiarios en la fase de post inversin. La evaluacin de la eficacia se iniciar con este anlisis. Los productos generados por el proyecto, son operados y utilizados tal y como fueron concebidos? Cul es el nivel de operacin y utilizacin? basado en los indicadores seleccionados para operacin y oferta / disponibilidad de bienes y servicios, evale el nivel de logros contra la meta prevista en el estudio de preinversin. Basado en el indicador seleccionado para la utilizacin de bienes y servicios, evale el grado de utilizacin del proyecto por los beneficiarios directos (usuarios) contra la meta prevista en el estudio de preinversin. Adicionalmente al grado de utilizacin en trminos generales, recolectar informacin a travs de los archivos de los operadores y/o de un estudio de campo en cuanto a quin utiliza que tipo de bienes y servicios y con qu propsito, con el fin de poder identificar y analizar los efectos directos del proyecto.
128
Si los niveles de operacin y utilizacin de los productos son los previstos cules son los factores que han contribuido o contribuyen? basado en la comparacin de lo previsto y lo real se concluye que los niveles de operacin y utilizacin son los previstos, indagar sobre los factores que han contribuido, con la finalidad de sacar lecciones aprendidas. Si los niveles de operacin y utilizacin de los productos son menores de lo que se tena previsto Cules son las razones? Fue posible realizar acciones para mejorar dichos niveles? a futuro cmo se puede mejorar estos niveles? Revisar los problemas y las dificultades que no han permitido la operacin inmediata del proyecto despus de su culminacin, identifique sus causas y las medidas que se tomaron. Si el proyecto no estuviera bien operado o utilizado, a travs de entrevistas con el operador y los beneficiarios directos (usuarios) as como de una observacin directa de las instalaciones, verificar los siguientes aspectos: Defectos en el diseo y la planificacin, que hicieron que la operacin y el mantenimiento sea difcil. Disponibilidad de recursos tcnicos, humanos y financieros para la operacin y mantenimiento. El incumplimiento de condiciones importantes para que el proyecto pueda ofrecer los bienes y servicios a los usuarios. Como por ejemplo, un proyecto que incrementa la disponibilidad de aulas pero no se incrementa el nmero de profesores o un proyecto de riego donde se construye los canales secundarios de irrigacin pero no se culmina Evaluacin de Resultados
129
la toma de agua (captacin), etc. Demanda de bienes y servicios debajo de lo esperado, cambios en la situacin del mercado, variacin de precios (altos/bajos), diferencia con las necesidades reales de los beneficiarios directos (usuarios), etc. b) Logro del Objetivo Central del Proyecto Se analizar si el objetivo central que se plante en la preinversin ha sido logrado, sobre la base de los indicadores de disponibilidad, utilizacin y beneficios directos, los cuales deben precisar metas y tiempos. Es muy probable que en el Marco lgico del estudio de preinversin estos indicadores y sus metas no hayan sido bien definidos, por lo que ser necesario ajustarlos; la evaluacin se realizar sobre la base del marco lgico ajustado. Fue alcanzado, o se alcanzara, el objetivo central del proyecto (en trminos de metas)? Cul es el nivel de logro del objetivo central? seleccione entre los indicadores a nivel de propsito, los ms apropiados con el fin de evaluar el logro del objetivo central del proyecto; indicadores para el acceso (disponibilidad), la utilizacin y los beneficios directos (efectos directos intencionales) de los bienes y servicios ofrecidos que se intervinieron con el proyecto. La evaluacin se hace basndose en la comparacin entre las metas planificadas del indicador o los indicadores seleccionados y las alcanzadas en la realidad. De ser necesario, ms de dos indicadores se pueden combinar para esta evaluacin, siendo recomendable tres indicadores como mximo. adicionalmente a la evaluacin cuantitativa anteriormente sealada, es necesario que el logro del objetivo central se describa basndose en evidencias, especificando quines recibieron qu tipo de beneficio
130
del proyecto y en qu magnitud. Esta precisin es muy importante especialmente para los proyectos en donde una evaluacin cuantitativa con un solo indicador o un nmero pequeo de estos, no es suficiente para explicar los aportes reales del proyecto. Si el objetivo fue alcanzado cules son los factores que han contribuido o contribuyen? Si el logro del objetivo es el previsto, analizar los factores que han contribuido. stos pueden estar relacionados con adecuadas estimaciones de la demanda y metas en la preinversin, a la consistencia de los bienes y servicios Si el logro del objetivo no es el previsto Cules son las razones por las cuales el objetivo del proyecto no se ha cumplido an o el nivel es menor al que se tena previsto? Fue posible realizar acciones para lograr el objetivo del proyecto? Cmo se puede mejorar a futuro? Si el logro del objetivo central del proyecto no es suficiente, encuentre las causas, revisando los logros de la operacin (oferta o disponibilidad) y la utilizacin de los bienes y servicios as como los beneficios (efectos directos intencionales) para los usuarios. Evaluacin de Resultados
131
Especifique las principales razones por las cuales no se logr el objetivo central. si este fuese el caso, examine las posibles medidas a tomar, a travs de entrevistas y discusiones con el operador, los usuarios (beneficiarios directos) y otras partes involucradas para retomar el logro del objetivo central. Es posible que el hecho de no haber logrado el objetivo central del proyecto obedezca a deficiencias planteadas en la fase de preinversin (subvaluacin o sobrevaloracin) de las metas (muy optimistas o poco
realistas), por lo tanto, es necesario investigar acerca de esta posibilidad mediante discusiones con la UF, la UE y la OPI. Cmo o por qu sucedi esta situacin? c) Rentabilidad Social La rentabilidad social ser estimada nuevamente con la informacin real sobre los costos de inversin, operacin y mantenimiento, as como los beneficios generados. Se aplicar la misma metodologa (beneficio costo o costo efectividad) que se consider en la preinversin. Considerando informacin de beneficios y costos reales Cul es la rentabilidad social del proyecto? Cmo han variado los resultados entre los indicadores previstos de costo/beneficio o costo/efectividad cuando se declar viable, o se verific la viabilidad (de ser el caso)? Analizar nuevamente la rentabilidad social del proyecto comparando lo previsto en estudio de preinversin o cuando se verific la viabilidad versus lo sucedido en la realidad. Considerar las siguientes variables: Monto real invertido por el proyecto. Costos reales y proyectados (para los siguientes aos) de operacin y mantenimiento. Considerar cambios en los precios en el mercado Beneficios reales y proyectados (para los siguientes aos). Considerar cambios en la poblacin demandante efectiva y en el ratio de concentracin o uso de los bienes y servicios que se intervinieron con el proyecto.
132
Cules son las razones por las cuales la rentabilidad social es menor a la proyectada originalmente? Comparando los procesos y resultado del anlisis social del estudio de preinversin y el resultado de la evaluacin realizada, identifique las causas de las diferencias en los resultados finales en caso de existir. Las causas pueden ser encontradas en factores como: cambios en los costos del proyecto, demora en el periodo de ejecucin, nivel de operacin y/o utilizacin, precios, demanda, etc. De ser el caso Cul es el Costo social de Demora en la ejecucin y puesta en marcha del proyecto? Este costo social se determina comparando el escenario programado versus lo realmente ejecutado, (en caso de una demora significativa en los tiempos, considerando como significativo a partir de 12 meses). Debemos tener presente que para evaluar la eficiencia se considera como inicio del perodo de ejecucin el mes 7 despus de declarada la viabilidad. En este costo social, debe considerarse la estimacin de los beneficios que el usuario deja de percibir por el tiempo de demora hasta el inicio real de la operacin. Tambin puede imputarse (de ser el caso) los costos marginales de brindar el servicio con otro medio alternativo. d) Eficacia Global El grado de la eficacia global del proyecto se juzga considerando el nivel de operacin y utilizacin de los productos generados en la fase de inversin, el logro del objetivo central y la rentabilidad social en las condiciones reales. Se identificarn los factores que ms influenciaron en la eficacia o falta de sta, tomando en cuenta para la formulacin de las lecciones y recomendaciones. Evaluacin de Resultados
133
Cul ha sido el grado de la eficacia en trminos generales del proyecto considerando el grado de operacin y utilizacin de los productos (asociados a componentes) para producir los bienes y servicios a proporcionar en la post inversin, el logro del objetivo central (beneficios directos) y la rentabilidad social del proyecto? En trminos generales el logro del objetivo central del proyecto debe evaluarse a travs de los indicadores seleccionados, as como tambin respecto al nuevo clculo de la rentabilidad social (preinversin versus situacin actual). Al juzgar el nivel de eficacia global sobre la base de dos o ms indicadores, es necesario determinar la importancia relativa de los mismos respecto al objetivo central. Cules han sido los factores que ms influenciaron en la eficacia o falta de sta? Cmo es que la eficacia del proyecto puede ser mejorada? En base al anlisis realizado anteriormente, resumir los principales factores que afectan o influyen (positiva y negativamente) en el logro del objetivo central. Tener presente la necesidad e importancia de identificar lecciones aprendidas y formular recomendaciones con medidas prcticas y concretas a fin de mejorar el logro del objetivo central del proyecto.
5.4.6. Evaluacin de Impactos Directos

En general, el impacto de un proyecto incluye los cambios directos e indirectos, tanto positivos como negativos, previstos y no previstos, que el proyecto produce sobre los usuarios, as como sobre las condiciones socioeconmicas y ambientales del mbito de influencia del proyecto.
134
La evaluacin de resultados considera solo los impactos directos, incluyendo los establecidos en la fase de pre inversin (fines directos), as como impactos directos negativos y no previstos que han sido generados por el proyecto. Estos impactos solo se estimarn de manera parcial, dependiendo de la disponibilidad de informacin, presupuesto y tiempo. Las tareas incluyen: Identificacin de la amplia gama de cambios en los usuarios11, as como sobre las condiciones tanto socioeconmicas como ambientales, relacionados con el proyecto, incluyendo aquellos impactos o fines originalmente previstos (preinversin). Verificacin de la causalidad entre estos cambios y el proyecto, tratando, tanto como sea posible, aislar los impactos directos del proyecto, de otros factores. Descripcin de manera detallada del impacto directo, haciendo referencia a informacin tanto cuantitativa como cualitativa obtenida en el trabajo de campo y mediante otras fuentes. La evaluacin de los impactos directos de un proyecto, requiere de un enfoque para el estudio, la recoleccin de informacin y un mtodo de anlisis apropiado y Evaluacin de Resultados
135
diseado, debiendo tener en consideracin lo siguiente: Nmero de beneficiarios y comunidades beneficiadas, y el conjunto de sus caractersticas. Disponibilidad de metas, lnea de base, grupo de control.
11 Incremento en la comprensin lectora, reduccin de los costos de acceso a los servicios, incremento en el diagnstico temprano de complicaciones en el parto, entre otros.
Intereses especficos que fueron identificados con anticipacin tanto por la OPI, la UF, la UE o el EEI. Determinado con anticipacin en los trminos de referencia. Tamao del presupuesto. El enfoque del estudio diseado debe tener como base un tipo la combinacin de diferentes tipos de comparaciones: Comparacin entre lo planificado / lo logrado. Comparacin entre antes y despus del proyecto Comparacin entre Con / sin proyecto Comparacin de temas, basado en intereses especficos como por ejemplo urbano/rural, rico/pobre, etc. La recopilacin de informacin y los mtodos de anlisis, son una combinacin de mtodos cuantitativos tales como encuestas, conteos etc. y mtodos cualitativos como el desarrollo de entrevistas, talleres y observacin directa. El objeto de la investigacin bsicamente se centra en los beneficiarios, pero de ser necesario o apropiado, los no-beneficiarios pueden tambin ser incluidos para fines de la comparacin (grupos de Control). La unidad de la muestra puede ser el individuo, el hogar, el negocio, la comunidad, etc., dependiendo de la naturaleza de los cambios esperados. Las entrevistas, los talleres y la encuesta con los beneficiarios no solo tienen el propsito de evaluar el impacto directo, sino que tambin pueden ser usados en la aplicacin de los otros criterios de la evaluacin. El contenido bsico de dicha entrevista/talleres/encuesta incluir: Grado de utilizacin del proyecto, propsitos o razones para la utilizacin del proyecto, razones para la no-utilizacin del mismo.
136
Beneficio directo obtenido del proyecto. mbito y extensin de tal beneficio. Nivel de Satisfaccin alcanzado con el proyecto (por los bienes y servicios ofrecidos), razones de esta satisfaccin, si es que el proyecto cubri las necesidades bsicas o no. Impactos directos del proyecto. Cambios ambientales y socio-econmicos asociados al proyecto. Impactos directos esperados (fines directos) Impactos negativos. Otros impactos no previstos. Participacin de los beneficiarios, grado y calidad de la participacin en la planificacin, implementacin, operacin y mantenimiento del proyecto. Efectividad del entrenamiento o capacitacin para beneficiarios, etc. (si es aplicable). a) Impactos Directos Previstos Hasta qu punto los impactos directos previstos (los fines directos o cambios favorables y previstos producidos directamente por el proyecto) Evaluacin de Resultados
137
fueron alcanzados? Cmo y hasta qu punto el proyecto contribuy con estos cambios? Hasta qu punto podemos atribuir estos cambios al proyecto? Qu ser necesario para poder maximizar los impactos directos previstos? Por cada fin directo, identificar y analizar el alcance de los cambios despus del proyecto y examinar la relacin causal con el mismo. La contribucin del proyecto para los cambios identificados, as como la contribucin de
otros factores para los cambios debe ser clarificada basndose en evidencia concreta. Realizar una comparacin con el planteamiento original de los fines directos, si es que las metas estuvieran disponibles en el estudio de preinversin. Identificar los factores que impiden el logro de los fines directos, tomar en cuenta la necesidad de formular recomendaciones, examinar las posibles medidas a tomar con el fin de maximizar el logro de los fines directos. b) Impactos Directos Negativos e Impactos Directos No Previstos Qu impactos directos negativos tiene el proyecto? El proyecto ha tomado algn tipo de medida con el fin de minimizar los impactos negativos? Qu es necesario para minimizar los efectos negativos? Existe algn impacto directo positivo no-previsto? Qu tendra que hacerse para maximizar estos efectos positivos? Con relacin a los impactos negativos y los impactos directos no previstos, los siguientes aspectos necesitan considerarse para su aplicacin: Compensacin y reubicacin de la poblacin afectada por el proyecto: Planes y resultados actuales para la compensacin y reubicacin, incluyendo el nmero de poblacin afectada (de alguna manera) por el proyecto, procesos y montos de la compensacin, condiciones del rea de reubicacin. Recabar las opiniones de la poblacin afectada por el proyecto en cuanto al proceso y resultado del proceso de compensacin y reubicacin. analice cmo es que sus vidas cambiaron a consecuencia de impactos identificables.
138
Impacto ambiental: Contaminacin y degradacin del medioambiente como consecuencia de la ejecucin y operacin. si estuviese disponible, revise el estudio de evaluacin del impacto ambiental, y verifique si las medidas propuestas para contrarrestarlo fueron implementadas y si existe algn impacto no previsto en el medio ambiente. Tambin debe observarse si existiesen impactos en recursos histrico culturales. Impactos locales socioeconmicos en el rea de influencia del proyecto. Cambios socioeconmicos (favorables desfavorables) como por ejemplo: Generacin de empleo a corto y largo plazo por el proyecto. Impactos socioeconmicos de la afluencia de trabajadores de otras zonas. Incremento de la actividad comercial y de servicios para atender a la poblacin migrante a consecuencia del proyecto. Uso pblico del camino y campamento del proyecto. Evaluacin de Resultados
139
Conflictos sociales generados en relacin al proyecto. Identifique y describa los principales impactos locales, sus causas y magnitud. Recabe las opiniones de los residentes locales y analice cmo es que su vida cambi como consecuencia de los impactos identificados. En caso de que se identifiquen impactos negativos, investigue las causas detalladamente, con el fin de plantear alguna medida para mitigarlos. Considerar acciones posibles a fin de maximizar los impactos positivos.
5.4.7. Evaluacin de Sostenibilidad

Un proyecto es calificado como sostenible cuando los productos generados en la fase de ejecucin del proyecto tienen gran probabilidad de ser operados y utilizados, y seguir logrando el objetivo central durante la vida til del proyecto. Al realizar la evaluacin de la sostenibilidad, los resultados de la evaluacin de culminacin y el seguimiento ex post sern utilizados, si el proyecto contara con estas evaluaciones. a) Operacin y Mantenimiento Para garantizar la sostenibilidad es necesario que los productos (infraestructura, equipos, instalaciones, entre otros) se mantengan en condiciones operativas, incidiendo en ello el mantenimiento as como las capacidades tcnicas de las personas encargadas de operar y mantener los productos. En la evaluacin se identificarn problemas a efectos de proponer posibles soluciones que posibiliten mejorar la sostenibilidad a futuro. En la actualidad Cules son las condiciones fsicas y funcionales de la infraestructura e instalaciones (productos asociados a los componentes) que se ejecutaron con el proyecto?, Estn operativas? si no lo estuviesen, cul es el motivo? Examine mediante un trabajo de campo si la operacin y mantenimiento del proyecto est de acuerdo a lo planificado; para ello analice los registros de la operacin y mantenimiento, entreviste al operador en relacin con el funcionamiento de los productos que se lograron en la fase de ejecucin del proyecto. si es que se encuentran daos no reparados, algn mal funcionamiento o defecto, investigue las causas a travs de entrevistas con el operador y/o la UE y revisin de los documentos relevantes. Las causas pueden incluir aspectos tales como:
140
Defectos en el diseo Calidad inadecuada de la construccin Mantenimiento insuficiente debido a restricciones presupuestales, institucionales, regulaciones u otras causas Operacin y mantenimiento realizado con tcnicas no adecuadas En cuanto al mantenimiento, Qu tipo de estrategia es la que se maneja?, Mantenimiento preventivo y/o mantenimiento correctivo?, se cuenta con un plan de mantenimiento bien definido y ejecutado?, Se han realizado las acciones de mantenimiento previstas? Si no se estuviese realizado el mantenimiento Cules son las causas? Cmo se puede mejorar? Revise el plan de mantenimiento del operador, si es que existe, e investigue el tipo de estrategia de mantenimiento utilizada: mantenimiento preventivo o mantenimiento correctivo. Evale lo apropiado del plan. Verifique hasta qu punto el plan de mantenimiento orienta las acciones adecuadamente o no, examine cules son las restricciones del caso. Evaluacin de Resultados
141
Cules son las principales dificultades y limitaciones en cuanto a la operacin y mantenimiento? Basado en el anlisis anteriormente descrito, identifique las dificultades que existen para una adecuada operacin y mantenimiento, as como las limitaciones que tiene el operador (organizacin o entidad encargada de producir los bienes o proporcionar los servicios), teniendo en consideracin que se debe concluir con la formulacin de recomendaciones.
b) Capacidad Tcnica y Gerencial del Operador se evaluar las capacidades para la gestin de la fase de post inversin. Los temas de la organizacin, arreglos institucionales, capacidades tcnicas del operador, sern analizados. Se identificarn limitaciones para formular propuestas que mejoren la capacidad del operador y la sostenibilidad futura. Se realizaron los arreglos institucionales para la operacin y mantenimiento? Funcionan correctamente? Revise el organigrama institucional, as como el marco legal del operador. En caso, de que parte o la totalidad de la operacin y mantenimiento se encuentre otorgada al sector privado o comunal, analizar los trminos de esta entrega y cmo es que el operador monitorea la calidad del trabajo. Examine si: Las responsabilidades del operador, as como de aquellos que participan en la operacin y mantenimiento, estn claramente definidas y entendidas por todas las partes, sin ningn tipo de duplicidad o conflicto entre ellas. La capacidad del operador en trminos tcnicos, administrativos, de organizacin y de personal, es adecuada para ejecutar y supervisar la operacin y mantenimiento del proyecto. El operador tiene la facultad de seleccionar una compaa calificada (sector privado) basado en un criterio establecido y as contar con un buen sistema de control de calidad del trabajo a travs de la supervisin y asistencia tcnica.
142
La comunidad o grupo de usuarios a los cuales se les encarga parte o la totalidad de la operacin y mantenimiento, cuenta con una estructura organizacional, con buen funcionamiento y capaz de administrarla adecuadamente. Las entidades responsables y usuarios (de ser el caso) tienen la suficiente capacidad tcnica y administrativa para cumplir con la operacin y el mantenimiento? Verifique la existencia y los contenidos de manuales tcnicos y si es que stos son usados de manera adecuada. Obtenga las opiniones del operador en cuanto al contenido en dichos manuales. Verifique que los registros y reportes de la operacin y mantenimiento se encuentren archivados y hasta qu punto y con qu propsitos son usados. a travs de entrevistas y encuestas con el operador, averige si piensan que ellos mismos pueden llevar a cabo la operacin y mantenimiento, o si es necesario contar con asistencia tcnica. En caso de requerir asistencia tcnica, verificar para qu, por qu, en qu ocasiones, de parte de quin. Tambin si es que en la prctica ya la reciben. Evaluacin de Resultados
143
Recibi el operador capacitacin en cuanto a la operacin y mantenimiento? Fue suficiente? El operador cuenta con un programa de capacitacin propio? Revisar los contenidos, para la capacitacin del personal y la intensidad de la capacitacin recibida por el operador, en caso de existir. Obtenga las opiniones de las personas que recibieron tal capacitacin, la aplicacin de sta y hasta qu punto ellos se encuentran satisfechos con la misma.
a travs de entrevistas y encuestas con el operador, averige qu tipo de capacitacin piensan que deberan recibir con el objetivo de mejorar la calidad de la operacin y el mantenimiento.
c) Sostenibilidad financiera La disponibilidad oportuna de los recursos financieros para la provisin de los bienes y servicios que se entrega a los beneficiarios en la fase de post inversin es un factor clave para la sostenibilidad. Se evaluar el flujo de recursos financieros y se contrastar con lo previsto, as mismo, se analizar las perspectivas de financiamiento a futuro. Cul es el presupuesto planeado y el asignado para la operacin y mantenimiento? Comparacin entre el gasto planificado y el gasto real (asignado) para la operacin y mantenimiento, detallando costos por tems, hasta la actualidad. Cmo estn financiados los costos de operacin y mantenimiento? Hasta qu punto los ingresos generados mediante la operacin del proyecto cubren los gastos operativos, el mantenimiento y de reinversin en el proyecto? Comparacin de los ingresos generados, planificados y reales, de la operacin hasta la actualidad. Tasa de recuperacin de los costos estimada mediante los ingresos del proyecto respecto a los gastos de operacin y mantenimiento. Resultados hasta la actualidad, y la proyeccin durante la vida til pronosticada para el proyecto. Financiamiento de los costos que no son cubiertos por los ingresos del proyecto, cunto, de qu fuente, con qu seguridad?
144
Cules son las probabilidades de que el costo de operacin y mantenimiento sea cubierto durante la vida til del proyecto? basados en el anlisis anteriormente descrito, realice una proyeccin de los ingresos y costos de operacin y mantenimiento del proyecto, durante su vida til. Identificar los riesgos para la sostenibilidad financiera del proyecto y evaluar el grado de sostenibilidad financiera del mismo. d) Gestin de Riesgos Se evaluar si los riesgos importantes han sido identificados en la preinversin, se incluyeron las medidas para reducirlos y stas han sido aplicadas. Se identificarn los riesgos que pudiesen haber surgido en las fases de inversin y post inversin y la manera en que stos han sido enfrentados. se evaluar la capacidad del operador del servicio o los beneficiarios para asimilar y recuperarse de un desastre o conflicto social, entre otros. Existen riesgos de desastres o de carcter social para el proyecto? se adoptaron medidas para reducirlos? Cmo est preparado para asimilarse o recuperarse de los mismos? Identifique los factores de riesgo para la operacin y mantenimiento relacionados o no relacionados con el proyecto, y evale el grado de riesgo para cada uno de stos, verifique si se incluyeron medidas para reducirlos y stas se concretaron. Si en la fase de operacin se han identificado riesgos que no fueron considerados en la fase de preinversin (estudios) analice cmo se puede gestionarlos. Evaluacin de Resultados
145
del proyecto, como por ejemplo, peligros naturales, conflictos sociales
Examine hasta qu punto el operador del proyecto y los usuarios estn preparados para responder si ocurriese un desastre o conflicto social. analice la capacidad para rehabilitar o recuperar el servicio, los mecanismos para proveer el servicio mientras dura la emergencia, etc. e) Sostenibilidad Global Cul es el grado de sostenibilidad global del proyecto? basados en el anlisis anteriormente descrito, evaluar el grado de sostenibilidad del proyecto, en tres categoras: sostenible: si no se detectan problemas mayores para la sostenibilidad. Necesita de atencin: si existen algunos asuntos relacionados con la sostenibilidad que necesitan atencin continua pero ninguna accin inmediata. Necesita accin inmediata: si existen problemas graves con la sostenibilidad y se necesitan medidas inmediatas. Cules han sido los factores que ms influenciaron la sostenibilidad o falta de sta para con el proyecto? Cmo es que la sostenibilidad del proyecto puede ser mejorada? basados en el anlisis anteriormente descrito, identificar los principales factores que afectan la sostenibilidad del proyecto. se debe tener en consideracin la necesidad de formulacin de recomendaciones y lecciones aprendidas, examinar las posibles medidas a tomar para contrarrestarlos.
146
5.4.8. Conclusiones, Recomendaciones y Lecciones Aprendidas

a) Conclusiones Resumen de la evaluacin de resultados de acuerdo a los cinco criterios utilizados y a la evaluacin global del proyecto. b) Recomendaciones Una recomendacin sugiere una accin concreta a alguien. Las recomendaciones pueden estar referidas al propio proyecto motivo de la presente evaluacin y para nuevos proyectos del sNIP. Las recomendaciones para mejorar la eficacia, los impactos y la sostenibilidad del proyecto motivo de la presente evaluacin de resultados, deben referirse a los siguientes aspectos: Medidas a tomar por la entidad encargada de la operacin y mantenimiento. Actividades de seguimiento de parte de la OPI, a fin de asegurar una adecuada operacin y mantenimiento, mejorar la eficacia, la sostenibilidad y los impactos directos previstos. Evaluacin de Resultados
147
Otras recomendaciones relacionadas con el proyecto. Las recomendaciones pueden orientarse a nivel de polticas y/o programas, si han sido elaboradas con una base suficiente que asegure su confiabilidad. Una recomendacin est orientada a una accin especfica y concreta. especficos. Incluye soluciones especficas a problemas
Considerar qu acciones a corto plazo se deben tomar. basado en el anlisis de las limitaciones prcticas, especificar las competencias del Estado y las acciones que se deben realizar, precisando en qu magnitud y tiempo. Es esencial la retroalimentacin y discusin con los involucrados sobre los resultados preliminares de la evaluacin, para el desarrollo de recomendaciones concretas, prcticas y aplicables. Realizar recomendaciones concretas a nivel de polticas y/o programas, solo cuando las conclusiones del estudio de evaluacin de resultados tenga una base suficiente para la generalizacin y las condiciones especficas para que la recomendacin sean aplicables. De lo contrario, considerarla como una de las lecciones aprendidas. c) Lecciones Aprendidas Las lecciones deberan ser generalizadas y aplicables a proyectos similares, sugiriendo medidas y destacando en qu situaciones concretas se aplicarn las lecciones aprendidas, lo cual debe sealarse con claridad. Una leccin es una enseanza. Considere tanto las fortalezas y debilidades del proyecto objeto de evaluacin de resultados y si las experiencias del proyecto podran reflejarse en la planificacin y ejecucin de proyectos nuevos similares. Analizar y especificar las situaciones en las que cada leccin aprendida se aplica. No solo considerar las lecciones aprendidas a consecuencia de los problemas encontrados si no tambin las lecciones aprendidas resultantes de las buenas prcticas identificadas con el proyecto. Las lecciones pueden desarrollarse en los siguientes niveles y aspectos Polticas Proyecto
148
Preinversin Inversin Operacin y mantenimiento Otros PIP del sector o tipologa Otros sectores
5.4.9. Informacin y Anexos

Indicar las referencias donde se ha obtenido la informacin detallada que sustenta el informe, as como las fuentes de informacin y el nombre del responsable de su administracin. Incluir como anexos toda la informacin que pueda ser necesaria para sustentar cada uno de los puntos considerados en esta evaluacin de resultados.
149
Anexos
151
Contenidos Mnimos para la Evaluacin de Culminacin

En el marco del sistema Nacional de Inversin Pblica, el ciclo de un Proyecto de Inversin comprende 3 fases: Preinversin, Inversin y Post Inversin. En la primera fase se analiza la conveniencia de ejecutar un determinado proyecto, en la segunda se ejecutan aquellos que han sido declarados viables, efectundose el seguimiento y evaluacin correspondiente y en la tercera fase, en la que se producen los bienes y servicios que demandan los beneficiarios, se realiza la evaluacin ex post. En la evaluacin ex post se distinguen 4 momentos, la evaluacin de culminacin, el seguimiento ex post, la evaluacin de resultados y el estudio de impactos. La evaluacin de culminacin debe realizarse inmediatamente despus de concluida la ejecucin fsica del proyecto, para garantizar que est disponible la informacin del proyecto y la memoria de las experiencias estn frescas. En la prctica, es una autoevaluacin que se lleva a cabo mediante un proceso participativo donde intervienen todos los involucrados en la fases de preinversin e inversin y, de ser posible o necesario, el operador del proyecto (que tendr a su cargo la fase de post inversin); estar a cargo de la UE y los criterios de evaluacin son de eficiencia y sostenibilidad (anlisis actualizado). La evaluacin de culminacin es obligatoria para todos los proyectos de inversin anexo 1
153
pblica. La aplicacin de estos contenidos mnimos, es para aquellos cuyo monto de
inversin a precios de mercado sea mayor a la lnea de corte sectorial (seccin 3.1.4. de las Pautas Generales). Para los PIP cuyo costo se encuentre por debajo de la lnea de corte, se aplicar el formato simplificado e instructivo (Anexo 4 de las Pautas Generales). La evaluacin de culminacin tiene como propsitos: El reflejo inmediato de la ejecucin para medir la eficiencia de la misma y obtener lecciones y recomendaciones relacionadas con el planeamiento y ejecucin de proyectos. Analizar las perspectivas de la sostenibilidad del proyecto, en trminos de la disponibilidad de los factores necesarios para la adecuada operacin y mantenimiento, que posibiliten la entrega oportuna del bien o servicio determinado, concluyendo con las recomendaciones pertinentes incluida la relacionada a la necesidad del seguimiento ex post. La metodologa a utilizar debe estar basada en el anlisis de documentos relacionados al proyecto, as como una serie de entrevistas y reuniones personales y grupales (talleres) con quienes intervienen en la ejecucin y operacin del PIP. Es una evaluacin interna, que puede desarrollarse con o sin una consultora que facilite el proceso. El informe de la evaluacin de culminacin se desarrollar de acuerdo al siguiente contenido: 1. Resumen Ejecutivo se deber presentar una sntesis que contemple los siguientes aspectos: a. Resumen del proyecto (nombre, objetivos, componentes)
154
B. Evaluacin de la eficiencia. Resumen de la eficiencia en cuanto a productos, tiempos y costos. C. Evaluacin de la sostenibilidad. Resumen de los problemas identificados y las recomendaciones. D. Lecciones aprendidas E. Recomendaciones 2. Resumen del Proyecto Incluir informacin del estudio de preinversin con el que fue declarado viable el PIP que lo caracterice: Cdigo sNIP, nombre, monto de la inversin, Unidad Ejecutora y el plazo de ejecucin previsto para la implementacin del proyecto, entre otros. Describir el objetivo central y los componentes. Especificar las modificaciones que se hayan dado, sean sustanciales o no. 3. Metodologa Utilizada Presentar un resumen de la metodologa y procesos que se ha aplicado para la evaluacin de culminacin. 4. Proceso de Ejecucin del PIP Especificar las entidades (precisando los rganos), organizaciones, que han intervenido en la fase de ejecucin, sealando los roles o funciones que han cumplido. Presentar una descripcin secuencial de cada uno de los eventos importantes ocurridos durante la ejecucin del Proyecto. anexo 1
155
5. Evaluacin de la Eficiencia anlisis comparativo de los componentes del proyecto entre lo previsto en el estudio de preinversin con el que fue declarado viable, y lo realmente ejecutado. Identificacin de las diferencias y anlisis de las causas de stas. Se incluir el anlisis de: a) Logro de los Productos (asociados a componentes). Comparacin entre las metas y caractersticas de los productos previstos a lograrse en la fase de ejecucin (por ejemplo nmero de aulas a construir y dimensiones; nmero de km de carretera a mejorar y caractersticas tcnicas), con los productos efectivamente logrados. Identificacin y cuantificacin de las diferencias y anlisis de las causas. b) Eficiencia en el Tiempo de Ejecucin del Proyecto Comparacin entre el tiempo de ejecucin previsto y el tiempo real empleado a nivel de cada producto, componente o paquete de contratos. Identificacin y cuantificacin de las diferencias y anlisis de las causas. c) Eficiencia en cuanto al Costo del Proyecto anlisis comparativo entre el costo total de inversin prevista del proyecto y el costo total de inversin real del proyecto (a precios privados), a nivel de cada producto, componente o paquete de contratos, identificar y cuantificar las variaciones y sus causas. Analizar el plan de implementacin financiero. Sobre la base de los resultados de la evaluacin de la eficiencia a nivel del logro de productos, tiempos de ejecucin y costos de inversin, se evaluar la eficiencia global y especificar los problemas de ejecucin.
156
Incluir una evaluacin de la eficiencia en trminos generales del proyecto basada en la eficiencia en los tiempos de ejecucin y los costos del proyecto. Identificar los principales problemas que afectaron la eficiencia en la ejecucin del PIP, as como las debilidades y limitaciones en cuanto a la preparacin y ejecucin del proyecto. 6. Evaluacin de la Sostenibilidad Evaluar los factores sealados en el estudio de preinversin (con el que se declar la viabilidad) que garantizan que el proyecto generar los beneficios y resultados esperados a lo largo de su vida til, y analizar si los mismos se mantienen o presentan variaciones y en qu medida. Especial inters es la identificacin de problemas ocurridos en este periodo, as como los riesgos posibles en la operacin y mantenimiento. 7. Lecciones Aprendidas y Recomendaciones Determinar el conjunto de lecciones aprendidas que resultan de la evaluacin del proceso de ejecucin del proyecto y sobre esta base plantear las recomendaciones correspondientes. 8. Referencia de la Informacin y Anexos Incluir las referencias sobre la ubicacin de la informacin que se ha utilizado para la elaboracin del informe de evaluacin, precisando el nombre del responsable del rea donde se puede encontrar. Anexos conteniendo informacin adicional til para el desarrollo de la evaluacin de culminacin.
157
anexo 1
158
Contenidos Mnimos para el Seguimiento Ex Post

En el marco del sistema Nacional de Inversin Pblica, el ciclo de un Proyecto de Inversin comprende 3 fases: Preinversin, Inversin y Post Inversin. En la primera fase se analiza la conveniencia de ejecutar un determinado proyecto, en la segunda se ejecutan aquellos que han sido declarados viables, efectundose el seguimiento y evaluacin correspondiente y en la tercera fase, en la que se producen los bienes y servicios que demandan los beneficiarios, se realiza la evaluacin ex post. En la evaluacin ex post se distinguen 4 momentos, la evaluacin de culminacin, el seguimiento ex post, la evaluacin de resultados y el estudio de impactos. El seguimiento ex post es una evaluacin que tiene como propsito asegurar la operacin y el mantenimiento adecuado de aquellos proyectos que requieran una atencin adicional luego de culminada su ejecucin y al inicio de operacin. El seguimiento ser realizado por la OPI en coordinacin con la entidad responsable de la operacin y mantenimiento y se llevar a cabo cuando menos hasta cumplir un ao despus del inicio de la operacin. Esta evaluacin, se realizar solo si es recomendada por la evaluacin de culminacin. anexo 2
159
El informe del seguimiento ex post se desarrollar con el siguiente contenido: 1. Aspectos Generales del Proyecto Incluir informacin del estudio de preinversin con el que fue declarado viable el PIP que lo caracterice: Cdigo sNIP, nombre, monto de la inversin, Unidad Ejecutora y el plazo de ejecucin previsto para la implementacin del proyecto, entre otros. Describir el objetivo central y los componentes. Especificar las modificaciones que se hayan dado, sean sustanciales o no. 2. Disposiciones para la Operacin y Mantenimiento Especificar la organizacin y gestin prevista para la operacin y mantenimiento. Evaluar si sta se aplica y es adecuada. Si en la prctica se ha modificado, sealar los cambios y las causas de los cambios. 3. Desempeo Inicial de la Operacin Analizar en qu medida el proyecto alcanz los fines para los que fue ejecutado y de qu manera se est desarrollando tanto la operacin como el mantenimiento del mismo en comparacin a lo previsto en el estudio de preinversin. El anlisis debe contemplar la disponibilidad de recursos necesarios para la operacin, incluidos aquellos de carcter financiero. En este acpite se debe considerar tambin, cmo es que se implementaron las recomendaciones planteadas en la evaluacin de culminacin. 4. Debilidades, Limitaciones y Riesgos de la Operacin y el Mantenimiento. Especificar cules son las debilidades y limitaciones de la institucin, respecto al desempeo de las acciones para la operacin y mantenimiento, medidas en trminos de organizacin y disponibilidad de recursos principalmente, incidiendo en las causas que las originaron y en los riesgos que deben afrontar.
160
5. Lecciones Aprendidas y Recomendaciones. Como resultado del anlisis efectuado en la evaluacin de seguimiento ex post del proyecto, y como conclusin del trabajo, a travs del conocimiento de la operacin del proyecto, se debe sintetizar cules son las lecciones aprendidas y las recomendaciones para el mismo proyecto y para otros proyectos de similar naturaleza.
161
anexo 2
Contenidos Mnimos para la Evaluacin de Resultados

En el marco del sistema Nacional de Inversin Pblica, el ciclo de un Proyecto de Inversin comprende 3 fases: Preinversin, Inversin y Postinversin. En la primera fase se analiza la conveniencia de ejecutar un determinado proyecto, en la segunda se ejecutan aquellos que han sido declarados viables, efectundose el seguimiento y evaluacin correspondiente y en la tercera fase, en la que se producen los bienes y servicios que demandan los beneficiarios, se realiza la evaluacin ex post. En la evaluacin ex post se distinguen 4 momentos, la evaluacin de culminacin, el seguimiento ex post, la evaluacin de resultados y el estudio de impactos. se llevar a cabo en el periodo comprendido entre tres y cinco aos, desde el inicio de la operacin del proyecto; el tiempo apropiado depender del perodo de maduracin del proyecto y de las caractersticas propias de ste. La Unidad Formuladora realizar esta evaluacin mediante la contratacin de un Evaluador Externo Independiente (consultora). Esta evaluacin es obligatoria para todos los PIP cuyo monto de inversin sea mayor a la lnea de corte sectorial (seccin 5.1.3. de las Pautas Generales). se evaluar una muestra de los PIP cuyo monto de inversin se encuentre por debajo de la lnea de anexo 3
163
corte sectorial, aplicando los presentes contenidos mnimos.
La evaluacin de resultados es una evaluacin ex post integral que utiliza cinco criterios; pertinencia, eficiencia, eficacia, impacto y sostenibilidad y tiene como objetivo servir a los dos propsitos principales de la evaluacin ex post del PIP: i) Retroalimentacin a travs de las lecciones y recomendaciones para mejorar la administracin y desempeo de la inversin pblica. ii) Transparencia del proceso y los resultados de la inversin pblica.
El informe de evaluacin de resultados se desarrollar de acuerdo con los siguientes contenidos:
1. Aspectos Generales.
a) Resumen Ejecutivo se deber presentar una sntesis que contemple los siguientes aspectos: Resumen del proyecto (nombre, objetivos, componentes) Evaluacin de la pertinencia. Resumen de la relevancia del PIP dentro de las polticas y prioridades del sector, la satisfaccin de las necesidades de los beneficiarios, la validez de la estrategia y la gestin de los riesgos ms importantes. Evaluacin de la eficiencia. Resumen de la eficiencia en cuanto a logro de productos (asociados a componentes), tiempos de ejecucin y costos de inversin. Evaluacin de la eficacia. Resumen de la evaluacin de la operacin y utilizacin de los productos, el logro del objetivo central, la rentabilidad social.
164
Evaluacin de Impactos Directos. Resumen de la evaluacin de los impactos directos previstos, de los impactos directos negativos y de los impactos directos no previstos.
Evaluacin de la sostenibilidad. Resumen de los problemas identificados y propuestas para garantizar la sostenibilidad del PIP.
Conclusiones, Recomendaciones y Lecciones aprendidas
b) Participantes en la Evaluacin de Resultados sealar las instituciones y los rganos que han participado en la evaluacin de resultados indicando sus aportes. Detallar la organizacin del Evaluador Externo Independiente y los participantes (nombres, especialidades, funciones) c) Resumen del Proyecto Informacin General: Cdigo sNIP, nombre del PIP, UE prevista, fecha de declaracin de viabilidad, monto de inversin declarado viable, monto de inversin modificado, de ser el caso, monto de inversin ejecutado, fecha de culminacin del PIP, fecha de inicio de operaciones. Objetivo Central y Componentes: Describir el objetivo central y los componentes del proyecto tal como fue declarado viable y, de ser el caso, especificar las modificaciones que se hubiesen dado. Problemas, Causas y Efectos: Resumir el diagnstico y el planteamiento del problema, sus causas y efectos. Incluir el rbol de causas-problemas-efectos y el rbol de medios-objetivos-fines. d) Marco Lgico ajustado para la Evaluacin de Resultados Incluir el marco lgico que servir de base para la evaluacin de resultados; los ajustes pueden ser a los objetivos, a los indicadores y metas, as como a los supuestos.
165
anexo 3
e) Ciclo del PIP Descripcin secuencial de los principales eventos (hitos) de las fases de preinversin, inversin y postinversin hasta la fecha de la evaluacin de resultados. Descripcin de la organizacin prevista para la fase de ejecucin. f) aspectos Metodolgicos Describir brevemente la metodologa de evaluacin; sealar las interrogantes especficas que se han aplicado; indicar los instrumentos y mtodos utilizados para la recoleccin y anlisis de informacin e incluir lista de los principales documentos revisados.
2. Evaluacin de la Pertinencia
a) Relevancia dentro de las Polticas y Prioridades del sector anlisis de la consistencia del objetivo central del PIP con las polticas y prioridades del sector, con el contexto actual a nivel local, regional y nacional. sealar los cambios que pudiesen haberse dado desde la declaracin de viabilidad y analizar si sigue siendo el PIP relevante en el nuevo contexto. b) satisfaccin de las Necesidades y Prioridades de los beneficiarios Anlisis del comportamiento de la demanda para verificar si es consistente con las proyecciones realizadas en la preinversin, as como de las causas que expliquen las variaciones. Anlisis de la satisfaccin de los beneficiarios directos con los bienes y servicios que reciben en la fase de post inversin. c) Validez de la Estrategia del Proyecto Conocer si la estrategia utilizada para la ejecucin del proyecto fue la ms adecuada, comparando los contextos observados en el estudio de preinversin y el
166
contexto del momento en que se ejecut el proyecto. asimismo, determinar si las actividades y componentes son consistentes con el objetivo central y los fines. d) Gestin de los riesgos importantes Analizar si el proyecto, consider los riesgos importantes y si se tomaron las medidas para minimizarlos, incluyndolas en el PIP o en los supuestos.
3. Evaluacin de la Eficiencia
En los casos que el proyecto cuente con evaluacin de culminacin, considerarla como punto de partida, complementndola con el punto de vista propio del Evaluador Externo Independiente, caso contrario realizar esta evaluacin y comprobar si el proyecto se ejecut de acuerdo a los siguientes trminos: a) Logro de los Productos (asociados a componentes). Comparacin entre las metas y caractersticas de los productos previstos a lograrse en la fase de ejecucin (por ejemplo nmero de aulas a construir y dimensiones; nmero de km de carretera a mejorar y caractersticas tcnicas), con los productos efectivamente logrados. Identificacin y cuantificacin de las diferencias y anlisis de las causas. b) Eficiencia en el Tiempo de Ejecucin del Proyecto Comparacin entre el tiempo de ejecucin previsto y el tiempo real empleado a nivel de cada producto, componente o paquete de contratos. Identificacin y cuantificacin de las diferencias y anlisis de las causas. c) Eficiencia en el Costo del Proyecto Comparacin entre el costo total de inversin del proyecto previsto y el costo total de inversin real del proyecto (a precios privados), a nivel de cada producto, componente o paquete de contratos, identificar y cuantificar las variaciones y sus causas. Analizar el plan de implementacin financiero.
167
anexo 3
d) Eficiencia Global Evaluar cul ha sido la eficiencia global en la ejecucin del proyecto, combinando el nivel de logro de los productos, el tiempo de ejecucin y los costos incurridos en la fase de inversin. e) Problemas de Ejecucin Identificar los principales problemas que afectaron la eficiencia en la ejecucin del PIP, as como las debilidades y limitaciones en cuanto a la preparacin y ejecucin del proyecto. Determinar cules han sido los problemas ms importantes, que han afectado cada una de las fases, preinversin, inversin y postinversin. asimismo, considerar las principales debilidades y limitaciones de la Unidad Ejecutora.
4. Evaluacin de la Eficacia
Evaluar si el objetivo central del proyecto ha sido alcanzado. Esta evaluacin se realizar en los trminos siguientes: a) Operacin y Utilizacin de los Productos Generados en la Fase de Inversin Analizar si los productos estn siendo operados y utilizados tal como se concibi en el estudio de preinversin, sealando cul es el nivel de uso de la capacidad instalada. Si existiese diferencias analizar las causas. Si la operacin y utilizacin tienen problemas, analizar cmo se puede mejorar la situacin a futuro. b) Logro del Objetivo Central Propsito del Proyecto En qu proporcin se logr (o se espera lograr) el objetivo central del proyecto (en trminos de metas). De existir variaciones (positivas o negativas) explicar las causas de las mismas.
168
c) Rentabilidad social Determinar cmo han variado los indicadores de la rentabilidad social del proyecto considerando la informacin real sobre los costos, (inversin, operacin y mantenimiento), perodo de ejecucin, fecha de inicio de operaciones, demanda efectiva, beneficios generados, entre otros. Si existiesen diferencias analizar las causas. d) Eficacia Global Medir en trminos generales cual ha sido la eficacia global del proyecto teniendo en consideracin el nivel de operacin y utilizacin de los productos, el logro del objetivo central y la rentabilidad social, destacando los factores que ms influenciaron positiva o negativamente.
5. Evaluacin de los Impactos Directos

Determinar cules son los impactos directos del proyecto, tanto positivos como negativos, previstos y no previstos; el nivel de profundidad del anlisis depender de las necesidades del proyecto, disponibilidad presupuestal y tiempo. Es necesario estimar rdenes de magnitud de los cambios atribuibles al proyecto. La evaluacin se efectuar en los siguientes trminos: a) Impactos Directos Previstos Analizar si se alcanzaron los impactos directos (asociados con los fines directos) previstos y cul fue la contribucin del proyecto. De ser el caso, identificar acciones para maximizar los impactos directos previstos. b) Impactos Directos Negativos e Impactos Directos No Previstos Identificar los impactos directos negativos que est generando el PIP, las medidas que se han adoptado para minimizarlos las acciones que se deberan implementar. anexo 3
169
Identificar impactos directos positivos que no se hayan previsto y las acciones necesarias para maximizarlos.
6.
Evaluacin de la Sostenibilidad
Evaluar si el proyecto se encuentra operando con normalidad de acuerdo a lo previsto en el estudio de preinversin. si el proyecto cuenta con evaluacin de culminacin y con el seguimiento ex post, estas evaluaciones constituirn la base de esta evaluacin, sin embargo es de precisar que no la limitarn. La evaluacin se efectuar en trminos de: a) Operacin y Mantenimiento Analizar las condiciones fsicas y funcionales de los productos generados en la fase de ejecucin, las estrategias y prcticas de mantenimiento. Identificar los problemas y limitaciones para una correcta operacin y mantenimiento y formular recomendaciones. b) Capacidad Tcnica y Gerencial del Operador Analizar si los arreglos institucionales para esta fase estn funcionando, si el operador dispone de las capacidades tcnicas y administrativas necesarias. si las capacidades fuesen insuficientes, analizar las causas y proponer recomendaciones para mejorar la gestin. c) sostenibilidad Financiera Analizar si se est cumpliendo con las previsiones del financiamiento de los costos de operacin y mantenimiento, con qu fuentes se estn cubriendo dichos costos, si los recursos disponibles son suficientes, si estn asegurados para el perodo de vida til. De existir problemas, analizar causas y proponer recomendaciones
170
d) Gestin de Riesgos Analizar si existen riesgos de desastres o conflictos para el proyecto, si stos fueron identificados en la fase de preinversin y se adoptaron medidas para reducirlos. Si surgieron otros riesgos durante la fase de inversin o en la postinversin, analizar las causas y medidas para reducirlos. e) sostenibilidad Global Sobre la base del anlisis anterior analizar cul es el grado de sostenibilidad del proyecto, precisar los factores que influyeron; si hubiese problemas, analizar acciones para mejorarla.
7. Conclusiones
Resumir la evaluacin de resultados, de acuerdo a los cinco criterios utilizados.
8. Recomendaciones
Una recomendacin sugiere una accin concreta a alguien. Las recomendaciones deben estar orientadas a un aspecto especfico de cada una de las fases del proyecto (preinversin, inversin y postinversin), sealando el rgano competente de aplicacin. Las recomendaciones deben servir para mejorar la eficacia, los impactos y la sostenibilidad del PIP evaluado, la pertinencia, eficiencia, eficacia, impactos y sostenibilidad de otros PIP o a nivel de formulacin de polticas.
9. Lecciones Aprendidas
Una leccin es una enseanza. Las lecciones aprendidas surgen como consecuencia de los aspectos positivos y negativos encontrados en la evaluacin de resultados. Debern ser generalizables y aplicables a proyectos similares, sugiriendo medidas concretas y destacando en qu situaciones se pueden aplicar. anexo 3
171
10. Informacin y Anexos

Indicar las referencias donde se ha obtenido la informacin detallada que sustenta el informe, as como las fuentes de informacin y el nombre del responsable de su administracin. Incluir como anexos toda la informacin que pueda ser necesaria para sustentar cada uno de los puntos considerados en esta evaluacin de resultados.
172
Formato Simplificado de la Evaluacin de Culminacin

1. Datos Generales del PIP 1.1. 1.2. 1.3. 1.4. 1.5. 1.6. 1.7. Cdigo sNIP Nombre del PIP Fecha de declaracin de viabilidad Monto de inversin declarado viable Monto de inversin ejecutada Unidad Ejecutora prevista Plazo de ejecucin previsto para la implementacin del proyecto
2. Metodologa para la Evaluacin de Culminacin

2.1. 2.2. 2.3. Nombre de la Unidad Ejecutora Responsable de la Unidad Ejecutora Responsable de la Evaluacin de Culminacin : nombre, tel./ fax, correo electrnico anexo 4
173
2.4.
Participantes de la Evaluacin de Culminacin
Modalidad de Participacin Nombre Taller Entrevistas Documentos No Participa
UE UF OPI Operador Contratista supervisor Otras
2.5.
Consultoras contratadas : ( ) si
( ) No
174
3.
Comparacin entre Productos (asociados a componentes) Previstos y Reales

3.1. Comparacin Cuantitativa / Cualitativa de los Principales Productos del Proyecto
Cantidad (Nmero, dimensin fsica, etc.) Prevista actual Calidad (Capacidad de produccin etc.) Prevista actual
Principales Componentes del Proyecto
Nivel de Ejecucin de Componentes = Componentes Ejecutados / Componentes Previstos ( ) Mayor que 1.0 ( ) Igual que 1.0 ( ) Menor que 1.0 (el valor calculado) _________ (el valor calculado) _________
( ) No se puede calcular
3.2. Principales Causas de variaciones anexo 4

175
4. Eficiencia en el Tiempo de Ejecucin del Proyecto

4.1 Comparacin del Tiempo de Ejecucin Previsto y Real
Previsto Inicio Tiempo Global de Ejecucin Tiempo de ejecucin por principales actividades Fin Periodo
(meses)
actual Inicio Fin Periodo

(meses)
Relacin actual / Previsto
Eficiencia en el Tiempo de Ejecucin = Nivel de Ejecucin de Componentes x (Periodo Provisto / Periodo actual) ( ) Mayor que 1.0 ( ) Igual que 1.0 ( ) Menor que 1.0 (el valor calculado) _________ (el valor calculado) _________
4.2. Principales Causas de variaciones (demoras)
176
5. Eficiencia en el Costo del Proyecto

5.1 Comparacin del Costo Previsto y Real (En Nuevos soles)
Estudio Preinversin Costo Global de Ejecucin Costo por productos (componentes) Expediente Tcnico Monto Ejecutado Relacin actual / Previsto
Eficiencia en el Costo = Nivel de Ejecucin de Componentes x (Costo Previsto / Costo actual) ( ) Mayor que 1.0 ( ) Igual que 1.0 ( ) Menor que 1.0 (el valor calculado) _________ (el valor calculado) _________
5.2 Principales Causas de variaciones anexo 4

177
6. Eficiencia Global
6.1. Eficiencia Global: Opcin A Eficiencia Global = Nivel de Ejecucin de Componentes x (Periodo Previsto / Periodo actual) x (Costo Previsto / Costo actual) ( ) Mayor que 1.0 ( ) Igual que 1.0 ( ) Menor que 1.0 (el valor calculado) _________ (el valor calculado) _________
6.2. Eficiencia Global : Opcin B

Eficiencia Global ( ) ( ) ( ) ( ) ( ) alta Media Media baja No se puede calcular Eficiencia en el Tiempo Ms que 1.0 Ms que 1.0 Menos que 1.0 Menos que 1.0 Eficiencia en el Costo Ms que 1.0 Menos que 1.0 Ms que 1.0 Menos que 1.0
178
7. Principales Problemas, Limitaciones y Debilidades de Ejecucin

aplica s ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) No ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) Categora / Descripcin Calidad de los estudios de preinversin y el expediente tcnico. administracin del proyecto Modalidad de ejecucin Disponibilidad de recursos tcnicos, financieros y humanos de la UE Disponibilidad de materiales de construccin Disponibilidad de contratistas capacitados Condiciones externas : clima, desastres naturales, conflictos sociales, cambios en las polticas gubernamentales / regulaciones, etc. Otros
8. Evaluacin de Sostenibilidad
8.1 situaciones actuales del Proyecto (a) Liquidacin (b) Transferencia (c) Operacin (d) Utilizacin (Produccin por el Proyecto)
179
anexo 4
8.2.
aplica s ( ) ( ) ( ) ( ) ( ) ( ) ( ) No ( ) ( ) ( ) ( ) ( ) ( ) ( )
Riesgos Identificados de la Operacin
aspectos / Descripciones de los Riesgos Transferencia al Operador Capacidad tcnica del Operador Aspecto financiero de la operacin aspecto institucional y legal de la operacin Participacin de la comunidad y/o usuarios a la operacin Insuficiencia o falta de demanda Otros
9.
Lecciones Aprendidas y Recomendaciones

9.1. Lecciones aprendidas que puede ser Generalizadas y aplicadas a los Proyectos similares 9.2. Recomendaciones (a) acciones recomendadas para el proyecto incluyendo el seguimiento ex post (b) Otras acciones recomendadas
180
MODELO DE TRMINOS DE REfERENCIA

ESTUDIO DE EVALUACIN DE RESULTADOS DEL PROYECTO DE INVERSIN PbLICA XXXXXXXX CDIGO SNIP XXXX
I. Antecedentes: El Proyecto de Inversin Pblica (PIP) XXXXXXXX (Cdigo sNIP XXXX), tuvo como objetivo central XXXXXX y consideraba la implementacin de: i) ii) iii) iiii) Componente 1 Componente 2 : :
(Descripcin breve de las caractersticas e historia del proyecto a ser evaluado. Por ejemplo: Cmo fue concebido? Cul fue el problema a resolver? Quines son los beneficiarios? Cul es el rea de influencia? Cundo realizaron el estudio de preinversin y la declaracin de viabilidad? Cmo y cundo se ha ejecutado y culminado? Cmo se ha operado hasta la fecha? Cundo realizaron la evaluacin de culminacin y qu conclusiones se han tenido?) anexo 5
181
II. Objetivo: Elaborar un estudio de evaluacin de resultados del PIP XXX, aplicando los contenidos mnimos y las pautas de orientacin para la elaboracin de evaluacin de resultados de proyectos de inversin pblica. III. Alcances de la Consultora El consultor realizar la evaluacin de resultados del proyecto segn los Contenidos Mnimos para la Evaluacin de Resultados (ver anexo 3). El alcance del estudio incluye el desarrollo de los contenidos mnimos, as como las preguntas particulares y los temas especficos sealados en los siguientes prrafos; los consultores podrn proponer modificaciones y agregados a los tems que se consideren necesarios. El consultor elaborar el estudio de evaluacin de resultados tomando como base las Pautas Generales para la Evaluacin Ex Post de Proyectos de Inversin Pblica, seccin 5 (en adelante denominada Pautas Generales). Los siguientes temas debern ser investigados en profundidad
complementariamente a las preguntas de evaluacin presentadas en las Pautas Generales, seccin 5. (Indicar la lista de preguntas o temas especficos. Evite duplicidades con las preguntas estndares que se incluyen en las Pautas Generales. El nmero de preguntas especficas no deben ser ms de diez. Cada pregunta puede ser ligada con uno o ms de los cinco criterios de evaluacin.) Ejemplos; Con base en el consumo unitario de energa elctrica por tipo de usuario, existe correspondencia entre la demanda proyectada, la demanda real y el dimensionamiento de la infraestructura elctrica? (Pertinencia / Eficacia).
182
se considera que el sistema de referencia del Red de salud funciona adecuadamente y si su fortalecimiento debi considerarse en el PIP? De qu manera las intervenciones consideradas (si las hubo) o la ausencia de stas, han cambiado la situacin de la red de servicios de salud e influenciado la operacin y los efectos del Hospital? (Pertinencia / Eficacia / Impacto). Qu porcentaje de los usuarios conectados al alcantarillado han instalado el mdulo de saneamiento en la casa? Cmo facilitar la instalacin de los mdulos? (Eficacia). En qu medida el proyecto de carretera contribuy o contribuir al desarrollo agrcola, comercial y turstico de la zona? Cmo se puede maximizar tales impactos? (Impacto). Qu tipo de artefactos elctricos son utilizados por los abonados y en qu medida (cuntas horas al da)? Qu beneficios se han generado por estos nuevos usos de la energa en el desarrollo productivo? (Impacto). a cunto asciende el costo de operacin y mantenimiento mensual, semestral y anual del sistema elctrica rural por el Proyecto?, Cul es la estructura de costos de operacin y mantenimiento? La estimacin del costo de operacin y mantenimiento fue acertada? (sostenibilidad). El presupuesto asignado por la DIRESA es suficiente para operar y mantener el Hospital? En caso de no ser suficiente, Cunto adicional se necesita para operar y mantener el hospital? (sostenibilidad). Cul es el nivel de compromiso de la poblacin para el buen uso del sistema condominial de alcantarillado? Fue el sistema condominial la mejor opcin para el proyecto? Los Comits de agua y saneamiento formulados por el proyecto estn activos y siguen funcionando segn lo previsto? anexo 5
183
(sostenibilidad).
IV. Metodologa de Trabajo: La consultora deber realizarse teniendo en cuenta los siguientes lineamientos: i. se recopilarn y revisarn los documentos previos relacionados al proyecto para cada una de las etapas del ciclo de inversin; preinversin, inversin (ejecucin) y postinversin (operacin). Estos documentos servirn de fuente fundamental para la elaboracin de la evaluacin. ii. La evaluacin se desarrollar sobre la base de los cinco criterios establecidos en las Pautas Generales, seccin 5. Los cuales son: pertinencia, eficiencia, eficacia, impacto y sostenibilidad. iii. se deber desarrollar el trabajo encomendado en estrecha coordinacin con XXXXXXXX. iv. Las actividades de la consultora se desarrollarn en el marco de un Plan de Trabajo a ser aprobado por la supervisin del estudio. v. El consultor revisar el marco lgico del PIP (anexo XX) y propondr en el Primer Informe los mtodos de recopilacin de datos de los indicadores. vi. Reunin de inicio del proceso de evaluacin con representantes de los involucrados al proyecto. Ejemplos: OPI UF
UE Operador Gobiernos Locales involucrados
184
vii. El proceso de recopilacin de la informacin primaria y secundaria para la medicin de indicadores claves planteados en el marco lgico del proyecto, la identificacin de los factores relacionados y los anlisis basados en los cinco criterios deber abarcar lo siguiente: Talleres, entrevistas grupales/individuales con los involucrados al proyecto. Recopilacin de informacin secundaria de los involucrados. Inspeccin fsica de las instalaciones realizadas por el proyecto. (Especificar el alcance de la inspeccin fsica a realizar y los criterios de inspeccin, considerando la necesidad y el disponibilidad de recursos. No es necesario hacer un censo, si no se requiere especficamente.) Para efectos de la recopilacin de fuente primaria en relacin a la poblacin del rea de influencia del proyecto, debern considerarse las siguientes caractersticas: Encuesta con la poblacin Objetivos Variables principales Poblacin universo (beneficiarios, grupo de control, etc.)
Unidad de investigacin, informante Diseo y tamao (mnimo) de la muestra
Talleres y/o entrevista grupal Objetivos Alcance (temas, informantes, etc.) anexo 5
185
Un taller con los representantes de involucrados del proyecto para compartir y validar los resultados del estudio. Se debern analizar e incluir, todas las recomendaciones en la versin final del informe de la consultora. V. Entregables y Producto Estudio de Evaluacin de Resultados del PIP XXXXXXXXXXXX El documento se estructura de acuerdo con los Contenidos Mnimos, considerando los siguientes captulos: i. Resumen Ejecutivo
ii. aspectos generales del proyecto iii. El evaluador y la metodologa utilizada iv. Evaluacin del criterio de Pertinencia v. Evaluacin del criterio de Eficiencia vi. Evaluacin del criterio de Eficacia vii. Evaluacin del criterio de Impacto viii. Evaluacin del criterio de sostenibilidad ix. Conclusiones, lecciones aprendidas y recomendaciones VI. Plazos y Cronograma de Presentacin de Entregables: Primer entregable: dentro de los 5 das calendario de iniciada la consultora conteniendo el Plan de Trabajo, el cual comprende: a. Definicin de objetivos: generales, especficos y por producto esperado
186
b. Definicin de la gestin/organizacin de los recursos en relacin a los productos esperados c. Definicin de cronogramas y duracin de las tareas, as como presentacin de informes con fechas d. sealar la relacin con el usuario del servicio e. Planificacin de la reunin de inicio con los involucrados del proyecto segundo entregable: dentro de los XX das calendario de iniciada la consultora conteniendo la elaboracin de los instrumentos para: a. aspectos generales del proyecto b. El evaluador y la metodologa utilizada c. Entrevistas individuales / grupales a los involucrados d. Encuesta a la poblacin e. Inspeccin fsica de las instalaciones realizadas por el proyecto Tercer entregable: dentro de los XX das calendario de iniciada la consultora conteniendo la elaboracin de los resultados de: a. Medicin de los indicadores principales del marco lgico b. anlisis preliminar de los cinco criterios Cuarto entregable: a los XX das calendario de iniciada la consultora conteniendo el producto con la totalidad de sus contenidos de acuerdo a la estructura descrita en el punto vI, con las observaciones que hayan sido identificadas totalmente corregidas. anexo 5
187
VII. Perfil del Equipo Consultor: El equipo de profesionales se conformar como mnimo de un grupo permanente, pudiendo el postor presentar personal adicional que coadyuve al logro del objetivo de la presente consultora. Grupo Permanente: Que estar durante todo el periodo de la consultora. Estar formado por: A. Coordinador de Equipo a. Formacin acadmica: b. Magster (titulado) en XXXXX c. Experiencia Laboral General: d. Experiencia Laboral Especfica: b. Especialista en XXXXX a. Formacin acadmica: b. Experiencia Laboral General: c. Experiencia Laboral Especfica: C. Especialista en XXXXX a. Formacin acadmica: b. Experiencia Laboral General: C. Experiencia Laboral Especfica:
(Aadir ms especialistas, si es necesario)
188
VIII. Plazo IX. X. XI. XII. Coordinacin y Supervisin Costo y Condiciones de Pago Conformidad de la Contratacin Responsabilidad del Contratista
XIII. Consideraciones Generales a los Productos
ANEXOS 1. Los Contenidos Mnimos para la Evaluacin de Resultados 2. Marco Lgico (ajustado)
189
anexo 5
Indicadores Tpicos de Sectores Principales

Propsito de la Lista
Esta lista muestra los indicadores aplicables a PIP (Proyectos de Inversin Pblica) tpicos de determinados sectores en los diferentes niveles de resultados, desde el nivel de los componentes del proyecto a los impactos directos del mismo. Es una referencia para la seleccin de indicadores adecuados para la elaboracin del marco lgico y la posterior evaluacin ex post de los proyectos. Los indicadores de esta lista incluyen indicadores principales, que se utilizarn para medir los resultados de un PIP en cada nivel del modelo lgico detallado y los indicadores complementarios, que podran ser aplicados de acuerdo a las caractersticas propias del PIP. La seleccin se hizo teniendo en cuenta la estructura estndar de los objetivos y medios del PIP de una misma categora en el sector. Adems de las definiciones de cada indicador, su significado e implicaciones y el alcance de las aplicaciones, se darn posibles tipos de comparaciones y anlisis as como, otras consideraciones importantes. La seleccin de los indicadores apropiados es crucial para la evaluacin ex post, sobre todo cuando se revisa el marco lgico, se disea el estudio de evaluacin y se anexo 6
191
examina el alcance de la recopilacin de datos y anlisis. Por tanto, si el marco lgico en
el estudio de pre-inversin no incluye los indicadores adecuados, es necesario volver a definir el marco lgico y los indicadores. En la prctica, los indicadores se seleccionaran teniendo en cuenta lo siguiente: Objetivo central del proyecto y los medios para lograrlo. Tipo de objetivos numricos (metas) en el estudio de preinversin y de las proyecciones relacionadas al anlisis de oferta y demanda. Disponibilidad, credibilidad y costo de adquisicin de datos sobre resultados, lnea base y un grupo de control. si un proyecto es parte de un sistema ms grande, algunos de los indicadores en la lista pueden aplicarse tanto para el proyecto como para todo el sistema, o solo para uno de los dos, dependiendo de las caractersticas del proyecto y del indicador. Por lo tanto, cuando se seleccionan indicadores, es importante dejar en claro cul es el rango de aplicacin de cada indicador. aunque los datos secundarios estarn disponibles para la mayora de los indicadores en el nivel de utilizacin y menores, la medicin de algunos indicadores, entre otros, los indicadores al nivel de beneficios directos e impactos indirectos, requieren de data primaria a travs de la medicin directa y/o estudio de campo con los beneficiarios.
192
ndice Carretera y Puente / Transporte abastecimiento del agua Potable / saneamiento alcantarillado / saneamiento Residuales slidos / saneamiento Electrificacin Rural / Energa Irrigacin / agricultura Hospital / salud Micro Red / salud Educacin bsica Regular / Educacin Educacin superior / Educacin
193
anexo 6
194 Unidad Aplicacin en la Evaluacin Ex -post y Notas Tipo del Indicador fuentes
No. Compare con lo planificado. En caso de rehabilitacin y mejoras comprelas tambin con situaciones pre-proyecto. Componente Principal UE Compare con lo planificado. En caso de rehabilitacin y mejoras comprelas tambin con situaciones pre-proyecto Componente Principal UE m Compare con lo planificado. En caso de rehabilitacin y mejoras comprelas tambin con situaciones pre-proyecto Componente Principal UE km, m Compare con lo planificado. En caso de rehabilitacin y mejoras comprelas tambin con situaciones pre-proyecto. Componente Principal UE Compare con lo planificado. En caso de rehabilitacin y mejoras comprelas tambin con situaciones pre-proyecto. aplicable solamente a las carreteras. Componente Principal UE das / ao Compare el objetivo planificado con la situacin pre-proyecto. El objetivo tiene que ser establecido considerando un cronograma de mantenimiento contemplado en el etapa de la planificacin. Disponibilidad Operador MTC Indicador de la suavidad de la superficie del camino. Compare con lo planificado. En caso de rehabilitacin y mejoras comprelas tambin con situaciones pre-proyecto. aplicable solamente a las carreteras. Disponibilidad Investigacin del campo km / hora Compare con lo planificado. En caso de rehabilitacin y mejoras comprelas tambin con situaciones pre-proyecto. aplicable solamente a las carreteras. Disponibilidad Investigacin del campo vehculos / da IMDA es un indicador del volumen de trfico y es el principal indicador de utilizacin del proyecto de carretera y al mismo tiempo es un indicador de los impactos directos previstos, i.e. incremento del volumen en el trfico. Compare con lo planificado. En caso de rehabilitacin y mejoras comprelas tambin con situaciones pre-proyecto. A ser estimada a travs de un estudio de trfico en IMDA. Compare con lo proyectado, y para proyectos de rehabilitacin y mejoras tambin con valores anteriores al proyecto. Utilizacin Impacto Directo Conteo de trafico Pasajeros / dia Utilizacin Impacto Directo Encuesta a los choferes,Estimacin basada en IMDa Tons / dia A ser estimada a travs de un estudio de trfico en IMDA. Compare con lo proyectado, y para proyectos de rehabilitacin y mejoras tambin con valores pre- proyecto. Utilizacin Impacto Directo Encuesta a los choferes,Estimacin basada en IMDa
1.
Carretera y Puente / TRANSPORTE
Nombre
Definicin
Nmero de carriles
Nmero de carriles por tramo
Tipo de la carpeta
Tipo de la carpeta por tramo.
ancho de la carpeta
ancho de la carpeta por tramo
Longitud
Longitud de carretera en kilometros por tramo. Longitud de Puente in metros.
Tipo de pavimento
Tipo de pavimento
Nmero de das transitable por ao
Nmero de das transitable de vehculos motorizados por ao, por tramo, por carril.
IRI
International RoughnessIndex, por tramo.
velocidad promedio
velocidad promedio por tipo de vehculo, por tramo, por sentido
IMDa
ndice Medio Diario anual (IMDa) por tramo, por tipo de vehculo, por sentido
Nmero de pasajeros
Promedio diario de pasajeros que transitan por el camino, por tramo, por direccin.
Tonelaje /cargo
Promedio diario de toneladas que transitan por el camino, por tramo, por direccin.
Nombre
Definicin
Unidad
Aplicacin en la Evaluacin Ex -post y Notas
Tipo del Indicador
fuentes
Distribucin de ODs viaje / da Utilizacin
Nmero de viajes por Origen / Destino (OD), por tipo de vehculo.
Compare esto con situaciones pre-proyecto de rehabilitacin/mejoras si es que existiera informacin de Lnea de base. aun si no existiera data de Lnea de base, este indicador es importante para el anlisis de impactos directos.
Encuesta de OD
Tarifas para pasajeros y cargas sol / pers, sol / Ton Compare esto con situaciones pre-proyecto. De no existir data de Lnea de Base, defina la situacin pre-proyecto a travs de una encuesta de preguntas retroactivas.
Tarifa de pasajero desde/hasta destinos representativos. Tarifa para productos agrcolas representativos del mercado
Beneficio Directo
Encuesta a los operadores y a los agricultores
COv ahorrado Mil.sol / ao
Costo de Operacin de vehculo (COv) por tramo A ser estimado basado en el IRI y el IMDA por tipo de vehculo. Compare con lo planificado. En caso de rehabilitacin y mejoras, comprelos tambin con costos anteriores al proyecto.
Beneficio Directo Principal
Estimacin basada en IRI y IMDa
Costo de tiempo ahorrado
Costo de tiempo ahorrado por tramo.
Mil.sol / ao
A ser estimado basado en tiempo de viaje y el IMDA. Compare con lo planificado. En caso de rehabilitacin y mejoras, comprelos tambin con costos pre-proyecto.
Beneficio Directo
Estimacin basada en el tiempo de viaje y IMDa
Costo de mantenimiento de carretera ahorrado Mil. sol / ao
Costo de Mantenimiento de carretera por ao/por tramo
Compare con lo planificado. En caso de rehabilitacin y mejoras comprelas tambin con situaciones pre-proyecto.
Beneficio Directo
Operador
Merma de productos agrcolas %
En productos agrcolas representativos, promedio porcentual de prdida de transporte desde el campo hacia el mercado No. / km
Comprelos con situaciones pre-proyecto. De no existir data de Lnea de Base, defina la situacin pre-proyecto a travs de una encuesta de preguntas retroactivas.
Beneficio Directo
Encuesta a los transportadores y a los agricultores
Densidad de accidentes
Nmero de accidentes de trfico por ao dividido entre longitud de tramo.
aplicable para proyectos de rehabilitacin/mejoras. Data segregada de acuerdo a la causa del accidente. Comprelos con situaciones pre-proyecto.
Impacto Directo
Polica Local
Frecuencia de transporte pblico No. / da
Nmero de buses por dia entre lugares de O/D representativos y la zona de influencia.
Impacto Directo
Encuesta a los operadores de transporte pblico
Frecuencia de traslados afuera de la comunidad en la zona de influencia No. / mes
Nmero de viajes afuera de la comunidad desde el rea de influencia, per cpita por mes.
Data ser segregada de acuerdo a los propsitos del viaje, por destinos, y por edad and sexo Comprelos con situaciones pre-proyecto. De no existir data de Lnea de Base, defina la situacin pre-proyecto a travs de una encuesta de preguntas retroactivas.
Impacto Directo
Encuesta a los poblacin en la zona de influencia
Excedente exportado de los productos agrcolas Ton / ao
Tonelaje de productos agropecuarios representativos exportados anualmente desde la zona de influencia.
Impacto Directo
Min agricultura Encuesta a los agricultores, transportadores Impacto Directo Encuesta a los agricultores
Precios de venta de productos agrcola Sol / kg
Precio en chacra de productos agropecuarios representativos en la zona de influencia.
195
anexo 6
196 Unidad Aplicacin en la Evaluacin Ex - post y Notas Tipo del Indicador fuentes
l/s Comparacin con el valor planificado. Para ser aplicado en proyectos deconstruccin / mejoramiento / rehabilitacin de componentes de produccin de agua Componentes Principal Unidad Ejecutora Nmero Comparable con el valor planificado. Para ser aplicado en proyectos que consideren nuevas conexiones de agua potable. Componentes Principal Unidad Ejecutora % Comparable con el valor planificado y con el valor anterior al proyecto. El valor planificado ser establecido considerando el programa de mantenimiento de la planta de agua. Disponibilidad Principal Operador Hora / da Principal indicador para la calidad del servicio provisto por el proyecto. Comparable con el valor anterior al proyecto, y comparable tambin con el valor planificado. De acuerdo a la informacin disponible y a las caractersticas del proyecto, puede ser aplicada a todo el sistema, a cada sector, o solamente para la zona de influencia del proyecto. Los registros operacionales podran ser verificados utilizando la data de la encuesta de campo con los usuarios. Se compara con el valor planificado y el valor antes del proyecto. En un proyecto que considere nicamente ampliacin de cobertura, el incremento de este indicador reflejar la contribucin del proyecto. Disponibilidad Principal Operador Encuesta a los usuarios Disponibilidad No. % Objetivo es 100%. De acuerdo a la disponibilidad de la data y caractersticas del proyecto, para ser aplicado a todo el sistema, por sectores, o slo para la zona de influencia del proyecto. Disponibilidad Operador % Objetivo es 100%. De acuerdo a la disponibilidad de la data y caractersticas del proyecto, puede ser aplicado a todo el sistema, por sectores, o slo para la zona de influencia del proyecto. Disponibilidad Operador Encuesta a los usuarios % Indicador relacionado a la contaminacin fecal. Objetivo es 0%. Puede utilizarse para compararlo con la .situacin antes del proyecto, siempre que se cuente con la data previa. Disponibilidad Operador Exmenes de laboratorio Disponibilidad roturas / km Para ser aplicado a un proyecto que incluya rehabilitacin de redes de agua y/o capacitacin en operacin y mantenimiento. La contribucin del proyecto se analiza en funcin a la tendencia histrica. Operador reclamos / conexin Indicador del desempeo general de los servicios de abastecimiento de agua. Para ser aplicado a proyectos con un fuerte componente de fortalecimiento de la administracin. Disponibilidad Operador
2.
Abastecimiento del Agua Potable / SANEAMIENTO
Nombre
Definicin
Capacidad de produccin
Capacidad instalada/operacional de produccin de agua aadida o recuperada por el proyecto; total y por tipo de fuentes de agua (superficie, subterrnea, etc.).
Nmero de nuevas conexiones de agua potable
Nmero de nuevas conexiones domiciliarias de agua potable realizadas por el proyecto.
Ratio de continuidad de tratamiento de agua
Nmero de horas de operacin de la planta de tratamiento en el ao / 8760 horas
Continuidad a nivel domiciliario
Nmero promedio de horas darias del servicio de agua potable a domicilio
Poblacin servida de agua potable
Poblacin atendida por las conexiones del sistema de agua, incluyendo aquellos que son atendidos por conexin domiciliaria activa y piletas pblicas.
Presencia de cloro residual
Porcentaje de muestras con ms de 0.5 mg/L de cloro residual.
Turbiedad
Porcentaje de muestras que satisfacen la norma nacional
Presencia de coliformes termotolerantes
Porcentaje de muestras con la presencia de coliformes termotolerantes
Densidad de roturas de redes de agua potable
Nmero de roturas en la red de distribucin entre la longitud total (en km) de dichas redes
Densidad de reclamos
El cociente del nmero total de reclamos operacionales y comerciales recibidos en el ao y el nmero promedio de conexiones de agua potable por mil.
Nombre
Definicin
Unidad
Aplicacin en la Evaluacin Ex - post y Notas
Tipo del Indicador
fuentes
Cobertura de agua potable domiciliaria
Porcentaje de la poblacin atendida por el sistema de agua. se obtiene dividiendo la poblacin con conexin activa entre poblacin total. % Se compara con el valor planificado, con el valor antes del proyecto y tambin con el promedio nacional y objetivo nacional
Utilizacin Principal
Operador
Produccin de agua potable
Caudal promedio de agua producida por los componentes intervenidos con el proyecto y entregado a la red por ao o por mes. lt. / ao, lt/mes Comparable con valores planificados/ proyectados. De acuerdo al tipo de fuente de agua en el sistema y las caractersticas del proyecto, puede aplicarse por tipo de fuentes, por plantas de agua, etc.
Operador
Tasa de conexiones activas %
Porcentaje de las conexiones activas en las conexiones aadidas por el proyecto.
Indicador del nivel de utilizacin de la red de distribucin por el proyecto. El objetivo es 100%. Para ser aplicado a la nueva red de distribucin realizada por el proyecto.
Operador
Ratio de utilizacin de instalacin de produccin de agua %
Produccin diaria Promedio / capacidad instalada de produccin de la instalacin
Indicador de utilizacin de instalacin de produccin de agua. Comparable con el valor planificado.
Utilizacin
Operador
Consumo de agua potable per cpita
volumen de agua per cpita.consumido por da
l/d
Comparable con el valor planificado, con el valor antes del proyecto y adems con el promedio nacional/ objetivo. Para ser estimado a partir del volumen de agua facturada, nmero de conexiones y nmero promedio de usuarios por conexin. (para ser discutido)
Operador
Incremento de las practicas higinicas en las familias veces / da, semana
Frecuencia de lavado de manos, bao, lavado de ropa y limpieza del hogar por da o por semana.
Beneficios Directos Principal
Encuesta a los beneficiarios
Costo familiar del agua
Promedio mensual de gastos relacionados al agua, incluyendo tarifa por agua por tubera, tanque de agua, costo de agua embotellada, etc. sol / mes
Se espera que el incremento de la disponibilidad de agua conduzca hacia un incremento de las prcticas de higiene en la familia y mejoramiento del saneamiento ambiental. Comparacin antes / despus del proyecto. Note que pueden existir otros factores para tales incrementos, por ejemplo, campaas pblicas de higiene, que pueden o no ser parte del proyecto. La frecuencia de lavado de manos se vincula ms a la frecuencia de las enfermedades de origen hdrico que otros tipos de las prcticas higinicas. Comparacin antes / despus del proyecto. Debido al incremento en el acceso al agua por tubera, se espera que los usuarios paguen menos por el agua embotellada, tanque de agua, etc, y que el total de los gastos de la familia para beber agua se reduzca. El costo del tiempo de ir a buscar agua, ser convertido en costo monetario y contabilizado tambin. Para ser aplicado al proyecto que reemplaz la pileta pblica, pozo, ro u otra fuente de agua fuera del hogar, con las conexiones domsticas. Comparable con valores antes del proyecto.
Beneficios Directos
Tiempo familiar para conseguir agua Min-hab / da
Tiempo promedio por familia necesario para conseguir agua segn tiempo laboraral / no laboral y tiempo de nios
Beneficios Directos
Incidencia de las enfermedades de origen hdrico No.
Nmero de casos por mil habitantes por ao en la zona de influencia. Enfermedades de origen hdrico incluyen las estomacales, infecciones intestinales, diarrea, parasitarias, etc.
Se espera que el mejoramiento del saneamiento ambiental como resultado del proyecto reduzca la incidencia de enfermedades relacionadas al uso del agua. Si es difcil obtener datos fiables sobre el nmero de casos, el nmero de atenciones en los establecimientos de salud podra ser utilizado como un indicador alternativo, que podra ser verificado a nivel familiar con la informacin obtenida a travs de la encuesta. Indicador del nivel de micro-medicin que ser relacionado al nivel de ahorro de agua as como a la sostenibilidad financiera de la empresa de agua. Para ser aplicado a un proyecto con componente de micromedicin..
Impactos Directos Principal
MINsa Encuesta a los beneficiarios
Micro-medicin
Porcentaje de las conexiones con micro medidor.
Indicador auxiliar
Operador
agua no facturada
Porcentaje de agua no facturada.
Indicador del nivel de prdidas fsicas y comerciales. anlisis de la contribucin de los proyectos a la tendencia histrica. Puede ser aplicado a cualquier tipo de proyecto, principalmente para los proyectos con rehabilitacin y/o componentes de micro medicin
Indicador auxiliar
Operador
197
anexo 6
198 Unidad Aplicacin en la Evaluacin Expost y Notas Tipo del Indicador fuentes
l/s Comparable con el valor planificado. A ser aplicado en proyectos que incluyan construccin / mejoramiento / rehabilitacin de componentes de tratamiento de agua residual. Componentes Principal Unidad Ejectora Nmero Comparable con el valor planificado. Para ser aplicado en proyectos que incluyen nuevas conexiones de alcantarilado Componentes Principal Unidad Ejecutora No. Comparable con el valor planificado y con el valor antes del proyecto. En un proyecto que considere nicamente ampliacin de cobertura, el incremento de este indicador reflejar la contribucin del proyecto. Disponibilidad Operador % Para ser aplicado a proyectos que incluyen construccin / mejoramiento / rehabilitacin de componentes de tratamiento de agua residual. Comparable con el valor objetivo que es decidido considerando el plan de mantenimiento. En caso de rehabilitacin / mejoramiento de PTaR, tambin para ser comparado con el valor antes del proyecto. Disponibilidad Operador % Indicador de eficiencia operacional de cada PTAR. Para ser calculado basado en el promedio de concentracin de DBO(mg/l) en el flujo de entrada y el flujo de salida. Sern comparados valores promedio mensuales y anuales con los valores objetivos. En caso de rehabilitacin / mejoramiento de PTaR, para ser comparado tambin con valores antes del proyecto. Indicador de la calidad de los servicios de alcantarillado. Para ser aplicado a proyecto de rehabilitacin de redes de desage o construccin de capacidad de operacin y mantenimiento. anlisis de la contribucin del proyecto a la tendencia histrica Disponibilidad Operador atoros / km Disponibilidad Operador % Principal indicador de disponibilidad a nivel del sistema. Comparable con el valor planificado, con el valor antes del proyecto y tambin con el promedio nacional, objetivo nacional Utilizacin Principal Operador No. Indicador de utilizacin de la red de alcantarillado por el proyecto. Para ser aplicado a la nueva red de distribucin realizada por el proyecto. Utilizacin Principal Operador % Indicador del nivel de utilizacin de la red de desage. El objetivo es 100%. Para ser aplicado a la nueva red de distribucin realizada por el proyecto. Utilizacin Principal Operador
3.
Alcantarillado / SANEAMIENTO
Nombre
Definicin
Capacidad de tratamiento
Capacidad instalada/operacional de planta de tratamiento de agua residual aadida o recuperada por el proyecto
Nmero de nuevas conexiones de alcantarillado
Nmero de nuevas conexiones de alcantarillado realizadas por el proyecto.
Poblacin servida con alcantarillado
Poblacin atendida por las conexiones de desage.
Ratio de continuidad operativa de la PTaR
Porcentaje de horas operativas de la PTaR por ao
Tasa de eliminacin de la carga de DbO
Porcentaje de la carga de DbO eliminada por la PTaR
Densidad de atoros en las redes de alcantarillado
Nmero de atoros en la red de alcantarillado entre la longitud total en km de dichas redes en un periodo determinado de tiempo
Cobertura de alcantarillado
Porcentaje de la poblacin atendida por el sistema de alcantarillado. Poblacin con conexin activa entre poblacin total.
Nmero de conexiones activas
Nmero de conexiones activas realizadas usando la red de alcantarillado del proyecto
Tasa de conexiones activas
Porcentaje de las conexiones activas en las conexiones aadidas por el proyecto.
Nombre
Definicin
Unidad
Aplicacin en la Evaluacin Expost y Notas
Tipo del Indicador
fuentes
volumen de tratamiento de desages l/s Comparable con el valor planificado. Principal indicador de la operacin de PTAR.
Promedio anual y mensual de caudal de desage tratado en cada / todas PTaRs
Operador
Ratio de utilizacin de PTAR %
Promedio diario de volumen de tratamiento / capacidad instalada de tratamiento.
Indicador de utilizacin de PTAR. Comparable con el valor planificado. Debe notarse que la PTaR puede necesitar ajustar su volumen de tratamiento de acuerdo al nivel de DbO del desage afluente a la PTAR
Utilizacin
Operador
Tasa de tratamiento de aguas residuales %
Porcentaje de agua residual tratada del total de desage generado en un sistema.
Comparable con el valor planificado y con el valor antes del proyecto. Aplicable para proyectos que incluyen componentes de tratamiento. Analiza su tendencia histrica y la contribucin del proyecto al sistema de desage completo.
Operador
Cargo de DOb eliminado g/s
Promedio mensual y anual de DOb eliminado por PTaRs.
Indicador de la contribucin del proyecto a la reduccin de la contaminacin ambiental. Compara con el valor planificado, el valor antes del proyecto.
Beneficio Directo
Operador
Percepcin de la poblacin sobre la mejora del saneamiento ambiental %
Porcentaje de poblacin que considera que la condicin de saneamiento relacionada al desage en la comunidad, ha mejorado despus del proyecto.
basado en preguntas sobre los cambios en condiciones de saneamiento relacionadas al desage, por ejemplo, mal olor, desborde de aguas residuales, etc., despus de que el proyecto se haya ejecutado y puesto en operacin en la comunidad de residencia.
Beneficio Directo
Calidad de agua de ro/mar mg/l
Concentracin de DOb en el rio / agua de mar donde los desages tratados / no tratados son descargados
Comparable con el valor anterior al proyecto a fin de determinar el impacto del proyecto sobre la calidad del agua del cuerpo receptor de los desages. Analiza la contribucin del proyecto a la tendencia histrica.
Incidencia de las enfermedades de origen hdrico No.
Nmero de casos por mil habitantes por ao en la zona de influencia. Enfermedades de origen hdrico incluyen las estomacales, infecciones intestinales, diarrea, parasitarias, etc.
se espera que el mejoramiento del saneamiento ambiental como resultado del proyecto conduzca hacia una disminucin de la incidencia de enfermedades de origen hdrico. Hallazgos basados en la informacin del MINSA podran ser verificados a nivel familiar con la informacin obtenida a travs de la encuesta.
MINsa Encuesta a los beneficiarios
199
anexo 6 anexo 6
200 Unidad Aplicacin en la Evaluacin Expost y Notas Tipo del Indicador fuentes
Ton Compara con el valor planificado. Aplicable a proyectos que incluyen el componente de recojo o transporte Componentes / disponibilidad Principal UE Ton / da Comparable con el valor planificado. Aplicable a proyectos que incluyen el componente de disposicin final. Componentes / disponibilidad Principal UE % Comparable con el valor planificado, por tamao de vehculos. Aplicable a proyectos que incluyen el componente de recojo o transporte Disponibilidad UE viajes / vehclo Indicador de eficiencia operacional de recojo de vehculos. Comparable con el valor planificado, por tamao de vehculos. aplicable a proyectos que incluyen el componente de recojo o transporte Disponibilidad Operador Km Indicador de acceso a servicio de recojo de Rs. aplicable a proyectos con componente de recojo. Comparable con el valor planificado, con el valor antes del proyecto, y analiza la contribucin de la intervencin del proyecto. Disponibilidad Operador % Indicador de poblacin cubierta con servicio de recojo de Rs. aplicable a proyectos con componente de recojo o transporte. Comparable con el valor planificado, con el valor antes del proyecto, y analiza la contribucin de la intervencin del proyecto. Disponibilidad Operador Km / da Para ser comparado con el valor planificado, con el valor antes del proyecto. Aplicable para proyectos con componentes de barrido. Disponibilidad Principal Operador % Para ser comparado con el valor planificado, con el valor antes del proyecto. Aplicable para proyectos con componentes de barrido. Disponibilidad Principal Operador Km / da Indicador de eficiencia operacional de servicios de barrido. Para ser comparado con el valor planificado, con el valor antes del proyecto. aplicable para proyectos con componentes de barrido. Disponibilidad Operador Ton / da Para ser comparado con el valor planificado. Aplicable a proyectos con componente de recojo o transporte. Utilizacin Principal Operador
4.
Residuales Slidos / SANEAMIENTO
Nombre
Definicin
Incremento en capacidad de recoleccin
Incremento en la suma de capacidades de vehculos adquiridos o rehabilitados por el proyecto.
Capacidad aumentada de la disposicin final
Capacidad operacional instalada del sitio de disposicin final aadido por el proyecto.
Disponibilidad de vehculos para recoleccin
Nmero promedio de vehculos operativos dividido entre el nmero total de vehculos
Nmero de viajes
Nmero promedio de viajes para recojo por vehculo
Longitud de recoleccin
Longitud de calles donde los servicios de recojo son provistos por lo menos una vez a la semana
Cobertura de recoleccin
Porcentaje de poblacin cubierta por el servicio de recojo en la poblacin total
Longitud de barrido de calles
Longitud de calles barridas por da
Cobertura de barrido
Longitud de calles barridas por da entre longitud total de calles
barrido por barredores
Longitud de calles barridas por barredor
Toneladas de Rs recoleccionadas
Peso promedio diario de Rs recogido
Nombre
Definicin
Unidad
Aplicacin en la Evaluacin Expost y Notas
Tipo del Indicador
fuentes
Toneladas de Rs dispuestos Ton / da Comparable con el valor planificado.
Peso promedio de Rs dispuesto diariamente en el sitio de disposicin final construido / mejorado / rehabilitado por el proyecto
Utilizacin Plincipal
Operador
Toneladas de Rs dispuestos por relleno sanitario Ton / da
Peso promedio de Rs dispuesto diariamente con cobertura de suelo diaria en el sitio de disposicin final construido / mejorado / rehabilitado por el proyecto
Indicador de la cantidad de disposicin sanitaria. Comparable con el valor planificado. Aplicable a proyectos con componente de disposicin final. De acuerdo con el nivel de disposicin sanitaria utilizada en el proyecto, podra ser aplicado un indicador adicional considerando prctica de manejo de lixiviados / gas.
Operador
Ratio de utilizacin de la instalacin de disposicin final % Indicador de utilizacin de la instalacin de disposicin final. Comparable con el valor planificado.
Promedio de toneladas de disposicin diaria / capacidad de disposicin de la instalacin
Utilizacin
Operador
Proporcin del material de cobertura
Peso de material de cobertura dividido entre el peso de Rs trado al sitio de disposicin construido / mejorado / rehabilitado por el proyecto %
Indicador del nivel de suficiencia de disposicin sanitaria. Aplicable cuando los datos del peso de suelo usado es disponible. Comparado con el valor objetivo, con estndares nacional / regional. aplicable a proyectos con componente de disposicin final por disposicin sanitaria
Utilizacin
Operador
volumen de recoleccin
Peso promedio de Rs recogido por da
Ton / da
Indicador de utilizacin de servicio de recojo de RS. Aplicable a proyectos con componente de recojo o transporte. Comparable con el valor planificado, con el valor antes del proyecto, y analiza la contribucin de la intervencin del proyecto.
Utilizacin
Operador
Poblacin atendida
Poblacin atendida por el servicio de recoleccin
No.
Comparable con el valor planificado y con el valor antes del proyecto. En un proyecto que considere nicamente ampliacin de cobertura, el incremento de este indicador reflejar la contribucin del proyecto.
Utilizacin
Operador
Tasa de Rs adecuadamente dispuestos %
Peso de Rs dispuesto con cobertura de suelo dividida por Rs generado
Comparable con el valor planificado, con el valor antes del proyecto. Aplicable a proyectos con componente de disposicin final. RS generados necesitarn una estimacin referida a las estimaciones hechas en etapas de pre-inversin o despus
Operador
Nmero de quejas sobre el arrojamiento irregular de Rs publicas. No./ao
Nmero de quejas registradas por ao sobre el arrojamiento irregular de Rs en las calles publicas y reas pblicas.
Comparable con el valor antes del proyecto. La falta de data confiable, podra ser compensada por las preguntas de opinin a los residentes, en las encuestas.
Operador Encuesta a los beneficiarios Beneficio Directo
Percepcin de la poblacin sobre la mejora de la limpieza en espacios pblicos %
Porcentaje de poblacin que considera que la limpieza en espacios pblicos en la ciudad ha mejorado despus del proyecto
Basado en preguntas sobre los cambios en la limpieza, por ejemplo, presencia de basura, mal olor, animales vectores, etc., en el espacio pblico (calles, parques, etc.) despus del proyecto en la ciudad.
Tasa de Reaprovechamiento %
Porcentaje de RS reutilizado o reciclado respecto del peso de los Rs recolectados
Comparable con el valor planificado y con el valor antes del proyecto. Aplicable a proyectos con componente de reciclaje / reutilizacin.
Beneficio Directo
Operador
Disminuicin de enfermedades
Nmero de atendidos por mil habitantes por ao en la zona de influencia. Enfermedades incluyen; salmonelosis, fiebre tifoidea, clera, disentera, etc. No.
Se espera que el mejoramiento del saneamiento ambiental como resultado del proyecto conduzca hacia una disminucin de la incidencia de algunas enfermedades. Hallazgos basados en la informacin del MINSA podran ser verificados a nivel familiar con la informacin obtenida a travs de la encuesta.
Impacto Directo Principal
MINsa Encuesta a la poblacin
201
anexo 6 anexo 6
Km Compara lo planificado con lo real. La data ser clasificada segn tensin; media tensin, baja tensin. Componentes Primario UE conexiones Compara lo planificado con lo real. La data ser clasificada segn tarifas. Si el proyecto no realiza las conexiones sino solamente las acometidas domiciliarias, se substituira por el nmero de acometidas domiciliarias. Componentes Principal UE hora o minutos / ao Indicador de confiabilidad del sistema de distribucin. Compara con la norma y promedio nacional. A aplicarse en principio para el proyecto, sin embargo, si esta informacin no est disponible, es aplicable para el sistema elctrico entero que incluye al proyecto. Disponibilidad Principal Operador Interrupciones / usuario / ao Indicador de confiabilidad del sistema de distribucin. Compara con la norma y promedio nacional. A aplicarse en principio para el proyecto, sin embargo, si esta informacin no est disponible, es aplicable para el sistema elctrico entero que incluye al proyecto. Disponibilidad Principal Operador abonados Compara con la proyeccin hecha en el estudio de pre-inversin. Si no es posible realizar un censo, efectuar una muestra de encuestas. Utilizacin Principal Operador Censo o encuesta a los beneficiarios abonados Uso productivo residencial incluye todo los tipos de pequeos negocios que utilizan electricidad con las tarifas residenciales, desde las artesanas en la casa por la noche que usa iluminacin elctrica hasta las tiendas y los talleres que usa diferentes artefactos elctricos. Compara con la proyeccin hecha en el estudio de pre-inversin. Si no es posible realizar un censo, efectuar una muestra de encuestas. Compara con la proyeccin hecha en el estudio de pre-inversin. Si no es posible realizar un censo, efectuar una muestra de encuestas. Utilizacin Censo o encuesta a los beneficiarios kWh / ao Utilizacin Operador Censo o encuesta a los beneficiarios kWh / ao Compara con los valores proyectados en el estudio de preinversin, con el promedio nacional. aplicable solamente al proyecto. Utilizacin Principal Operador kWh / ao Uso productivo residencial se estimar basado en censo o encuesta a los beneficiarios. Uso productivo industrial se obtendra por el operador. Compara con la proyeccin hecha en el estudio de pre-inversin. Utilizacin Operador Censo o encuesta a los beneficiarios
5.
Electrificacin Rural / ENERGA
Nombre
Definicin
Longitud de la lnea primaria y las redes primarias / secundarias
Longitud de la lnea primaria y las redes primarias / secundarias construidas para el proyecto.
Nmero de conexiones
Nmero de conexiones realizadas por el proyecto.
ndice de duracin promedio de interrupcin del sistema (saIDI)
suma de la duracin de todas las interrupciones de los usuarios por ao dividido por el nmero total de usuarios atendidos
ndice de frecuencia promedia de interrupcin del sistema (saIFI)
Nmero total de interrupciones de usuarios por ao dividido por el nmero total de usuarios atendidos
Nmero de abonados segn tarifa y tipologa de abonados
Nmero de abonados segn tarifa y tipologa definida en el estudio de preinversin : residencial, pequea industria, uso general, etc.
Nmero de abonados residenciales con uso productivo
Nmero de abonados residenciales conectados con el proyecto que utiliza la electricidad para las actividades productivas y comerciales.
Energa facturada al cliente final segn tarifa y tipologa de abonados
Energa facturada al cliente final del proyecto por ao segn tarifa y tipologa de abonados
Energa facturada al cliente final per cpita
Total Energa facturada al cliente finalpor abonados domsticos por ao / total nmero de abonados domsticos (a ser confirmado)
Energa facturada al cliente final para el uso productivo
Energa facturada al cliente final del proyecto por ao para el uso productivo
Nombre
Definicin
Unidad
Tipo del Indicador
fuentes
Posesin de aparatos elctricos domsticos % Utilizacin
Porcentaje de hogares que poseen los principales artefactos elctricos.
Principales artefactos elctricos tales como; foco de incandescencia / ahorrador, fluorescente, radio, TV, ventilador, refrigerador, licuadora, DvD, lavadora, plancha, telfono mvil, etc. Compara con el promedio nacional o regional. Beneficio Directo
Consumo de energa per cpita kWh / ao
Total energa consumida per cpita incluyendo energa elctrica, pilares, velas, querosenes, leas, etc.
Compara con los valores antes del proyecto, con el promedio nacional y/o regional. El consumo de energa de diferentes fuentes ser convertido a kWh utilizando factores establecidos. Si la lnea base no est disponible, la estimacin ser hecha mediante preguntas retroactivas a travs de una encuesta.
Gastos familiares de energa s/. Compara con los valores antes del proyecto, con el promedio nacional y/o regional.
Gastos familiares en electricidad, velas, lmparas, etc. que destinan mensualmente
Beneficio Directo
Encuesta a los beneficiarios Impacto Directo
Nuevas actividades econmicas debido a la electricidad No.
Nmero de nuevas actividades econmicas en la zona de influencia segn tipologa (pequea industria / negocios, negocios medianos, etc.) que son posibles debido al acceso a la electricidad.
Si no es posible realizar un censo, efectuar una muestra de encuestas. La interpretacin de este indicador necesitar un examen cuidadoso de cmo el acceso a la electricidad contribuye al establecimiento de nuevas actividades econmicas.
Censo o encuesta de muestra a los beneficiarios
203
anexo 6 anexo 6
204 Definicin Unidad Aplicacin en la Evaluacin Ex - post y Notas Tipo del Indicador fuentes
m3 / s Comprelo con lo planificado. Componentes UE Km Comprelo con lo planificado. Componentes UE m3 Comprelo con lo planificado. Componentes UE Ha Comprelo con lo planificado. Componentes Principal UE Ha Comprelo con lo planificado. Componentes Principal UE Ha Comprelo con lo planificado, con valores previos pre- proyecto Componentes Principal UE Ha Comprelo con lo planificado, con valores previos pre- proyecto. Disponibilidad Principal Usuarios (Junta / Comisin / Comit) % Indicador de operacin y mantenimiento. Comprelo con lo planificado, con valores previos al proyecto. Disponibilidad Usuarios (Junta / Comisin / Comit) das-jornales / ao Indicador de operacin y mantenimiento. Comprelo con lo planificado, con valores previos al proyecto. Disponibilidad Usuarios (Junta / Comisin / Comit) Ha Comprelo con lo planificado, con valores previos al proyecto. Disponibilidad Principal Usuarios (Junta / Comisin / Comit)
6.
Irrigacin / AGRICULTURA
Nombre
Capacidad mxima de entrada de agua al sistema
Caudal mximo de ingreso de agua por la estructura de captacin implementada por el proyecto.
Longitud total de canales de conduccin y distribucin
Longitud total de los canales de irrigacin, de conduccin y distribucin, por categoras, implementados por el proyecto.
Capacidad total de almacenamiento de agua de los reservorios
volumen total de almacenamiento de los reservorios implementados por el proyecto.
rea mejorada
Cantidad de hectreas agrcolas netas existentes que sern beneficiadas por el proyecto.
rea incorporada
Cantidad de hectreas netas nuevas que sern incorporadas a la produccin agrcola con el proyecto.
rea atendida
Cantidad de hectreas agrcolas fsicas mejoradas o incorporadas que se benefician conel proyecto
rea por regar
Cantidad de hectreas agrcolas donde el proyecto est operacional y puede recibir agua.
Costos de operacin y mantenimiento
Porcentaje de costos de operacin y mantenimiento con respecto al costo de la infraestructura del proyecto
Jornales por labores de operacin y mantenimiento
Total de jornales diarios necesarios para operar y mantener el sistema de riego durante el ao.
rea sembrada
Cantidad de hectreas agrcolas cultivadas al ao (primera y segunda campaa), que se benefician con el proyecto.
Nombre
Definicin
Unidad
Tipo del Indicador
fuentes
Demanda mensual de agua de riego Utilizacin
Volumen de agua utilizado para el riego por cada mes del ao.
m3/mes m3/ao
Comprelo con lo planificado, con valores previos al proyecto
Usuarios (Junta / Comisin / Comit)
Nmero de usuarios N. Comprelo con lo planificado, con valores previos al proyecto
Nmero de agricultores beneficiarios del proyecto registrados o por registrar en una organizacin de riego
Nivel de produccin agrcola Ton/ao Comprelo con lo planificado, con valores previos al proyecto
volumen anual de produccin agrcola de la cdula de cultivo del rea sembrada.
Encuesta a los usuarios
Rendimiento agrcola Kg/ha
Productividad (rendimiento) por hectrea de cada cultivo de la cdula de cultivo del proyecto.
Comprelo con lo planificado, con valores previos al proyecto
Ingresos promedios anuales por agricultor
Ingreso promedio anual por agricultor por efecto del proyecto
s/. por agricultor al ao
Comprelos con los valores previos al proyecto.
Tasa de comercializacin
Porcentaje de los productos agrcolas que se comercializan en el mercado
Comprelos con los valores previos al proyecto..
Eficiencia de riego %
Cantidad de agua utilizada por los cultivos en relacin con la cantidad de agua captada por el sistema de riego.
Comprelo con lo planificado, y con los valores antes del proyecto. Indicador de la calidad de la infraestructura, Eficiencia y O&M en manejo de aguas y su aplicacin.
Indicador auxiliar
Tasa de recuperacin de tarifa %
Porcentaje de la tarifa de agua recolectada con relacin a la tarifa de agua planificada de acuerdo al cronograma de entrega durante el ao.
Comprelo con lo planificado, y con los valores antes del proyecto. Indicador de sostenibilidad financiera de los usuarios as como satisfaccin sobre el sistema de irrigacin.
Indicador auxiliar
205
anexo 6
206 Unidad Aplicacin en la Evaluacin Ex -post y Notas Tipo del Indicador fuentes
m2 Compara con lo planificado. La interpretacin de este indicador necesitar un examen de rea de piso por servicios y la disposicin del proyecto. Componentes Principal UE No. Compara con lo planificado. La interpretacin de este indicador necesitar un examen de la especificacin o la productividad de los equipamientos principales. Componentes Principal UE No. Compara con lo planificado. La data ser segregada de acuerdo al tipo de entrenamiento y categora del personal asistencial y/o administrativo. Componentes Principal UE Por servicios / especialidades, horarios, y locaciones. Compare con lo planificado y con situaciones previas al proyecto. Disponibilidad Principal Operador No. Compare con lo planificado y con situaciones previas al proyecto. Disponibilidad Principal Estimacin a cargo de especialista No. Compare con lo planificado y con situaciones previas al proyecto. Disponibilidad Principal Operador No. Compare con lo planificado y con situaciones previas al proyecto. Disponibilidad Principal Disponibilidad Operador Proveer de indicador de calidad para los servicios mdicos. Comprelo con situaciones pre-proyecto. De no existir Lnea Base, defina la situacin pre-proyecto con un estudio de campo a travs de preguntas retro activas. Encuesta a los clientes atenciones / ao Indicador del nivel de utilizacin Comprelo con lo planificado (proyeccin de la demanda), analice la contribucin del proyecto a la tendencia histrica. Utilizacin Principal Operador N. / ao Comprelo con lo planificado (proyeccin de la demanda), analice la contribucin del proyecto a la tendencia histrica. Utilizacin Principal Operador N. Compare con lo planificado, con situaciones previstas y con los estndares normativos. Utilizacin Principal Operador
7.
Hospital / SALUD
Nombre
Definicin
rea construida/ rehabilitada.
rea de piso del hospital construido y/o rehabilitado por el proyecto.
Cantidad y Tipo de equipamiento provisto.
Cantidad y Tipo de equipamiento biomdico, electro mdico, mobiliario clnico, mobiliario administrativo por servicios provisto por el proyecto.
Nmero de personal que recibi capacitacin.
Nmero de personal que recibi capacitacin a travs del proyecto.
servicios de salud disponibles
Tipo de servicios de salud disponibles al establecimiento medico recibido por el proyecto, por especialidades.
Nmero de ambientes fsicos operativos y adecuados
Nmero de ambientes fsicos operativos y adecuados segn norma para la prestacin de servicios de salud.
Nmero de consulta externas operativas.
Nmero de consulta externa operativa segn especialidades
Nmero de camas operativas
Nmero de camas operativas segn especialidades
Grado de satisfaccin de los clientes
Grado de satisfaccin de los clientes por la atencin oportuna y buena en los servicios de salud.
Nmero de atenciones realizadas
Nmero de atenciones segn el tipo de servicio y especialidad en el establecimiento mdico que intervino el Proyecto.
Nmero de atendidos
Nmero de atendidos segn el tipo de servicio y especialidad en el establecimiento mdico que intervino el proyecto segn el tipo de servicio y especialidad
Concentracin
Nmero de atenciones dividido por nmero de atendidos segn el tipo de servicio y especialidad
Nombre
Definicin
Unidad
Aplicacin en la Evaluacin Ex -post y Notas
Tipo del Indicador
fuentes
Das de estancia en hospitalizacin
Das promedio de estancia en hospitalizacin
Da
Compare con lo planificado, con situaciones previstas y con los estndares normativos.
Operador
Nmero de referencias y contra referencias. N. / ao Comprelo con lo planificado (proyeccin de la demanda), analice la contribucin del proyecto a la tendencia histrica.
Nmero de referencias y contra-referencias de/desde establecimiento mdico que intervino el proyecto
Operador
Nmero de partos atendidos Partos / ao
Nmero de partos normales y distcicos atendidos por el hospital cada ao Comprelo con lo planificado (proyeccin de la demanda), analice la contribucin del proyecto a la tendencia histrica.
Utilizacin Principal Utilizacin
Operador
Nmero de intervenciones quirrgicas N.
Nmero de intervenciones quirrgicas se lleva a cabo en el hospital cada ao.
Comprelo con lo planificado (proyeccin de la demanda), analice la contribucin del proyecto a la tendencia histrica.
Operador
Nmero de egreso de hospitalizacin N. / ao
Nmero de egreso de hospitalizacin que intervino el proyecto
Utilizacin
Operador
Tasa de ocupacin de las camas
Porcentaje de camas ocupadas
Utilizacin
Operador
Nivel de utilizacin de consultorios %
Produccin por los consultorios dividido por capacidad de produccin de los mismos
Comprelo con lo planificado (proyeccin de la demanda) , analice la contribucin del proyecto a la tendencia histrica..
Utilizacin
Operador
Nivel de produccin de equipamientos principales %
Produccin por el equipamiento biomdico / electro mdico dividido por capacidad de produccin del mismo
Comprelo con lo planificado (proyeccin de la demanda). Se aplica a los equipamientos principales del proyecto.
Utilizacin
Operador
Tasa de mortalidad hospitalaria
Total de egresos por defuncin dividido por total de egresos
Compare con lo planificado, con situaciones previstas y con promedio nacional. A ser aplicado de acuerdo al rea de intervencin del proyecto.
Operador
Tasa de mortalidad hospitalaria estandarizada %
Tasa de mortalidad hospitalaria ajustada por factores que pueden afectar las tasas de mortalidad hospitalaria.
Compare con lo planificado, con situaciones previstas. A ser aplicado de acuerdo al rea de intervencin del proyecto. Compara el nmero real de muertes en un hospital con la experiencia nacional promedio, despus de ajustar por varios factores que pueden afectar las tasas de mortalidad hospitalaria, tales como la edad, sexo, diagnsticos y el estado de la admisin de los pacientes. Compare con situaciones antes del proyecto, con promedio nacional e internacional.
Beneficio Directo
Operador
Tasa de infecciones intrahospitalaria (IIH) N. / mil ingresos
El nmero de pacientes que a lo largo de su estancia adquieren una o ms IIH por mil ingresos.
Beneficio Directo
Operador
Tasa de mortalidad
Tasa de mortalidad en la zona de influencia
muertos per mil personas
Comprelos con situaciones pre-proyecto y promedio nacional. Data ser segregada de acuerdo a las principales causas de muerte.
MINsa
207
anexo 6
m2 Compara con lo planificado. La interpretacin de este indicador necesitar un examen de rea de piso por servicios y la disposicin del proyecto. Componentes Principal UE no. Compara con lo planificado. La interpretacin de este indicador necesitar un examen de la especificacin o la productividad de los equipamientos principales. Componentes Principal UE no. Compara con lo planificado. La data ser segregada de acuerdo al tipo de entrenamiento y categora del personal asistencial y/o administrativo. Componentes Principal UE Por servicios / especialidades, horarios, y locaciones. Comprelo con lo planificado y con situaciones preproyecto Disponibilidad Principal Operador no. Comprelo con lo planificado y con situaciones pre-proyecto. Disponibilidad Principal Estimacin a cargo de especialista Indicador sustitutivo de la calidad de los servicios de salud ofrecido. Proveer de indicador de calidad de los servicios mdicos. Comprelo con situaciones pre-proyecto. De no existir data de Lnea de Base, defina la situacin pre-proyecto a travs de una encuesta de preguntas retroactivas. Disponibilidad Encuesta a la poblacin atendida atenciones / ao Indicador del nivel de utilizacin Comprelo con lo planificado (proyeccin de la demanda), analice la contribucin del proyecto a la tendencia histrica. Utilizacin Principal Operador N. / ao Comprelo con lo planificado (proyeccin de la demanda), analice la contribucin del proyecto a la tendencia histrica. Utilizacin Principal Operador N. Compare con lo planificado, con situaciones previstas y con los estndares normativos. Utilizacin Principal Operador N. / ao Comprelo con lo planificado (proyeccin de la demanda), analice la contribucin del proyecto a la tendencia histrica. Utilizacin Principal Operador
8.
Atencin Medica bsica y Micro Red / SALUD
Nombre
Definicin
rea de piso construida / rehabilitada
rea de piso construida / rehabilitada por el proyecto
Cantidad y tipo de equipamiento provisto
Tipo y cantidad del equipamiento biomdico, electro mecnico, mobiliario clnico / administrativo provisto por el proyecto.
Nmero de personal que recibi capacitacin.
Nmero de personal que recibi capacitacin por parte del proyecto.
servicios de salud disponibles.
servicios de salud disponibles en los establecimientos mdicos incluidos en el proyecto.
Nmero de ambientes fsicos operativos y adecuados
Nmero de ambientes fsicos operativos y adecuados segn norma para la prestacin de servicios de salud en los establecimientos mdicos incluidos en el proyecto.
Nivel de satisfaccin de la poblacin atendida.
Grado de satisfaccin de la poblacin por la oportuna y buena atencin en los servicios de salud en los establecimientos mdicos incluidos en el proyecto.
Nmero de atenciones realizadas
Nmero de atenciones segn el tipo de servicio y especialidad en el establecimiento mdico que intervino el Proyecto.
Nmero de atendidos
Nmero de atendidos segn el tipo de servicio y especialidad en el establecimiento mdico que intervino el proyecto.
Concentracin
Nmero de atenciones dividido por nmero de atendidos segn el tipo de servicio y especialidad
Nmero de referencias y contra referencias.
Nmero de referencias y contra-referencias de/desde establecimiento mdico que intervino el proyecto
Nombre
Definicin
Unidad
Tipo del Indicador
fuentes
Nmero de partos atendidos Partos / ao
Nmero de partos normales y distcicos atendidos por el establecimiento mdico que intervino el proyecto Comprelo con lo planificado (proyeccin de la demanda), analice la contribucin del proyecto a la tendencia histrica.
Operador
Nivel de utilizacin de ambientes fsicos % Comprelo con lo planificado (proyeccin de la demanda). Se aplica a los ambientes fsicos utilizados para producir directamente los servicios de salud.
Atenciones realizados por el ambiente fsico dividido por capacidad de produccin del mismo
Utilizacin
Operador
Cobertura no. / ao
Nmero de atendidos segn tipo de servicio por ao dividido por la poblacin del mbito del establecimiento incluido en el proyecto. Comprelo con el plan (demanda proyectada), analice la contribucin del proyecto a la tendencia histrica.
Operador
Cobertura de partos %
Nmero de partos en los establecimientos intervenido entre nmero total de gestantes en su mbito de influencia
Comprelo con el plan (si aplicable), con promedio nacional, y analice la contribucin del proyecto a la tendencia histrica.
Beneficio Directo
Operador
Cobertura de vacunas de nios
Porcentaje de los nios vacunados en las edades apropiadas
Comprelo con el plan (si aplicable), con promedio nacional, y analice la contribucin del proyecto a la tendencia histrica.
Beneficio Directo
Operador
Conocimiento y prcticas saludables de la poblacin. %
Porcentaje de la poblacin con conocimientos bsicos sobre temas vinculados con la salud, los beneficios del uso adecuado de los servicios de salud.
El conocimiento y disposicin de la poblacin ser consultado a travs de una encuesta/cuestionario. si se puede aplicar el mismo formato, una comparacin de antes/despus ser posible.
Impacto Directo
Encuesta a la poblacin
Enfermedades detectadas y tratadas de manera adecuada %
Porcentaje de enfermedades detectadas y tratadas de manera adecuada durante su etapa inicial dentro de la micro red.
Enfermedades detectadas y tratadas de manera adecuada de la poblacin ser consultado a travs de los registros de la micro red y una encuesta/cuestionario. si se puede aplicar el mismo formato, una comparacin de antes/despus ser posible.
Impacto Directo
Operador Encuesta a la poblacin
Tasa de morbilidad de las principales enfermedades
Tasa de prevalencia de las principales enfermedades controladas por los programas de prevencin.
Casos / mil poblacin
Compare el antes y despus del proyecto, analice la contribucin del proyecto a la tendencia histrica. Analizar tanto el establecimiento medico individual y la micro red, dependiendo de las caractersticas del proyecto. Enfermedades respiratorias y diarrea tienen que estar incluidos entre las enfermedades representativas.
Impacto Indirecto
Operador
Tasa de mortalidad segn principales causas
Tasa de mortalidad segn principales causas en la zona de influencia y en la micro red.
muertos por mil personas
Comprelo con situaciones pre-proyecto. Promedio nacional. Data ser segregada de acuerdo a las causas principales de muerte.
Impacto Indirecto Principal
MINsa
209
anexo 6
No. Comprelo con el valor planificado. Componentes UE No. Comprelo con el valor planificado. Componentes UE No. Comprelo con el valor planificado. Componentes UE No. Comprelo con lo planificado, y con valores pre-proyecto. Analice la contribucin del proyecto al valor de la capacidad mxima ex post. Disponibilidad Principal Operadora/ Estimacin a cargo de especialista No. Comprelo con el valor planificado, con valores pre-proyecto. Para el proyecto que adicion nuevas aulas (incluye sustitucin) el uso de las aulas antiguas necesita tambin ser cuantificado. Los criterios para el nivel de conservacin se establecern en el estudio de preinversin. Disponibilidad Operadora No. Comprelo con lo planificado, con valores pre-proyecto. Analice la contribucin del proyecto a la tendencia histrica Utilizacin Operadora No. Comprelo con lo planificado, con valores pre-proyecto. Analice la contribucin del proyecto a la tendencia histrica Utilizacin Operadora % Comprelo con lo planificado, con valores pre-proyecto. Analice la contribucin del proyecto a la tendencia histrica Utilizacin Principal Operadora % Un indicador para beneficio directo o impacto directo segn el objetivo central del proyecto. Comprelo con valores previos al proyecto y con promedio nacional. Beneficio Directo / Impacto Directo Operadora % Comprelo con lo planificado, con valores pre-proyecto. Analice la contribucin del proyecto a la tendencia histrica Beneficio Directo / Impacto Directo Operadora
9.
Educacin bsica Regular / EDUCACIN
Nombre
Definicin
Nmero de aulas implementadas
Nmero de aulas rehabilitadas o construidas por el proyecto, segn nivel educativo.
Nmero de aulas equipadas y amuebladas
Nmero de aulas en las que equipamiento y/o mobiliario fue provisto por el proyecto, segn nivel educativo.
Nmero de profesores capacitados
Nmero de profesores que recibieron capacitacin a travs del proyecto, segn nivel educativo.
Capacidad de atencin
Nmero de nios que pueden ser atendidos de acuerdo a las normas, haciendo uso de aulas, equipos mobiliarios as como recursos humanos disponibles, segn nivel educativo.
Nmero de aulas disponibles segn estado de conservacin y nivel educativo
Nmero de aulas disponibles en la escuela segn funciones y estado de conservacin segn los criterios establecidos.
Nmero de matriculados
Nmero de matriculados segn grado y nivel educativo
Nmero de alumnos por docente
Nmero de alumnos por docente segn grado y nivel educativo
Tasa de ocupacin
Nmero de nios estudiando en la escuela por ao dividido entre la capacidad mxima de atencin de la escuela.
Nivel de aprendizaje en el segundo grado.
Porcentaje de alumnos de segundo grado participantes en evaluacin censual que alcanzaron los objetivos de aprendizaje esperados en la competencia comprensin de textos y en el rea matemtica, de acuerdo a la estructura curricular vigente.
Porcentaje de aprobados
Porcentaje de aprobados, segn grado y nivel educativo, respecto a la matrcula al finalizar el ao escolar.
Nombre
Definicin
Unidad
Tipo del Indicador
fuentes
Porcentaje de repetidores %
La proporcin de alumnos que cursaron el ao siguiente el mismo grado, dado que se matricularon en el ao escolar anterior, segn grado y nivel educativo. Un indicador para beneficio directo o impacto directo segn el objetivo central del proyecto. Comprelo con valores previos al proyecto y con promedio nacional.
Beneficio Directo / Impacto Directo
Operadora
Porcentaje de retirados
La proporcin de alumnos que durante el ao escolar sobrepasaron el lmite de inasistencias, por lo que se les consider no aptos para la evaluacin final, segn grado y nivel educativo. % Un indicador para beneficio directo o impacto directo segn el objetivo central del proyecto. Comprelo con valores previos al proyecto y con promedio nacional.
Beneficio Directo / Impacto Directo
Operadora
Tiempo promedio de traslado a la escuela minutos se aplica solo para las escuelas nuevas. Comprelo con valores previos al proyecto y con el promedio nacional.
Tiempo promedio de traslado a la escuela de los nios que estudian en la escuela construida por el PIP.
Beneficio Directo
Operadora
Tasa neta de matrcula
Nmero de matriculados en Inicial 3-5 aos, Primaria o secundaria que se encuentran en el grupo de edades que tericamente corresponde al nivel de enseanza, expresado como porcentaje de la poblacin total de dicho grupo de edades. %
Comprelo con el valor planificado, con valores previos al proyecto y con el promedio nacional. Note el hecho de que existirn fuertes factores aparte de la intervencin del proyecto.
Beneficio Directo Impacto Directo
Operadora
Tasa de cobertura total %
Porcentaje de la poblacin de una cierta edad o grupo de edades matriculada en el sistema educativo, sin distincin de grado, ciclo, nivel o modalidad.
Comprelo con valores previos al proyecto y con el promedio nacional. Note el hecho de que existirn fuertes factores aparte de la intervencin del proyecto.
Beneficio Directo Impacto Directo
Operadora
Tasa neta de ingreso en el primer grado de primaria a una edad oficial %
Nmero de alumnos matriculados por primera vez en el primer grado de educacin primaria que tienen la edad oficial para ingresar a este nivel educativo, expresado como porcentaje de la poblacin de la misma edad
Comprelo con el valor planificado, con valores previos al proyecto y con el promedio nacional. Note el hecho de que existirn fuertes factores aparte de la intervencin del proyecto.
Impacto Directo
Operadora
Tasa de conclusin %
Proporcin de la poblacin que se graduaron en o antes de la edad oficial de graduacin, segn nivel educativo
Comprelo con valores previos al proyecto, y con promedio nacional.
Impacto Directo
Operadora
211
anexo 6 anexo 6
212
Definicin Unidad aplicacin en la Evaluacin Ex - post y Notas Tipo del Indicador Fuentes No. Comprelo con el valor planificado. Componente UE No. Comprelo con el valor planificado. Componente UE horas Comprelo con el valor planificado, con el valor antes del proyecto si se aplica. Componente UE % Comprelo con el valor planificado. Utilizacin Operador % Comprelo con el valor planificado. Utilizacin Operador % Comprelo con el valor planificado. Utilizacin Operador % Comprelo con el valor planificado. Utilizacin Operador No. Comprelo con lo planificado y con el valor antes del proyecto. Utilizacin Operador No. Indicador para medir en qu medida la facultad / escuela atrae a la demanda. Comprelo con lo planificado y con el valor antes del proyecto y analice la contribucin del proyecto a la tendencia histrica. La interpretacin requiere un anlisis de las razones de eleccin por los postulantes. % Comprelo con el valor planificado y con el valor antes del proyecto y analice la contribucin del proyecto a la tendencia histrica. La interpretacin requiere un anlisis de las razones de eleccin por los postulantes. Utilizacin / Impacto Directo Operador Utilizacin / Impacto Directo Operador No. se aplica para el PIP que tiene como objetivo aumentar la capacitad educativa. Compare con el valor planificado y con el valor antes del proyecto. Beneficio Directo Operador
10.
Educacin Superior / EDUCACIN
Nombre
Nmero de aulas implementadas
Nmero de aulas construidas o rehabilitadas
Nmero de aulas equipadas y amuebladas
Nmero de aulas en las que equipamiento y/o mobiliario fue provisto por el proyecto.
Nmero de laboratorios equipados y amueblados
Nmero de laboratorios en los que equipamiento y/o mobiliario fue provisto por el proyecto.
Porcentaje de utilizacin de laboratorios
Relacin entre el nmero de horas a la semana utilizada por laboratorio asignado a la carrera y el nmero de horas por laboratorio disponibles
Porcentaje de utilizacin de aulas
Relacin entre el nmero de horas utilizadas a la semana por aula asignada a la carrera y el nmero de horas por aulas disponibles
Porcentaje de uso efectivo de laboratorios
Relacin entre el nmero de estudiantes que utilizan los laboratorios en una hora de clase y el nmero disponible de puestos a ser utilizados por ellos
Porcentaje de uso efectivo de aulas
Relacin entre el nmero de estudiantes que utilizan las aulas en una hora de clase y el nmero disponible de puestos a ser ocupados por ellos.
Nmero de ingresantes
Nmero de ingresantes, segn facultades / escuelas.
Demanda de admisin
Relacin entre el nmero de postulantes y el nmero de vacantes, segn facultades / escuelas
Porcentaje de postulantes provenientes de otra regiones
Relacin entre el nmero de estudiantes matriculados procedentes de otras regiones y el nmero de ingresantes
Nmero de vacantes
Nmero de vacantes que pueden ser atendidos, segn facultades / escuelas
Nombre
Definicin
Unidad
aplicacin en la Evaluacin Ex - post y Notas
Tipo del Indicador
Fuentes
Rendimiento promedio de los estudiantes
Porcentaje promedio de crditos aprobados
Comprelo con el valor antes del proyecto y analice la contribucin del proyecto a la tendencia histrica
Beneficio Directo
Operador
Porcentaje de egresados
Porcentaje promedio de estudiantes egresados por promocin de ingreso
Beneficio Directo
Operador
Tiempo promedio de estudios
Nmero de semestres acadmicos promedio que les ha tomado a los estudiantes de un programa de estudios para terminar el perodo lectivo (permanencia) % %
Beneficio Directo
Operador
Porcentaje de estudiantes egresados a tiempo
Porcentaje promedio de estudiantes que han terminado su periodo lectivo en el tiempo previsto en el programa de estudios
Beneficio Directo
Operador
Tiempo transcurrido entre egreso y titulacin meses
Tiempo promedio que le ha tomado a los ingresantes de un programa de estudios para titularse
Beneficio Directo
Operador
Porcentaje de titulados
Porcentaje promedio de titulados por promocin de ingreso
Beneficio Directo
Operador
Impacto del ttulo meses
Tiempo promedio en meses que le llev a los titulados de una promocin de ingreso conseguir un puesto de trabajo acorde a la formacin recibida
Impacto Directo
Encuesta a los egresados
Ratio de egresados desempleados %
La tasa de desempleados de los egresados de la carrera, en la Universidad que interviene el proyecto, al primer y cuarto ao de egreso.
Comprelo con el valor antes del proyecto y analice la contribucin del proyecto a la tendencia histrica Con Promedio nacional.
Impacto Directo
Tasa de insercin laboral en 3 meses o menos %
La proporcin de egresados cuyo tiempo de espera para insertarse al mercado laboral no supera 3 meses.
Comprelo con el valor antes del proyecto y analice la contribucin del proyecto a la tendencia histrica Con Promedio nacional.
Impacto Directo
Tasa de aprobacin
Porcentaje de los postulantes aprobados, segn facultades / escuelas
Indicador para el nivel acadmico de postulantes. Comprelo con el valor antes del proyecto y analice la contribucin del proyecto a la tendencia histrica
Impacto Directo
Operador
Notas promedio
Notas promedio del examen de ingreso, segn facultades / escuelas
Puntos
Indicador para el nivel acadmico de postulantes. Comprelo con el valor antes del proyecto y analice la contribucin del proyecto a la tendencia histrica
Impacto Directo
Operador
Dedicacin lectiva de los estudiantes
Relacin entre la suma de los crditos matriculados efectivos en asignaturas y el nmero de estudiantes matriculados
No.
Comprelo con lo planificado, con el valor antes del proyecto y analice la contribucin del proyecto a la tendencia histrica
Impacto Directo
Operador
213
anexo 6
en el mes de marzo de 2012.
Ministerio de Economa y Finanzas Direccin General de Poltica de Inversiones DGPI
Jr. Lampa 227 piso 7 Lima 1 Telef. (511) 3115930 / 3119900 Fax: (511) 6269950
snipnet@mef.gob.pe www.mef.gob.pe

Snip

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Snip

Uploaded by

Copyright:

Available Formats

Ministerio de Economa y Finanzas

Viceministerio de Economa y Finanzas

Direccin General de Poltica de Inversiones

Pautas Generales para la

Evaluacin Ex Post de Proyectos de Inversin Pblica

Pautas Generales para la Evaluacin Ex Post de Proyectos de Inversin Pblica

2. METODOLOGA Y HERRAMIENTAS PARA LA EVALUACIN EX POST

Sistema Nacional de Inversin Pblica

3. PAUTAS PARA LA EVALUACIN DE CULMINACIN

4. PAUTAS PARA EL SEGUIMIENTO EX POST

5. PAUTAS PARA LA EVALUACIN DE RESULTADOS

Pautas Generales para la Evaluacin Ex Post de Proyectos de Inversin Pblica

1.1. Qu es la Evaluacin Ex Post?1

Marco Conceptual Marco Conceptual

Sistema Nacional de Inversin Pblica

Transparencia del proceso y los resultados de la inversin pblica.

1.2. Cules son los Criterios que se Aplican en la Evaluacin Ex Post?

Pautas Generales para la Evaluacin Ex Post de Proyectos de Inversin Pblica

Tabla 1.1 Los Cinco Criterios de Evaluacin

1.2.2. Relacin de los Criterios con el Modelo Lgico de un PIP

Marco Conceptual Marco Conceptual

Sistema Nacional de Inversin Pblica

Grfico 1.1: Criterios de Evaluacin Ex Post y Modelo Lgico de un PIP

Previsto Positivo Negativo

Modelo Lgico del Proyecto

Fin ltimo Fines indirectos Fines directos

Efecto Directo Operacin/Utilizacin Productos

accciones Tiempo, recursos humanos, fondos, etc.

Pautas Generales para la Evaluacin Ex Post de Proyectos de Inversin Pblica

Marco Conceptual Marco Conceptual

Sistema Nacional de Inversin Pblica

Tabla 1.2 Correspondencia de Conceptos y Trminos

Efecto es el cambio intencional o no intencional generado directa o indirectamente por el proyecto.

Pautas Generales para la Evaluacin Ex Post de Proyectos de Inversin Pblica

1.2.3. Las Preguntas de Evaluacin por Criterios

Marco Conceptual Marco Conceptual

Sistema Nacional de Inversin Pblica

a) Pertinencia La evaluacin de la pertinencia responder a las siguientes preguntas:

Preguntas de Evaluacin: Pertinencia

Pautas Generales para la Evaluacin Ex Post de Proyectos de Inversin Pblica

b) Eficiencia La evaluacin de la eficiencia responder a las siguientes preguntas:

Preguntas de Evaluacin: Eficiencia

Marco Conceptual Marco Conceptual

Sistema Nacional de Inversin Pblica

c) Eficacia La evaluacin de la eficacia responder a las siguientes preguntas:

Preguntas de Evaluacin: Eficacia

3 aulas, consultorios, sistema de agua potable, etc.

Pautas Generales para la Evaluacin Ex Post de Proyectos de Inversin Pblica

Preguntas de Evaluacin: Impacto

Marco Conceptual Marco Conceptual

Sistema Nacional de Inversin Pblica

e) Sostenibilidad La evaluacin de la sostenibilidad responder a las preguntas siguientes:

Preguntas de Evaluacin: Sostenibilidad

Pautas Generales para la Evaluacin Ex Post de Proyectos de Inversin Pblica

1.3. Cules son los Momentos de Evaluacin Ex Post de un PIP?

Marco Conceptual Marco Conceptual

Sistema Nacional de Inversin Pblica

Grfico 1.2: El Ciclo de un PIP y el Proceso de Evaluacin

Postinversin Evaluacin de Culminacin Seguimiento Ex Post Evaluacin de Resultados

1.3.1. Evaluacin de Culminacin

Pautas Generales para la Evaluacin Ex Post de Proyectos de Inversin Pblica

1.3.2. Seguimiento Ex Post

Marco Conceptual Marco Conceptual

Sistema Nacional de Inversin Pblica