Las Evaluaciones de Diseo y Ejecucin de Programas (EDEP)

Diciembre, 2011

Esquema de la presentacin
1. Las evaluaciones independientes en el marco del PpR 2. Las Evaluaciones de Diseo y Ejecucin de Programas EDEP 3. Avances 4. Desafos

I. Las evaluaciones independientes

Definicin:
Son anlisis sistemticos y objetivos de intervenciones pblicas (en curso o concluidas) sobre su diseo, gestin, desempeo y/o sostenibilidad para el logro de los resultados esperados.

Objetivos:
Mejorar el desempeo de los programas (aprendizaje). Informar al presupuesto sobre el desempeo de los programas (esencia del PpR): Alimentando las decisiones de priorizacin del gasto (a dnde asignar) Alimentando las decisiones de financiamiento (cunto asignar) Promover transparencia en la administracin de las finanzas publicas y en la gestin de los programas.

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Principios
Independencia: Tanto de los evaluadores como sus contrapartes tcnicas. Carcter tcnico: Calidad tcnica y recomendaciones bien fundamentadas. Participacin: Los responsables de la intervencin pblica evaluada entregan toda la informacin, entregan comentarios a los informes y adoptan las acciones necesarias para aprovechar las recomendaciones (compromisos). Transparencia: Los resultados de las evaluaciones y las respuestas de las entidades a dichos informes son pblicos.
1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Criterios de seleccin
Prioridad en trminos de poltica sectorial. Relevancia presupuestal. Necesidad de informacin de desempeo (preguntas de evaluacin relevantes).

Antecedentes de evaluacin confiable (no duplicidad).

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Esquema operativo

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

2. Evaluaciones de Diseo y Ejecucin de Programas (EDEP)

Bsicamente, busca responder lo siguiente: El diseo del programa es el mas apropiado (consistente) para la obtencin de resultados esperados? Qu tan eficiente es la gestin del programa? Cul es el desempeo del programa (a nivel de producto)?

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

mbitos de evaluacin
Resultados Finales

Intermedios

Diseo

Desempeo
Productos Gestin Eficiencia, eficaci a y calidad

Metodologa de Marco Lgico

Actividades

Insumos

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Aspectos metodolgicos
Metodologa del marco lgico. Dimensiones del desempeo:
Eficacia (logro de objetivos planteados a nivel de producto) Eficiencia (al menor costo posible) Calidad (atributos tcnicamente deseables, satisfaccin)

Analiza no solo programas presupuestales. Utiliza informacin confiable existente: provista por el programa, datas administrativos, encuestas de hogares, etc. Incluye trabajo de campo en 4 regiones. Duracin: ~5 meses.
1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Aspectos de evaluacin especficos

Identificacin del problema Criterios de focalizacin y seleccin de beneficiarios Lgica vertical (relaciones causa-efecto) Lgica horizontal (indicadores adecuados) Estructura organizacional Criterios de asignacin de recursos (equidad), mecanismos de transferencia de recursos y modalidad de pago Funciones de seguimiento Ejecucin presupuestaria Eficiencia y eficacia de los productos y actividades Gastos administrativos Justificacin de la continuidad

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Cobertura del PIN Infantil y Escolar

Poblacin atendida / Poblacin objetivo 160% 140% 120% 100% 80% 60% 40% 20% 0%
137% 137%

86% 71% 32% 15%

64% 55%

2007 2008

PIN PIN PIN PIN Infantil Infantil Escolar Escolar (Madres (Nios 6 (Nios 3-6 (Nios 6gestantes meses - 3 aos) 12 aos) y aos) lactantes)

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Recomendaciones a partir de los resultados de la evaluacin

Programa Problema identificado Recomendacin del Panel PIN Limitaciones en la focalizacin del PIN escolar Definir criterios de focalizacin utilizando en lo posible informacin ya existente (SISFOH). Elaborar un documento de divulgacin que explicite los objetivos, metas y estrategia en rumbo, que facilite la discusin pblica sobre el Programa Actualizar el padrn de JUNTOS. Afiliacin coordinada de la poblacin beneficiaria de JUNTOS al SIS y diseo de mecanismo de identificacin compatibles.

PRONAFCAP

Deficiencias en la estrategia de intervencin

JUNTOS

Deficiencias en la Estrategia de Focalizacin y Afiliacin

Inoportuna CONSERVACIN conservacin o mantenimiento de CARRETERAS carreteras.

Definir tcnicamente, cada ao, el nmero ptimo de kilmetros que requiere ser intervenido (mantenimiento)

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Compromisos de mejora de desempeo

A partir de las recomendaciones de los evaluadores independientes se disean y discuten los compromisos que ms eficazmente puedan direccionar a la Entidad evaluada en la mejora de su desempeo. Cada compromiso debe estar estrechamente ligado con la recomendacin que lo genera. El compromiso puede materializarse en etapas. Ejemplo: Etapa 1: diseo de un sistema de M&E para la entidad; Etapa 2: implementacin del sistema.

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

De las recomendaciones a los compromisos

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Medios de verificacin y plazos congruentes con los compromisos

Para cada compromiso se debe consignar los medios de verificacin que permitan garantizar la mejora del desempeo, as como los plazos para el cumplimiento de dichos compromisos. Los medios de verificacin deben ser objetivos y estar ntimamente asociados con los compromisos establecidos.

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

De los compromisos a los medios de verificacin

Programa Compromiso Medio de Verificacin Se define criterios especficos de focalizacin del programa, y estos son aprobados por el Consejo Directivo. Documento aprobado y publicado en la web del MINEDU, consignando la estrategia en marcha. Plazo PIN Utilizar criterios de focalizacin diseados a partir de pareo entre informacin PRONAA-SISFOH para asignacin de recursos 2010. Dic-09

PRONAFCAP

Publicar en la pgina web del MINEDU un documento oficial conteniendo la estrategia de intervencin del Programa.

Dic-09

JUNTOS

Implementar el registro de (i) Convenio con SIS y nacimientos: SIS - RENIEC - GL - RENIEC (ii) El 100% de Promotores JUNTOS e incorporar los nios de 0-3 de los i) Dic-09; al padrn de JUNTOS a todos los distritos de JUNTOS se ii) Jun-10 nios y nias entre 0-3 aos de los encuentran incorporados hogares beneficiarios. en el padrn Elaboracin del Programa de Conservacin de 7 500 Km de la red vial asfaltada y afirmada no concesionada.

CONSERVACIN CARRETERAS

Programa de Conservacin aprobado

Dic-09

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Matriz de Compromisos de Mejora de Desempeo

La Matriz de Compromisos refleja la consolidacin del proceso de evaluacin. La matriz es firmada por el director de la DGPP, el titular del programa y el gerente de la OPP del pliego correspondiente. El seguimiento del cumplimiento de los compromisos lo realiza la DGPP al menos 2 veces al ao hasta que se cumpla el 100% de los compromisos establecidos.

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Estructura de la Matriz de compromisos

Programa Problema identificado Recomendacin del Panel Compromiso Medio de Verificacin Se define criterios especficos de focalizacin del programa, y estos son aprobados por el Consejo Directivo. Documento aprobado y publicado en la web del MINEDU, consignando la estrategia en marcha. Plazo PIN Limitaciones en la focalizacin del PIN escolar Definir criterios de focalizacin Utilizar criterios de focalizacin utilizando en lo posible diseados a partir de pareo entre informacin ya existente informacin PRONAA-SISFOH (SISFOH). para asignacin de recursos 2010. Elaborar un documento de divulgacin que explicite los objetivos, metas y estrategia en rumbo, que facilite la discusin pblica sobre el Programa Actualizar el padrn de JUNTOS. Afiliacin coordinada de la poblacin beneficiaria de JUNTOS al SIS y diseo de mecanismo de identificacin compatibles. Dic-09

PRONAFCAP

Deficiencias en la estrategia de intervencin

Publicar en la pgina web del MINEDU un documento oficial conteniendo la estrategia de intervencin del Programa.

Dic-09

JUNTOS

Deficiencias en la Estrategia de Focalizacin y Afiliacin

Implementar el registro de (i) Convenio con SIS y nacimientos: SIS - RENIEC - GL - RENIEC (ii) El 100% de Promotores JUNTOS e incorporar los nios de 0-3 de los i) Dic-09; al padrn de JUNTOS a todos los distritos de JUNTOS se ii) Jun-10 nios y nias entre 0-3 aos de los encuentran incorporados hogares beneficiarios. en el padrn Elaboracin del Programa de Conservacin de 7 500 Km de la red vial asfaltada y afirmada no concesionada.

Inoportuna CONSERVACIN conservacin o mantenimiento de CARRETERAS carreteras.

Definir tcnicamente, cada ao, el nmero ptimo de kilmetros que requiere ser intervenido (mantenimiento)

Programa de Conservacin aprobado

Dic-09

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Evaluacin de Impacto (EI)

Desde este ao. Las EI utilizan modelos analticos para determinar la magnitud de los resultados atribuibles al programa (efectos netos sobre la poblacin beneficiaria). Utilizan metodologas de evaluacin rigurosas, de aplicacin y aceptacin acadmica internacional. La gran diferencia entre las EDEP y las EIP es que stas ltimas requieren de una mayor investigacin en terreno, de la aplicacin de instrumentos de recoleccin de informacin primaria, del procesamiento y anlisis de un conjunto mayor de antecedentes de los programas, y de la aplicacin de modelos analticos ms complejos, que permitan la correcta estimacin del contrafactual. Incluye anlisis costo-efectividad.

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

mbito de evaluacin
Resultados
Finales Se centra en la medicin de los resultados enteramente atribuibles a los productos entregados.

Intermedios

Diseo

Productos

Implementacin

Actividades

Insumos

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

3.Avances
Evaluaciones independientes Nmero de Evaluaciones de Diseo y Ejecucin Presupuesto evaluado acumulado (mill. de soles) Cobertura acumulada sobre el Presupuesto* *Presupuesto no financiero ni previsional. 2008-9 4 2 585 5% 2009-10 10 6 049 11% 2010-11 10 7 659 13%

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Intervencin Pblica Evaluada

Ao

Situacin

Matriz de Compromisos Formalizada En proceso Formalizada Formalizada Formalizada Formalizada Formalizada En proceso En proceso En proceso Formalizada Formalizada Formalizada No habr* En proceso En proceso En proceso En proceso En proceso En proceso En proceso En proceso En proceso En proceso

Evaluaciones de Diseo y Ejecucin Presupuestal (EDEP) 1 JUNTOS 2008-9 Culminada 2 PRONAFCAP 2008-9 Culminada 3 PIN PRONAA 2008-9 Culminada 4 Conservacin de carreteras 2008-9 Culminada 5 Programa Agua para Todos 2009-10 Culminada 6 Electrificacin Rural 2009-10 Culminada 7 Seguro Integral de Salud -SIS 2009-10 Culminada 8 INDECI 2009-10 Culminada 9 Materiales Educativos 2009-10 Culminada 10 Mantenimiento de IIEE 2009-10 Culminada 11 Construyendo Per 2009-10 Culminada 12 RENIEC 2009-10 Culminada 13 PRONAMA 2009-10 Culminada 14 Programa Tolerancia Cero 2009-10 Culminada 15 INABIF 2010-11 Culminada 16 Vacunas 2010-11 Culminada 17 SUNARP 2010-11 Culminada 18 INC 2010-11 Culminada 19 COFOPRI-SBN 2010-11 Culminada 20 AGRORURAL 2010-11 Culminada 21 OCSE 2010-11 Culminada 22 PROMPERU 2010-11 Culminada 23 Mejoramiento de Barrios y Pueblos 2010-11 Culminada 24 FITEL 2010-11 Culminada
1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Intervencin Pblica Evaluada 1 Seguridad Ciudadana 2 Nuevo Cdigo Procesal Penal 3 Sistema Penitenciario 4 Programa Techo Propio 5 Agua y saneamiento rural Atencin de IRAs y EDAs; Atencin de partos normales; CRED y M unicipios saludables 7 Wawa Wasi 6 8 Productividad de M YPES y cooperativas Sanidad agraria: animal, vegetal e inocuidad 9 alimentaria Facilitacin de las actividades aduaneras de 10 comercio exterior 11 Conservacin de reas naturales 12 Acompaamiento Pedaggico 13 M unicipalizacin de la Educacin Formacin inicial de docentes Carrera Pblica 14 M agisterial 15 PRONIED (Infraestructura educativa) Interior

S ector

Justicia, Interior, Poder Judicial, M inisterio Pblico INPE Vivienda, Construccin y Saneamiento Vivienda, Construccin y Saneamiento Salud M ujer y Desarrollo Social Produccin Agricultura Economa y Finanzas (SUNAT) Ambiente Educacin Educacin Educacin Educacin

16 Programa Una Laptop por Nio Educacin Sistema de determinacin de plazas incrementales 17 Educacin de personal de la Educacin Bsica Regular Educacin superior universitaria: Acreditacin de la 18 Educacin Calidad Universitaria (CONEAU-SINEACE)

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Cumplimiento de compromisos al 31 de diciembre de 2010

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Desafos
Calidad de la informacin de base. En los pases en desarrollo hay mucha data pero poca informacin (data confiable). Escasa cultura de evaluacin en el sector pblico (como sistema de aprendizaje e innovacin). Percepcin evaluacin = control de la legalidad. Participacin del evaluado (preguntas de evaluacin). Uso efectivo dentro del MEF y fuera del MEF (difusin, digestin). Herramientas complementarias: Revisiones de eficiencia (costos unitarios adecuados y potenciales ahorros). Evaluaciones de impacto (efectividad real de los programas). Oferta evaluadores.

1.Evaluaciones Independientes del PpR / 2.EDEP / 3.Avances / 4.Desafos

Muchas gracias