Professional Documents
Culture Documents
Propone un enfoque
de la evaluacin de impacto que busca ser creble cientficamente y, al mismo tiempo,
La evaluacin
reconoce las realidades prcticas de realizar este tipo de trabajo en el campo. A lo largo
de todo el libro hay insumos valiosos en estas dos dimensiones. Yo asigno todo el tiempo
este libro como material de lectura a la hora de capacitar profesionales interesados en la
realizacin, la puesta en marcha, o el consumo de evaluaciones de impacto.
de impacto en
Dan Levy, Catedrtico Senior de Polticas Pblicas y Director de la Iniciativa para
el Fortalecimiento del Aprendizaje y la Excelencia de la Enseanza
SEGUNDA EDICIN
la prctica
contempornea. Es un recurso de gran valor para los evaluadores de los gobiernos y
organismos de desarrollo, as como en las universidades y centros de investigacin.
Leonard Wantchekon, Profesor de Poltica y Relaciones Internacionales, Universidad
de Princeton; Fundador y Presidente de la Escuela Africana de Economa
El propsito de este libro es ofrecer una gua accesible, comprehensiva y clara sobre las
evaluaciones de impacto. El material, que va desde la motivacin de la evaluacin de SEGUNDA EDICIN
impacto hasta las ventajas de las diferentes metodologas, clculos de potencia y costos,
9 781464 808883
SKU 210888
La evaluacin de
impacto en la
prctica
Segunda edicin
Derechos y permisos
Esta obra est disponible bajo la licencia de atribucin de Creative Commons 3.0 IGO (CC BY 3.0 IGO) http://
creativecommons.org/licenses/by/3.0/igo. En el marco de la licencia de atribucin Creative Commons, se permite
copiar, distribuir, transmitir y adaptar esta obra, incluso para objetivos comerciales, bajo las siguientes condiciones:
Atribucin: se ruega citar la obra de la siguiente manera: Gertler, Paul J., Sebastin Martnez, Patrick Premand, Laura
B. Rawlings y Christel M. J. Vermeersch. 2017. La evaluacin de impacto en la prctica, Segunda edicin. Washington,
DC: Banco Interamericano de Desarrollo y Banco Mundial. doi:10.1596/978-1-4648-0888-3. Licencia de atribucin:
Creative Commons CC BY 3.0 IGO
Traducciones: Si se procede a una traduccin de esta obra, se ruega aadir la siguiente exencin de responsabilidad
con la atribucin: Esta traduccin no es una creacin del Banco Mundial y no se debera considerar una traduccin ocial
del Banco Mundial. El Banco Mundial no ser responsable de ningn contenido o error en esta traduccin.
Adaptaciones: Si se crea una adaptacin de esta obra, se ruega aadir la siguiente exencin de responsabilidad o con la
siguiente atribucin: sta es una adaptacin de una obra original del Banco Mundial. Las ideas y opiniones expresadas en
la adaptacin son responsabilidad exclusiva del autor o de los autores de la adaptacin y no han sido refrendadas por el
Banco Mundial.
Contenidos de terceros: El Banco Mundial no es dueo necesariamente de cada componente del contenido de este
trabajo. Por lo tanto, el Banco Mundial no garantiza que el uso de cualquier componente individual o parte propiedad
de terceros contenido en la obra no vulnerar los derechos de esos terceros. El riesgo de reclamaciones que resulten de
dicha vulneracin incumbe solo a usted. Si quiere reutilizar un componente de la obra, es responsabilidad suya
determinar si se requiere una autorizacin para esa reutilizacin y para obtener permiso del dueo de los derechos de
autor. Los ejemplos de los componentes pueden incluir cuadros, grcos o imgenes, si bien no estn limitados a ellos.
Todas las consultas sobre derechos y licencias debern dirigirse a la Divisin de Publicacin y Conocimiento, Banco
Mundial, 1818 H Street NW, Washington, DC 20433, EE.UU.; fax: 202-522-2625; e-mail: pubrights@worldbank.org.
ISBN (papel): 978-1-4648-0888-3
ISBN (electrnica): 978-1-4648-0989-7
DOI: 10.1596/978-1-4648-0888-3
Ilustracin: C. Andrs Gmez-Pea y Michaela Wieser
Diseo de la tapa: Critical Stages
Prlogo xv
Agradecimientos xxi
Abreviaturas xxvii
Contenidos vii
Glosario 361
Recuadros
1.1 Cmo una evaluacin exitosa puede promover la sostenibilidad
poltica de un programa de desarrollo 5
1.2 El impacto de las polticas de un modelo preescolar innovador 7
1.3 Pruebas de la capacidad generalizable de los resultados 13
1.4 Simulacin de posibles efectos del proyecto a travs
del modelado estructural 16
1.5 Un mtodo mixto de evaluacin en accin 17
1.6 Fundamentos para una ampliacin a escala nacional
mediante una evaluacin de procesos en Tanzania 19
1.7 La evaluacin de costo-efectividad 21
1.8 Evaluacin de programas innovadores 25
1.9 La evaluacin de alternativas de diseo de programas 26
1.10 El enfoque de evaluaciones de impacto de clusters 28
viii La evaluacin de impacto en la prctica
Grficos
2.1 Los elementos de una cadena de resultados 39
B2.2.1 Identificacin de un experimento de mecanismo en una
cadena de resultados ms larga 42
B2.3.1 Cadena de resultados para la reforma de la currcula
de matemtica en la escuela secundaria 43
2.2 La cadena de resultados del HISP 45
3.1 El clon perfecto 57
3.2 Un grupo de comparacin vlido 59
3.3 Estimaciones antes-despus de un programa de microfinanzas 61
4.1 Caractersticas de los grupos bajo tratamiento con
asignacin aleatoria 76
4.2 Muestra aleatoria y asignacin aleatoria de tratamiento 81
4.3 Pasos para la asignacin aleatoria del tratamiento 85
4.4 Asignacin aleatoria del tratamiento mediante hoja de clculo 87
4.5 Estimacin del impacto con la asignacin aleatoria 90
5.1 Asignacin aleatoria con cumplimiento imperfecto 106
5.2 Estimacin del efecto local promedio del tratamiento bajo
asignacin aleatoria con cumplimiento imperfecto 107
5.3 Proceso de promocin aleatoria 116
5.4 Estimacin del efecto local promedio del tratamiento bajo la
promocin aleatoria 117
6.1 Produccin de arroz, fincas pequeas vs. fincas grandes
(lnea de base) 128
6.2 Produccin de arroz, fincas pequeas vs. fincas grandes
(seguimiento) 129
6.3 Cumplimiento de la asignacin 132
6.4 Manipulacin del ndice de elegibilidad 133
Contenidos xi
Cuadros
3.1 Evaluacin del HISP segn comparacin antes-despus 64
3.2 Impacto del HISP segn comparacin antes-despus
(anlisis de regresin) 64
3.3 Evaluacin del HISP segn comparacin inscritos-no inscritos
(comparacin de medias) 67
3.4 Evaluacin del HISP segn comparacin inscritos-no inscritos
(anlisis de regresin) 68
4.1 Evaluacin del HISP: balance entre los pueblos de
tratamiento y de comparacin en la lnea de base 93
4.2 Evaluacin del HISP segn la asignacin aleatoria
(comparacin de medias) 94
Contenidos xiii
xv
Prlogo xvii
Prlogo xix
Los materiales didcticos sobre los que se basa este libro han experimen-
tado numerosas versiones, y han sido enseados por diversos y talentosos
profesores, todos los cuales han dejado su impronta en los mtodos y en el
enfoque de la evaluacin de impacto enunciados en el libro. Queremos agra-
decer y reconocer las contribuciones y los aportes sustanciales de diversos
profesores que han participado en los seminarios en los que se basaba la
primera edicin, y que incluyen a Paloma Acevedo Alameda, Felipe Barrera,
Sergio Bautista-Arredondo, Stefano Bertozzi, Barbara Bruns, Pedro
Carneiro, Jishnu Das, Damien de Walque, David Evans, Claudio Ferraz,
Deon Filmer, Jed Friedman, Emanuela Galasso, Sebastin Galiani, Arianna
Legovini, Phillippe Leite, Gonzalo Hernndez Licona, Mattias Lundberg,
Karen Macours, Juan Muoz, Plamen Nikolov, Berk zler, Nancy Qian,
Gloria M. Rubio, Norbert Schady, Julieta Trias, y Sigrid Vivo Guzmn.
Agradecemos los comentarios realizados por nuestros revisores pares en la
primera edicin del libro (Barbara Bruns, Arianna Legovini, Dan Levy y
Emmanuel Skouas) y la segunda edicin (David Evans, Francisco Gallego,
Dan Levy y Damien de Walque), as como tambin las observaciones de
Gillette Hall. Deseamos asimismo expresar nuestro agradecimiento por los
esfuerzos de un talentoso equipo organizador, que incluye a Holly Balgrave,
Theresa Adobea Bampoe, Febe Mackey, Silvia Paruzzolo, Tatyana Ringland,
Adam Ross y Jennifer Sturdy.
Extendemos igualmente nuestro reconocimiento a todos los que partici-
paron en las transcripciones del borrador del seminario de julio de 2009
realizado en Beijing, China, en el que se basan partes de este libro, especial-
mente a Paloma Acevedo Alameda, Carlos Asenjo Ruiz, Sebastian Bauhoff,
Bradley Chen, Changcheng Song, Jane Zhang y Shufang Zhang.
Reconocemos a Garret Christensen y a la Berkeley Initiative for
Transparency in the Social Sciences, as como a Jennifer Sturdy y Elisa
Rothenbhler por sus aportes al captulo 13. Tambin agradecemos a Marina
xxi
xxiii
xxvii
INTRODUCCIN A
LA EVALUACIN DE
IMPACTO
Por qu evaluar?
Por qu evaluar? 5
Fuentes: Behrman y Hoddinott (2001); Fiszbein y Schady (2009); Gertler (2004); Levy y Rodrguez (2005); Schultz
(2004); Skoufias y McClafferty (2001).
Qu es la evaluacin de impacto?
Por qu evaluar? 9
Por qu evaluar? 13
Enfoques complementarios
El monitoreo
Simulaciones ex ante
Las simulaciones ex ante son evaluaciones que utilizan datos disponibles para
simular los efectos esperados de una reforma de programas o polticas en los
resultados de inters. Pueden ser muy tiles para medir la efectividad espe-
rada relativa de una gama de opciones de diseo de programas alternativos
en los resultados. Se trata de mtodos habitualmente usados que dependen
de la disponibilidad de datos de gran alcance y calidad que se pueden utilizar
para aplicar modelos de simulacin adecuados a la pregunta en cuestin
(vase el recuadro 1.4). Al contrario de las evaluaciones de impacto, estos
mtodos se emplean para simular futuros efectos potenciales, ms que para
medir los impactos reales de los programas implementados. Este tipo de
mtodos puede ser sumamente til para establecer referencias para los pro-
bables efectos del programa y para instituir objetivos realistas, as como para
estimar costos, tasas de retorno y otros parmetros econmicos. Se suelen
utilizar como la base de los anlisis econmicos de los proyectos, especial-
mente antes de que se introduzca una reforma o se implemente un proyecto.
Por qu evaluar? 15
Combinacin de una prueba controlada ms largo plazo. Si bien el RCT encontr que
aleatoria con un estudio etnogrfico en la intervencin no tena un impacto estads-
India tico significativo, el estudio cualitativo pro-
Los enfoques de mtodos mixtos pueden ser porcion visiones novedosas de las causas
especialmente tiles cuando evalan progra- del fracaso de la intervencin. La investi-
mas con resultados que son difciles de medir gacin cualitativa identific diversos facto-
en las encuestas cuantitativas. Los progra- res que obstaculizaron la efectividad de la
mas de los mbitos de democracia y gober- esta ltima: las variaciones en la calidad de
nanza constituyen ejemplos de este tipo. la facilitacin del programa, la falta de apoyo
As, mientras se diseaba una estrategia de arriba hacia abajo y las arraigadas estruc-
de evaluacin para el programa Campaa del turas de poder local.
pueblo que pretenda mejorar la participa- La evidencia cualitativa tambin descubri
cin ciudadana en los gobiernos locales, algunos impactos del programa menos tangi-
Ananthpur, Malik y Rao (2014) integraron un bles e inesperados. En los pueblos del trata-
ensayo controlado aleatorio (RCT, por sus miento, el programa mejor la resolucin de
siglas en ingls, Randomized Control Trial) conflictos en la prestacin de servicios y
(vase el glosario) con un estudio etnogrfico aument la participacin de las mujeres en
llevado a cabo en un subconjunto del 10% de las actividades de desarrollo de sus comuni-
la muestra de evaluacin utilizada para el RCT. dades. Adems, los investigadores de campo
Se emplearon mtodos de pareamiento para observaron que los gobiernos locales funcio-
asegurar caractersticas similares entre pue- naban mejor en los pueblos de tratamiento.
blos de tratamiento y de comparacin en la Sin la comprensin matizada del con-
muestra para el estudio cualitativo. Se asign texto y de la dinmica local que proporciona
un experimentado investigador de campo el componente cualitativo, los investigado-
para que viviera en cada pueblo y estudiara res no habran podido entender por qu los
los impactos del programa en las estructuras datos cuantitativos no encontraron impac-
sociales y polticas del pueblo. tos. El estudio etnogrfico fue capaz de pro-
El estudio etnogrfico continu durante porcionar una evaluacin ms rica, con
dos aos despus de que termin el RCT, lo perspectivas novedosas de los elementos
que permiti observaciones de efectos a tiles para mejorar el programa.
Por qu evaluar? 17
Por qu evaluar? 19
Por qu evaluar? 21
Recursos adicionales
Notas
Referencias bibliogrficas
Por qu evaluar? 33
La preparacin de una
evaluacin
Pasos iniciales
Este captulo resea los pasos iniciales que es preciso ejecutar para congu-
rar una evaluacin. Estos pasos son: i) construir una teora del cambio que
describa cmo se supone que el proyecto lograr los objetivos previstos;
ii)elaborar una cadena de resultados que sirva como instrumento til para
esbozar la teora del cambio; iii) especicar las preguntas de la evaluacin; y
iv) seleccionar los indicadores para evaluar el desempeo.
Los cuatro pasos son necesarios y es preferible implementarlos al inicio, es
decir, cuando comienza a disearse el proyecto de evaluacin del programa o
de las reformas. Esto requiere la participacin de todas las partes interesadas,
desde los responsables de las polticas hasta los implementadores del pro-
yecto, con el n de forjar una visin comn de los objetivos y de cmo sern
alcanzados. Esta participacin permitir crear un consenso sobre el enfoque
de la evaluacin y las principales preguntas a responder, y reforzar los vncu-
los entre la evaluacin, la implementacin del programa y el diseo de polti-
cas pblicas. La aplicacin de estos pasos contribuye a la claridad y la
especicidad, que son tiles tanto para elaborar una buena evaluacin de
impacto como para disear e implementar un programa efectivo. Cada uno de
los pasos est claramente denido y est articulado en el modelo lgico incor-
porado en la cadena de resultados desde la precisin en la determinacin de
35
Una teora del cambio es la descripcin de cmo se supone que una interven-
cin conseguir los resultados deseados. En ese sentido, expone la lgica cau-
sal de cmo y por qu un proyecto, una modalidad de programa o un diseo
de innovacin lograrn los resultados previstos. Debido al enfoque causal de
la investigacin, una teora del cambio es la base de cualquier evaluacin de
impacto. Su construccin es uno de los primeros requisitos para el diseo del
proyecto, ya que contribuye a especicar las preguntas de la investigacin.
Las teoras del cambio describen una secuencia de eventos que generan
resultados: analizan las condiciones y los supuestos necesarios para que
seproduzca el cambio, explicitan la lgica causal inscrita en el programa y
trazan el mapa de las intervenciones del programa a lo largo de las vas lgicas
causales. Congurar una teora del cambio en conjunto con las partes intere-
sadas puede claricar y mejorar el diseo del programa. Esto es especialmente
importante en los programas que pretenden inuir en las conductas, pues las
teoras del cambio pueden ayudar a determinar los insumos y actividades de
la intervencin, qu productos se generan y cules son los resultados nales
derivados de los cambios de comportamiento de los beneciarios.
El mejor momento para desarrollar una teora del cambio es al comienzo
de la fase de diseo, cuando es posible reunir a las partes interesadas con el
n de denir una visin colectiva del programa, sus objetivos y la ruta para
alcanzar esos objetivos. As, las partes interesadas podrn implementar el
programa a partir de un entendimiento comn del mismo, de sus objetivos y
de su funcionamiento.
36 La evaluacin de impacto en la prctica
Una cadena de resultados es una manera de describir una teora del cambio.
Otros enfoques incluyen modelos tericos, modelos lgicos, marcos lgicos
y modelos de resultados. Todos estos modelos integran los elementos bsi-
cos de una teora del cambio, a saber: una cadena causal, una especicacin
de las condiciones e inuencias externas y la determinacin de los supues-
tos clave. En este libro se utilizar el modelo de cadena de resultados porque
es el ms sencillo y claro para describir la teora del cambio en el contexto
Concepto clave operativo de los programas de desarrollo.
Una cadena de Una cadena de resultados establece la lgica causal desde el inicio del
resultados establece la programa, empezando con los recursos disponibles, hasta el nal,
secuencia de insumos,
teniendo en cuenta los objetivos de largo plazo. Fija una denicin lgica
actividades y
productos que y plausible de cmo una secuencia de insumos, actividades y productos
previsiblemente relacionados directamente con el proyecto interacta con el comporta-
mejorarn los miento y dene las vas para lograr los impactos (vase el grco 2.1). Una
resultados y los cadena de resultados bsica esquematizar un mapa con los siguientes
resultados finales.
elementos:
Insumos. Los recursos de que dispone el proyecto, que incluyen el
personal y el presupuesto.
Actividades. Las acciones emprendidas o el trabajo realizado para trans-
formar los insumos en productos.
Productos. Los bienes y servicios tangibles que producen las actividades
del programa (controlados de forma directa por la agencia ejecutora).
Resultados. Los resultados que previsiblemente se lograrn cuando la
poblacin se benecie de los productos del proyecto. En general, estos
resultados se observan entre el corto y el mediano plazo y no suelen estar
controlados de forma directa por la agencia ejecutora.
Resultados nales. Los resultados nales alcanzados sealan si los objeti-
vos del proyecto se cumplieron o no. Normalmente, los resultados nales
dependen de mltiples factores y se producen despus de un perodo
ms largo.
Tanto la implementacin como los resultados forman parte de la cadena
de resultados. La ejecucin tiene que ver con el trabajo efectuado en el
38 La evaluacin de impacto en la prctica
RESULTADOS
INSUMOS ACTIVIDADES PRODUCTOS RESULTADOS FINALES
RESULTADOS
INSUMOS ACTIVIDADES PRODUCTOS RESULTADOS
FINALES
Fondos Subsidios a los Aumento del nmero Los residentes de Menor prevalencia
vendedores de de tiendas/puestos barrios pobres de la obesidad
frutas y verduras que venden fruta y consumen ms entre residentes
verdura alimentos nutritivos de barrios pobres
Mayor disponibilidad
de alimentos nutritivos
en barrios pobres
RESULTADOS
INSUMOS ACTIVIDADES PRODUCTOS RESULTADOS
FINALES
Presupuesto para Diseo del nuevo 5.000 profesores Los profesores usan Mejora de las tasas
el nuevo programa programa de de matemticas los libros de texto de finalizacin.
de matemticas. estudios. de secundaria y el nuevo programa Aumento de los
Dotacin de Capacitacin de capacitados. de estudios en ingresos.
personal del profesores. 100.000 libros de la clase. Aumento del empleo.
ministerio de Edicin, impresin, texto entregados Los estudiantes
Educacin y de distribucin de en las clases. siguen el programa
de estudios.
profesores de nuevos libros
Mejora del
secundaria. de texto.
desempeo de los
Instalaciones estudiantes en los
municipales de exmenes de
capacitacin. matemticas.
RESULTADOS
INSUMOS ACTIVIDADES PRODUCTOS RESULTADOS
FINALES
Como lista de vericacin nal, una vez que se han seleccionado los indica-
dores es til pensar en las disposiciones para producir los datos con el n de
medir los indicadores. En el captulo 4 se presenta un debate exhaustivo
Recursos adicionales
Referencias bibliogrficas
CMO EVALUAR
La parte 3 comienza indicando cmo usar las reglas de operacin del programa,
esto es: los recursos disponibles de un programa, los criterios para la seleccin
de beneficiarios, y el plazo de implementacin, como base para seleccionar
un mtodo de evaluacin de impacto. All se presenta un marco sencillo para
determinar cul de las metodologas de evaluacin de impacto expuestas en la
parte 2 es ms conveniente para un determinado programa, en funcin de sus
normas operativas.
Inferencia causal y
contrafactuales
Inferencia causal
= (Y | P = 1) (Y | P = 0)
Beneficiario/a Clon
6 caramelos 4 caramelos
Impacto = 6 4 = 2 caramelos
Tratamiento Comparacin
Impacto = 6 4 = 2 caramelos
1.100 A
Produccin de arroz (kg por ha)
Cambio observado
Contrafactual C C? = 100
Contrafactual B
1.000 B
Contrafactual D
D?
Ao 0 Ao 1
Regresin lineal
Regresin lineal multivariante
Impacto estimado en el
gasto en salud de los 6,65** 6,71**
hogares (en US$) (0,23) (0,23)
Pregunta HISP 1
Con una simple regresin lineal de los gastos en salud en una variable
indicativa de si un hogar se inscribi o no en el programa, es posible
encontrar un impacto estimado de US$ -14,46, es decir, que el programa
ha disminuido el promedio de gastos de salud en US$14,46. Sin embargo,
cuando se controla por todas las dems caractersticas de los datos, se
estima que el programa ha reducido los gastos en salud en US$ 9,98 al ao.
Pregunta HISP 2
A. Este anlisis controla por todos los factores que determinan las dife-
rencias en gastos en salud entre los dos grupos?
B. Sobre la base de los resultados producidos por el mtodo de inscripcin-
no inscripcin, debera ampliarse el HISP al nivel nacional?
Recursos adicionales
Notas
Referencias bibliogrficas
La asignacin aleatoria
La asignacin aleatoria 73
La asignacin aleatoria 79
registraron en una lista. Las comunidades misma lista ordenada de forma aleatoria
que quedaron al comienzo de la lista se para asignar un futuro financiamiento
asignaron al grupo de tratamiento. Cada despus de completar la evaluacin. De
concurso fue monitoreado por un notario esta manera, ninguna comunidad quedara
pblico independiente, que posteriormente marginada de la intervencin debido
registr y certific los resultados, lo que nicamente a los objetivos de la evaluacin,
concedi un nivel adicional de legitimidad al pero existira un grupo de comparacin
proceso. En el caso de las comunidades que mientras las limitaciones presupuestarias
quedaron fuera del programa, los gobiernos restringieran el nmero de proyectos en
municipales se comprometieron a utilizar la cada municipalidad.
Validez
La seleccin aleatoria
externa
conserva las caractersticas
Muestra de evaluacin
La asignacin aleatoria 81
Tratamiento
No elegible Elegible
La asignacin aleatoria 87
La asignacin aleatoria 91
Pueblos de Pueblos de
Caractersticas tratamiento comparacin
de los hogares (N = 2964) (N = 2664) Diferencia t-estadstico
Gasto en salud
(dlares de
EE.UU. anuales
per cpita) 14,49 14,57 0,08 0,73
Edad del jefe
de hogar (aos) 41,66 42,29 0,64 1,69
Edad del
cnyuge (aos) 36,84 36,88 0,04 0,12
Nivel de
estudios del
jefe de hogar
(aos) 2,97 2,81 0,16* 2,30
Nivel de
estudios del
cnyuge (aos) 2,70 2,67 0,03 0,43
Jefe de hogar
es mujer = 1 0,07 0,08 0,01 0,58
Jefe de hogar
es indgena = 1 0,43 0,42 0,01 0,69
Nmero de
miembros del
hogar 5,77 5,71 0,06 1,12
Tiene suelo de
tierra 0,72 0,73 0,01 1,09
Tiene bao = 1 0,57 0,56 0,01 1,04
Hectreas de
terreno 1,68 1,72 0,04 0,57
Distancia a un
hospital (km) 109,20 106,29 2,91 2,57
La asignacin aleatoria 93
Regresin
Regresin lineal lineal multivariante
Impacto estimado sobre
el gasto en salud de los 10,14** 10,01**
hogares (0,39) (0,34)
Pregunta HISP 3
Recursos adicionales
La asignacin aleatoria 95
Notas
Referencias bibliogrficas
La asignacin aleatoria 97
El cumplimiento imperfecto
Grfico 5.2 Estimacin del efecto local promedio del tratamiento bajo
asignacin aleatoria con cumplimiento imperfecto
Nunca se
inscribe
Solo se
inscribe
si es
asignado
Siempre se
inscribe
Nota: La estimacin de la intencin de tratar (ITT) se obtiene comparando los resultados de los
individuos asignados al grupo de tratamiento con los de aquellos asignados al grupo de comparacin,
independientemente de la inscripcin en la prctica. La estimacin del efecto local promedio del trata-
miento (LATE) es el impacto del programa en los que se inscriben solo si son asignados al programa
(Inscritos si se lo ofrecen). La estimacin LATE no proporciona el impacto del programa en aquellos
que nunca se inscriben (Nuncas) o en aquellos que siempre se inscriben (Siempres).
= impacto causal; Y = resultado.
Ha dicho promocin?
Concepto clave
La promocin aleatoria pretende aumentar la aceptacin de un programa La promocin aleatoria
voluntario en una submuestra de la poblacin seleccionada aleatoriamente. es un mtodo de
La promocin puede adoptar diversas formas. Por ejemplo, puede que se variables instrumenta-
decida iniciar una campaa de informacin para llegar a aquellas personas les que permite
que no se han inscrito porque no lo saban o porque no entienden cabalmente estimar el impacto de
manera no sesgada.
el contenido del programa. Tambin, se pueden ofrecer incentivos para ins-
Asigna aleatoriamente
cribirse, como pequeos obsequios o premios, o facilitando el transporte. una promocin o
Como se seal de manera ms general en el caso de las VI, para que el incentivo para
mtodo de promocin aleatoria genere una estimacin vlida del impacto participar en el
del programa debe cumplirse una serie de condiciones: programa. Es una
estrategia til para
1. Los grupos que son objeto y no objeto de la promocin deben ser simila- evaluar programas que
res. Es decir, las caractersticas promedio de los dos grupos deben ser estn abiertos a todos
los que sean elegibles.
estadsticamente equivalentes. Esto se consigue asignando de forma
aleatoria las actividades de extensin o promocin entre las unidades de
la muestra de evaluacin.
2. La propia promocin no debera inuir directamente en los resultados de
inters. Este es un requisito crtico, de modo que se pueda saber que los
cambios en los resultados de inters son provocados por el programa
mismo y no por la promocin.
3. La campaa de promocin debe alterar considerablemente las tasas de
inscripcin en el grupo objeto de la promocin en relacin con el grupo
que no ha sido objeto de la misma. Normalmente, se piensa en aumentar
la inscripcin mediante la promocin. Esto se puede vericar consta-
tando que las tasas de inscripcin sean ms altas en el grupo que es objeto
de la promocin que en el grupo que no lo es.
Sin promocin
Promocin
Grfico 5.4 Estimacin del efecto local promedio del tratamiento bajo la
promocin aleatoria
Nunca
Inscrito si
es objeto
de la
promocin
Siempre
Nota: Las figuras que aparecen con el fondo sombreado corresponden a los que se inscriben.
= impacto causal; Y = resultado.
Pregunta HISP 4
A. Cules son las condiciones clave requeridas para aceptar los resulta-
dos de la evaluacin de promocin aleatoria del HISP?
B. Sobre la base de estos resultados, se debera ampliar el HISP a nivel
nacional?
Recursos adicionales
Referencias bibliogrficas
Angrist, J., E. Bettinger, E. Bloom, E. King y M. Kremer. 2002. Vouchers for Private
Schooling in Colombia: Evidence from a Randomized Natural Experiment.
American Economic Review 92 (5): 153558.
Kearney, M. S. y P. B. Levine. 2015. Early Childhood Education by MOOC: Lessons
from Sesame Street. Documento de trabajo NBER 21229, National Bureau of
Economic Research, Cambridge, MA.
Newman, J., M. Pradhan, L. B. Rawlings, G. Ridder, R. Coa y J. L. Evia. 2002. An
Impact Evaluation of Education, Health, and Water Supply Investments by the
Bolivian Social Investment Fund. World Bank Economic Review 16 (2): 24174.
3. La puntuacin lmite debe ser nica para el programa de inters, es decir, Concepto clave
aparte del programa que se evala, no debera haber otros programas que El diseo de regresin
utilicen la misma puntuacin lmite. Por ejemplo, si un ndice de pobreza discontinua (DRD) es un
por debajo de 50 clasica a un hogar para recibir una transferencia de mtodo de evaluacin de
impacto adecuado para
efectivo, un seguro de salud y transporte pblico gratis, no se podra uti-
programas que utilizan
lizar el mtodo DRD para estimar por s solo el impacto del programa de un ndice continuo para
transferencias de efectivo. clasificar a los
participantes potenciales
4. La puntuacin de un individuo o una unidad particular no puede ser y que tienen una
manipulada por los encuestadores, los beneciarios potenciales, los puntuacin lmite en el
administradores del programa o los polticos. ndice que determina si
los participantes
El DRD estima el impacto en torno a la puntuacin lmite de elegibilidad potenciales tienen
como la diferencia entre el resultado promedio de unidades del lado tratado derecho o no a
de la puntuacin lmite de elegibilidad y el resultado promedio de unidades beneficiarse del
en el lado no tratado (comparacin) de la puntuacin lmite. programa.
20
19
18
17
16
15
20 30 40 50 60 70 80
Hectreas de terreno
20
19
A
18
17
B
A
16 = Impacto
B
15
20 30 40 50 60 70 80
Hectreas de terreno
= produccin de las fincas > 50 hectreas
= produccin de las fincas < 50 hectreas
17 aos en una media de 0,5 das al mes, lo de que la magnitud de los impactos que
cual es significativo, dado que la tasa de hallaron era en general consistente con los
asistencia ya era bastante alta (85%). programas de transferencias condicionadas
Adems, las visitas a los centros de salud de implementados en otros pases. Un aspecto
nios de 0 a 6 aos aumentaron en alrededor final interesante de esta evaluacin es
de un 38%. Aunque los investigadores no que recopil tanto datos cuantitativos
pudieron encontrar ningn impacto de ms como cualitativos, utilizando sistemas de
largo plazo en los logros escolares ni en la informacin, entrevistas, grupos focales y
condicin de salud, llegaron a la conclusin encuestas de hogares.
Porcentaje de hogares
Porcentaje de hogares
que participan
que participan 100 100
50 50
10 10
30 40 50 60 70 80 30 40 50 60 70 80
ndice de pobreza de la ndice de pobreza de la
lnea de base lnea de base
Porcentaje de hogares
No elegible No elegible
Elegible Elegible
20 30 40 50 60 70 80 90 20 30 40 50 60 70 80 90
ndice de pobreza de la lnea de base ndice de pobreza de la lnea de base
0,04
0,03
Densidad estimada
0,02
0,01
Elegible No elegible
58
0
20 40 60 80 100
ndice de pobreza de la lnea de base (20100)
1,0
Tasa de participacin en el HISP
0,8
0,6
Elegible No elegible
0,4
0,2
0
20 40 60 80 100
ndice de pobreza de la lnea de base (20100)
Grfico 6.7 ndice de pobreza y gastos en salud: el HISP dos aos despus
60
Gastos en salud (dlares de EE.UU.)
Elegible No elegible
40
20 A
0 58
20 40 60 80 100
ndice de pobreza de la lnea de base (20100)
Nota: Los errores estndar estn entre parntesis. ** Significativo al nivel del 1%.
Pregunta HISP 5
Otros recursos
Notas
Diferencias en diferencias
143
Resultado- Grupo de
tasa de comparacin
empleo
D = 0,81
C = 0,78
B = 0,74
Impacto estimado = 0,11
E = 0,63
A = 0,60
Tiempo
Ao 2 Ao 1 Ao 0 Ao 1
Nota: Todas las diferencias entre los puntos deberan leerse como diferencias verticales de los
resultados en el eje vertical.
Grupo de
Resultado- comparacin
tasa de
D = 0,81
empleo
C = 0,78
Contrafactual
verdadero
B = 0,74
Impacto verdadero < 0,11
A = 0,60 E = 0,63
Tiempo
Ao 2 Ao 1 Ao 0 Ao 1
Nota: El cuadro presenta el gasto medio (en dlares) en salud de los hogares inscritos y no inscri-
tos, antes y despus de la introduccin del HISP.
Aun cuando las tendencias sean iguales antes del comienzo de la inter-
vencin, el sesgo en la estimacin de diferencias en diferencias puede
producirse y pasar inadvertido. Esto se debe a que el mtodo DD atri-
buye a la intervencin cualquier diferencia de las tendencias entre los
grupos de tratamiento y de comparacin que se producen desde el
momento en que la intervencin comienza. Si hay otros factores presen-
tes que inuyen en la diferencia en las tendencias entre los dos grupos, y
la regresin multivariante no rinde cuenta de ellos, la estimacin ser
invlida o sesgada.
Supngase que se intenta estimar el impacto en la produccin de arroz
con la subvencin de los fertilizantes y que esto se lleva a cabo midiendo la
produccin de arroz de los agricultores subvencionados (tratamiento) y de
los agricultores no subvencionados (comparacin) antes y despus de la dis-
tribucin de las subvenciones. Si en el ao 1 tiene lugar una sequa que afecta
solamente a los agricultores subvencionados, la estimacin de diferencias
en diferencias producir una estimacin invlida del impacto de subvencio-
nar los fertilizantes. En general, cualquier factor que afecte a uno de los dos
grupos de forma desproporcionada, y lo hace al mismo tiempo en que el
grupo de tratamiento recibe el tratamiento, sin que esto se tome en cuenta
en la regresin, puede potencialmente invalidar o sesgar la estimacin del
impacto del programa. El mtodo DD supone que no hay factores de este
tipo presentes.
Otros recursos
Referencias bibliogrficas
De Janvry, A., F. Finan y E. Sadoulet. 2011. Local Electoral Incentives and Dec-
entralized Program Performance. The Review of Economics and Statistics 94
(3):67285.
Diferencias en diferencias 157
Pareamiento
El mtodo que se describe en este captulo consiste en tcnicas estadsti- Concepto clave
cas a las que se denominarn pareamiento (matching). Los mtodos de El pareamiento utiliza
pareamiento se pueden aplicar en el contexto de casi todas las reglas de grandes bases de datos
asignacin de un programa, siempre que se cuente con un grupo que no y tcnicas estadsticas
haya participado en el mismo. El pareamiento utiliza tcnicas estadsticas para construir el mejor
grupo de comparacin
para construir un grupo de comparacin. Para cada unidad posible, el tra- posible sobre la base
tamiento intenta encontrar una unidad de no tratamiento (oconjunto de de caractersticas
unidades de no tratamiento) que tengan caractersticas lo ms parecidas observables.
posible. Pinsese en un caso en el que se propone evaluar el impacto de
un programa de capacitacin laboral sobre el ingreso y se cuenta con una
base de datos, como los registros de ingreso y las declaraciones tributarias,
que contiene tanto a los individuos que se inscribieron en el programa
como a los individuos que no lo hicieron. El programa que se intenta eva-
luar no tiene reglas de asignacin claras (como asignacin aleatoria o un
ndice de elegibilidad) que explique por qu ciertos individuos se inscri-
bieron en el programa y otros no lo hicieron. En este contexto, los mto-
dos de pareamiento permitirn identicar el conjunto de individuos no
inscritos que ms se parece a los individuos tratados, a partir de las carac-
tersticas que ya se tienen en la base de datos. Estos individuos no
159
Pareamiento 161
No inscritos Inscritos
Densidad
Rango comn
0 Puntaje de propensin 1
Pareamiento 165
las estimaciones del efecto de la intencin madres, que declararon un aumento del
de tratar. Con la oferta de un piso de 59% en la satisfaccin con la vivienda, un
cemento como variable instrumental para incremento del 69% en la satisfaccin con
determinar si los hogares tenan realmente la calidad de vida, una reduccin del 52%
suelos de cemento encontraron que el en la escala de evaluacin de la depresin
programa produca una reduccin del y una disminucin del 35% en una escala
18,2% de la presencia de parsitos, una de evaluacin del estrs percibido.
disminucin del 12,4% de la prevalencia Cattaneo et al. (2009) concluyeron que
de casos de diarrea y una baja del 19,4% Piso Firme tiene un impacto absoluto mayor
de la prevalencia de anemia. Adems, en el desarrollo cognitivo infantil con un
pudieron utilizar la variabilidad en el total costo menor que el programa de transferen-
del espacio del suelo realmente recubierto cias condicionadas de efectivo a gran escala
de cemento para predecir que una com- de Mxico, Progresa-Oportunidades, y que
pleta sustitucin de los pisos de tierra por otros programas comparables de suplemen-
pisos de cemento en un hogar producira tos nutricionales y estimulacin cognitiva
una reduccin del 78% de las infecciones temprana. Los pisos de cemento tambin
parasitarias, una disminucin del 59% de evitan mejor la proliferacin de infecciones
los casos de diarrea, una reduccin del parasitarias que el tratamiento habitual de
81% de la anemia y una mejora del 36% al eliminacin de parsitos. Los autores afir-
96% en el desarrollo cognitivo de los man que los programas para reemplazar los
nios. Los autores tambin recopilaron suelos de tierra con suelos de cemento tie-
datos sobre el bienestar de los adultos y nen probabilidades de mejorar la salud de
llegaron a la conclusin de que los pisos los nios de manera costo-efectiva en con-
de cemento hacen ms felices a las textos similares.
Todo el Conjunto
conjunto de limitado de
variables variables
Variable dependiente: inscritos = 1 explicativas explicativas
Nota: Regresin probit. La variable dependiente equivale a 1 si el hogar est inscrito en el HISP y
0 en caso contrario. Los coeficientes representan la contribucin de cada variable explicativa a la
probabilidad de que un hogar se inscriba en el HISP.
Nivel de significancia: * = 5%; ** = 1%.
Pareamiento 169
3
Densidad
0
0 ,2 ,4 ,6
Puntaje de propensin
No inscritos Inscritos
Nota: Este cuadro compara los gastos en salud promedio de los hogares en los hogares inscritos
y las parejas de hogares de comparacin.
Pareamiento 171
Comparaciones
pareadas
utilizando el
conjunto de
variables
Inscritos explicativas Diferencia
Gastos en Seguimiento 7,84 17,79 9,95
salud de los Lnea de base 14,49 15,03 0,54
hogares
(US$) Diferencias
en
diferencias
pareadas
=9,41**
(0,19)
Nota: Los errores estndar estn entre parntesis y el clculo se realiz utilizando una
regresin lineal.
Nivel de significancia: ** = 1%.
Pregunta HISP 7
A. Cules son los supuestos bsicos necesarios para aceptar estos resul-
tados sobre la base del mtodo de pareamiento?
B. Por qu los resultados del mtodo de pareamiento son diferentes si se
utiliza todo el conjunto vs. el conjunto limitado de variables
explicativas?
C. Qu sucede cuando se compara el resultado del mtodo de parea-
miento con el resultado de la asignacin aleatoria? Por qu los resul-
tados son tan diferentes en el pareamiento con un conjunto limitado
de variables explicativas? Por qu el resultado es ms parecido
cuando se realiza el pareamiento en todo el conjunto de variables
explicativas?
D. A partir del resultado del mtodo de pareamiento, debera ampliarse
el HISP a escala nacional?
Pareamiento 173
Verificacin: el pareamiento
Notas
Referencias bibliogrficas
Pareamiento 175
1. Desde un punto de vista tcnico, no es deseable que una gran parte del
grupo de comparacin se inscriba en el programa. A medida que
aumenta la proporcin del grupo de comparacin que se inscribe en el
programa, la fraccin de cumplidores en la poblacin disminuir, y el
efecto local promedio del tratamiento estimado con el mtodo de varia-
ble instrumental ser vlido solo para una fraccin cada vez ms
pequea de la poblacin de inters. Si esto se extiende demasiado, puede
que los resultados pierdan toda relevancia para las polticas, dado que ya
no seran aplicables a una parte sucientemente grande de la poblacin
de inters.
2. Tampoco es deseable que una parte grande del grupo de tratamiento
siga sin inscribirse. Una vez ms, a medida que la fraccin del grupo
de tratamiento que se inscribe en el programa disminuye, tambin lo
hace la fraccin de cumplidores de la poblacin. El efecto prome-
dio del tratamiento estimado con el mtodo de variable instrumental
ser vlido solo para una fraccin cada vez menor de la poblacin de
inters.
3. Como ya se trat en el captulo 5, el mtodo de variables instrumentales
es vlido solo en ciertas circunstancias; decididamente no es una solu-
cin universal.
El efecto de derrame
Los derrames (o efectos de derrame) son otro problema habitual a los que se
enfrentan las evaluaciones, sea que se aplique el mtodo de asignacin alea-
toria, el de diseo de regresin discontinua o el de diferencias en diferen-
cias. Un derrame se produce cuando una intervencin afecta a un no
Cmo abordar las dificultades metodolgicas 181
nta
de co gio esc
ona ola
Z r
ontagio es
de c co
ona lar
Z Escuela
Escuela B
Zona de externalidades
del tratamiento
antiparasitario
ntagio e
e co sco
nad la
o
r
Z
Escuela
las unidades que reciben el tratamiento? Se trata del impacto directo que
el programa tiene en los grupos tratados.
2. Una segunda pregunta sobre la evaluacin del impacto indirecto. Cul es
el impacto (o efecto causal) de un programa en un resultado de inters en
las unidades que no reciben el tratamiento? Se trata del impacto indirecto
que el programa tiene en los grupos no tratados.
Para estimar el impacto directo en los grupos tratados, habr que elegir el
grupo de comparacin de tal manera que no se vea afectado por los derra-
mes. Por ejemplo, puede ponerse como condicin que los pueblos, clnicas u
hogares de tratamiento y comparacin estn situados lo sucientemente
lejos unos de otros de manera que los derrames sean poco probables.
Para estimar el impacto indirecto en los grupos no tratados, debera iden-
ticarse para cada grupo no tratado un grupo de comparacin adicional que
186 La evaluacin de impacto en la prctica
El desgaste
El sesgo del desgaste es otro problema habitual que afecta a las evaluaciones,
ya sea con el mtodo de asignacin aleatoria, de regresin discontinua o de
diferencias en diferencias. El desgaste se produce cuando partes de la mues-
tra desaparecen a lo largo del tiempo y los investigadores no pueden
encontrar a todos los miembros iniciales de los grupos de tratamiento y
comparacin en las encuestas o en los datos de seguimiento. Por ejemplo, de
los 2.500 hogares encuestados en la lnea de base, los investigadores pueden
encontrar solo 2.300 en una encuesta de seguimiento dos aos despus. Si
intentan volver a realizar la encuesta al mismo grupo, por ejemplo, 10 aos
despus, puede que encuentren incluso menos hogares originales.
El desgaste se puede producir por diferentes motivos. Por ejemplo, puede
que los miembros de los hogares o incluso familias enteras se muden a otro
pueblo, ciudad, regin, o incluso pas. En un ejemplo reciente, una encuesta de
seguimiento realizada 22 aos despus en Jamaica indic que el 18% de la
188 La evaluacin de impacto en la prctica
Un ao despus, todos los hogares en un sub- ITN se ofreci gratis, la tasa de adopcin
conjunto de pueblos tuvieron la oportunidad de aument al 98%. A largo plazo, las tasas de
comprar la misma red. Esto permiti a los adopcin ms altas se tradujeron en una
investigadores medir la disponibilidad de los mayor disponibilidad a pagar, dado que los
hogares a pagar por las ITN y cmo esta dispo- hogares vieron los beneficios de tener una
nibilidad cambiaba en funcin del subsidio reci- ITN. Aquellos que recibieron uno de los
bido en la primera fase del programa. subsidios ms grandes en la primera fase
En general, los resultados indicaron tenan tres veces ms probabilidades de
que un subsidio nico tena impactos comprar otra ITN en la segunda fase a ms
significativamente positivos en la adopcin del doble del precio.
de ITN y la disponibilidad para pagar a largo Los resultados de este estudio implican
plazo. En la primera fase del experimento, que se produce un efecto de aprendizaje en
Dupas observ que los hogares que reciban las intervenciones en ITN. Esto seala que
un subsidio que reduca el precio de la ITN es importante considerar los impactos de
de US$3,80 a US$0,75 tenan un 60% ms las intervenciones a largo plazo, as como
de probabilidades de comprarla. Cuando la dar a conocer la persistencia de los efectos.
Otros recursos
Nota
Referencias bibliogrficas
Evaluacin de programas
multifacticos
Hasta ahora, se han analizado programas con un solo tipo de tratamiento. Sin
embargo, muchas cuestiones relevantes relacionadas con las polticas se plan-
tean en programas multifacticos, es decir, que combinan varias opciones de
tratamiento.1 Los responsables de formular polticas pueden estar interesa-
dos en saber no solo si el programa funciona o no, sino tambin si funciona
mejor o tiene un costo menor que otro programa. Por ejemplo, si se quiere
aumentar la asistencia a la escuela, es ms ecaz orientar las intervenciones
a la demanda (como las transferencias condicionadas a las familias) o a la
oferta (como mayores incentivos para los profesores)? Y si se introducen las
dos intervenciones conjuntamente, funcionan mejor que cada una por su
cuenta?, son complementarias? Si la costo-efectividad es una prioridad,
puede preguntarse perfectamente cul es el nivel ptimo de los servicios que
debe prestar el programa. Por ejemplo, cul es la duracin ptima de un pro-
grama de capacitacin para el empleo? Un programa de seis meses contri-
buye ms que un programa de tres meses a que los participantes encuentren
empleo? De ser as, la diferencia es lo sucientemente grande para justicar
los recursos adicionales necesarios para un programa de seis meses? Por
ltimo, a los responsables de polticas les puede interesar cmo alterar un
195
No elegible Elegible
Frecuencia del
Grupo Tipo de mensaje mensaje N de pacientes
1 Solo recordatorio Semanal 73
2 Recordatorio + aliento Semanal 74
3 Solo recordatorio Diario 70
4 Recordatorio + aliento Diario 72
5 Ninguno (grupo de comparacin) Ninguna 139
No elegible Elegible
Intervencin 1
Tratamiento Comparacin
Grupo A Grupo C
Tratamiento
Intervencin 2
Grupo B Grupo D
Comparacin
Notas
Referencias bibliogrficas
CMO IMPLEMENTAR
UNA EVALUACIN DE
IMPACTO
En el captulo 11 se describe cmo usar las reglas operativas del programa como
base para elegir un mtodo de evaluacin de impacto, a saber: los recursos
Eleccin de un mtodo de
evaluacin de impacto
207
Concepto clave Uno de los principales mensajes de este libro es que se pueden usar las
Las reglas operativas reglas operativas de un programa para encontrar grupos de comparacin
de un programa vlidos, en la medida en que las reglas operativas del programa estn bien
determinan qu denidas. De hecho, dichas reglas brindan orientacin en cuanto al mtodo
mtodo de evaluacin
ms adecuado para evaluar ese programa concreto. Las reglas operativas del
de impacto es el ms
adecuado para evaluar programa son las que pueden y deben regir en el mtodo de evaluacin, no a
el programa, no a la la inversa. La evaluacin no debera cambiar drsticamente elementos clave
inversa. de las reglas de asignacin del programa bien denidas en aras de un diseo
de evaluacin ms claro.
Las reglas operativas ms pertinentes para el diseo de la evaluacin son
aquellas que identican quines son elegibles para el programa y cmo se
seleccionan para que participen. Los grupos de comparacin provienen de
aquellos sujetos elegibles pero que no pueden incorporarse al programa en
un determinado momento (por ejemplo, cuando los recursos son limitados
y hay exceso de demanda), o de aquellos que se encuentran cerca de un
umbral de elegibilidad para participar en el programa.
Concepto clave
Cuando se disean
Principios de las reglas de asignacin al programa bien definidas
evaluaciones de
impacto, casi siempre Al disear las evaluaciones de impacto, siempre se pueden encontrar grupos
se pueden encontrar
de comparacin vlidos si las reglas operativas para seleccionar a los
grupos de comparacin
vlidos si las reglas beneciarios son equitativas, transparentes y estn sujetas a rendicin de
operativas para cuentas:
seleccionar a los
beneficiarios son Las reglas equitativas de asignacin al programa clasican o priorizan la
equitativas, elegibilidad en funcin de un indicador de las necesidades acordado
transparentes y estn comnmente, o estipulan que a todos se les ofrezcan los benecios del
sujetas a rendicin de programa, o que al menos tengan iguales posibilidades de que les ofrez-
cuentas. can los benecios.
208 La evaluacin de impacto en la prctica
Las reglas operativas suelen denir cules son los benecios del programa,
cmo se nancian y se distribuyen estos benecios y de qu modo el
programa selecciona a los beneciarios. Las reglas que gobiernan
Eleccin de un mtodo de evaluacin de impacto 209
Cuadro 11.1 Relacin entre las reglas operativas de un programa y los mtodos de
evaluacin de impacto
Criterios de ndice continuo y Sin ndice continuo ndice continuo Sin ndice continuo y
elegibilidad umbral de y umbral de y umbral de umbral de
elegibilidad elegibilidad elegibilidad elegibilidad
Las tres preguntas operativas clave guardan relacin con el tema fundamen-
tal de cmo se seleccionan los beneciarios, lo cual es crucial para encontrar
grupos de comparacin vlidos. En ocasiones, los grupos de comparacin se
hallan entre las poblaciones no elegibles, y con mayor frecuencia entre las
poblaciones que son elegibles pero que se incorporan al programa ms
tarde. La manera de priorizar entre los beneciarios depende en parte de los
objetivos del programa Se trata de un programa de jubilaciones para las
personas de edad avanzada, un programa de alivio de la pobreza focalizado
en los pobres o un programa de inmunizacin disponible para todos?
Para priorizar entre los beneciarios sobre la base de la necesidad, el pro-
grama debe encontrar un indicador que sea a la vez cuanticable y verica-
ble. En la prctica, la viabilidad de la priorizacin depende en gran parte de
la capacidad del gobierno para medir y clasicar las necesidades. Si el
gobierno puede clasicar adecuadamente a los beneciarios en funcin de
sus necesidades relativas, puede que est ticamente obligado a implemen-
tar el programa de acuerdo con las necesidades. Sin embargo, clasicar en
funcin de la necesidad requiere no solo una medida cuanticable sino tam-
bin la capacidad y los recursos para medir ese indicador para cada unidad
que participa en el programa.
Algunos programas utilizan criterios de seleccin que, en principio,
podran usarse para clasicar necesidades relativas y determinar la elegibili-
dad. Por ejemplo, numerosos programas quieren llegar a las personas pobres.
Sin embargo, los indicadores de pobreza adecuados que clasican a los hoga-
res de manera able a menudo son difciles de medir y costosos de recopilar.
La recopilacin de datos de los ingresos o del consumo de todos los bene-
ciarios potenciales para clasicarlos segn el nivel de pobreza es un proceso
complejo y oneroso que, adems, sera difcil de vericar. Al contrario,
muchos programas utilizan algn tipo de proxy mean test para estimar los
niveles de pobreza. Se trata de ndices de medidas observables sencillas
como los activos y las caractersticas sociodemogrcas (Grosh et al., 2008).
Los proxy mean tests pueden ayudar a determinar razonablemente bien si un
Eleccin de un mtodo de evaluacin de impacto 213
Quin est en el
grupo de
Metodologa Descripcin comparacin? Supuesto clave Datos requeridos
Asignacin aleatoria Las unidades elegibles se Las unidades elegibles se La aleatorizacin produce Datos de seguimiento de
asignan de forma aleatoria asignan aleatoriamente al dos grupos estadsticamente los resultados en los
a un grupo de tratamiento grupo de comparacin. idnticos con respecto a las grupos de tratamiento y
o de comparacin. Cada caractersticas observables y comparacin; datos de
unidad elegible tiene una no observables a lo largo del lnea de base y otras
probabilidad conocida de tiempo en ausencia de la caractersticas para los
ser seleccionada. Tiende a intervencin (en la lnea de grupos de tratamiento y
generar estimaciones de base y a lo largo del comparacin con el fin
impacto internamente seguimiento). de verificar el equilibrio.
vlidas con los supuestos
ms dbiles.
Variables instrumentales Un instrumento aleatoriza- Las unidades que El instrumento afecta la Datos de seguimiento de
(concretamente la do (como una campaa de cumplen con los participacin en el programa, los resultados de todas
promocin aleatoria) promocin) induce requisitos para participar pero no afecta directamente las unidades; datos sobre
cambios en la participacin pero cuya participacin los resultados (es decir, el la participacin efectiva
en el programa que se se ve afectada por el instrumento influye en los en el programa; datos de
evala. El mtodo utiliza el instrumento (participa- resultados solo cambiando la los resultados de lnea de
cambio en los resultados ran si se exponen al probabilidad de participar en base y otras caractersti-
inducido por el cambio en instrumento pero no lo el programa). cas.
las tasas de participacin haran en caso contrario).
para estimar los impactos
del programa.
Contina en la pgina siguiente.
215
1/6/17 1:48 PM
IEP.indb 216
Cuadro 11.2 Comparacin de mtodos de evaluacin de impacto (contina)
216
Quin est en el
grupo de
Metodologa Descripcin comparacin? Supuesto clave Datos requeridos
Diseo de regresin Las unidades se clasifican Las unidades situadas Para identificar impactos no Datos de seguimiento de
discontinua a partir de criterios cerca del umbral, pero sesgados en el programa los resultados; ndice de
cuantitativos especficos que no son elegibles para la poblacin cercana al clasificacin y umbral de
y continuos, como un para recibir el programa. umbral, las unidades que se elegibilidad; datos sobre
ndice de pobreza. Un encuentran inmediatamente los resultados de lnea de
umbral determina si una por debajo e inmediatamente base y otras caractersti-
unidad es elegible para por encima del umbral son cas.
participar en un programa. estadsticamente idnticas.
Los resultados de los Para identificar los impactos
participantes en una parte no sesgados en el programa
del umbral se comparan para toda la poblacin, la
con los resultados de los poblacin cercana al umbral
no participantes al otro debe ser representativa de
lado del umbral. toda la poblacin.
Diferencias en diferencias El cambio en el resultado Las unidades que no Si el programa no exista, los Datos de lnea de base y
a lo largo del tiempo en participaron en el resultados de los grupos de de seguimiento de los
un grupo de no participan- programa (por cualquier participantes y no participan- resultados y otras
tes se utiliza para estimar motivo) y para las cuales tes habran evolucionado caractersticas tanto para
cul habra sido el cambio se recopilaron datos paralelamente a lo largo del los participantes como
en los resultados de un antes y despus del tiempo. para los no participantes.
grupo de participantes en programa.
ausencia de un programa.
Paramiento (en particular, Para cada participante del Para cada participante, la No hay ninguna caractersti- Seguimiento de los datos
pareamiento por puntajes programa, el mtodo unidad no participante ca que influya en la participa- de los resultados de los
de propensin) busca la unidad ms que, segn las prediccio- cin en el programa ms all participantes y no
similar en el grupo de no nes sobre la base de de las caractersticas participantes; datos
participantes (el parea- caractersticas observa- observables utilizadas para sobre la participacin
miento ms estrecho se bles, tiene la misma el pareamiento. efectiva en el programa;
basa en caractersticas probabilidad de haber caractersticas de lnea
observables). participado en el de base para llevar a
programa. cabo el pareamiento.
Fuente: Adaptado del sitio web de Abdul Latif Jameel Poverty Action Lab (J-PAL).
1/6/17 1:48 PM
para cada mtodo, un supuesto clave es que la media del grupo de compara-
cin de la que depende el mtodo sea una estimacin vlida del contrafac-
tual. En cada uno de los captulos sobre los mtodos, que se presentan en la
segunda parte de este volumen, se han expuesto algunas consideraciones
sobre cmo probar si un mtodo es vlido en un contexto particular. Algunos
mtodos dependen de supuestos ms fuertes que otros.
Ceteris paribus, el mtodo preferido es el que mejor se adecua al contexto Concepto clave
operativo y el que requiere los supuestos ms dbiles y la menor cantidad de El mtodo de
datos. Estos criterios explican por qu los investigadores consideran la asig- evaluacin de impacto
nacin aleatoria la regla de oro, y por qu a menudo es el mtodo preferido. preferido es aquel que
La asignacin aleatoria se adecua a numerosos contextos operativos y tiende se adecua mejor al
contexto operativo,
a generar estimaciones de impacto internamente vlidas con los supuestos
requiere los supuestos
ms dbiles. Cuando se implementa de manera adecuada, genera compara- ms dbiles y la menor
bilidad entre los grupos de tratamiento y comparacin en caractersticas cantidad de datos.
observables y no observables. Adems, la asignacin aleatoria tiende a
requerir muestras ms pequeas que las necesarias para implementar mto-
dos cuasi-experimentales (vase el debate en el captulo 15). Dado que la
asignacin aleatoria es relativamente intuitiva, el mtodo tambin facilita la
comunicacin de resultados a los responsables de las polticas.
Puede que los mtodos cuasi-experimentales sean ms adecuados en
algunos contextos operativos, pero requieren ms supuestos con el n de
que el grupo de comparacin provea una estimacin vlida del contrafac-
tual. Por ejemplo, el mtodo de diferencias en diferencias depende del
supuesto de que los cambios en los resultados en el grupo de comparacin
proporcionen una estimacin vlida del cambio del contrafactual en los
resultados del grupo de tratamiento. Este supuesto de que los resultados en
los grupos de tratamiento y comparacin evolucionan paralelamente a lo
largo del tiempo no es siempre posible de probar sin mltiples rondas de
datos antes de la intervencin. La regresin discontinua depende de la com-
parabilidad de las unidades justo por encima y justo por debajo del umbral
de elegibilidad. El pareamiento tiene los supuestos ms fuertes de todos los
mtodos, y esencialmente descarta cualquier caracterstica no observable
entre los participantes del programa y los no participantes. En general,
cuanto ms fuertes sean los supuestos, mayor ser el riesgo de que no se
cumplan en la prctica.
Otros recursos
223
El modelo de externalizacin
Para los encargados del programa, siempre atareados gestionando operacio-
nes complejas, a menudo es atractivo contar con un equipo externo encargado
Gestin de una evaluacin de impacto 231
El modelo de alianza
La colaboracin entre los equipos de investigacin y de polticas pblicas no
se basa nica ni necesariamente en relaciones contractuales. Se pueden
establecer alianzas mutuamente beneciosas cuando los investigadores tie-
nen inters en llevar a cabo investigaciones sobre una pregunta de polticas,
y cuando los responsables de polticas y los encargados del programa procu-
ran asegurar que su proyecto cuente con una evaluacin de impacto de
buena calidad. Los investigadores tienen incentivos para abordar nuevas
preguntas que se aadirn a la base de evidencia global, y para ampliar el
alcance de la evaluacin de impacto y contribuir a que sea ms visible. El
equipo de investigacin puede movilizar parte del nanciamiento para la
evaluacin de impacto si los objetivos de los nanciadores estn estrecha-
mente alineados con el objeto de investigacin de la evaluacin.
Otro tipo de modelo integrado que est adquiriendo ms relevancia,
sobre todo en las instituciones ms grandes, como el Banco Mundial y el
Banco Interamericano de Desarrollo (BID), utiliza una capacidad de inves-
tigacin de evaluacin de impacto interna para apoyar a los equipos de pol-
ticas pblicas y del programa.
No obstante, el enfoque de la alianza presenta ciertos riesgos. En deter-
minados momentos, puede que los investigadores procuren incorporar ele-
mentos novedosos en la investigacin de la evaluacin de impacto que quiz
no estn totalmente alineados con los objetivos inmediatos de las polticas a
nivel local, aunque puedan aadir valor en trminos ms globales. Por su
parte, los responsables de las polticas y los encargados del programa quiz
no siempre sepan apreciar el rigor cientco necesario para emprender eva-
luaciones de impacto rigurosas, y quiz tengan una mayor tolerancia que el
equipo de investigacin a los riesgos potenciales de la evaluacin de impacto.
Para mitigar esos riesgos, los objetivos del equipo de investigacin y de
los equipos de polticas pblicas deben estar estrechamente alineados.
Porejemplo, ambos equipos pueden trabajar juntos en un plan de evalua-
cin exhaustivo, deniendo una estrategia detallada, as como los roles y
responsabilidades de los respectivos equipos (vase el recuadro 12.2).
Gestin de una evaluacin de impacto 233
externos. Durante los primeros aos de ope- se concibe, los investigadores afiliados a
raciones de la MCC, en ocasiones la separa- IPA, provenientes de una red global de uni-
cin entre el equipo del programa y los versidades, trabajan con los directores de
investigadores externos contratados para la pas en las representaciones relevantes para
evaluacin cre problemas. Por ejemplo, en crear un diseo de evaluacin y un plan de
Honduras, los investigadores disearon un implementacin. Los directores de pas son
ensayo controlado aleatorio de un programa los encargados de gestionar las relaciones
de capacitacin agrcola. Sin embargo, dado entre los socios y emparejar a los principales
que el contrato de implementacin se basaba investigadores del equipo de investigacin
en el desempeo, el implementador tena un con los socios del programa en el equipo de
fuerte incentivo para encontrar agricultores polticas pblicas para desarrollar una pro-
con un alto desempeo para el programa. Los puesta para una evaluacin. Una vez apro-
agricultores elegibles no fueron asignados de bada una propuesta, contratan al personal
forma aleatoria al programa, lo que invalida el de gestin del proyecto para dirigir la recopi-
diseo de evaluacin. Con la divulgacin de lacin de datos en el terreno, todos traba-
las primeras cinco evaluaciones de los progra- jando en la oficina local de IPA. La
mas de capacitacin agrcola, la MCC coordinacin entre los investigadores y los
reflexion sobre las experiencias como esta y encargados del programa suele ser estre-
lleg a la conclusin de que la colaboracin cha, y en algunos casos las oficinas de IPA
entre los implementadores y los evaluadores tambin son responsables de implementar
es crucial a lo largo del diseo y de la imple- la intervencin que est siendo evaluada.
mentacin. La organizacin adapt su modelo
para que sea ms selectivo al aplicar las eva- Modelos mixtos en el Banco Mundial
luaciones de impacto con el fin de encontrar En la ltima dcada, el Banco Mundial ha
un equilibrio entre la rendicin de cuentas y el ampliado rpidamente el uso de las evalua-
aprendizaje. ciones de impacto prospectivas para esti-
mar los impactos de algunos de los
La integracin en Innovations for Poverty proyectos de desarrollo que financia. Varios
Action grupos entre ellos Development Impact
En Innovations for Poverty Action (IPA), una Evaluation (DIME), Strategic Impact
organizacin sin fines de lucro de Estados Evaluation Fund (SIEF) y Gender Innovation
Unidos, los equipos de investigacin y de Lab (GIL) proporcionan financiamiento y
polticas pblicas trabajan juntos desde el apoyo tcnico a las evaluaciones de impacto.
comienzo del diseo de la evaluacin, y a Cuando se implementa un proyecto particu-
menudo desde el momento en que se gesta larmente innovador o donde hay grandes
el programa. El modelo de IPA cuenta con intereses en juego, se definen las activida-
una amplia red de oficinas en el terreno, des de evaluacin de impacto, ya sea incor-
muchas de las cuales estn en contacto con poradas en el proyecto y gestionadas por los
organismos del gobierno y otros socios. gobiernos contrapartes o como actividades
Desde el momento en que una evaluacin independientes manejadas por el Banco
Fuentes: Bertrand et al. (2015); IPA (2014); Sturdy, Aquino y Molyneaux (2014).
Los responsables de las polticas y los encargados del programa tambin tienen
que decidir con quin asociarse. Las preguntas clave son si el equipo de inves-
tigacin o partes del mismo puede ser un equipo local, y qu tipo de ayuda
externa se requerir. La capacidad de investigacin vara en gran medida de un
pas a otro. A menudo se contrata a las empresas internacionales cuando se
requieren habilidades concretas, y tambin pueden asociarse con empresas
locales. Las funciones de recopilacin de datos generalmente son gestionadas
por estas ltimas, debido a su profundo conocimiento del contexto y del
entorno local. Tambin hay una marcada tendencia mundial a asegurar la
plena participacin de los investigadores locales en la evaluacin de impacto.
A medida que aumenta la capacidad de evaluacin, es ms habitual que
los gobiernos, las empresas privadas y las instituciones multilaterales imple-
menten evaluaciones de impacto en asociacin con equipos de investigacin
locales. La participacin de los investigadores locales puede aportar un valor
fundamental a la evaluacin de impacto gracias a su conocimiento
236 La evaluacin de impacto en la prctica
Los cuadros 12.1 y 12.2 proporcionan referencias tiles sobre los costos aso-
ciados con la realizacin de evaluaciones de impacto rigurosas. Contienen
datos sobre los costos de las evaluaciones de impacto de diversos proyectos
realizados con el apoyo del Fondo Estratgico para la Evaluacin de Impacto
(SIEF, por sus siglas en ingls), administrado por el Banco Mundial. La
muestra del cuadro 12.1 proviene de un estudio exhaustivo de programas
que reciben el respaldo de los grupos de investigacin sobre DIT y educa-
cin en SIEF. La muestra del cuadro 12.2 se seleccion en funcin de la dis-
ponibilidad de estadsticas actuales sobre presupuestos del conjunto de
evaluaciones de impacto nanciadas por SIEF.4
Los costos directos de las actividades de la evaluacin analizados en las
muestras que se presentan en los cuadros 12.1 y 12.2 oscilan entre US$130.000
y US$2,78 millones, con un costo promedio cercano a US$1 milln. Aunque
estos costos varan en gran medida y pueden parecer elevados en trminos
240 La evaluacin de impacto en la prctica
Costos de la
Costo total EI como
de la porcentaje
evaluacin de Costo total del del total de
impacto programaa los costos del
Evaluacin de impacto (EI) Pas (US$) (US$) programa
Proyecto de redes de proteccin Burkina Faso 750.000 38.800.000 1,9
Desarrollo de destrezas y empleo China 220.000 50.000.000 0,4
para migrantes
Proyecto de proteccin social Colombia 130.000 86.400.000 0,2
Plan piloto de nutricin integrada/ Yibuti 480.000 5.000.000 8,8
sistema de seguridad social
asistencial
Programa de inversin en sectores Repblica 600.000 19.400.000 3,1
sociales Dominicana
Incentivos para los maestros Guinea 2.055.000 39.670.000 4,9
basados en el desempeo
Fuente: Una muestra de evaluaciones de impacto financiadas por los grupos de investigacin sobre desarrollo infantil temprano (DIT)
y educacin del Fondo Estratgico para la Evaluacin de Impacto del Banco Mundial (SIEF).
EI = evaluacin de impacto.
a. Los costos totales del programa no incluyen los costos asociados con la evaluacin de impacto.
1/6/17 1:48 PM
IEP.indb 243
Cuadro 12.2 Costos desagregados de una seleccin de proyectos con apoyo del Banco Mundial (contina)
243
1/6/17 1:48 PM
IEP.indb 244
244
Cuadro 12.2 Costos desagregados de una seleccin de proyectos con apoyo del Banco Mundial (contina)
1/6/17 1:48 PM
IEP.indb 245
Cuadro 12.2 Costos desagregados de una seleccin de proyectos con apoyo del Banco Mundial (contina)
245
1/6/17 1:48 PM
IEP.indb 246
246
Cuadro 12.2 Costos desagregados de una seleccin de proyectos con apoyo del Banco Mundial (contina)
1/6/17 1:48 PM
IEP.indb 247
Cuadro 12.2 Costos desagregados de una seleccin de proyectos con apoyo del Banco Mundial (contina)
Fuente: Una muestra de evaluaciones de impacto financiada por el Fondo Estratgico para la Evaluacin de Impacto (SIEF) del Banco Mundial.
a. Los costos estimados no siempre capturan todos los costos de la evaluacin, lo que incluye el tiempo del equipo de polticas pblicas.
b. Es el porcentaje de los costos totales de la evaluacin por categora. Este costo no incluye los costos del personal local del proyecto, que a menudo participaba intensamente
en el diseo y la supervisin de la evaluacin, dado que los datos precisos de estos costos no se registran de manera regular.
247
1/6/17 1:48 PM
Concepto clave absolutos, las evaluaciones de impacto suelen constituir solo un pequeo
Las evaluaciones de porcentaje de los presupuestos generales del programa. Adems, el costo de
impacto suelen llevar a cabo una evaluacin de impacto debe compararse con los costos de
constituir solo un
oportunidad de no efectuar una evaluacin rigurosa y, por lo tanto, de imple-
pequeo porcentaje de
los presupuestos
mentar potencialmente un programa inefectivo. Las evaluaciones permiten
generales del a los investigadores y a los responsables de las polticas identicar qu pro-
programa. Adems, el gramas o caractersticas del programa funcionan, cules no funcionan y qu
costo de llevar a cabo estrategias pueden ser las ms efectivas y ecientes para alcanzar los objeti-
una evaluacin de vos del programa. En este sentido, los recursos necesarios para implementar
impacto debe
una evaluacin de impacto constituyen una inversin relativamente
compararse con los
costos de oportunidad pequea pero importante.
de no efectuar una El cuadro 12.2 desagrega los costos de la muestra de evaluaciones de
evaluacin rigurosa y, impacto nanciadas por el SIEF. Los costos totales de una evaluacin inclu-
por lo tanto, de yen el tiempo del personal del Banco Mundial, los consultores nacionales e
implementar
internacionales, los viajes, la recopilacin de datos y las actividades de
potencialmente un
programa inefectivo.
divulgacin.5 En estas evaluaciones, como en casi todas en las que no se pue-
den usar los datos existentes, el costo ms importante corresponde a la reco-
pilacin de nuevos datos, que equivale, en promedio, al 63% del costo de la
evaluacin, como se muestra en el cuadro.
Estas cifras reejan diferentes tamaos y tipos de evaluaciones. El costo
relativo de la evaluacin de un programa piloto suele ser superior al costo
relativo de la evaluacin de un programa a nivel nacional o universal.
Adems, algunas evaluaciones solo requieren una encuesta de seguimiento
o pueden usar las fuentes de datos existentes, mientras que otras necesitan
llevar a cabo mltiples rondas de recopilacin de datos. Los costos de
recopilacin de datos dependen sobre todo de las capacidades del equipo
local, de los recursos disponibles y de la duracin del trabajo de campo.
Para saber ms sobre cmo determinar los costos de una encuesta en un
contexto particular, se recomienda al equipo de evaluacin que primero
entre en contacto con el organismo nacional de estadstica y que busque
informacin entre los equipos que hayan llevado a cabo un trabajo de
encuestas en el pas.
Etapa de datos de
Etapa del diseo lnea de base
Unidad Costo por Nmero de Costo Unidad Costo por Nmero de Costo
unidad unidades total unidad unidades total
(US$) (US$) (US$) (US$)
A. Salarios del personal Semanas 7.500 2 15.000 Semanas 7.500 2 15.000
B. Honorarios de los consultores 14.250 41.900
Consultor internacional (1) Das 450 15 6.750 Das 450 0 0
Consultor internacional (2) Das 350 10 3.500 Das 350 10 3.500
Investigador asistente/Coordinador Das 280 0 0 Das 280 130 36.400
de trabajo de campo
Experto estadstico Das 400 10 4.000 Das 400 5 2.000
C. Viajes y dietas
Personal: Vuelos internacionales Viajes 3.350 1 3.350 Viajes 3.350 1 3.350
Personal: Hotel y viticos Das 150 5 750 Das 150 5 750
Personal: Transporte terrestre local Das 10 5 50 Das 10 5 50
Consultores internacionales: Vuelos Viajes 3.500 2 7.000 Viajes 3.500 2 7.000
internacionales
Consultores internacionales: Hotel Das 150 20 3.000 Das 150 20 3.000
y viticos
Consultores internacionales: Das 10 5 50 Das 10 5 50
Transporte terrestre local
Coordinador de trabajo de campo: Viajes 0 0 Viajes 1.350 1 1.350
Vuelos internacionales
Coordinador de trabajo de campo: Das 0 0 Das 150 3 150
Hotel y viticos
1/6/17 1:48 PM
IEP.indb 251
Cuadro 12.3 Ejemplo de presupuesto para una evaluacin de impacto (contina)
Etapa de datos de
Etapa del diseo lnea de base
Unidad Costo por Nmero de Costo Unidad Costo por Nmero de Costo
unidad unidades total unidad unidades total
(US$) (US$) (US$) (US$)
Coordinador de trabajo de campo: Das 0 0 Das 10 3 30
Transporte terrestre local
D. Recopilacin de datos 126.000
Tipo de datos 1: Consentimiento Escuela 120 100 12.000
Tipo de datos 2: Resultados Nio/a 14 3.000 42.000
educativos
Tipo de datos 3: Resultados de Nio/a 24 3.000 72.000
salud
E. Anlisis y divulgacin de datos
Taller(es)
Divulgacin/informes
Costos totales por etapa Etapa de diseo 43.450 Etapa de lnea de base 198.630
251
1/6/17 1:48 PM
IEP.indb 252
252
Cuadro 12.3 Ejemplo de presupuesto para una evaluacin de impacto (contina)
1/6/17 1:48 PM
IEP.indb 253
Cuadro 12.3 Ejemplo de presupuesto para una evaluacin de impacto (contina)
253
1/6/17 1:48 PM
Otros recursos
Notas
1. El acrnimo JPAL corresponde al Abdul Latif Jameel Poverty Action Lab; SPD
es la Ocina de Planicacin Estratgica y Efectividad en el Desarrollo, y RES es
el Departamento de Investigacin del BID.
2. Vase King y Behrman (2009) para un anlisis detallado de las cuestiones de
programacin con respecto a la evaluacin de programas sociales.
3. Hay diversos motivos por los que la implementacin no es ni inmediata
niperfecta, por qu la duracin de la exposicin al tratamiento diere
nosolo entre diferentes mbitos del programa sino tambin en los diferen-
tesbeneciarios ltimos, y por qu las diferentes exposiciones pueden
generardiferentes estimaciones del impacto de un programa (King y
Behrman,2009).
254 La evaluacin de impacto en la prctica
Referencias bibliogrficas
La tica y la ciencia en la
evaluacin de impacto
Cuadro 13.1 Asegurar informacin fiable y creble para las polticas mediante la ciencia abierta
Soluciones de prevencin y
Implicaciones para las mitigacin mediante la
Problemas de la investigacin polticas pblicas ciencia abierta
Sesgo de la publicacin. Solo se Las decisiones de poltica se Registros de ensayos.
publican los resultados positivos. basan en un acervo distorsionado
Las evaluaciones que muestran de conocimiento. Los responsa-
impactos limitados o nulos no se bles de la poltica pblica tienen
divulgan ampliamente. escasa informacin sobre lo que
no funciona y siguen probando/
adoptando polticas que no
tienen impacto alguno.
Minera de datos. Los datos se Las decisiones de poltica para Planes de preanlisis.
fragmentan cada vez ms hasta adoptar intervenciones pueden
que aparece un resultado positivo estar basadas en estimaciones
en la regresin, o la hiptesis se positivas no justificadas de los
reajusta a los resultados. impactos.
Pruebas de hiptesis mltiples, Las decisiones de poltica Planes de preanlisis y tcnicas
anlisis de subgrupo. Los investiga- pblica para adoptar intervencio- de ajustes estadsticos especia-
dores fragmentan cada vez ms los nes pueden estar basadas en lizadas, como las pruebas de
datos hasta que encuentran un estimaciones positivas no ndices, la tasa prudente de
resultado positivo para algn grupo. justificadas de los impactos. error relacionada con la familia
Concretamente: (1) las mltiples y el control de la tasa de falsos
pruebas conducen a la conclusin descubrimientos.a
de que algunos impactos existen
cuando en realidad no existen; o (2)
solo se informa sobre los impactos
que son significativos.
Soluciones de prevencin y
Implicaciones para las mitigacin mediante la
Problemas de la investigacin polticas pblicas ciencia abierta
Falta de replicacin. No se pueden La poltica puede basarse en La documentacin y el registro
replicar los resultados porque el resultados manipulados de los datos, incluidos los
protocolo de investigacin, los datos (positivos o negativos), dado protocolos de proyecto, los
y los mtodos de anlisis no estn que los resultados pueden cdigos de organizacin, la
suficientemente documentados. deberse a errores de clculo. publicacin de los cdigos, y la
Los errores y las manipulaciones Los resultados entre diferentes publicacin de datos.
pueden pasar inadvertidos. estudios no se pueden comparar. Cambios en las polticas de las
revistas arbitradas y de
A los investigadores no les interesa La validez de los resultados
financiamiento para requerir
replicar los estudios, y a las revistas en otro contexto no se puede
documentacin acerca de los
arbitradas no les interesan los probar.
datos y promover la replicacin.
resultados yo tambin.
No se pueden replicar las interven- Los responsables de la poltica
ciones porque el protocolo de pueden ser incapaces de
intervencin no est suficientemente replicar la intervencin en un
documentado. contexto diferente.
a. Para una introduccin bsica al problema de las comparaciones mltiples y las correcciones estadsticas potenciales, se
recomienda consultar https://en.wikipedia.org/wiki/Multiple_comparisons_problem.
Falta de replicacin
Otros recursos
Notas
Referencias bibliogrficas
Divulgacin de resultados y
generacin de impacto en las
polticas pblicas
Hay al menos tres pblicos primarios para las conclusiones de una evalua-
cin de impacto: el personal del programa y los administradores involucra-
dos en el programa especco que se evala; los responsables de las polticas
de alto nivel que utilizarn la evaluacin para fundamentar las decisiones de
nanciamiento y de diseo de las polticas; y la comunidad de prctica, que
en trminos amplios abarca la comunidad acadmica, los responsables del
desarrollo, la sociedad civil (incluidos los medios de comunicacin) y los
participantes en el programa. Cada uno de estos pblicos tendr diferentes
intereses en los resultados de la evaluacin y requerir estrategias de comu-
nicacin elaboradas a su medida cuando se trata de conseguir el objetivo de
servir de fundamento e inuir en las polticas (cuadro 14.1).
Tcnicos y administradores. El primer pblico clave son los miembros del
personal tcnico y operativo, y los administradores que disearon e imple-
mentaron el programa, as como los representantes de instituciones (como
los ministerios o una institucin de nanciamiento) estrechamente asocia-
dos con el proyecto. Estas personas normalmente sern las primeras en
conocer los resultados de la evaluacin, y elaborar comentarios sobre las
interpretaciones y recomendaciones de la evaluacin.
Dado que esta suele ser la primera vez que los resultados ven la luz del da,
es clave programar la divulgacin de informacin entre estos interesados. Por
un lado, es importante compartir los resultados de forma temprana, de modo
que los responsables de las decisiones del programa puedan incorporar cam-
bios y adoptar decisiones de polticas, como aumentar la escala de la inter-
vencin (o disminuirla) o ajustar los componentes del programa para mejorar
el uso de los recursos y alcanzar un mayor impacto. Por otro lado, hay que
hacer una advertencia contra el riesgo de compartir resultados demasiado
preliminares basados en un anlisis parcial o incompleto, dado que dichos
resultados podran estar sujetos a cambios. Su divulgacin podra crear
expectativas entre el personal del programa y precipitar decisiones de las
polticas an no maduras que podran ser caras de revertir en el futuro. Por lo
tanto, debera buscarse un equilibrio adecuado de puntualidad y completitud
Divulgacin de resultados y generacin de impacto en las polticas pblicas 279
puede transmitir una clara seal a los responsables de las polticas sobre la
calidad y credibilidad de los resultados de una evaluacin.
Sobre la base de la estrategia de divulgacin acordada, los informes y
documentos se pueden publicar en diversos medios, entre ellos, el sitio web
del programa, el sitio web de la institucin evaluadora, como parte de una
serie de documentos de trabajo, revistas acadmicas arbitradas y libros.
Si bien los informes de evaluacin y los documentos acadmicos sirven
como fundamento para la estrategia de divulgacin, su alcance entre un
pblico ms amplio fuera de la comunidad profesional y acadmica puede ser
limitado debido a su extensin y a su lenguaje tcnico. Puede que el equipo de
evaluacin, quizs en colaboracin con los expertos en comunicacin, consi-
dere til producir artculos breves, escritos al estilo de un relato o con un estilo
periodstico, con un lenguaje claro y sencillo para llegar a pblicos ms amplios.
Se pueden dar a conocer artculos breves bajo la forma de notas informativas
de polticas, boletines e infografas. En estas publicaciones, ser particular-
mente til eliminar la jerga tcnica y traducir los resultados en representacio-
nes visualmente atractivas, con imgenes, esquemas y grcos (recuadro 14.3).
Los equipos de evaluacin pueden generar un conjunto de presentacio-
nes que acompaen a los informes escritos y los artculos breves. Las
presentaciones deberan elaborarse a la medida del pblico especco. Un
buen punto de partida es producir una presentacin tcnica para el equipo
del proyecto y el pblico acadmico, y otra presentacin ms breve y menos
284 La evaluacin de impacto en la prctica
tcnica para los responsables de las polticas y la sociedad civil. Si bien las
principales conclusiones y recomendaciones para las polticas sern las mis-
mas, la estructura y el contenido de estas dos presentaciones tendrn dife-
rencias importantes. La presentacin tcnica debera centrarse en aanzar
la credibilidad de los resultados mediante una exposicin de los mtodos de
evaluacin, los datos y el anlisis, antes de llegar a los resultados y recomen-
daciones. Una presentacin dirigida a los responsables de las polticas debe-
ra poner de relieve el problema del desarrollo que la intervencin se
propone abordar y las implicaciones prcticas de las conclusiones, y tratar
de forma ms supercial los detalles tcnicos.
Para aprovechar el cada vez mayor acceso a Internet de los pases en
desarrollo y las alternativas de bajo costo para producir multimedia, los
equipos de evaluacin tambin pueden contemplar una gama de medios
para divulgar las conclusiones de la evaluacin, entre ellos: los sitios web o
las grabaciones en audio y video. Los videoclips de corta duracin pueden
ser un medio poderoso para transmitir ideas complejas a travs de imge-
nes y sonido, dejando que la historia de la evaluacin se despliegue de una
manera que sea ms rpida y ms plenamente comprensible que la que
utilizan los tpicos medios impresos (recuadro 14.4).
Divulgacin de resultados y generacin de impacto en las polticas pblicas 285
Otros recursos
CMO OBTENER
DATOS PARA UNA
EVALUACIN DE
IMPACTO
La cuarta parte de este libro proporciona orientacin sobre cmo obtener datos
para una evaluacin de impacto, lo que comprende la eleccin de la muestra y
cmo encontrar fuentes de datos adecuadas.
Grfico 15.1 Uso de una muestra para inferir las caractersticas promedio de
una poblacin de inters
Poblacin de inters
Inferir caractersticas
de la poblacin sobre
la base la muestra
Muestra
Marco muestral
vlido
Marco muestral
no vlido
Poblacin
de inters
Como debera quedar claro a partir del comparacin que no lo ser. El proceso de
debate que se desarrolla en la segunda aleatorizacin de un programa que se exhibe
parte, la asignacin aleatoria de los beneficios en el grfico B15.1.2 es diferente del proceso
de un programa es diferente del muestreo de muestreo aleatorio descrito en el grfico
aleatorio. El proceso de asignacin aleatoria B15.1.1. Como se seal en la segunda
parte de una poblacin de inters elegible y parte, cuando la asignacin aleatoria est
utiliza un procedimiento de aleatorizacin bien implementada, contribuye a la validez
para asignar las unidades (que normalmente interna de la evaluacin de impacto. El
son personas o grupos de personas, como muestreo aleatorio puede ser til para
nios en una escuela) de la poblacin asegurar la validez externa, en la medida en
elegible a un grupo de tratamiento que ser que la muestra se extrae aleatoriamente de
objeto de una intervencin, y a un grupo de la poblacin de inters.
Poblacin elegible
Comparacin
Grupo de tratamiento
miento G
Grupo de comparacin
(participantes del programa) (no participantes del programa)
Una muestra
pequea
Poblacin de inters
Una muestra
grande
Una vez que se haya estimado el resultado promedio (el peso) del grupo
de tratamiento (los nios que participan seleccionados por asignacin
aleatoria) y el grupo de comparacin (los nios que no participan seleccio-
nados por asignacin aleatoria), se puede proceder a determinar si los dos
resultados son diferentes. Esta parte est clara: se restan los promedios y
se calcula la diferencia. En trminos estadsticos, la evaluacin de impacto
pone a prueba la hiptesis nula (o por defecto) en contraste con la hiptesis
alternativa.
300 La evaluacin de impacto en la prctica
Nota: El efecto mnimo detectable describe la reduccin mnima de los gastos directos en salud de
los hogares que puede detectar la evaluacin de impacto. Potencia = 0,9; sin clusters.
Nota: El efecto mnimo detectable describe la reduccin mnima de los gastos directos en salud de
los hogares que puede detectar la evaluacin de impacto. Potencia = 0,8; sin clusters.
Efecto mnimo
detectable Grupo de Grupo de
(porcentaje) tratamiento comparacin Total muestra
1 7.257 7.257 14.514
2 1.815 1.815 3.630
3 807 807 1.614
Nota: El efecto mnimo deseado describe el cambio mnimo en la tasa de utilizacin de servicios
hospitalarios (expresado en puntos porcentuales) que puede detectar la evaluacin de impacto.
Pregunta HISP 8
Nota: El efecto mnimo detectable describe la reduccin mnima de los gastos directos en salud de
los hogares que puede detectar la evaluacin de impacto. El nmero de clusters es el nmero total
de clusters, la mitad de los cuales ser el nmero de clusters del grupo de comparacin, y la otra
mitad ser el nmero de clusters del grupo de tratamiento.
Nota: El nmero de clusters es el nmero total de clusters, la mitad de los cuales ser el nmero
de clusters del grupo de comparacin, y la otra mitad ser el nmero de clusters del grupo de
tratamiento. Si el diseo no tuviera clusters, se necesitaran 251 unidades en cada grupo para
identificar un efecto mnimo detectable de US$2 (vase el cuadro 15.3).
Pregunta HISP 9
Notas
s2
var( y ) =
n
Referencias bibliogrficas
En este captulo se analizan las diversas fuentes de datos que pueden utilizar
las evaluaciones de impacto. En primer lugar, se estudian las fuentes de
datos existentes, sobre todo los datos administrativos, y se proporcionan
algunos ejemplos de evaluaciones de impacto que han aprovechado datos
existentes. Dado que muchas evaluaciones requieren la recopilacin de
datos nuevos, tambin se examinan los pasos en la recopilacin de nuevos
datos de las encuestas. Una comprensin clara de estos pasos contribuir a
asegurar que la evaluacin de impacto se base en datos de calidad que no
comprometan el diseo de evaluacin. Como primer paso, habr que con-
tratar la elaboracin de un cuestionario adecuado. Paralelamente, se necesi-
tar ayuda de una empresa o un organismo del gobierno especializado en
recopilacin de datos. La entidad de recopilacin de datos reclutar y
capacitar al personal de campo y realizar una prueba piloto del cuestiona-
rio. Despus de introducir los ajustes necesarios, la empresa o el organismo
podrn proceder con el trabajo de campo, recopilar los datos, digitalizarlos
y procesarlos antes de que puedan ser entregados, almacenados y analiza-
dos por el equipo de evaluacin.
Para evaluar el impacto de la intervencin en los resultados de inters, se
requieren datos de buena calidad. La cadena de resultados que se expone en
323
Una de las primeras cuestiones que se debe considerar cuando se disea una
evaluacin de impacto es qu fuente de datos se utilizar. Una considera-
cin fundamental es si la evaluacin de impacto depender de datos exis-
tentes o si requerir la recopilacin de datos nuevos.
Casi siempre se necesitan datos existentes al comienzo de una evaluacin
de impacto para estimar los valores de referencia de los indicadores o para
efectuar clculos de potencia, como se analiz en el captulo 15. Despus de
la fase de planicacin, la disponibilidad de datos existentes puede dismi-
nuir de forma considerable el costo de una evaluacin de impacto. Si bien es
probable que los datos existentes y, en particular los datos administrativos,
sean subutilizados en la evaluacin de impacto en general, la viabilidad de
usar datos existentes en la evaluacin de impacto tiene que ser valorada con
detenimiento.
De hecho, como se seal en el captulo 12, la recopilacin de datos suele
representar el mayor costo de una evaluacin de impacto. Sin embargo, para
determinar si los datos existentes se pueden utilizar en una determinada
evaluacin de impacto, debe tenerse en cuenta una serie de preguntas:
El muestreo. Se dispone de datos existentes tanto para el grupo de trata-
miento como para el grupo de comparacin? Las muestras existentes se
han extrado de un marco muestral que coincide con la poblacin de
inters? Las unidades del marco muestral, se han obtenido mediante un
procedimiento de muestreo probabilstico?
Tamao de la muestra. Las series de datos son sucientemente grandes
para detectar cambios en los indicadores de resultado con suciente
326 La evaluacin de impacto en la prctica
Los datos existentes son sucientes para toda una evaluacin de impacto
solo en casos relativamente raros. Si los datos administrativos no son
sucientes para la evaluacin, muy posiblemente habr que depender de
datos de encuestas. Como consecuencia, lo ms probable es que se tenga que
presupuestar la recopilacin de nuevos datos. A pesar de que la recopilacin
de datos suele implicar el mayor costo de una evaluacin de impacto, tam-
bin puede ser una inversin de alto retorno de la que a menudo depende la
calidad de la evaluacin. La recopilacin de nuevos datos proporciona la e-
xibilidad para garantizar que se midan todos los indicadores necesarios para
una evaluacin integral del desempeo del programa.
La mayora de las evaluaciones de impacto requieren recopilar datos de
encuestas, incluyendo al menos una encuesta de lnea de base antes de la
intervencin o innovacin que se evala, y una encuesta de seguimiento
despus de que se ha implementado la intervencin. Los datos de las encues-
tas pueden ser de diversos tipos, en funcin del programa que se evala y de
la unidad de anlisis. Por ejemplo, las encuestas de empresas utilizan a las
rmas como la principal unidad de observacin, las encuestas de instalacio-
nes utilizan los centros de salud o las escuelas como la principal unidad de
observacin, y las encuestas de hogares utilizan los hogares como la princi-
pal unidad de observacin. La mayora de las evaluaciones dependen de
encuestas individuales o de hogares como fuente primaria de datos. En esta
seccin, se revisan algunos principios generales de la recopilacin de datos
de las encuestas. Aunque estos se reeren sobre todo a las encuestas de
hogares, los mismos principios son vlidos para la mayora de otros tipos de
datos de encuestas.
El primer paso para decidir si utilizar los datos existentes o recopilar
nuevos datos mediante encuestas ser determinar el enfoque del muestreo,
as como el tamao necesario de la muestra (como se analiz en el
captulo 15). Una vez que se decida recopilar datos de encuestas para la
evaluacin, habr que:
332 La evaluacin de impacto en la prctica
Referencias bibliogrficas
Conclusiones
355
Respeto por las normas ticas y consideracin por los sujetos humanos
en el diseo y la implementacin de la evaluacin y la recopilacin de
datos correspondiente, as como atencin a los principios de ciencia
abierta para asegurar la transparencia.
Conclusiones 357
Los trminos que llevan cursiva dentro de las deniciones se denen a su vez dentro
del propio glosario.
Actividad. Medidas adoptadas o trabajo realizado a travs del cual los insumos,
como los fondos, la asistencia tcnica y otro tipo de recursos que se movilizan para
generar productos especcos, como el dinero gastado, los libros de texto distribui-
dos o el nmero de participantes en un programa de empleo.
Anlisis de costo-beneficio. Estima los benecios totales previstos de un
programa, en comparacin con sus costos totales previstos. Su n es cuanticar
todos los costos y benecios de un programa en trminos monetarios y evaluar si los
benecios superan a los costos.
Anlisis de costo-efectividad. Compara el costo relativo de dos o ms programas
o alternativas de programa en trminos de alcanzar un resultado comn, como la
produccin agrcola o las calicaciones de los alumnos en los exmenes.
Anlisis de regresin. Mtodo estadstico para analizar las relaciones entre una
variable dependiente (la variable que se debe explicar) y variables explicativas. El
anlisis de regresin normalmente no es suciente para capturar los efectos causales.
En la evaluacin de impacto, el anlisis de regresin es una manera de representar la
relacin entre el valor de un indicador de resultado Y (variable dependiente) y una
variable independiente que captura la asignacin al grupo de tratamiento o grupo de
comparacin, mientras se mantienen constantes otras caractersticas. Tanto la asig-
nacin al grupo de tratamiento y de comparacin como las dems caractersticas son
variables explicativas. El anlisis de regresin puede ser univariante (si hay solo una
variable explicativa; en el caso de la evaluacin de impacto, la nica variable explica-
tiva es la asignacin al grupo de tratamiento o de comparacin) o multivariante
(sihay varias variables explicativas).
Anlisis de sensibilidad. Trata de la sensibilidad del anlisis ante los cambios en
los supuestos. En el contexto de los clculos de potencia, contribuye a comprender
361
Glosario 363
Glosario 365
Glosario 367
Glosario 369
Glosario 371
La evaluacin
reconoce las realidades prcticas de realizar este tipo de trabajo en el campo. A lo largo
de todo el libro hay insumos valiosos en estas dos dimensiones. Yo asigno todo el tiempo
este libro como material de lectura a la hora de capacitar profesionales interesados en la
realizacin, la puesta en marcha, o el consumo de evaluaciones de impacto.
de impacto en
Dan Levy, Catedrtico Senior de Polticas Pblicas y Director de la Iniciativa para
el Fortalecimiento del Aprendizaje y la Excelencia de la Enseanza
SEGUNDA EDICIN
la prctica
contempornea. Es un recurso de gran valor para los evaluadores de los gobiernos y
organismos de desarrollo, as como en las universidades y centros de investigacin.
Leonard Wantchekon, Profesor de Poltica y Relaciones Internacionales, Universidad
de Princeton; Fundador y Presidente de la Escuela Africana de Economa
El propsito de este libro es ofrecer una gua accesible, comprehensiva y clara sobre las
evaluaciones de impacto. El material, que va desde la motivacin de la evaluacin de SEGUNDA EDICIN
impacto hasta las ventajas de las diferentes metodologas, clculos de potencia y costos,
9 781464 808883
SKU 210888