Mtodos experimentales para la

evaluacin de la ayuda al
desarrollo
Jos Garca Montalvo
UPF e IVIE

El diablo que hay en el mundo proviene de

la ignorancia, y las buenas intenciones
pueden hacer tanto dao como las malas
intenciones, si falta el conocimiento
Albert Camus, La Plaga

Resumen de la presentacin
Evaluacin y causalidad
El mtodo experimental
La evaluacin de la ayuda al desarrollo
(no humanitaria)
El uso de experimentos randomizados en
la evaluacin de programas de ayuda al
desarrollo
Conclusiones

Resumen de la presentacin
Evaluacin y causalidad
El mtodo experimental
La evaluacin de la ayuda al desarrollo
El uso de experimentos randomizados en
la evaluacin de programas de ayuda al
desarrollo
Conclusiones

La esencia de la evaluacin
Evaluar supone medir lo que ha pasado
frente a lo que habra sucedido de no
haber realizado una actuacin. La
segunda situacin es contrafactual: un
individuo no puede ser tratado y no
tratado a la vez. Grupo de comparacin.
Problema bsico: datos faltantes.
Evaluar supone tambin ser capaces de
atribuir a la actuacin el efecto: causalidad

Ejemplo: el permiso por puntos

Cul ha sido el efecto sobre la
siniestralidad del permiso por puntos?

Grupo de comparacin. Supuestos.

Ha sido el permiso por puntos?
Ya vena reducindose con anterioridad.
Durante algunos meses ms controles de
alcoholemia.
Instalacin continuada de ms radares.

Problemas bsicos en los mtodos

de evaluacin no experimentales
Endogeneidad

Omisin de variables correlacionadas con

variables explicativas incluidas
Errores de medida
Simultaneidad: la relacin entre instituciones
y desarrollo econmico

Seleccin muestral

Seleccin muestral
Elecciones presidenciales de 1936 en
Estados Unidos
Lista muestral: familias con telfono y
dueos de coches registrados
Resultado de la encuesta: Landon
(republicano) ganara con el 57% de los
votos frente a Roosevelt (democrata)
La estadstica no falla. Es el estadstico el
que puede equivocarse.

Soluciones tradicionales
Imponer una estructura basada en una
serie de supuestos:

Sistemas de ecuaciones simultneas (50-60s)

Sistemas de vectores auto-regresivos (7090s)
Correcciones para seleccin muestra tipo
Heckman (70s-80s)

Nuevas soluciones
En bsqueda de una fuente exgena de
variacin

Imposible (crtica de Lucas): en el anlisis econmico

todas las variables se fijan simultneamente. Shocks
en la funcin de utilidad, la productividad, etc.
cambian los parmetros de las formas reducidas. Los
datos son sucios. Es mejor la simulacin utilizando
la estimacin de deep parameters. DGEM y ciclos
reales
Construir experimentos o buscar experimentos
naturales o pseudo-experimentos

Resumen de la presentacin
Evaluacin y causalidad
El mtodo experimental
La evaluacin de la ayuda al desarrollo
El uso de experimentos randomizados en
la evaluacin de programas de ayuda al
desarrollo
Algunos ejemplos
Conclusiones

Experimentos randomizados
Es el estndar en la mayora de las ciencias
duras: anlisis de nuevos medicamentos,
procedimientos mdicos, etc. FDA
Basado en un grupo de control (al que se
administra placebo) y un grupo tratado.
La tcnica estadstica es muy simple y poco
manipulable: normalmente una diferencia de
medias (y su desviacin estndar) es suficiente.

Experimentos randomizados
Algunos problemas:

Pueden ser caros

Dependiendo del objeto de estudio puede ser
imposible realizar un experimento
En ocasiones existen problemas de tipo tico

La gran ventaja es que proporciona unos

resultados crebles y difcilmente manipulables
si se han seguido correctamente los protocolos

Los criterios de la FDA

Antes de la aprobacin de un nuevo principio
activo es preciso probar, por mtodos
experimentales:

que dicha molcula tiene efecto sobre el problema

que pretende resolver (tamao de un tumor, recuento
vrico, etc.)
que el procedimiento es ms efectivo que los
existentes
que no tiene efectos secundarios perjudiciales (o que
tiene efectos muy limitados)

Experimentos en ciencias sociales

Pueden hacerse experimentos randomizados
en ciencias sociales? Por supuesto. Algunos
ejemplos:

El efecto del tamao de las clases sobre el

aprendizaje: STAR
El efecto de los cheques escolares: PACES
(Colombia) o School Choice Scholarship Foundation
Program en Nueva York
Reduccin de la pobreza: PROGRESA (Mxico).
Programa Moving to Opportunity para familias que
viven en barrios degradados de Baltimore, Boston,
Chicago, Los Angeles y Nueva York.

Un ejemplo en detalle: STAR

El experimento de reduccin de tamao de las
clases de Tennessee (STAR: Student-Teacher
Achievement Ratio)

Experimento de cuatro aos diseado para evaluar el

efecto del aprendizaje en clases pequeas
Coste: 12 millones de dlares
Tres tratamientos:
Clases tamao normal (22-25 estudiantes)
Clases pequeas (13-17 alumnos)
Clases tamao normal y un profesor de apoyo.

STAR (cont.)
Protocolo

Los estudiantes que entran en la guardera en

los colegios participantes son asignados
aleatoriamente a uno de los tres grupos
Los estudiantes continuarn en el mismo
grupo durante los cuatro aos
En el primer ao 6.400 estudiantes
participaron en 108 clases pequeas, 101
clases normales y 99 clases con profesor de
apoyo. En total (cuatro ao): 11.200 estud.

STAR (cont.)
Fallos en el seguimiento del protocolo:

Protestas de los padres cuyos hijos haban

sido asignados aleatoriamente a un grupo
regular sin profesor de apoyo
Aproximadamente 10% de los estudiantes
fueron cambiados de clase,
fundamentalmente por problemas de
comportamiento o incompatibilidad con otros
estudiantes del grupo

STAR (cont.)
La medida de resultados utilizada para
comprobar el efecto de los diferentes
tratamientos es la puntuacin de los
alumnos en el test combinado de
matemticas y lectura de Stanford
(Stanford Achievement Test)
Especificacin
Yi 0 1ClasePequeai 2 Papoyoi ui

STAR (cont.)
Reg\Curso
Clase
pequea

13.90**
(2.45)
Normal y
0.31
prof. apoyo (2.27)
Constante
918**
(1.63)
N
5,786

29.78**
(2.83)
11.96**
(2.65)
1,039**
(1.78)
6,379

19.39**
(2.71)
3.48
(2.54)
1,157**
(1.82)
6,049

15.59**
(2.40)
-0.29
(2.27)
1,228**
(1.68)
5,967

STAR (cont.)
Interpretacin de los resultados:

Para comparar entre cursos es necesario

trasladar los resultados de los tests en
trminos de desviaciones estndar. El efecto
de las clases pequea es reducido.
Adems, el efecto se concentra en los
primeros aos. Continuar en una clase
pequea no produce mejoras adicionales.

Experimentos frente a estudios

observacionales
Podemos fiarnos de los resultados de
estudios que no utilizan el mtodo
experimental?

Afecta a la longevidad el hacerse un

chequeo medio anual?
Es efectiva la terapia de reemplazamiento
hormonal en mujeres con menopausia?

La crtica de LaLonde
Evaluacin de programas de formacin.
LaLonde tom los datos del National
Supported Work Demonstration (NSW) y
compar los resultados del experimento
randomizado con los obtenidos por varias
tcnicas economtricas habituales.

La crtica de LaLonde
Control

Hombres

Mujeres

Experimental

NSW

886 (476)

851 (317)

Est. 1 paso

PSD1

-1,228(896) 2,097 (491)

CPS1

-805 (484) 1,041 (505)

PSD1

-1,333(820) 1,129 (385)

Bietpicos
(Heckman)

CPS1

-22 (584)

1,102 (323)

La crtica de LaLonde
Los mtodos no experimentales producen
resultados muy diferentes dependiendo del
grupo de control utilizado y de la especificacin
economtrica adoptada.
Los resultados de los mtodos experimentales
pueden ser muy diferente de los resultados no
experimentales
Incluso cuando los estimadores no
experimentales pasan los test convencionales
pueden fracasar en replicar los resultados
experimentales.

Y si no podemos hacer un
experimento randomizado?
Experimentos naturales
Quasi experimentos y mtodos de
emparejamiento (seleccin en
observables)
Variables instrumentales (seleccin en no
observables). Randomizacin es el
instrumento perfecto
RDD: Regression discontinuity design

Resumen de la presentacin
Evaluacin y causalidad
El mtodo experimental
La evaluacin de la ayuda al desarrollo
El uso de experimentos randomizados en
la evaluacin de programas de ayuda al
desarrollo
Conclusiones

Pregunta bsica
Si con un dlar al da se puede salvar un
nio en el tercer mundo, qu ha pasado
con los 2,4 billones de dlares en ayuda al
desarrollo desembolsados entre 1960 y
2005?
Si una mosquitera cuesta 4 dlares
cmo es posible que no todas las
familias pobres de frica tengan
mosquiteras?

Evaluacin macro
Estimaciones de tercera generacin:

Boone (1996): la ayuda al desarrollo no

aumenta significativamente ni la inversin ni
los indicadores de desarrollo humano. Solo
aumenta el tamao del gobierno.
Burnside y Dollar (2000): la ayuda al
desarrollo solo funciona cuando se combina
con buenas polticas monetarias, fiscales y
comerciales

Evaluacin macro
Estimaciones de tercera generacin:

Easterly, Levine y Roodman (2003): los resultados de

Burnside y Dollar (2000) no son robustos a cambios
en el periodo temporal ni a la inclusin de nuevos
datos.
En general, la mayora de los estudios
macroeconmicos coinciden en no encontrar efecto
de la ayuda al desarrollo.
Tambin muchos estudios de casos concluyen lo
mismo (Calderisi 2006. Why foreign aid isnt working:
the trouble with Africa)

Posibles explicaciones
Corrupcin
Los incentivos de los donantes
La coordinacin de los donantes
La misma evaluacin de los efectos

Posibles explicaciones
Corrupcin
Los incentivos de los donantes
La coordinacin de los donantes
La misma evaluacin de los efectos

La corrupcin
Se ha convertido en polticamente incorrecto hablar
de este problema pero existe.
Normalmente evaluacin difusa. Recientes estudios
ayudan a obtener una magnitud ms precisa
(PETS: Public Expenditure Tracing Surveys).

Reinnika y Svensson (2005, 2006) calculan que llega a

destino un 13% (Kenia) o un 20% (Tanzania) de los
fondos para construir escuelas.
Olken (2006a) encuentra en un programa antipobreza en
Indonesia que el 18% del arroz desaparece.
Olken (2006b) encuentra que la corrupcin en la
construccin del carreteras alcanza el 28%.

La corrupcin
Cmo solucionar el problema?

Reinikka y Svensson (2006) encuentran que

una campaa informativa entre los padres de
las escuelas donde deben ir los fondos
reduce significativamente la prdida.
Olken (2006) encuentra que es mejor el
sistema tradicional de top-down (vigilar para
que no se desven fondos).

Posibles explicaciones
Corrupcin
Los incentivos de los donantes
La coordinacin de los donantes
La misma evaluacin de los efectos

Incentivos de los donantes

El broken-information-loop: los ciudadanos que
pagan los impuestos y los que se benefician de
la ayuda son diferentes (no pueden votar)
El efecto meditico per se. Con una buena
estrategia de comunicacin se puede conseguir
que los ciudadanos piensen que se dedica a
ayuda al desarrollo mucho ms que en realidad
Donantes objetivos mltiples y algunos
(polticos o estratgicos) ajenos al desarrollo y la
lucha contra la pobreza.

Incentivos de los donantes

De los 23,700 millones de dlares que el
presidente Bush ha propuesto en ayuda a
pases pobres en 2007 solo 3,700 millones
estn destinados a la lucha contra la pobreza
El efecto warm glow: utilidad se deriva de dar
la ayuda y no de los beneficios que tenga para
los que la reciben
El nfasis en los inputs y no los outputs (0,7%).

Incentivos de los donantes

Ms no implica necesariamente mejor como
suponen las visiones simplistas: tuberas
Los incentivos propios de las burocracias:
mucha rigidez, gastar el presupuesto antes de
fin del ao, promocin de los funcionarios en
funcin de gasto no de los resultados, etc.
Incentivos mal diseados.

Incentivos de los donantes

Plan Director de la Cooperacin Espaola:

Hacia una cooperacin de calidad: Gestin

basada en resultado incluye un cambio en el
modo de pensar y actuar: en lugar de atender
a los recursos que se van a emplear,
analizando ms tarde los resultados e
impactos obtenidos, se fijaran claramente los
resultados e impactos deseados y, en funcin
de ellos, se identificarn los recursos y
actuaciones que se necesitan

Posibles explicaciones
Corrupcin
Los incentivos de los donantes
La coordinacin de los donantes
La misma evaluacin de los efectos

La coordinacin de los donantes

La aproximacin impulsiva frente a la
aproximacin reflexiva.
Ejemplo: la nia con sarampin de Riga.
El ndice de fraccionalizacin de los donantes ha
crecido de manera muy rpida
Djankov, Montalvo and Reynal-Querol (2006)
muestran que la efectividad de la ayuda
aumenta cuanto menor es el nmero de
donantes por pas debido a la independencia de
objetivos y la posible competencia.

.2

.3

(mean) donfrag
.4
.5

.6

.7

ndice de fraccionalizacin de los

donantes

1960

1970

1980
year

1990

FRAG 1 i2
i 1

2000

(mean) ratusa/(mean) ratfrance/(mean) ratuk/(mean) ratjapan

0
.1
.2
.3
.4

Proporcin de la ayuda total

1960

1970
(mean) ratusa
(mean) ratuk

1980
year

1990
(mean) ratfrance
(mean) ratjapan

2000

La evaluacin de la ayuda
Las encuestas de opinin recientes muestran un
renovado inters de los ciudadanos por la ayuda al
desarrollo, en particular a frica.

En 1995 el 43% de los estadounidenses se mostraban

partidarios de reducir o eliminar la ayuda a frica. En la
actualidad ese porcentaje es solo el 12%. Por el contrario
un 33% deseara aumentarla (frente al 13% de 1995).

El renovado apoyo ciudadano a la ayuda al

desarrollo puede desaparecer si los organismos
encargados de la ayuda internacional no son
capaces de mostrar resultados positivos y crebles
de dichas intervenciones.

La evaluacin de la ayuda
Estos ciclos ya los hemos visto en el pasado en
la ayuda al desarrollo: primero, idealismo; luego
grandes esperanzas; luego resultados
decepcionantes; y por ltimo aproximacin
cnica.

Por qu no se evala
correctamente la ayuda?
Pritchett (2002): los promotores de las
intervenciones tienen inters en mostrar
que los programas tienen un gran
impacto. Si se hiciera una evaluacin
randomizada se revelara el verdadero
impacto, donde no existe garanta de que
sea positivo ni importante.

Por qu no se evala
correctamente la ayuda?
Dos teoras contrapuestas sobre la
utilidad de los experimentos:

la teora de los paracadas en la prevencin

de un grave trauma relacionado con el reto de
la gravedad.
Las medicinas y la seguridad alimenticia son
importantes para los polticos. La educacin y
la ayuda al desarrollo no se consideran tan
importantes. Por tanto la evaluacin correcta
no importa.

La teora del paracadas

La teora del paracadas aplicada a la
ayuda al desarrollo supone que:

las intervenciones y la ayuda al desarrollo no

tienen nunca efectos secundarios
indeseados.
los procedimientos alternativos son todos
igualmente eficientes o que no hay
restricciones presupuestarias.

Efectos secundarios
Maren (1997) seala que la lucha por el control de
la ayuda fue una de las causas del comienzo de la
conflicto de Somalia entre los seores de la guerra.
Rajan y Subramaniam (2005) sealan que la ayuda
al desarrollo reduce la competitividad
El aumento de la proporcin de ayuda sobre el PIB
reduce el nivel de democracia del pas.
Easterly (2006) cita un enorme listado de efectos
secundarios (White mans burden). Muchos son
bastante sofisticados y difciles de prever sin un
estudio piloto de tipo experimental

Efectos secundarios
Mary Anderson (1999), Do not harm: How aid
can support peace - or war.

Creemos que la ayuda internacional es positiva. El

mundo es un sitio mejor cuando se puede ayudar a la
gente que sufre... El reto para los profesionales de la
asistencia al desarrollo (en entornos conflictivos) ...
es encontrar como hacer el bien de manera que, sin
desearlo y sin darse cuenta, no reduzcan las
fortalezas locales, promuevan la dependencia y
permitan que los recursos puedan ser utilizados para
seguir con la guerra.

Son todos los programas

igualmente efectivos?
No. Ejemplos en el caso de la educacin:

un programa de eliminacin de los parsitos

intestinales en nios cuesta $3.5 dlares para
conseguir un ao adicional de asistencia a la escuela.
la provisin de uniformes y libros gratis cuesta $99
dlares por ao adicional de asistencia.
un programa de provisin de alimentos en las
escuelas cuesta $36 dlares por ao adicional
inducido de asistencia a la escuela.

Da lo mismo el mtodo de
evaluacin de la ayuda?
Glewwe, Kremer, Moulin y Zitzewitz
(2004): El efecto de los flip charts sobre
el aprendizaje de los alumnos (Kenia).
Dos tipos de evaluacin:

Con datos observacionales

Con datos experimentales

Qu es un Flip chart? Ayuda visual que

contiene una serie de cuadros (alrededor
de 12) unidos por un espiral.

Por qu usar Flip charts?

Los libros de texto son muy escasos en las escuelas de
la Kenia rural. Adems estn escritos en ingls (medio
de instruccin en el pas) y muchos estudiantes tienen
un dominio limitado de dicho idioma.
Los FC pueden promover el aprendizaje pues:

Todos los estudiantes recuerdan grficos y fotografas ms a

menudo que haber ledo palabras
Los estilos de aprendizaje varan mucho entre estudiantes:
aadir ayudas visuales aumenta el espectro de estudiantes a los
que se puede ensear efectivamente
Las clases y presentaciones se benefician de tener ayudas
visuales suplementarias

Flip charts: datos observacionales

100 colegios de un estudio sobre el efecto
de la provisin de libros de texto y becas
aleatoriamente en escuelas de Kenia.
Tambin se recogi informacin sobre
materiales docentes en las escuelas y,
entre ellos, la disponibilidad de flip charts
Se dispone de informacin sobre el
nmero de FC de ciencias, matemticas,
salud-negocios en cada escuela.

Flip charts: datos observacionales

Para poder comparar con la intervencin
experimental que se comentar posteriormente
(distribucin de 4 FC) el nmero de FC
disponibles en cada escuela se divide por 4
(bloques de FC comparables)
Resultados: los estudiantes que utilizaron los FC
aumentaron un 20% de una DE sus resultados
escolares (un 10% es como pasar del percentil
50 al percentil 54). Tabla.

Flip charts: datos observacionales

Si los resultados observacionales son correctos
entonces los FC son muy efectivos: el coste por
alumno de los cuatro FC (un set=$80) es solo el
10% del coste de los libros en las tres
asignaturas cubiertas por los FC (un libro de
texto en Kenia cuesta $3.3x3x80 estud.=$800)
pero su impacto es dos veces ms grande que
el efecto de proveer libros de texto.
Los FC seran, por tanto, 20 veces ms
efectivos en trminos de coste que los libros de
texto.

Flip charts: datos experimentales

La ONG International Christelijk
Steunfonds (ICS) proporcion los FC.
La intervencin consista en 4 FC: dos
sobre ciencias (agricultura y ciencia en
general), uno sobre salud, uno sobre
matemticas y un mapa del este de frica
para geografa.

Flip charts: datos experimentales

El diseo experimental consisti en la seleccin
de 178 escuelas en Busia y Teso (Kenia) por la
ONG ICS
Las escuelas elegidas tenan una media de
aprendizaje de los estudiantes similar a la media
del distrito en su conjunto
89 escuelas fueron asignadas al grupo de
control y otras 89 al grupo tratado despus de
ser ordenadas por orden alfabtico. De cada dos
escuelas consecutivas una se asignaba al grupo
tratado y otra al de control (sistemtico)

Flip charts: datos experimentales

Los resultados experimentales no
muestran ningn efecto significativo de los
flip charts:

Resultados agregados
Resultados por asignatura
Resultados por grupos de asignaturas

Qu funciona?
Usos de la ayuda al desarrollo muy
efectivos (en trminos coste-beneficio)

Medicinas para acabar con los parsitos

intestinales
Suplemento como el hierro y la vitamina A
Subsidios a los fertilizantes
Vacunacin de los nios
Provisin de agua potable

Qu funciona?
Las anteriores son intervenciones
modestas, frente a las grandes promesas
y el esquema utpico (hacerlo todo a la
vez), que tienen una enorme incidencia
sobre el bienestar de las familias pobres.

No es efectivo
Flip charts
Dar libros (solo beneficia a los estudiantes
en el segmento superior de la clase)
Incentivos econmicos para los
profesores (acaban enseando como
hacer tests)

Conclusiones
Ser capaces de arrebatarle a la poltica el
protagonismo en mbitos en los que no debera
tenerlo
Los programas pueden fallar y de eso tambin
se aprende. Tapar los fallos evitando la
evaluacin de resultados o utilizando
procedimiento no adecuados hace una mal
servicio a la comunidad cientfica y a la
cooperacin en general
La evaluacin experimental puede dar
resultados muy diferentes a los obtenidos por
procedimientos tradicionales

Conclusiones
La evaluacin experimental (randomizada)
es factible en la ayuda al desarrollo.
Precisa de recursos humanos y
econmicos pero no ms que la
recoleccin de otros datos para evaluar

Conclusiones
Normalmente la evaluacin experimental
supone un presupuesto millonario. La
evidencia sugiere que es posible otro
modelo basado en la evaluacin de
proyectos de ONGs y un anlisis
randomizado para determinar el orden de
las actuaciones. En todo caso el
presupuesto para la evaluacin debera
provenir de organismos internacionales
(bien pblico internacional)

Conclusiones
Agencias y ONGs deben experimentar y
buscar intervenciones que funcionan
verificndolo por medio de las mejores
tcnicas de evaluacin cientfica
disponibles y usando evaluadores
externos para evitar los intereses de los
gestores de los proyectos.
Para aprender es necesario tener
informacin.