Evaluacin de Impacto del Programa de Crecimiento, Desarrollo y

Cuidado del Nio para la Regin Caribe y San Andrs, Colombia.

INTRODUCCIN

En la actualidad, uno de los principales objetivos de los gobiernos es llevar a cabo
la planificacin, diseo y ejecucin de polticas pblicas encaminadas a mejorar el
bienestar y la calidad de vida de la poblacin en general. Sin embargo, no en
todos los casos son suficientes las buenas intenciones de quienes tienen esta
responsabilidad. Es por esta razn que en los ltimos aos ha cobrado
importancia el uso de tcnicas cuantitativas para medir el impacto de los
programas sociales sobre la poblacin en la cual se focalizan.

En el mbito internacional se han desarrollado mltiples estudios en materia de
evaluacin de impacto de programas pblicos. Para ello, se utilizan sofisticadas
tcnicas economtricas con muestras no aleatorias. En este sentido, se puede
destacar el trabajo realizado por White (2009), en donde se describe el Programa
Integrado de Nutricin de Bangladesh. En dicho estudio, el autor enfatiza en la
necesidad de producir un gran volumen de literatura en este campo. Adems, se
plantea que la teora basada en la evaluacin de impacto puede arrojar luz acerca
de la pertinencia de las intervenciones. En el contexto latinoamericano sobresale
el estudio desarrollado por Andrade et al. (2012), en el cual se investiga el impacto
del Programa Bolsa Familia en Brasil y sus regiones. Sin embargo, en Colombia la
literatura existente en esta materia es escasa. Aun as, se encuentran a
disposicin estudios como el de Bernal et al. (2009), en el cual se efecta la
evaluacin de impacto del Programa Hogares Comunitarios de Bienestar del ICBF.

Esta investigacin tiene como objetivo evaluar el impacto del Programa de
Crecimiento, Desarrollo y Cuidado del Nio (en adelante, PCDCN) en la Regin
Caribe y San Andrs, sobre variables como el estado nutricional, indicadores
antropomtricos y salud de los nios tratados en el programa. El PCDCN est
dirigido a la poblacin infantil entre cero y diez aos de edad, afiliados a los
regmenes contributivo y subsidiado. Segn el Ministerio de Salud (2000): El
programa busca promover un conjunto de actividades, procedimientos e
intervenciones dirigidas a esta poblacin, mediante las cuales se garanticen su
atencin peridica y sistemtica, con el propsito de detectar oportunamente la
enfermedad, facilitar su diagnstico y tratamiento, reducir la duracin de la
enfermedad, evitar secuelas, disminuir la incapacidad y prevenir la muerte.

Con el fin de determinar el impacto del PCDCN en la Regin Caribe y San Andrs,
se emplea la metodologa conocida como Propensity Score Matching (en adelante,
PSM), introducida por primera vez por Rosenbaum y Rubin (1983).


REVISIN DE LA LITERATURA

La implementacin de programas sociales se ha convertido en un tema de gran
inters para los diseadores de polticas pblicas, especialmente en los pases en
va de desarrollo. Baker (2000) seala que en estos pases los programas en el
mbito social son de suma importancia por los montos de recursos invertidos y el
tamao de la poblacin beneficiada, sin olvidar la necesidad perenne de garantizar
el uso eficiente de los recursos escasos. Sin embargo, cabe aclarar que en
muchos casos la asignacin presupuestal a los proyectos pblicos est
condicionada a los resultados que devienen de su ejecucin. Segn Bernal y Pea
(2011), en un esquema de presupuesto por resultados, las evaluaciones inciden
sobre la asignacin de recursos. En trminos generales, las evaluaciones hacen
que se asignen ms recursos a los buenos programas y que se eliminen o corrijan
los malos proyectos. De esta manera, las evaluaciones pueden aumentar la
eficiencia del Estado o de la cooperacin internacional (Cardozo, 1990).

En el contexto regional no existen antecedentes de estudio de evaluacin de
impacto de programas sociales. Vale anotar tambin que el PCDCN no ha sido
evaluado en la Regin Caribe y San Andrs a travs de una metodologa robusta
en trminos economtricos. Es por ello que esta investigacin se constituye en un
aporte a la toma de decisiones por parte de la entidad encargada del manejo del
programa.

En el mbito internacional, encontramos programas sociales de Transferencias
Monetarias Condicionadas (TMC) que dan a las madres transferencias si sus
nios se mantienen al da con las vacunas y visitas de salud preventiva. En este
sentido, se pueden destacar el programa Mexicano Oportunidades, Bolsa Familia
en Brasil (Aguiar y Araujo, 2002; Godoy, 2004), Head Start en Estados Unidos y
Fomento a travs de Salud y Educacin en Jamaica. Para Colombia encontramos
Familias en Accin.


Rivera et al. (2004), Behrman y Hoddinott (2005) y Gertler (2004) encuentran que
el programa mexicano Oportunidades tiene un efecto positivo sobre la talla de los
nios. Por su parte, Morris et al. (2004) sostienen que el programa brasileo Bolsa
Familia mejora el estado nutricional de los nios participantes. Garcs, Thomas y
Currie (2002) encuentran que el programa Head Start en Estados Unidos tiene un
impacto positivo sobre el logro educativo de los menores.

Estudios como el de Gaviria (2006) evalan dos programas pblicos de bienestar
infantil en Colombia: Hogares Comunitarios de Bienestar (HCB) y Rgimen
Subsidiado en Salud (RSS). En dicho trabajo, el autor encuentra que la
participacin en estos programas sociales no parece estar asociada con un
mejoramiento en los indicadores antropomtricos. De otro lado, Bernal et al.
(2009) encuentran que el programa HCB tiene un efecto positivo en los tratados
sobre su estado nutricional. En este orden de ideas, Martorell et al. (1995) y
Maluccio et al. (2006) encuentran que programas que brindan suplemento
nutricional a los nios tienen efectos sobre el estado nutricional de los tratados de
corto y largo plazo.

Lindquist (2001) encuentra que el desarrollo de evaluaciones de impacto puede
afectar los regmenes de poltica al ver la necesidad de modificar o redisear
programas existentes cuando se encuentra suficiente evidencia para hacerlo. De
otro lado, Weiss (1999) afirma que mediante este tipo de evaluaciones se puede:
1) ayudar a decidir a un gobierno si continuar o interrumpir determinadas
iniciativas de poltica, 2) ampliar e institucionalizar programas y polticas exitosas y
reducir las no exitosas, y 3) determinar en qu programas se requieren
modificaciones o los componentes del programa que pueden cambiarse. Segn el
Departamento Nacional de Planeacin (2010), una evaluacin es efectiva cuando
tiene un impacto directo en el mejoramiento de la poltica pblica evaluada. Se
pretende entonces hacer recomendaciones que conduzcan a la ampliacin,
modificacin o rediseo del PCDCN, de acuerdo a los resultados que se obtengan
en el presente trabajo.

Al referirse a la evaluacin de polticas pblicas, la teora econmica puede
distinguir dos tipos de estudios: uno explicativo o descriptivo y otro formal o
cuantitativo (que se conoce en la literatura como evaluacin de impacto). Ambos
pueden ser instrumentos tiles para desnudar la realidad de los programas
sociales ante los gobiernos. Empero, el uso de metodologas economtricas
sofisticadas y de formas computacionales complejas para efectuar evaluaciones
de impacto es relativamente nuevo. En la mayora de los casos, los estudios de
este tipo arrojan resultados diferentes de los obtenidos en los trabajos
descriptivos. Fueron Roy (1951) y Rubin (1974) los precursores de este tipo de
estudios. Estos plantearon la formalizacin del problema de evaluacin de impacto
a travs del modelo de resultado potencial. Posteriormente, Rosenbaum y Rubin
(1983), basados en este modelo implementaron la tcnica PSM en estudios no
experimentales. Esta clase de estudios se pueden realizar cuando es posible
contar con poblaciones sujetas a la poltica que se pretende evaluar (tratados) y
otras, susceptibles de ser tratadas, pero a las que no se ha aplicado la poltica
(controles).

Cabe resaltar que en la actualidad existen metodologas no experimentales,
alternativas a PSM, que tambin permiten llevar a cabo evaluaciones de impacto
de forma rigurosa. Entre estas tcnicas se pueden mencionar los mtodos de
variables instrumentales, regresin discontinua, duracin de la exposicin al
tratamiento, as como tambin la estimacin de modelos estructurales y de
funciones de control.

Esta investigacin utiliza un enfoque cuantitativo, basado en el mtodo de
emparejamiento, para realizar la evaluacin de impacto del PCDCN en la Regin
Caribe y San Andrs.

METODOLOGA

Para estimar el impacto del PCDCN en la Regin Caribe y San Andrs se obtiene
una serie de datos a travs de la Encuesta Nacional de Demografa y Salud de
2010. Esta encuesta contiene informacin acerca de diferentes variables para una
cantidad determinada de nios pertenecientes al programa en cuestin.

El marco terico estndar para formalizar el problema de la evaluacin de impacto
se basa en el modelo de resultado potencial o modelo Roy-Rubin (Roy (1951) y
Rubin (1974)). Formalmente, se define el indicador del tratamiento como

. En el
evento en el que el individuo participe en el programa,

, en caso contrario,

. Las variables de resultado se definen como para cada individuo

N donde N denota la poblacin total. Es decir, es la variable de
resultado si el individuo participa en el programa y es la variable de
resultado si el individuo no participa. El efecto o impacto del programa para un
individuo se puede expresar como:

[1]

Debido a que uno de los resultados de la ecuacin [1] no es observable para cada
individuo , no es posible estimar el efecto individual del programa

. El anlisis se
debe centrar entonces en el impacto promedio del programa (ATE
1
) en la
poblacin o en subconjuntos de la poblacin, el cual se puede estimar como sigue:

[2]

donde denota el operador de expectativas.

El efecto

se interpreta como el cambio promedio en la variable de resultado

cuando un individuo escogido al azar pasa aleatoriamente de ser participante a ser
no participante. Este parmetro es relevante en el caso de la evaluacin de un
programa universal. Sin embargo, debido a que el PCDCN est focalizado en la
poblacin infantil, es posible utilizar un estimador que slo promedie el efecto
sobre la poblacin elegible.

Por un lado, se puede utilizar el impacto promedio del programa sobre los tratados
(ATT
2
), que es, por lo general, el parmetro de mayor inters en una evaluacin
de impacto. Este estimador se calcula de la siguiente manera:

[3]

donde

es el valor esperado de la variable de resultado en el grupo

de tratamiento en presencia del programa y

, que se conoce como

el resultado contrafactual, es el valor esperado de la variable de resultado en el
grupo de tratamiento en ausencia del programa. Es evidente que el promedio
contrafactual es un resultado hipottico, por lo cual no est registrado en los datos.



1
Average Treatment Effect.

2
Average Treatment on the Treated

Por otro lado, se puede estimar el impacto promedio del programa sobre los no
tratados (ATU
3
). Este parmetro se puede calcular as:

[4]

donde

es el resultado contrafactual y corresponde al promedio de

la variable de resultado de los no participantes si hubieran participado en el
programa.

es la media de la variable de resultado que

efectivamente tuvieron los no participantes al no haber sido parte del programa.

En ambos estimadores,

, se requiere una aproximacin adecuada del

resultado contrafactual dado que es hipottico y no se encuentra registrado en los
datos. Para ello, se identifica un grupo de control o grupo de comparacin, el cual
est conformado por individuos no participantes en el programa, pero elegibles
para hacer parte de ste. Sin embargo, esta comparacin podra generar
estimaciones inexactas del impacto del programa, dado que los participantes y los
no participantes generalmente son diferentes, aun si el programa no existiera. Por
este motivo, se observa que algunos individuos escogen participar en el programa
y otros no, aun si todos son elegibles para recibir el tratamiento. Es decir, existen
caractersticas (observadas y/o no observadas) que influyen en la participacin en
el programa. Este problema se conoce como sesgo de seleccin. Formalmente, el
sesgo de seleccin se define como:

[5]

Siguiendo a Rosenbaum y Rubin (1983), esta investigacin utiliza la metodologa
conocida como Propensity Score Matching (tambin denominada Mtodo de
emparejamiento) para determinar el impacto del PCDCN. La estimacin de
impacto a travs de PSM permite corregir el sesgo de seleccin bajo el supuesto

3
AverageTreatment on the Untreated
de que ste se da nicamente en variables observables (que se llamar ) que no
estn determinadas por el programa.
Formalmente, si la seleccin en el programa se basa nicamente en
caractersticas observables, se establece que:

[6]

y se conoce como condicin de independencia condicional (IC).

El supuesto anterior nos permite asegurar que al condicionar en las variables
observables ,

y, por tanto, que el sesgo de

seleccin es igual a cero. De esta manera, calcular el impacto del programa
utilizando la ecuacin [3], condicionando en las variables observadas, genera una
estimacin insesgada del efecto verdadero del programa.

La metodologa PSM consiste en encontrar un clon
4
en el grupo de control de
cada individuo participante en el programa y contrastar las variables de resultado
de ambos. Para tal efecto, se trata de ponderar las observaciones del grupo de
control para que la distribucin de caractersticas observables sea lo ms
parecida posible a la del grupo de tratamiento. Sin embargo, cuando el vector de
variables observables es grande, esta comparacin resulta compleja. Por esta
razn, es posible emparejar individuos con base en su probabilidad estimada de
participacin en el programa, dadas sus caractersticas observables , donde
. Rosenbaum y Rubin (1983) mostraron que si emparejar con
base en el vector genera estimadores consistentes, entonces emparejar con
base en tambin producir estimadores consistentes del efecto del
programa.

Un clon adecuado para cada individuo del grupo de tratamiento ser aquel del

4
Entindase por clon un individuo o grupo de individuos con exactamente las mismas
caractersticas observables o cualquier variable que sea pertinente para el programa bajo
estudio.
grupo de control con una probabilidad de participacin en el programa
suficientemente cercana. Esto implica que el mtodo de emparejamiento slo se
puede calcular en la regin de Soporte Comn (SC) para asegurar que los grupos
de tratamiento y control sean muy parecidos. Es decir, en la estimacin slo se
utilizan individuos del grupo de control que tengan probabilidades de participacin
similares a las del grupo de tratamiento.
El incumplimiento de la condicin de SC es preocupante cuando hay una fraccin
importante de individuos tratados para los cuales no existe un individuo de control
similar. En estos casos, no se podr afirmar nada sobre el efecto del programa.

Por ltimo, si se cumplen los supuestos de IC y SC, el estimador del impacto del
programa (ATT) por PSM viene dado por:

[7]

donde

es el valor esperado con respecto a la probabilidad de

participacin condicional en ser participante del programa. Es decir, el
estimador PSM es la diferencia media en las variables de resultado entre el grupo
de tratamiento y el grupo de control en el soporte comn. Esta diferencia media
se pondera a travs de la distribucin de la probabilidad de participacin en el
programa de los individuos tratados.

BIBLIOGRAFA

Andrade, M., Chein, F., Rodrigues de Souza, L. y Puig-Junoy, J.,2012, Income
transfer policies and the impacts on the immunization of children: the Bolsa Famlia
Program. Cad. Sade Pblica, Rio de Janeiro, 28(7):1347-1358, julio de 2012.

Baker, J., 2000, Evaluacin del Impacto de los Proyectos de Desarrollo en la
Pobreza Manual para Profesionales. Washington, D. C., Banco Mundial.

Behrman, J.R. y J. Hoddinott (2005): Program Evaluation with Unobserved
Heterogeneity and Selective Implementation: The Mexican PROGRESA Impact on
Child Nutrition Oxford Bulletin of Economics and Statistics, Volume 67.

Bernal, R., C. Fernndez., C. E. Flrez., A. Gaviria, P. R. Ocampo, B. Samper y F.
Snchez., 2009, Evaluacin de impacto del Programa Hogares Comunitarios de
Bienestar del ICBF, Documento CEDE, N
0
. 16, julio. Bogot, Universidad de los
Andes.

Bernal, R. y Pea, X., 2011, Gua Prctica para la Evaluacin de Impacto,
Universidad de los Andes, Facultad de Economa. Centro de Estudios sobre
Desarrollo Econmico; Ediciones Uniandes. Bogot.

Cardozo, Myriam. "Caracterizacin de las Tcnicas de Evaluacin de las Acciones
de Organizacin Publicas". En Administracin Pblica, Economa y Finanzas,
Mxico, 1990

Currie, J., Thomas, D., (1995) Does Head Start Make a Difference American
Economic Review, 85.

Currie, J., Thomas, D., (1999) Does Head Start Help Hispanic Children Journal of
Public Economics, 74.

Departamento Nacional de Planeacin., 2010, 15 Aos del Sistema Nacional de
Evaluacin de Gestin y Resultados-Sinergia: Una Mirada desde las Evaluaciones
de Polticas Pblicas ms Relevantes. Bogot.

Gaviria, A. y Palau M., M, (2006) Nutricin y salud infantil en Colombia:
determinantes y alternativas de poltica Coyuntura Econmica volumen XXXVI,
No. 2, segundo semestre de 2006, pp. 33-63. Fedesarrollo, Bogot - Colombia.

Garces, E., Thomas, D., Currie, J. (2002) Longer Term Effects of Head Start
American Economic Review, 92.

Gertler, p. (2004) Do Conditional Cash Transfers Improve Child Health? Evidence
from PROGRESAs Control Randomized Experiment, The American Economic
Review Papers and Proceedings, Vol. 94.

Lindquist, E. (2001). Discerning policy influence: Framework for a strategic
evaluation of idrc-supported research School of Public Administration, University
of Victoria.

Maluccio, J., Hoddinott, J., Behrman, J., Martorell, R., Quisumbing, A., y Stein, A.
(2006) The Impact of Nutrition during Early Childhood on Education among
Guatemalan Adults, PIER Working Paper 06-026.

Martorell, R., Schroeder, D.G., Rivera, J.A., y Kaplowitz, H.J. (1995) Patterns of
linear growth in rural Guatemalan adolescents and children Journal of Nutrition.

Ministerio de Salud., Norma Tcnica para la Detencin Temprana de las
Alteraciones del Crecimiento y Desarrollo en el Menor de 10 Aos., 2000. Pg 6.

Morris, S., Olinto, P., Flores, R., Nilson, E. y Figueiro, A. (2004) Conditional Cash
Transfers Are Associated with a Small Reduction in the Rate of Weight Gain of
Preschool Children in Northeast Brazil, Journal of Nutrition.

Rivera, J., Sotres-Alvarez, D., Habicht, J.P., Shamah, T. y Villalpando, S. (2004)
Impact of the Mexican Program for Education, Health, and Nutrition (PROGRESA)
on Rates of Growth and Anemia in Infants and Young Children, Journal of the
American Medical Association.

Roy, A.,1951, Some Thoughts on the Distribution of Earnings, Oxford Economic
Paper.

Rosenbaum, P. y D. Rubin, 1983, The Central Role of the Propensity Score in
Observacional Studies for Causal Effect, Biometrika.

Rubin, D., 1974, Estimating Casual Effect to Treatments in Randomised and
Nonradomised Studies, Journal of Educacional Psychology.

Weiss, C. (1999). The interface between evaluation and public policy, Evaluation.

White, H., 2009, Theory-Based Impact Evaluation: Principles and Practice,
Working Paper N
0.
3,Internacional Initiative for Impact Evaluation, junio.