UNIVERSIDAD NACIONAL DEL ALTIPLANO

FACULTAD DE CIENCIAS SOCIALES

EP. SOCIOLOGA

PRUEBA FINAL

CURSO: EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES

NOMBRES Y APELLIDOS:..FECHA..

1. El impacto promedio de un programa se reporta como la diferencia entre el indicador de resultado

promedio entre las observaciones tratadas y el promedio de las no tratadas.
a. Verdadero
b. Falso
c. Depende
d. No se puede contestar con la informacin provista

2. El error estndar en una comparacin simple de promedios refleja:

a. La variacin de las observaciones
b. La variacin del programa
c. El error
d. Ninguna de las anteriores
e. Todas las anteriores

3. El error estndar nos sirve para:

a. Construir intervalos de confianza
b. Determinar la magnitud del impacto
c. Saber la variabilidad de los efectos
d. Determinar si se cometieron errores en la estandarizacin
e. Todas las anteriores

4. Cul es el intervalo de confianza al 95% para un programa con un efecto de 20 puntos y un error
estndar de 5 puntos? Aproxime el factor de 1.96 a 2.
a. Es de 20
b. Es de 5*2=10
c. Es de [20-(5) , 20+(5)], es decir de [15, 25]
d. Es de [20-2*(5) , 20+2*(5)], es decir de [10, 30]
e. Es de [20-0.95*(5) , 20+0.95*(5), es decir de [15.25 , 24.75]

5. El impacto promedio de un programa se reporta como:

a. La suma del puntaje entre los que los reciben y los que no lo reciben
b. El puntaje de los que reciben el programa
c. La diferencia entre los puntajes antes y despus de que iniciara el programa
d. La diferencia entre los puntajes entre los que reciben el programa y los que no lo reciben
e. El puntaje despus de iniciar un programa
Contexto: Este ejercicio analiza el impacto de un programa de seguro de salud para los pobres. Uno de los
objetivos principales del programa es reducir la carga de costos relacionados con la salud para hogares pobres
en zonas rurales. Un piloto del programa ha sido ejecutado en un grupo de comunidades, y usted ha sido
asignado para llevar a cabo una evaluacin de los impactos del programa en los gastos directos en salud
(representados por la variable ophe, que proviene de la expresin en ingles de out of pocket expenditure)
por parte de los hogares. Para hacer el anlisis Ud. utilizar la base de datos evaluation.dta. La base incluye
datos de hogares que viven en comunidades de tratamiento, es decir comunidades en que el programa fue
ofrecido, y comunidades de control, o comunidades en que el programa no fue ofrecido. La variable treatcom
(que proviene de la combinacin de palabras treatment communities en ingls, que significa comunidades
tratadas) identifica las comunidades de tratamiento, con treatcom = 1 para las comunidades de tratamiento y
treatcom = 0 para las comunidades de control. Una descripcin ms detallada de los datos est incluida en el
apndice.

Para empezar:

1. Crear un documento para realizar su anlisis (.do file, o archivo do) y llamarlo solution.do.
2. Describir y explorar la base de datos para conocer las variables y su estructura.

Mientras vaya completando su ejercicio utilice la siguiente tabla: en la primera fila, ponga el impacto estimado.
En la segunda, ponga el t stat algo que se explicar ms adelante.

CASO CASO CASO CASO CASO CASO CASO

0 1 2 3 4 5 6

Diseo de
Antes y Diferencia de Variables Asignacin
Auto Seleccin Regresin Pareamiento
Despus Diferencias Instrumentales Aleatoria
Discontinua

Evaluacin de Impacto Caso 0: Comparacin antes y despus (Pre-Post)

Usted tiene a su disposicin una encuesta de lnea de base que fue recogida antes de que el programa de seguro
mdico se implementara (esto viene recogido en la variable round, que significa ronda) (round=0), y una
encuesta de seguimiento que se hizo 12 meses despus de que iniciara el programa (round= 1). Usted decide
que como primera aproximacin del impacto, usted estimar el cambio de los gastos de salud de los hogares
que participan en el programa. Para este caso, analice solamente las comunidades en las que el programa piloto
fue ofrecido (keep if treatcom = = 1).

1. Describa el nmero de observaciones, el promedio, la desviacin estndar y los intervalos de

confianza de las variables en la base de datos de la encuesta de lnea de base.
 2. Verifique si OPHE para los hogares que se inscriben en el programa (que viene recogido por la
variable takeup que significa aceptar, en este caso, aceptar el tratamiento o inscribirse)
(takeup=1) ha cambiado a travs del tiempo:

a. Comparando las medias

b. Usando el comando ttest

3. Ahora estime el cambio en OPHE con una regresin lineal de Mnimos Cuadrados Ordinarios (MCO),
usando el comando reg.

a. Sin agrupar los errores estndar

b. Agrupando los errores estndar a nivel de localidad con la opcin, cl(local) cl (local).
Observa alguna diferencia? Por qu?

4. Cul es el cambio medio en OPHE durante este perodo? Es este el impacto del programa?

Evaluacin de Impacto Caso 1: Tratamiento de autoseleccin

En este escenario, la inscripcin al programa de seguro mdico es voluntaria y todos los hogares en las
comunidades del piloto son elegibles para inscribirse. En su anlisis slo incluya los hogares que estn en las
comunidades del piloto (treatcom =1).

1. Para la lnea de base, compare los gastos promedio mensuales per cpita (ophe) y otras
caractersticas de los hogares (edad y educacin del jefe del hogar y del cnyuge; tamao del hogar;
tipo del suelo del hogar; etc) entre los hogares que se inscriben al programa (takeup =1) y los que
no se inscriben. En promedio, son los dos grupos de hogares similares en la lnea de base?

2. Su amigo sugiere que usted utilice anlisis de regresin para controlar cualquier diferencia que
exista entre los hogares inscritos al programa y los hogares no inscritos para aislar el efecto del
programa. Estime el impacto del programa en los gastos de salud de los hogares en el perodo de
tratamiento (round =1). Corra dos regresiones de Mnimos Cuadrados Ordinarios (MCO):

i. Sin variables de control

ii. Incluyendo las caractersticas del jefe de hogar y su cnyuge y otras caractersticas del hogar

3. Cul es el impacto estimado del programa en los gastos de salud de los beneficiarios?

4. Usted piensa que el coeficiente estimado de la regresin (i) o (ii) es el impacto verdadero del
programa? Por qu los impactos estimados cambian tanto entre los dos modelos?
Evaluacin de Impacto Caso 2: Diferencias en Diferencias (dif in dif)

No est muy satisfecho con su anlisis en el Caso 1. Pensndolo mejor se da cuenta de que ya que tiene datos
en dos periodos de tiempo para cada hogar de la muestra, puede usar esos datos para resolver algunas de las
limitaciones encontradas en el caso anterior. Por tanto ahora decide comparar el cambio (en el tiempo) del
gasto directo en salud de aquellos que se apuntaron al programa y aquellos que no. Incluya slo hogares en las
comunidades piloteadas (treatcom=1).

1. Genere una nueva variable que sea la diferencia del gasto directo en salud entre el periodo de lnea de
base (round=0) y la primera ronda de seguimiento (round=1). Llame a la nueva variable delta_ophe.
2. Estime el impacto del programa aplicando una diferencia simple, esto es, calculando la diferencia del
cambio del gasto en salud entre los hogares que se inscribieron al programa y aquellos que no lo hicieron
mediante el comando ttest.
3. Realice una regresin de Mnimos Cuadrados Ordinarios para estimar el efecto del programa usando la
especificacin de diferencias en diferencias. Haga la regresin utilizando como variable dependiente el
gasto en salud (ophe) y como regresores los hogares que participaron (takeup), ronda (round) y la
interaccin entre las dos. Estime las regresiones:
i. Sin controles
ii. Incluyendo controles
4. Cul es el efecto del programa en los gastos directos en salud?
5. Cmo mejora este mtodo las estimaciones que obtuvo en el Caso 1?, Existe todava algn posible
sesgo que le preocupe?

6. Resulta que en la base de datos evaluation_extended.dta contiene informacin de la variable de gastos

en salud para dos periodos de tiempo anteriores a la lnea de base (periodo -1 y -2). Cmo podra
utilizar esta nueva informacin?
7. Las variables ophe_med_t y ophe_med_c contienen los valores medios del gasto en salud del grupo de
tratamiento y de control, respectivamente. Dibuje un grfico donde pueda ver los valores medios de
dichas variables en cada una de las rondas. Qu se observa grficamente?
8. Cmo se le ocurrira hacer un test de consistencia?

Evaluacin de Impacto Caso 3: Diseo de Regresin Discontinua

Despus de investigar ms el programa de seguro de salud, usted descubri que las autoridades decidieron
dirigir el programa a los hogares ms pobres. Es decir, slo los hogares por debajo de la lnea de pobreza pueden
participar en el programa. La lnea de pobreza fue construida mediante una evaluacin de recursos econmicos
que asign un puntaje (score) entre 0 y 1500 a cada hogar. Un hogar con un puntaje igual o menos de 750 cuenta
como pobre y por eso fue elegible para participar en el programa de seguro de salud. Todos los hogares con
puntajes por encima de 750 fueron declarados no elegibles para el programa. La variable elegible identifica
los hogares que califican como pobre (elegible = 1) y los hogares que no califican as (elegible = 0). Solo debe
incluir los hogares dentro de las zonas de tratamiento en su anlisis (treatcom=1).

1. Estime el efecto de ser elegible para participar en el programa en gastos en salud en efectivo
utilizando una regresin MCO que incluye una variable binaria para definir elegibilidad y el ndice
de pobreza (score).
 2. Cree un grfico de los valores predichos de gastos en salud estimados en paso 1 contra el puntaje
de pobreza (Nota: se puede generar los valores predichos con el comando predict y crear el grfico
utilizando graph7).

3. Estime la regresin del paso 1 nuevamente, pero limite la ventana alrededor del ndice de pobreza
a 100 puntos en cada lado de 750. Cmo se pueden explicar los cambios que ocurren en los
resultados?

4. Estime la regresin utilizando diferentes lmites alrededor del punto de corte de 750. Qu ocurre
a medida que los intervalos son mayores? A qu se debe? Qu intervalos nos van a permitir
estimar el impacto de manera de ms precisa? Qu ventajas y limitaciones tiene?

Evaluacin de Impacto Caso 4: Variables Instrumentales

En el caso anterior, analiz el impacto de ser elegible para el programa comparando la poblacin elegible dentro
de las comunidades de tratamiento. Sin embargo, lo que Ud. realmente quiere estimar es el impacto del
programa en los participantes. Descubre que no toda la poblacin elegible particip en el programa de seguro
de salud. Es decir, algunos hogares por debajo de la lnea de pobreza no participaron. Se puede aprovechar esta
caracterstica del programa para estimar el impacto del programa mediante variables instrumentales.

Participar en el programa de salud es una decisin que cada individuo toma en funcin de ciertas caractersticas
personales. Estas caractersticas personales, que hacen que el individuo decida apuntarse al programa de salud,
tambin pueden determinar el nivel de gasto que el individuo tiene. Si esto es as, mediante la comparacin de
los que toman el programa y los que no, no vamos a poder determinar el impacto del programa, pues ser ver
afectado por variables personales que no tienen que ver con el programa. Para determinar el impacto, hay que
corregir por la seleccin endgena al tratamiento utilizando un instrumento vlido. Un instrumento vlido es
una variable exgena que afecta la probabilidad de ser beneficiario de un programa, pero no tiene ningn efecto
directo en la variable dependiente. En este caso, treatcom puede servir como un instrumento si pensamos que
treatcom fue asignado aleatoriamente. En este escenario treatcom determina elegibilidad para participar en el
programa (junto con el puntaje de pobreza score), pero no debe tener ningn efecto adicional en los gastos en
salud pagados por los hogares.

Para usar el mtodo de variables instrumentales con treatcom como instrumento, haga lo que sigue:

1. Estime una regresin de mnimos cuadrados en dos etapas two stage least squares (comando
ivreg en Stata) del efecto del programa en gastos en salud para los hogares por debajo de la lnea
de pobreza, utilizando treatcom como su instrumento. Estimar el modelo:

a. Sin otras variables de control

b. Incluyendo otras caractersticas del jefe del hogar y cnyuge.
c. Incluyendo caractersticas de la lnea de base

2. Cmo interpretara Ud. este nuevo coeficiente estimado?

Evaluacin de Impacto Caso 5: Pareamiento (Matching)

Queriendo mejorar sus estimaciones anteriores usted decide utilizar tcnicas de pareamiento para comparar
hogares que participan en el programa y que no participan en el programa, y que parecen similares dadas ciertas
caractersticas observables. Incluya solamente en su anlisis los hogares que estn en las comunidades piloto
(treatcom =1).

1. Estime la probabilidad de participar en el programa (pscore) dadas las covariables observables de

los hogares que participan y de los que no participan (utilice una regresin probit y despes
predict).

2. Trace las distribuciones de las probabilidades de participar en el programa (pscores) con el

comando kdensity para los hogares participantes y no participantes, y despus trasponga los
diagramas con el comando twoway. Le parece que existe una regin de soporte comn?

3. Qu nos dice el resultado del mtodo de pareamiento sobre el efecto del programa en gastos de
salud?

4. Hay desviaciones potenciales que an le preocupen?

Evaluacin de Impacto Caso 6: Aleatorizacin

Resulta ser que cuando las comunidades estaban siendo seleccionadas para ser incluidas en el piloto de seguro
de salud, haba muchas ms comunidades elegibles de las que podran ser cubiertas con el presupuesto
disponible. Por tal motivo, las autoridades provinciales decidieron hacer una lotera para seleccionar a las
comunidades que participaran en el esquema del seguro en el ao 1, as daban a todas las comunidades una
oportunidad justa de comenzar en el primer programa. Sus datos contienen informacin sobre las comunidades
seleccionadas al azar para la participacin en el ao 1, como de las comunidades que se incorporaran al
programa en aos subsecuentes. La variable treatcom indica las comunidades de tratamiento (treatcom = 1)
y las comunidades de no-tratamiento o de control (treatcom = 0). Para este caso, utilice ambas comunidades,
las de tratamiento y las de control, en su anlisis. La muestra se estructura de la siguiente forma:

Comunidades Tratamiento Comunidades Control

Elegibles 4,670 2,727

No elegibles 3,105 2,334

1. Compare gastos en salud en la lnea de base y otras covariables entre los hogares elegibles en el
tratamiento y las comunidades en el grupo de control. La muestra est balanceada en trminos de
variables observables? Es esto lo qu usted esperara, por qu s o por qu no?
 ALTO

RESPUESTAS EN LA PRXIMA PGINA

Respuestas

1. a
2. a
3. a
4. d
5. d
#delimit;
*=====================================================*
PROGRAMACION ESTADISTICA EN EVALUACION DE IMPACTO

ENERO 2012
*=====================================================*
(Solucion desarrollada por Paloma Acevedo, Yyannu Cruz Aguayo y Conner Mullaly, si tiene
preguntas y comentarios puede escribir a palomaa@iadb.org);

clear;
cap log close;
set more off;
set mem 20m;
set matsize 200;
program drop _all;

*=========================*;
gl data = "C:\Users\wb331358\Desktop\Chile_Jan2012\STATA\STATA_Chile";
gl logs = "C:\Users\wb331358\Desktop\Chile_Jan2012\STATA\STATA_Chile";
*========================*;

log using "$logs\solution_log.txt", replace t;

*============================*
Macros
*============================*;
global variables1 ophe age_hh educ_hh age_sp educ_sp ethnicity_hh female_hh
hhsize_basal dirtfloor_basal bathroom_basal landhectars_basal min_dist;
global controls1 age_hh educ_hh age_sp educ_sp ethnicity_hh female_hh;
global controls2 hhsize_basal dirtfloor_basal bathroom_basal landhectars_basal
min_dist;

*============================*
SOLUCION PROGRAMA
*============================*;
use "$data\evaluation.dta";

*============================*
CASE 0: ANTES Y DESPUES
*============================*;
*1;
keep if treatcom==1;

sum if round==0;

*2;
*Hay tres maneras de estimar la diferencia en medias: (a) calculando las medias y
comparandolas, (b) haciendo un ttest, (c) mediante una regresion lineal;

sum ophe if takeup==1 & round==0;

sum ophe if takeup==1 & round==1;
*. display 58.3121- 52.29373=6.01837;

ttest ophe if takeup==1, by (round);

*3;
 reg ophe round if takeup==1;

reg ophe round if takeup==1, cl (local);

*================================*
CASO 1: AUTOSELECCIONADOS
*================================*;

*1;
ttest ophe if round==0, by(takeup);
ttest age_hh if round==0, by(takeup);
ttest educ_hh if round==0, by(takeup);

*o... comparandolos todos de una vez;

foreach x of global variables1

{;
describe `x';
ttest `x' if round==0, by(takeup);
reg `x' takeup if round==0;
};
*2;

*i;
reg ophe takeup if round==1;

*ii;
reg ophe takeup $controls1 if round==1;

*3;

*4;

*==================================*
CASO 2: DIFERENCIAS EN DIFERENCIAS
*==================================*;
*1;
sort hhid round;
gen delta_ophe= ophe-ophe[_n-1] if hhid==hhid[_n-1];

*2;
ttest delta_ophe if round==1, by (takeup);

*3;

gen takeup_round = takeup*round;

*i;
reg delta_ophe takeup if round==1, cl(local);

reg ophe takeup round takeup_round, cl (local);

*ii;

reg ophe takeup round takeup_round $controls1, cl (local);

reg ophe takeup round takeup_round $controls1 $controls2, cl (local);

*4;
*5;

*6 Chequeos de consistencia;

preserve;

use "$data\evaluation_extended.dta", clear;

keep if treatcom==1;

*twoway scatter ophe_med_t ophe_med_c round if round>=0;

*twoway scatter ophe_med_t ophe_med_c round if round>=-1;
twoway scatter ophe_med_t ophe_med_c round;

*i;
sort hhid round;
gen delta_ophe= ophe-ophe[_n-1] if hhid==hhid[_n-1];

reg delta_ophe takeup if round==1, cl(local);

reg delta_ophe takeup if round==1;

ttest delta_ophe if round==1, by (takeup);

ttest delta_ophe if round==0, by (takeup);
ttest delta_ophe if round==-1, by (takeup);
restore;

*================================*
CASE 3: REGRESION DISCONTINUA
*================================*;

*use "$data\evaluation.dta", clear;

*keep if treatcom ==1;
*br score eligible;

*1;
reg ophe eligible score if round==1;

*2;
*Plotting the predicted ophe against the score at baseline;
reg ophe score if round==0;
predict ophe_pred1;
graph7 ophe_pred1 score if round==0;

*Plotting the predicted values of ophe after the program;

reg ophe eligible score if round==1;
predict ophe_pred2;
graph7 ophe_pred2 score if round==1;

*3;
reg ophe eligible if round==1;
reg ophe eligible if round==1 & score>=500 & score <=1000;

*4;
reg ophe eligible if round==1 & score>=600 & score <=900;
reg ophe eligible if round==1 & score>=700 & score <=800;
reg ophe eligible if round==1 & score>=725 & score <=775;

reg ophe eligible $controls1 $controls2 if round==1 & score>=725 & score <=775;
*======================================*
CASE 4: VARIABLES INSTRUMENTALES
*======================================*;
use "$data\evaluation.dta", clear;

*1;
*i;
ivreg ophe (takeup = treatcom) if round ==1 & eligible ==1;

*ii;
ivreg ophe (takeup = treatcom) $controls1 if round ==1 & eligible ==1;

*iii;
ivreg ophe (takeup = treatcom) $controls1 $controls2 if round ==1 & eligible ==1;

*================================*
CASE 5: MATCHING
*================================*;
use "$data\evaluation.dta", clear;

keep if round ==1 & treatcom ==1;

*1. Probability of participating;

logit takeup $controls1;

predict pscore;

kdensity pscore if takeup ==1, gen(take1 den1);

kdensity pscore if takeup ==0, gen(take0 den0);
twoway (line den0 take0) (line den1 take1);

*2. Generate quintiles;

xtile prob_tile = pscore, nq(5);

*3. Average comparison;

foreach x of varlist age_hh educ_hh age_sp educ_sp ethnicity_hh female_hh

{;
foreach y of numlist 1/5
{;
ttest `x' if prob_tile ==`y', by(takeup);
};
};

*4. OLS in the balanced quintiles;

*(i) Without controls;

reg ophe takeup if prob_tile >=2 & prob_tile <=4;

 *(ii) Including pscore as a control;

reg ophe takeup pscore if prob_tile >=2 & prob_tile <=4;

*5. Use psmatch2 command

* (i) let it calculate propensity score using controls;

psmatch2 takeup $controls1 $controls2, out(ophe);

* (i) use already obtained propensity score, without imposing common support;

psmatch2 takeup, out(ophe) pscore (pscore);

* (i) use already obtained propensity score, imposing common support;

psmatch2 takeup, out(ophe) pscore (pscore) com;

* (i) use already obtained propensity score, imposing common support, kernel;

psmatch2 takeup, out(ophe) pscore (pscore) kernel com;

*5. age2, age3, educ2, educ3, hhsize2, hhsize3;

*================================*
CASE 6: ALEATORIZACION
*================================*;
use "$data\evaluation.dta", clear;

tab eligible treatcom if round==0;

*1;
foreach x of global variables1
{;
describe `x';
ttest `x' if round==0 & eligible, by(treatcom);
};

*2;
ttest ophe if round==1 & eligible==1, by (treatcom);

*3;
*i;
reg ophe treatcom if round==1 & eligible==1;

*ii;
reg ophe treatcom $controls1 if round==1 & eligible==1;

*iii;
reg ophe treatcom $controls1 $controls2 if round==1 & eligible==1;
Apndice de Datos

1. La base de datos para el anlisis (en formato STATA) es evaluation.dta

2. Variable de resultado:
a. ophe = gastos directos en salud (per cpita mensuales)
3. Variables de Control (covariables):
a. Caractersticas del jefe del hogar y su cnyuge:
i. age_hh = edad del jefe (aos)
ii. age_sp = edad del cnyuge (aos)
iii. educ_hh = educacin del jefe (aos completos de educacin)
iv. educ_sp = educacin del cnyuge (aos completos de educacin)
v. ethnicity_hh = 1 si el jefe habla una lengua indgena
vi. female_hh = 1 si el jefe es mujer
b. Caractersticas en lnea de base
i. hhsize_basal = tamao del hogar en lnea de base
ii. dirtfloor_basal = hogar con piso de tierra en lnea de base = 1
iii. bathroom_basal = hogar con cuarto de bao privado en lnea de base = 1
iv. landhectars_basal = nmero de hectreas de tierra en lnea de base
v. min_dist = distancia entre la comunidad y el hospital ms cercano.
4. Otras variables:
a. local = identificador de localidad
b. hhid = identificador nico del hogar
c. round = periodo de la encuesta (0= lnea de base; 1 = periodo 1)
d. takeup = hogar que particip en el programa = 1
e. eligible = hogar elegible para participar en el programa = 1
f. treatcom = comunidad en grupo de tratamiento = 1
g. score = ndice de pobreza (eligible <=750)