Diapositiva 46

Qu medir

Cmo medir

3. Observar y escuchar

46

Diapositiva 47
Qu medir

Cmo medir

Entrevistas
semi-estructuradas
Qu es:
El entrevistador lleva una pauta o gua con los
temas a cubrir, los trminos a usar y el orden de las
preguntas.
Frecuentemente, los trminos usados y el orden de
los temas cambian en el curso de la entrevista, y
surgen nuevas preguntas en funcin de lo que dice
en entrevistado.
A diferencia de los cuestionarios, se basan en
preguntas abiertas, aportando flexibilidad
47

Tambin existen las entrevistas no estructuradas, donde el entrevistador tiene una idea
general acerca del tema de conversacin, pero la conversacin se desarrolla ms
espontneamente dentro de ese tema. Puede ser completamente informal.
Los cuestionarios de encuesta se pueden clasificar como entrevistas completamente
estructuradas, donde tanto las preguntas como las respuestas son fijas.

Diapositiva 48

Qu medir

Cmo medir

Entrevistas
semi-estructuradas
Ventajas de la entrevista abierta frente al cuestionario
con preguntas cerradas:
Permiten ms profundidad y aclarar cualquier
malentendido
Permite ver hasta dnde llega el conocimiento del
entrevistado
Facilitan la cooperacin y la empata
Permiten evaluar mejor qu piensa realmente el
entrevistado

Pueden producir respuestas no esperadas

48

Diapositiva 49
Qu medir

Cmo medir

Entrevistas
semi-estructuradas
La tarea del entrevistador es intentar que los
entrevistados hablen libre y abiertamente.
Para ello:
Escucha ms de lo que hables: la entrevista no es un
espacio para que el entrevistador cuente sus
experiencias u opiniones
Formula tus preguntas de forma directa, clara y no
amenazante
Evita direccionar las respuestas
49

Diapositiva 50

Qu medir

Cmo medir

Grupos de discusin
Qu es:
Similar a una entrevista semi-estructurada, pero
con varios participantes

El entrevistador pasa a ser un moderador: su papel

es que la conversacin se mantenga dentro del
tema de inters y cubra los subtemas deseados

50

Diapositiva 51

Qu medir

Cmo medir

Grupos de discusin
Ventajas:
La interaccin grupal puede aportar incentivos y generar
informacin que no obtendramos en entrevistas
personales.
Puede ser til para temas poco interesantes
(investigacin de mercados) y tambin para temas
sensibles o tab.
Es un mtodo eficiente para obtener informacin
cualitativa

51

Diapositiva 52

Qu medir

Cmo medir

Observacin directa
Qu es:
En ocasiones puede ser til observar directamente el
comportamiento de inters en el momento mismo en
que sucede. En evaluacin de programas, los ms
frecuentes son:
Visitas aleatorias
Clientes fantasma
Encuestadores incognitos

52

Visitas aleatorias: por ejemplo, visitas a colegios para comprobar asistencia de los
profesores. El objetivo es capturar el estado normal de las cosas. Para obtener una idea
representativa, es necesario hacer un nmero suficiente de visitas aleatorias. La hora y da
de la visita son aleatorios.
Clientes fantasma: una persona se hace pasar por un cliente o ciudadano y registra la
calidad del servicio u otros indicadores de inters. Tambin puede ser el envo de una
postulacin o solicitud en papel, si el programa requiere esto en su funcionamiento
normal. Ejemplo: en un estudio en la India acerca de reformas en el sistema policial, se
enviaron clientes fantasma que trataban de registrar delitos en las comisaras.
Encuestadores incognitos: parecido al cliente misterio pero ms pasivo. Experiencian el
proceso que queremos medir y registra indicadores acerca de los resultados de inters.
Observa de primera mano los procesos y anota las incidencias. A diferencia del cliente
misterio, estos no hacen preguntas o toman iniciativas inusuales.

Diapositiva 53

Qu medir

Cmo medir

Los mtodos cualitativos en

evaluacin de programas
Evaluacin de los instrumentos de medicin
Evaluacin de necesidades
Exploracin previa a medicin mediante encuestas

Evaluacin de procesos
Observacin directa de procesos, opiniones de usuarios
e implementadores

Evaluacin de impacto
Descubrimiento de resultados potenciales no
anticipados. Interpretacin de los resultados
53

Evaluacin de los instrumentos de medicin: grupos de discusin para ver cmo las
personas hablan del tema de inters, qu trminos usan, qu cosas son importantes
para ellos, cmo categorizan la realidad, qu saben y qu no sabenEntrevistas
cognitivas para ver cmo los encuestados potenciales procesan las preguntas y
respuestas.
Evaluacin de necesidades/estudio de contexto: una encuesta puede ser util para medir
aquello que sabemos que queremos saber; pero no podemos medir lo que no
sabemos que no sabemos. Entrevistas en profundidad, grupos de discusin y
observacin pueden aportar informacin muy til en este sentido.
Evaluacin de procesos: adems de cuantificar si los beneficiarios estn recibiendo
efectivamente los bienes y servicios del programa, me puede interesar saber qu
opinan los usuarios acerca de estos productos, por qu los usan o por qu no; y para
ello puedo necesitar mtodos cualitativos. Tambin puedo obtener informacin valiosa
conversando con los implementadores del programa acerca de las dificultades que
enfrentan.
Evaluacin de impacto: si bien la evaluacin de impacto rigurosa (con mtodos
estadsticos y experimentales) solo se puede hacer usando indicadores medidos
cuantitativamente, la informacin cualitativa puede ser crucial tanto a la hora disear
una evaluacin de impacto (cmo lo puedo medir) como a la hora de interpretar los
resultados que este anlisis arroja (por qu se observan los impactos que se observan).
Veremos esto con un ejemplo.

Diapositiva 55

Qu medir

Cmo medir

Los mtodos cualitativos en

evaluacin de impacto
Ejemplo: programa de subsidios de vivienda en
Estados Unidos: Moving to Opportunity
Cules podran ser los impactos de este programa?
Literatura previa indicaba que las razones ms importantes
para querer trasladarse a un barrio mejor era poder optar a
mejores colegios y mejores casas.
Efectos sobre los nios: mejoras en rendimiento educativo.
Efectos sobre los padres: empleo, capacitacin laboral e
ingresos.
55

El programa se implement en 1995. Los beneficiarios eran familias con hijos viviendo en
proyectos de vivienda pblica con mucha pobreza. Reciban un subsidio considerable (700
US mensual) para arriendo de departamentos en el mercado de viviendas. Al aportar
mayor capacidad adquisitiva en el alquiler, era esperable que los beneficiarios se
trasladaran a barrios ms favorecidos.
Economistas dedicados al mercado laboral, pensaron que los efectos seran en trminos de
mejora en la educacin, empleo e ingresos (Mayor cercana con los lugares de empleo)
En EEUU, en general, no hay eleccin de colegios, sino que a cada estudiante se le asigna
un establecimiento de su barrio. Adems, el financiamiento de cada establecimiento
depende de las autoridades locales, que se financian mayoritariamente por impuestos
locales. Por lo tanto, cambiarse a un barrio ms acomodado significa, generalmente, tener
acceso a establecimientos educacionales con mayores recursos.
Fuente: Evaluacin experimental (Kling, Leibman y Katz 2004). Jeffrey R. Kling , Jeffrey B.
Liebman y Lawrence F. Katz Bullets Dont Got No Name: Consequences of Fear in the
Ghetto en Discovering Successful Pathways in Children's Development: Mixed Methods in
the Study of Childhood and Family Life. Edited by Thomas S. Weisner. Chicago: The
University of Chicago Press, 2004.

Diapositiva 56

Qu medir

Cmo medir

Los mtodos cualitativos en

evaluacin de impacto
Sin embargo, los datos de lnea de base mostraron
una realidad que les invit a cuestionar sus intuiciones:
Razn principal para querer cambiar de barrio:
alejarse de las bandas y las drogas.
Alta frecuencia de asaltos sufridos por los participantes.

El miedo y la inseguridad aparecieron como un

fenmeno central.
56

Apareci que la mitad de los postulantes (mujeres jefas de hogar

mayoritariamente) puso que la mayor razn de querer mudarse era alejarse de
las bandas y las drogas, un cuarto dijo que la razn era el crimen y solo un 13%
puso a los colegios como la razn.

Adems, un cuarto de los jefes de hogar dijo que alguien de su hogar ha sido
asaltado, golpeado, acuchillado o le han disparado en los ltimos seis meses. Esto
los sorprendi muchsimo, al ser 4 mayor que las tasas nacionales.

Diapositiva 57

Qu medir

Cmo medir

Los mtodos cualitativos en

evaluacin de impacto
A la vista de estos hallazgos, los responsables del
estudio decidieron llevar a cabo una investigacin
cualitativa con tres objetivos:
1)

Entender los detalles de la intervencin.

2)

Explorar con mayor profundidad la importancia de las bandas y

las drogas.

3)

Escuchar con detalle las historias de las familias para pensar

en aspectos de la investigacin que no haban incluido.

57

La investigacin cualitativa consisti en 12 entrevistas en profundidad de 90 minutos cada

una. Los profesores/investigadores mismos hicieron las entrevistas. Llevaban una pauta
para asegurarse que se cubran una seria de temas, pero las preguntas eran abiertas.

Entender los detalles institucionales de la intervencin, cosa de (i) saber en qu

consiste exactamente el programa, de manera de poder replicarlo en otros
lugares; y (ii) no equivocarse a la hora de interpretar los resultados cuantitativos.

Explorar con mayor profundidad la importancia de las bandas y las drogas, a partir
de lo visto en lnea de base.

Escuchar con detalle las historias de las familias para pensar en aspectos de la
investigacin que no haban incluido.

Una mezcla de apertura a lo nuevo con profundizar en el marco ya planteado.

Diapositiva 58

Qu medir

Cmo medir

Los mtodos cualitativos en

evaluacin de impacto
Hallazgos en las entrevistas semi-estructuradas:
1)

Se confirm la importancia del miedo y la inseguridad como

motivos para trasladarse a otro barrio

2)

Se profundiz en cmo esa inseguridad afectaba a la vida

cotidiana de las familias: Bullets dont got no name

3)

El cambio de barrio contribua a la paz mental de los adultos y

una mayor libertad para los nios

58

Se profundiz en cmo esa inseguridad afectaba a la vida cotidiana de las

familias:
El miedo en los barrios no era por enemistad con las bandas, sino porque la
violencia entre ellas llevaba a que todos sufrieran de l. Bullets dont got no
name, las balas no tienen nombre es la frase clave: las balas azarosas
podan llegarle a sus hijos jugando en la plaza, o caminando a la casa.
El resultado de este miedo es que las familias tendieron a encerrarse en su
departamento, no permitir a los nio(a)s hacer actividades afuera y estar todo
el tiempo con un ojo en ellos.
De alguna manera, estas madres terminaron por organizar su vida
entera en funcin de proteger a sus hijos e hijas de los peligros del
barrio.
Difcil pensar en la situacin laboral (capacitacin laboral o
bsqueda intensa de trabajo) en este contexto

Diapositiva 59

Qu medir

Cmo medir

Los mtodos cualitativos en

evaluacin de impacto
A raz de los hallazgos cualitativos, se incluyeron
nuevas preguntas sobre seguridad y salud en la
encuesta de seguimiento.
Los impactos ms grandes se relacionaban con estas
variables:
1)

Adultos: debido a una mayor seguridad en el barrio, se

produjeron mejoras en el bienestar emocional

2)

Nios: debido a una mayor seguridad en el barrio, hubo menos

instancias de agresiones y lesiones, y tambin menos asma
(en parte causado por el estrs).
59

Diapositiva 60

Qu medir

Cmo medir

Mtodos de recogida de
datos: resumen
Para averiguar qu hace la gente en pblico:
observacin directa
Para averiguar qu hacen en privado: entrevistas,
grupos de discusin y cuestionarios
Para averiguar qu piensan, sienten o creen:
entrevistas, grupos de discusin y cuestionarios
con escalas de actitud

Para determinar habilidades o conocimientos:

tests estandarizados
60

Extrado del libro Real World Research, Colin Robson, 2011.

Diapositiva 61

Gracias!
Jos Vila-Belda Montalt
Analista de Capacitacin
J-PAL LAC

61