Sntesis metodolgica

Sinopsis de la evaluacin de impacto n 10

Sinopsis: Mtodos
de Recoleccin y
Anlisis de Datos en la
Evaluacin de Impacto
Greet Peersman

CENTRO DE INVESTIGACIONES INNOCENTI DE UNICEF

El Centro de Investigaciones Innocenti es la oficina de UNICEF especializada en investigacin cientfica. El
objetivo principal del Centro de Investigaciones es mejorar la comprensin internacional de una serie de
cuestiones relacionadas con los derechos de la infancia, a fin de facilitar la plena aplicacin de la
Convencin sobre los Derechos del Nio mediante su promocin en todo el mundo. El centro tiene el
cometido de establecer un marco integral de investigacin y conocimiento dentro de la organizacin para
brindar apoyo a sus programas y polticas mundiales. Las publicaciones producidas por el centro
contribuyen al debate global sobre la infancia y los derechos del nio e incluyen una amplia gama de
opiniones.
Las opiniones expresadas corresponden a los autores o editores y se publican para estimular un mayor
dilogo sobre mtodos de anlisis de impacto. Esta publicacin no refleja necesariamente las polticas o
perspectivas de UNICEF sobre ciertos temas.

SINTESIS METODOLOGICAS DEL CENTRO DE INVESTIGACIONES

Las sntesis metodolgicas del Centro de Investigaciones de UNICEF pretender compartir prcticas de
investigacin, mtodos, diseos y recomendaciones de reconocidos investigadores y analistas. La
audiencia a la que van dirigidas es principalmente personal de UNICEF que lleve a cabo, encargue o
interprete los resultados de investigacin y anlisis para la toma de decisiones sobre programas y polticas
de sensibilizacin.
Esta sntesis metodolgica ha seguido un proceso de revisin por pares interna.
El testo no ha sido editado de acuerdo con los estndares de publicacin oficiales y UNICEF declina toda
responsabilidad por posibles errores
Se permite la reproduccin de cualquier parte de la presente publicacin siempre que se incluya referencia
a la presente. Si se desea utilizar una parte sustancial de la publicacin dirijan su solicitud al
Departamento de Comunicacin en la direccin de correo electrnico: florence@unicef.org
Para consultas o descargas, pueden encontrar estas sntesis metodolgicas en http://www.unicefirc.org/KM/IE/
Recomendamos la siguiente cita para cualquier referencia al presente documento:
Peersman, G. (2014).Sinopsis: Mtodos de recoleccin y anlisis de datos en la evaluacin de
Impacto, Sntesis metodolgica n.10, Centro de Investigaciones de UNICEF, Florencia.
Agradecimientos: Varios autores han proporcionado orientacin en la preparacin de esta sntesis. El
autor y el Centro de Investigaciones de UNICEF desean agradecer a todos aquellos que han participado
en la preparacin de la presente publicacin, especialmente a:
Por su contribucin: Simon Hearn, Jessica Sinclair Taylor
Por su revisin: Nikola Balvin, Claudia Cappa, Yan Mu
Fondo de las Naciones Unidas para la Infancia (UNICEF), septiembre de 2014
Centro de Investigaciones Innocenti de UNICEF
Piazza SS. Annunziata, 12
50122 Florencia (Italia)
Tel: (+39) 055 20 330
Fax: (+39) 055 2033 220
florence@unicef.org
www.unicef-irc.org

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto

1.

RECOLECCIN Y ANLISIS DE DATOS: BREVE

DESCRIPCIN

Uno Elegir y aplicar bien los mtodos de recoleccin y anlisis de datos es esencial en todos los tipos
de evaluaciones. Esta sntesis presenta una visin general de las cuestiones relacionadas con la
eleccin y uso de mtodos para las evaluaciones de impacto, es decir, las evaluaciones que
proporcionan informacin sobre los efectos a largo plazo previstos y no previstos producidos por los
programas o polticas.
Las evaluaciones de impacto deben ir ms all de la simple evaluacin de la magnitud de los efectos
(el impacto medio) para determinar con quin y de qu forma ha tenido xito un programa o poltica.
Se deben examinar por anticipado los factores que contribuyen al xito y la forma de analizar y
sintetizar los datos para responder a las preguntas clave de evaluacin especficas, puesto que la
recoleccin de datos debe orientarse a la combinacin de pruebas empricas necesarias para tomar
decisiones adecuadas sobre el programa o poltica. En otras palabras, durante la fase de
planificacin de la evaluacin se debe especificar el marco analtico: la metodologa para analizar el
significado de los datos examinando patrones de manera sistemtica y transparente. El marco
contiene la forma en que el anlisis de datos abordar los supuestos formulados en la teora del
cambio del programa sobre cmo se cree que el programa producir los resultados previstos (vase
la Sntesis n.o 2 (Teora del cambio)). En una verdadera evaluacin con mtodos mixtos, esto implica
utilizar mtodos de anlisis numricos y textuales adecuados y triangular mltiples fuentes de datos y
perspectivas para maximizar la fiabilidad de las constataciones de la evaluacin.

Puntos principales
1. Los mtodos de recoleccin y anlisis de datos deben elegirse en funcin de las preguntas
clave de evaluacin y los recursos disponibles de la evaluacin.
2. Las evaluaciones de impacto deben aprovechar al mximo los datos existentes y subsanar
las carencias con nuevos datos.
3. Los mtodos de recoleccin y anlisis de datos deben elegirse de forma que se
complementen entre s los puntos fuertes y dbiles.

2.

PLANIFICACIN DE LA RECOLECCIN Y EL
ANLISIS DE DATOS

Empezar por la planificacin general de la evaluacin

Antes de tomar decisiones sobre qu datos recopilar y cmo analizarlos, debe decidirse la finalidad
de la evaluacin (es decir, los usuarios y usos previstos) y las preguntas clave de evaluacin (vase
la Sntesis n.o 1 (Sinopsis de la evaluacin de impacto)). Puede encargarse una evaluacin de
impacto para que sirva de base a las decisiones sobre la realizacin de cambios en un programa o
poltica (evaluacin formativa) o sobre la continuacin, finalizacin, reproduccin o ampliacin de un
programa o poltica (evaluacin sumativa). Una vez que est clara la finalidad de la evaluacin, debe
acordarse un pequeo nmero de preguntas clave de evaluacin de alto nivel (no ms de 10),
Pgina 1

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
idealmente con la aportacin de las principales partes interesadas; a veces, las preguntas clave de
evaluacin ya estn prescritas por un sistema de evaluacin o un marco de evaluacin anteriormente
elaborado. Las respuestas a las preguntas clave de evaluacin independientemente de cmo se
llegue a ellas deben asegurar que se cumpla la finalidad de la evaluacin. Contar con un conjunto
acordado de preguntas clave de evaluacin ofrece orientacin sobre qu datos recopilar, cmo
analizar los datos y cmo informar sobre las constataciones de la evaluacin.
Una herramienta esencial en la evaluacin de impacto es una teora del cambio bien desarrollada.
Esta describe cmo se entiende el funcionamiento del programa o poltica: representa un modelo
causal que relaciona los insumos y las actividades con los productos y los resultados e impactos
deseados (vase la Sntesis n.o 2 (Teora del cambio)). La teora del cambio debe tener en cuenta
tambin los resultados no previstos (positivos y negativos). Esta herramienta no solo resulta til en la
fase de diseo del programa, sino que tambin ayuda a centrar la evaluacin de impacto en aquello
que necesitan saber las partes interesadas sobre el programa o poltica para apoyar la toma de
decisiones; en otras palabras: las preguntas clave de evaluacin. Unas buenas preguntas de
evaluacin no solo plantean cules fueron los resultados? (preguntas descriptivas), sino tambin
cmo de buenos fueron los resultados? (juzgando el valor del programa o poltica). Las
evaluaciones de impacto deben recabar pruebas empricas de los impactos (por ejemplo, cambios
positivos en las tasas de mortalidad de los nios menores de 5 aos) y tambin examinar cmo se
lograron los impactos previstos o por qu no se alcanzaron. Esto requiere datos sobre el contexto
(por ejemplo, el marco normativo y jurdico que afecta a la proteccin infantil en un pas
determinado), la idoneidad y calidad de las actividades del programa o la aplicacin de la poltica, y
una serie de resultados intermedios (por ejemplo, asimilacin de la inmunizacin), como variables
explicativas en la cadena causal1.

Aprovechar al mximo los datos existentes

La planificacin de la recoleccin de datos debe comenzar por revisar en qu medida pueden
utilizarse los datos existentes. En trminos de indicadores, la evaluacin debe procurar basarse en
distintos tipos de indicadores (insumos, productos, resultados, impactos) para reflejar los principales
resultados en la teora del cambio del programa. Las evaluaciones de impacto deben utilizar
idealmente los indicadores que se seleccionaron para supervisar el desempeo durante el periodo de
aplicacin del programa, es decir, los indicadores clave del desempeo. En muchos casos, tambin
es posible basarse en los datos recopilados mediante encuestas de poblacin normalizadas como la
Encuesta a base de indicadores mltiples de UNICEF, la Encuesta Demogrfica y de Salud y el
Estudio sobre la Medicin de Niveles de Vida.
Es especialmente importante comprobar si existen datos de referencia para los indicadores
seleccionados, as como para las caractersticas sociales y demogrficas y otras caractersticas
pertinentes de la poblacin objeto de estudio. Cuando el diseo de evaluacin implica comparar
cambios a lo largo del tiempo en distintos grupos, los datos de referencia pueden utilizarse para
determinar la equivalencia de los grupos antes de que empiece el programa o emparejar distintos
grupos (como en el caso de los diseos cuasi experimentales; vase la Sntesis n.o 8 (Diseo y
mtodos cuasi experimentales)). Tambin son importantes para determinar si se ha producido un
cambio a lo largo del tiempo y la magnitud de este cambio (es decir, la magnitud del efecto). Si no se
dispone de datos de referencia, ser necesario recopilar datos adicionales para reconstruir las bases
de referencia, por ejemplo, utilizando la memoria (pedir a las personas que recuerden informacin
especfica sobre un acontecimiento o experiencia que se produjo en el pasado). Aunque la memoria
puede estar abierta a sesgos, pueden reducirse sustancialmente siendo realistas sobre lo que
1

La Sntesis n.o 1 (Sinopsis de la evaluacin de impacto) cubre la necesidad de distintos enfoques de evaluacin de las
polticas en vez de programas.

Pgina 2

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
pueden recordar las personas y qu es menos probable que recuerden, y utilizando herramientas de
encuesta establecidas2.
Otras fuentes comunes de datos existentes son las estadsticas oficiales, los datos de supervisin del
programa, los registros del programa (que pueden incluir una descripcin del programa, una teora
del cambio, actas de reuniones importantes, etc.), documentos de poltica formales y planes e
informes sobre los avances en la aplicacin del programa. Si bien es importante aprovechar al
mximo los datos existentes en aras de la eficiencia, los datos deben tener una calidad suficiente
para no comprometer la validez de las constataciones de la evaluacin (vase ms adelante).

Detectar y corregir las carencias importantes de datos

Tras examinar la informacin actualmente disponible, conviene crear una matriz de evaluacin
(vase el cuadro 1) que muestre qu mtodos de recoleccin y anlisis de datos se utilizarn para
responder a cada una de las preguntas clave de evaluacin y a continuacin detectar y priorizar las
carencias de datos que deben corregirse recopilando nuevos datos. Esto ayudar a confirmar que la
recoleccin de datos planificada (y el cotejo de los datos existentes) va a abarcar todas las preguntas
clave de evaluacin, determinar si hay suficiente triangulacin entre las distintas fuentes de datos y
ayudar al diseo de las herramientas de recoleccin de datos (como cuestionarios, preguntas de
entrevista, herramientas de extraccin de datos para la revisin de documentos y herramientas de
observacin) a fin de garantizar que recaban la informacin necesaria.

Cuadro 1. Matriz de evaluacin: emparejamiento de la recoleccin de datos con las preguntas

clave de evaluacin

Ejemplos de preguntas clave de

evaluacin (PCE)

Encuesta de
participantes
del programa

PCE 1 Cul fue la calidad de la

ejecucin?

Registros de
proyectos

Observacin
de la
ejecucin del
programa

PCE 2 En qu medida se
cumplieron los objetivos del
programa?

PCE 3 Qu otros impactos produjo

el programa?

PCE 4 Cmo podra mejorarse el

programa?

Entrevistas a
informantes
clave

White, Howard, A contribution to current debates in impact evaluation, Evaluation, 16(2), 2010, pgs. 153164.

Pgina 3

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
Existen muchos mtodos diferentes para recopilar datos. El cuadro 2 proporciona ejemplos de
posibles fuentes de datos (existentes y nuevas)3.

Cuadro 2. Opciones de recoleccin (datos primarios) y cotejo (datos segundarios)

Opcin

Qu podra incluir?

Ejemplos

Recuperacin de
documentos y datos
existentes

Documentos de poltica
formales, planes e informes de
ejecucin

Estadsticas oficiales

Revisar los documentos de

planificacin del programa, las
actas de las reuniones, los
informes sobre los avances

Datos de supervisin del

programa

Registros del programa

El perfil poltico,
socioeconmico o sanitario del
pas o el lugar especfico
donde se ejecut el programa

Entrevistas4 a informantes
clave, personas, grupos,
grupos dirigidos de discusin,
tcnicas de proyeccin

Cuestionarios o encuestas a
travs de correo electrnico,
sitios web, cara a cara, datos
mviles

Entrevistas con informantes

clave entre los representantes
de departamentos
gubernamentales
competentes, organizaciones
no gubernamentales o la
comunidad de desarrollo en
general

Mtodos especializados (por

ejemplo, votacin por puntos,
clasificacin de tarjetas,
calendarios estacionales,
tcnicas de proyeccin,
vivencias5).

Entrevistas con directores del

programa, ejecutores del
programa y los responsables
de la supervisin rutinaria del
programa

Entrevistas, debates en grupo

(como grupos de discusin) o
cuestionarios con participantes
del programa

Recoleccin de datos
de personas o grupos

Puede encontrarse ms informacin sobre cada una de ellos y una lista ms exhaustiva de opciones de
recoleccin/cotejo de datos en Collect and/or Retrieve Data en el sitio web BetterEvaluation, en
http://betterevaluation.org/plan/describe/collect_retrieve_data.

Vase la Sntesis n.o 12 (Entrevistas).

Votacin por puntos: recabar niveles de acuerdo sobre declaraciones escritas entre un gran nmero de personas.
Clasificacin de tarjetas: da una idea de cmo las personas categorizan y clasifican distintos fenmenos. Calendarios
estacionales: visualizar patrones de variaciones a lo largo de determinados periodos de tiempo. Tcnicas de proyeccin:
dar pie a entrevistas (por ejemplo, utilizando fotolenguaje; los participantes seleccionan una o dos imgenes de un
conjunto y las utilizan para ilustrar sus comentarios sobre algo). Vivencias: por ejemplo vivencias personales para dar una
idea de cmo viven la vida las personas.

Pgina 4

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto

Observacin

Medicin fsica

Estructurada o no estructurada

Observaciones de las
actividades del programa y las
interacciones con los
participantes

De participantes o no
participantes

Participativa o no participativa

Registrada a travs de notas,

fotos o vdeos

Mediciones biofsicas

Peso de los lactantes

Informacin geogrfica

Lugares con alta prevalencia

de infeccin por VIH

Utilizar una serie de mtodos de recoleccin y anlisis de datos

Aunque muchas evaluaciones de impacto utilizan varios mtodos, lo que distingue a una evaluacin
de mtodos mixtos es la integracin sistemtica de las metodologas y mtodos cuantitativos y
cualitativos en todas las fases de una evaluacin 6. Una de las razones principales de la combinacin
de mtodos es que ayuda a corregir los puntos dbiles inherentes a cada mtodo cuando se utiliza
individualmente. Tambin aumenta la fiabilidad de las constataciones de la evaluacin cuando la
informacin de distintas fuentes de datos converge (es decir, coincide en la direccin de las
constataciones) y puede profundizar el entendimiento del programa o poltica, sus efectos y su
contexto7.
Las decisiones en torno al uso de un enfoque de mtodos mixtos suponen determinar:

en qu fase de la evaluacin se combinan los mtodos (el diseo se considera mucho ms

slido si los mtodos mixtos se integran en varias o en todas las fases de la evaluacin);

si los mtodos se utilizarn de forma secuencial (los datos de una fuente sirven de base para la
recoleccin de datos de otra fuente) o simultnea (se utiliza la triangulacin para comparar
informacin de distintas fuentes independientes);

si se dar relativamente la misma ponderacin a los mtodos cualitativos y cuantitativos o no;

si el diseo ser de un solo nivel (por ejemplo, los hogares) o de mltiples niveles (por ejemplo,
un programa nacional que requiere la descripcin y el anlisis de los vnculos entre los distintos
niveles).

El marco analtico particular y la eleccin de los mtodos de anlisis de datos especficos

dependern de la finalidad de la evaluacin de impacto y del tipo de preguntas clave de evaluacin
intrnsecamente relacionadas:

Las preguntas descriptivas requieren mtodos de anlisis de datos que incluyan datos
cuantitativos y cualitativos.

Las preguntas causales requieren un diseo de investigacin que aborde la atribucin (si los
cambios observados se deben o no a la intervencin o a factores externos) y la contribucin

Bamberger, Michael, Introduction to Mixed Methods in Impact Evaluation, Guidance Note No. 3, InterAction,
Washington, D.C., agosto de 2012. Vase http://www.interaction.org/impact-evaluation-notes.

Ibd.

Pgina 5

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
(en qu medida caus la intervencin los cambios observados, vase la Sntesis n. o 6
(Estrategias de atribucin causal)).

Las preguntas evaluativas requieren estrategias de sntesis que apliquen los criterios
evaluativos a los datos para responder a las preguntas clave de evaluacin (vase la Sntesis
n.o 3 (Criterios de evaluacin)). Definir por anticipado los factores de xito construyendo
rbricas evaluativas especficas (estndares o niveles de desempeo del programa o poltica)
sienta la base sobre la cual puede combinarse sistemticamente la informacin recabada para
tomar decisiones con base emprica transparentes sobre el valor del programa o poltica
(tambin llamado razonamiento evaluativo, vase la Sntesis n.o 4 (Razonamiento
evaluativo)).

Si bien la evaluacin de impacto tiene por objeto analizar los resultados a largo plazo de un programa
o poltica, los responsables de tomar decisiones suelen necesitar informacin ms puntual y, por lo
tanto, deben recopilar tambin datos sobre los resultados a corto plazo. Por ejemplo, es bien sabido
que los resultados de las intervenciones en materia de educacin solo aparecen despus de un
periodo de tiempo prolongado. En el caso de la iniciativa de escuelas amigas de la infancia en
Moldava, su evaluacin solo capt los resultados a corto plazo (como la mayor participacin de los
estudiantes en el aprendizaje a travs de mtodos de enseanza interactivos y participativos 8), que
fueron medidos durante la intervencin o poco despus de su finalizacin, y supuso que estos
predecan los efectos a largo plazo.
Sin embargo, determinar simplemente que se ha producido un cambio midiendo indicadores
clave no indica por qu ha ocurrido. Tambin se necesita informacin sobre las actividades
especficas que se llevaron a cabo y sobre el contexto en el que se llevaron a cabo. Como se ha
sealado anteriormente, es esencial una teora del cambio explcita para el programa o poltica a fin
de determinar qu mediciones deben recabarse, adems de que orienta sobre los aspectos de la
ejecucin del programa y su contexto en los que debe centrarse la recoleccin de datos. Si se
especifica el marco de anlisis de datos al inicio, se incorporan claramente las necesidades
concretas de recoleccin de datos (datos primarios o nuevos que deben recopilarse) y cotejo de
datos (datos secundarios o existentes), reflejando tambin cmo se analizarn los datos para
responder a las preguntas clave de evaluacin y realizar ajustes evaluativos. Las necesidades de
datos y los mtodos de recoleccin y anlisis de datos vinculados a cada una de las preguntas clave
de evaluacin deben describirse en el plan de evaluacin junto con las especificaciones de cmo,
dnde, cundo y de quin se recolectarn datos, con referencia a la estrategia de muestreo de la
poblacin objeto de estudio, los lugares o los periodos de tiempo.

Asegurar que los mtodos de recoleccin y anlisis de datos seleccionados son

viables
Una vez que se completa la planificacin, es importante comprobar la viabilidad de los mtodos de
recoleccin y anlisis de datos para asegurar que lo que se ha propuesto puede lograrse realmente
dentro de los lmites del marco temporal y los recursos de la evaluacin. Por ejemplo, puede ocurrir
que los informantes clave no puedan reunirse en el momento en que se necesitan los datos. Tambin
es importante analizar los equipos y cualificaciones que se necesitarn para utilizar estos mtodos y
evaluar si estn disponibles o pueden conseguirse o desarrollarse. Por ejemplo, la recoleccin de
datos mediante un cuestionario a travs del telfono mvil exigir que todos los responsables de la
8

Velea, Simona y CReDO (Centro de Recursos de Derechos Humanos), Child-Friendly Schools, External Evaluation
Report of the Child-Friendly School Initiative (20072011), Republic of Moldova, Ministerio de Educacin de la Repblica
de Moldova/UNICEF, 2012. Vase http://www.unicef.org/moldova/CFS_EN_PRINT.pdf.

Pgina 6

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
recoleccin dispongan de un telfono mvil o que exista un sistema fiable para compartir mviles
entre los responsables de la recoleccin. Las diferencias importantes entre lo que hay disponible y lo
que se necesita deben corregirse adquiriendo recursos adicionales o, de forma ms realista,
adaptando los mtodos a los recursos disponibles.
Teniendo en cuenta que no todo puede anticiparse y que determinadas condiciones pueden cambiar
durante el transcurso de la evaluacin, quiz resulte necesario revisar las opciones y tambin el plan
de evaluacin. En estos casos es importante documentar lo que ha cambiado y por qu, y tener en
cuenta y documentar todas las implicaciones que pueden tener estos cambios en el producto de
evaluacin y su uso.

3.

GARANTIZAR UNA BUENA GESTIN DE DATOS

Una buena gestin de datos implica desarrollar procesos eficaces para la recoleccin y el registro
sistemticos de datos, el almacenamiento seguro de los datos, la depuracin de datos, la
transferencia de los datos (por ejemplo, entre distintos tipos de programas informticos utilizados
para el anlisis), la presentacin eficaz de los datos y la accesibilidad de los datos para su
verificacin y utilizacin por terceros.
Los aspectos de calidad de los datos que se mencionan comnmente son:

Validez: los datos miden lo que se pretende que midan.

Fiabilidad: los datos se miden y recopilan sistemticamente segn las definiciones y

metodologas estndar; los resultados son los mismos cuando se repiten las mediciones.

Exhaustividad: se incluyen todos los elementos de informacin (segn las definiciones y

metodologas especificadas).

Precisin: los datos estn lo suficientemente detallados9.

Integridad: los datos estn protegidos de sesgos o manipulaciones deliberados por motivos
polticos o personales.

Puntualidad: los datos estn actualizados y la informacin est disponible a tiempo.

Es recomendable utilizar herramientas normalizadas de recoleccin de datos, que ya se hayan

probado en situaciones reales, y mejorarlas en caso necesario para maximizar la calidad de los
datos. Cuando sean necesarias adaptaciones al contexto local, o cuando deban desarrollarse
herramientas de recoleccin de datos, es importante llevar a cabo primero una prueba piloto (y
mejorar la herramienta) antes de utilizarla de manera generalizada. Recurrir a responsables de
recoleccin de datos con experiencia, impartir capacitacin a los responsables de la recoleccin
sobre una tarea o herramienta especfica, o supervisar la recoleccin de datos entre mltiples
responsables de recoleccin tambin puede ayudar a reducir los sesgos (por ejemplo, dar pie de
forma inadecuada a las respuestas durante las entrevistas) o errores (por ejemplo, no entender bien
qu elementos del programa deben observarse) en los datos obtenidos.

Una definicin ms especfica de las mediciones cuantitativas sera: una medicin se considera vlida si es exacta y
precisa. La exactitud se define como la desviacin del valor verdadero y la precisin como la dispersin. En otras
palabras, la exactitud se refiere a cunto se acerca la medicin tomada al valor (verdadero) real; la precisin es el grado
en el que las mediciones repetidas en condiciones invariables muestran los mismos resultados.

Pgina 7

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
La recoleccin de datos no es necesariamente responsabilidad exclusiva de los evaluadores. Las
ventajas de la evaluacin participativa estn bien documentadas y es un planteamiento que puede
ir ms all de la recoleccin de datos para incluir al personal del programa, los participantes u otras
partes interesadas en la configuracin del programa de evaluacin; la identificacin de los principales
resultados y la determinacin de los factores de xito; la contribucin a la recoleccin de los datos; y
el anlisis e interpretacin de los resultados (vase la Sntesis n. o 5 (Enfoques participativos)).
Aun cuando los datos se hayan recopilado utilizando procedimientos bien definidos y herramientas
normalizadas, estos deben comprobarse para detectar posibles datos inexactos u omitidos. Esto es
lo que se conoce como depuracin de datos, y tambin implica encontrar y corregir los errores que
se producen durante la escritura, lectura, almacenamiento, transmisin o procesamiento de los datos
informatizados.
La garanta de la calidad de los datos tambin se extiende a la garanta de un anlisis de datos
adecuado y a su presentacin en el informe de evaluacin para que las constataciones estn claras y
las conclusiones puedan fundamentarse. Esto a menudo implica hacer accesibles los datos para que
puedan ser verificados por otros o utilizados para fines adicionales como la sintetizacin de
resultados de distintas evaluaciones (revisin sistemtica, metaanlisis, revisin realista u otra
metaevaluacin).

4.

CUESTIONES ESPECFICAS DE LA GARANTA DE

CALIDAD EN LA RECOLECCIN DE DATOS

Como se ha sealado anteriormente, garantizar la calidad en la recoleccin de datos forma parte de

una buena gestin de datos. En esta seccin se examinan con ms detalle algunas cuestiones
especialmente pertinentes.

Explicitar la estrategia de muestreo

Una cuestin especialmente importante que debe atenderse y describirse ntegramente en el informe
y en el plan de evaluacin de impacto es la estrategia de muestreo utilizada. Se debe empezar por
definir la poblacin de inters de la que se extraer la muestra. Este ser el grupo o unidades de
inters (por ejemplo, todas las parejas casadas) en la zona geogrfica de inters (por ejemplo, un
determinado pueblo) durante el tiempo de inters (por ejemplo, las parejas registradas desde 1995).
El muestreo es el proceso de seleccin de unidades (por ejemplo, personas o grupos) de la poblacin
de inters para estudiarlas en profundidad con el objetivo de extraer conclusiones sobre el conjunto
de la poblacin (obsrvese que la extrapolabilidad de las constataciones de la evaluacin depender
de cmo se haga el muestreo). En cualquier muestra se da un error de muestreo. En otras palabras,
ninguna muestra generar exactamente la misma informacin que si se incluyese a todas las
personas de la poblacin de inters en la recoleccin de datos. Por lo tanto, la informacin recabada
a partir de la muestra se utilizar para realizar estimaciones sobre la poblacin de inters. En el
cuadro 3 se presenta un resumen de los tres grupos bsicos de opciones de muestreo.

Pgina 8

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
Cuadro 3. Resumen de las opciones de muestreo con mtodos ilustrativos
Grupo de opciones de
muestreo

Algunos mtodos especficos

Riesgo de introducir
sesgos

Probabilstico: Utilizar
mtodos aleatorios o cuasi
aleatorios para seleccionar la
muestra y utilizar
posteriormente la
extrapolabilidad estadstica
para extraer conclusiones
sobre esa poblacin.

Muestreo aleatorio simple

Muestreo estratificado
Muestreo por etapas mltiples
Muestreo secuencial

Este grupo presenta normas

especficas sobre la seleccin
del marco de muestreo, el
tamao de la muestra y la
gestin de la variacin en la
muestra

Intencional: Estudiar casos

con abundante informacin de
una poblacin determinada
para extraer conclusiones
analticas sobre la poblacin.
Las unidades se seleccionan
en funcin de una o ms
caractersticas
predeterminadas y el tamao
de la muestra puede ser tan
solo de uno.

Confirmar y rechazar
Caso crtico
Muestreo de variacin mxima
Valor atpico
Muestreo de bola de nieve
Basado en teoras
Caso tpico

Este grupo fomenta la

transparencia en la seleccin
de casos y la triangulacin, y
busca rechazar las pruebas
empricas

De conveniencia: Estas
opciones de muestreo utilizan a
individuos que estn
disponibles o casos a medida
que ocurren.

Fcilmente disponible
Voluntarios

Este tipo presenta la menor

fiabilidad, pero requiere
menos tiempo, fondos y
esfuerzos

Las distintas formas de muestreo introducirn distintos tipos de sesgo al evaluar los resultados de un
programa o poltica. Como tal, es importante describir claramente los puntos fuertes y dbiles de la
estrategia de muestreo utilizada y tenerlos en cuenta, si es posible, en el anlisis de datos o describir
cmo afectan a las conclusiones extradas sobre el programa o poltica sometidos a prueba.
Aunque se han mencionado tres grupos de opciones de muestreo, es mejor evitar el muestreo de
conveniencia, puesto que no permite una extrapolabilidad adecuada de las constataciones (es decir,
realizar estimaciones sobre el total de la poblacin a partir de las constataciones de la muestra
estudiada). En el muestreo probabilstico, todas las unidades tienen la misma posibilidad o una
posibilidad conocida de ser seleccionadas, lo que aumenta la probabilidad de que la informacin
recabada sobre la muestra sea representativa de toda la poblacin de inters, especialmente si se
cumplen las condiciones sobre el tamao de la muestra (vase la Sntesis n.o 7 (Ensayos controlados
aleatorios)). El muestreo probabilstico permite una extrapolabilidad estadstica en la que se da un
cierto margen de error (normalmente, entre un 5% y un 10%) que define el nivel de riesgo aceptable
de equivocacin sobre los resultados del programa. El muestreo intencional no se basa en la
representacin o la aleatoriedad, y se utiliza para seleccionar aquellas unidades de las que se puede
aprender mucho sobre las cuestiones que son importantes para la evaluacin (como los informantes

Pgina 9

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
clave)10. Permite una extrapolabilidad analtica (realizar previsiones sobre la transferibilidad
probable de las constataciones sobre la base de un anlisis terico de los factores que producen los
resultados y el efecto del contexto).

Hacer frente a los abandonos y las negativas

Aunque un muestreo adecuado puede ayudar a reducir el sesgo de seleccin, tambin puede
aparecer un sesgo cuando haya tasas de abandono elevadas (o una prdida de seguimiento
sustancial): muchos sujetos abandonan el programa y ya no estn disponibles para la recoleccin de
datos. Del mismo modo, una baja tasa de respuesta cuando se pide a los sujetos que rellenen un
cuestionario o un elevado nmero de sujetos que se niega a participar en la recoleccin de datos
pueden generar un sesgo de medicin. Algunas formas de hacer frente a estos problemas son:
realizar un esfuerzo especial por aumentar la participacin; recabar informacin de varias fuentes,
que posteriormente puede triangularse; y determinar en qu son diferentes los sujetos que participan
de los que abandonan o se niegan a participar, y cmo se comparan los participantes con la
poblacin de inters (y, a su vez, cmo afecta esto a la interpretacin y extrapolabilidad de los
resultados). Una vez ms, la transparencia y el debate en profundidad son una garanta.

5.

CUESTIONES ESPECFICAS DE LA GARANTA DE

CALIDAD EN EL ANLISIS DE DATOS

Al igual que con la recoleccin de datos, garantizar la calidad en el anlisis de datos forma parte de
una buena gestin de datos. En esta seccin se examinan con ms detalle algunas cuestiones
especialmente pertinentes.
Cada fuente de datos tiene sus puntos fuertes y sus limitaciones, todos los cuales deben describirse
explcitamente (en trminos de calidad de los datos, vase ms adelante) y entenderse claramente a
fin de asegurar que las fuentes se utilicen e interpreten de manera adecuada (vase la seccin 7).
Por este motivo, si se integran intencionadamente distintos mtodos de recoleccin de datos o se
triangulan distintas fuentes de datos para responder a las preguntas clave de evaluacin se
conseguir superar las carencias inherentes a cada fuente de datos de manera individual. Un
enfoque de mtodos mixtos tambin mejora la fiabilidad de las constataciones cuando la informacin
de distintas fuentes de datos converge (coincide en la direccin de las constataciones) y pueden
profundizar el entendimiento de un programa o poltica, sus efectos y su contexto. Aunque la
combinacin de mtodos puede realizarse post hoc (es decir, despus de haber recopilado los
datos), es recomendable, y con frecuencia mucho ms fcil, hacerlo al inicio (es decir, durante la
planificacin de la evaluacin), para que la recoleccin de datos pueda orientarse especficamente a
garantizar la disponibilidad de una combinacin adecuada de pruebas empricas justo en el momento
de responder a las preguntas clave de evaluacin. En el cuadro 4 se recogen los propsitos
principales de la combinacin de fuentes de datos.

10

Taylor-Powell, Ellen, Sampling, University of Wisconsin, Milwaukee, 1998.

Pgina 10

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
Cuadro 4. El valor de mezclar mtodos: principales propsitos de la combinacin de fuentes
de datos
Enriquecer

Utilizar datos cualitativos para detectar problemas u obtener informacin

sobre variables que no pueden obtenerse mediante enfoques
cuantitativos

Examinar

Generar hiptesis a partir de los datos cualitativos que deben ponerse a

prueba a travs de datos cuantitativos (como identificar subgrupos que
deben analizarse por separado en los datos cuantitativos, por ejemplo,
para investigar el impacto diferencial)

Explicar

Utilizar datos cualitativos para entender los resultados no previstos de los

datos cuantitativos

Triangular (confirmar
o rechazar)

Verificar o rechazar los resultados de los datos cuantitativos utilizando

datos cualitativos (o viceversa)

Analizar los datos para resumirlos y buscar patrones es una parte importante de toda evaluacin. Las
estrategias de anlisis de datos y la forma de sintetizar los datos deben definirse en la fase de diseo
de la evaluacin, adecuarse al tipo de preguntas clave de evaluacin y describirse ntegramente en el
plan de evaluacin.
En el caso de las preguntas clave de evaluacin descriptivas, existe toda una serie de opciones de
anlisis (vase el cuadro 5). Las opciones pueden agruparse principalmente en dos categoras:
opciones para datos cuantitativos (nmeros) y opciones para datos cualitativos (por ejemplo, texto).

Cuadro 5. Opciones de anlisis de datos numricos y textuales

Anlisis numrico
Analizar datos numricos como el costo, la frecuencia o las caractersticas fsicas. Algunas
opciones son:

Correlacin: tcnica estadstica para determinar el grado en que se relacionan dos o ms

variables.
Tabulaciones cruzadas: obtener una indicacin de la frecuencia de dos variables (por ejemplo,
gnero y frecuencia de la asistencia escolar) que ocurren al mismo tiempo.
Manejo de datos y texto: tcnicas informticas automatizadas que repasan grandes cantidades
de texto o datos para encontrar nuevos patrones e informacin.
Tcnicas exploratorias: echar un primer vistazo a un conjunto datos resumiendo sus
principales caractersticas, a menudo utilizando mtodos visuales.
Tablas de frecuencia: colocar valores de datos recopilados por orden ascendente de magnitud,
junto con sus correspondientes frecuencias, para asegurar una imagen ms clara del conjunto
de datos.
Medidas de tendencia central: medida sinttica que intenta describir un conjunto de datos con
un nico valor que representa el medio o centro de su distribucin.
Medidas de dispersin: medida sinttica que describe cmo se distribuyen los valores en torno
al centro.
Pgina 11

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto

Descriptivo multivariable: proporcionar resmenes simples de (grandes cantidades de)

informacin (o datos) con dos o ms variables relacionadas.
Inferencial no paramtrico: datos que son flexibles y no siguen una distribucin normal.
Inferencial paramtrico: llevado a cabo sobre datos que siguen determinados parmetros. Los
datos sern normales (es decir, la distribucin es paralela a la curva de campana); los nmeros
pueden sumarse,
Resumen estadstico: proporcionar un resumen rpido de los datos, que resulta especialmente
til para comparar un proyecto con otro, antes y despus.
Anlisis de series temporales: observar datos bien definidos obtenidos mediante mediciones
repetidas en el tiempo

Anlisis textual
Analizar palabras, orales o escritas, incluidas respuestas a cuestionarios, entrevistas y
documentos. Algunas opciones son:

Anlisis de contenido: reducir grandes cantidades de contenido textual no estructurado a datos

manejables relevantes para las preguntas de investigacin (evaluacin).
Codificacin temtica: registrar o identificar pasajes de texto o imgenes relacionados por un
tema o idea comn, permitiendo la indexacin del texto en categoras.
Narraciones: construccin de narraciones coherentes de los cambios ocurridos respecto a una
persona, una comunidad, un lugar o un programa o poltica.
Cronogramas: una lista de acontecimientos importantes ordenados por orden cronolgico.

En el caso de las preguntas clave de evaluacin causales, bsicamente hay tres enfoques de anlisis
de la atribucin causal: 1) enfoques contrafcticos; 2) coherencia de las pruebas empricas con la
relacin causal; y 3) descarte de alternativas (vase el cuadro 6). Lo ideal es combinar estos
enfoques para determinar la causalidad (vase la Sntesis n.o 6 (Sinopsis: Estrategias de atribucin
causal)).
En el caso de las preguntas clave de evaluacin, deben aplicarse rbricas evaluativas especficas a
los criterios de evaluacin empleados (como los criterios del CAD de la OCDE) para sintetizar las
pruebas empricas y emitir juicios sobre el valor del programa o poltica (vase la Sntesis n. o 4
(Razonamiento evaluativo)).

Cuadro 6. Enfoques de anlisis de datos para la atribucin causal

Enfoques contrafcticos

Elaborar una estimacin de lo que habra pasado en ausencia del

programa o poltica; esto implica utilizar un grupo de control o un
grupo de comparacin.

Coherencia de las
pruebas empricas con la
relacin causal

Identificar patrones que seran coherentes con una relacin causal y

despus tratar de confirmar o rechazar las pruebas.

Descarte de alternativas
explicativas

Definir posibles explicaciones causales alternativas y despus buscar

informacin para determinar si pueden descartarse.

Pgina 12

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto

Una poderosa herramienta para el anlisis y la comunicacin de las constataciones de la evaluacin

es la visualizacin de datos. Se trata del proceso de representar los datos grficamente para
identificar tendencias y patrones que de otro modo no estaran claros o seran difciles de discernir.
Existen muchas opciones que se deben tener en cuenta11, y la seleccin del tipo de visualizacin
depender de la naturaleza de los datos (por ejemplo, relacionales, comparativos, cronolgicos).
Adems, el tipo de visualizacin utilizada para facilitar el anlisis de datos (por ejemplo, picos en el
movimiento del sitio web relacionados con una campaa en las redes sociales) no tiene que ser
necesariamente el mejor tipo a efectos de comunicacin. A la hora de comunicar datos, puede
resultar necesario simplificar la visualizacin y hacer hincapi en las esferas principales para atraer la
atencin de los lectores y las partes interesadas. Las conclusiones de la evaluacin de impacto
deben anclarse firmemente en los datos y presentarse de una manera transparente y verificable por
los lectores del informe de evaluacin.

6.

CUESTIONES TICAS Y LIMITACIONES PRCTICAS

Cuestiones ticas
Todas las evaluaciones deben seguir las directrices ticas de evaluacin12 del Grupo de Evaluacin
de las Naciones Unidas (UNEG), a las que se adhiere UNICEF. Estas directrices establecen tanto un
cdigo de conducta para evaluadores como obligaciones ticas para los participantes en la
evaluacin en relacin con la recoleccin y el almacenamiento de datos (vase asimismo la Sntesis
n.o 1 (Sinopsis de la evaluacin de impacto)). Estas incluyen: respeto de la dignidad y la diversidad;
derechos; confidencialidad; y prevencin del dao. Estas obligaciones deben cumplirse
explcitamente en el diseo de la evaluacin y durante todo el proceso de evaluacin (vase el sitio
web Ethical Research Involving Children)13.
En la mayora de los casos, la aprobacin oficial de la forma de recoleccin, gestin y uso de los
datos en la evaluacin requerir una junta de examen institucional. El objetivo es asegurar que estas
prcticas cumplan las obligaciones ticas para todos aquellos de quienes se recaban datos.
La evaluacin de la iniciativa de escuelas amigas de la infancia en Moldava14 brind algunos buenos
ejemplos de estrategias para abordar las cuestiones ticas durante la recoleccin y anlisis de datos:

Durante la fase preparatoria, se consult a las partes interesadas (UNICEF y los asociados en
la ejecucin) y posteriormente se pusieron a prueba las herramientas de recoleccin de datos
en un pequeo grupo de profesores, nios y padres que participaron voluntariamente tras
recibir informacin sobre el proceso de prueba. Esto se hizo para detectar cualquier cosa que
pudiese interpretarse que podra causar molestia, crear situaciones raras o afectar a los
derechos de los participantes.

Durante la fase de recoleccin de datos, se asegur a los encuestados que todos los datos se
trataran de forma confidencial y que se utilizaran exclusivamente para fines de evaluacin.

11

Para obtener ms informacin sobre los mtodos especficos de visualizacin de datos, vase Visualise Data, sitio web
de BetterEvaluation, http://betterevaluation.org/plan/describe/visualize_data.

12

Grupo de Evaluacin de las Naciones Unidas, Ethical Guidelines for Evaluation, UNEG, Nueva York, 2007.

13

El sitio web www.childethics.com es un depsito de informacin con base emprica, recursos y enlaces a artculos de
revistas compilado por el proyecto Ethical Research Involving Children para orientar y mejorar la investigacin con nios y
proporcionar una plataforma de reflexin crtica y dilogo.

14

Velea, Simona y CReDO (Centro de Recursos de Derechos Humanos), Child-Friendly Schools, External Evaluation
Report of the Child-Friendly School Initiative (20072011), Republic of Moldova, Ministerio de Educacin de la Repblica
de Moldova/UNICEF, 2012.

Pgina 13

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
Esto tambin se dej patente en el texto introductorio de los cuestionarios. Los cuestionarios
no contenan ningn campo de datos personales que pudiese dar lugar a la identificacin de
los encuestados.

Durante los debates en grupo, no se registraron los nombres de los participantes ni se

grabaron las sesiones. La participacin se bas en el consentimiento informado: los
participantes recibieron informacin sobre el enfoque de evaluacin, su papel en la evaluacin
y las ventajas para ellos a nivel personal, tanto directas (como experiencia de aprendizaje)
como indirectas (al contribuir a entender mejor el sistema educativo).

Durante las entrevistas, las interacciones entre los propios participantes y entre los
participantes y los evaluadores se basaron en el respeto mutuo y la confianza.

La misma evaluacin presenta tambin buenos ejemplos de salvaguardias para garantizar la

confidencialidad de los datos:

Durante el procesamiento de los datos, no se hizo referencia precisa a escuelas o

declaraciones realizadas por determinados alumnos, profesores o padres.

Los datos de los cuestionarios se sometieron a tratamiento estadstico y los datos cualitativos
se revisaron en su conjunto, sin ninguna informacin personal. (Sin embargo, se realizaron
observaciones especficas sobre determinadas escuelas identificadas).

Limitaciones prcticas
Algunas limitaciones prcticas comunes en la recoleccin de datos pueden ser:

Los informantes clave, los participantes y las ubicaciones pertinentes pueden no estar
disponibles/localizables si:
o

no hay informacin completa sobre las ubicaciones del programa o los participantes;

no se les contacta con suficiente antelacin antes o durante el periodo de recoleccin de

datos;

la evaluacin tiene lugar despus de que se haya completado el programa.

Las fuentes de datos pertinentes existentes (como los indicadores de los informes de avances
de los asociados en la ejecucin; los datos de encuestas) son limitadas en cuanto a tiempo
(por ejemplo, no hay base de referencia o series temporales disponibles), o contenido (por
ejemplo, faltan indicadores importantes) o calidad (hay seria preocupacin respecto a la
calidad de los datos).

A menudo existe informacin escasa sobre la calidad de los servicios prestados por los
distintos ejecutores en el caso de un programa a gran escala.

Si los recursos y el marco temporal de la evaluacin lo permiten, algunas de estas limitaciones de la

recoleccin de datos pueden corregirse (por ejemplo, ampliando el periodo o alcance de la
recoleccin de datos), pero es probable que las conclusiones tengan que extraerse sobre la base de
datos imperfectos. Por lo tanto, es importante ser transparente respecto a las limitaciones y describir
cmo pueden haber afectado a las constataciones, las conclusiones y las recomendaciones de la
evaluacin.

Pgina 14

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto

7.

EJEMPLO DE BUENAS PRCTICAS

La evaluacin de la iniciativa de escuelas amigas de la infancia 15 mencionada anteriormente brindaba

algunos buenos ejemplos de una reflexin y ejecucin bien desarrolladas respecto a las opciones de
recoleccin y anlisis de datos.

Determinar las necesidades de datos desentraando adecuadamente los principales

conceptos:
El paidocentrismo se defini como enfoque metodolgico que podra desentraarse en los
siguientes componentes especficos:

conocer los estilos de aprendizaje, problemas y aspiraciones de los alumnos;

incluir y valorar a todos los alumnos, con independencia de su etnia, estatus social,
discapacidad, religin o gnero;

cambiar el foco de atencin de la enseanza al aprendizaje, y adaptar todo el proceso de

enseanza a los nios;

hacer partcipes a los alumnos en la fijacin de objetivos, el aprendizaje de nuevos mtodos de

estudio y la evaluacin del rendimiento (establecimiento y comunicacin de criterios) y la
autoevaluacin;

garantizar que se ensee a los alumnos cmo aprender y que lo que aprendan sea relevante
para su vida cotidiana, integrando en la clase las experiencias de aprendizaje positivas que
estos adquieran fuera de la escuela;

diversificar los casos de situaciones de aprendizaje y funciones de los docentes: transmitir

informacin, facilitar su propia bsqueda de informacin, orientacin, moderacin;

cultivar una buena comunicacin con los padres y fomentar su participacin en la educacin
del nio.

El desentraamiento de este concepto fundamental llev a los evaluadores a constatar la necesidad

de una serie de datos y, con ello, una serie de fuentes de datos. Los cuestionarios eran una de las
formas de recopilar datos pertinentes. La complejidad del paidocentrismo no permita utilizar
nicamente unos indicadores simples para evaluar los logros; por el contrario, esta complejidad
requera aunar varias mediciones (obtenidas a travs de una serie de preguntas especficas en el
instrumento de recoleccin de datos; vanse las notas al pie en el cuadro 7, extrado del informe de
evaluacin) relacionadas con las principales esferas de resultados (como condiciones escolares
favorables para la igualdad de trato; vanse los elementos enumerados en el cuadro 7).

15

Velea, Simona y CReDO (Centro de Recursos de Derechos Humanos), Child-Friendly Schools, External Evaluation
Report of the Child-Friendly School Initiative (20072011), Republic of Moldova, Ministerio de Educacin de la Repblica
de Moldova/UNICEF, 2012, pgs. 4748.

Pgina 15

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
Cuadro 7. Opiniones de los alumnos sobre varios indicadores relacionados con la enseanza.
(Medias; comparacin en columnas, puntuacin ms baja = mejor situacin del
indicador determinado). Extrado del informe de evaluacin sobre escuelas amigas
de la infancia en Moldava, cuadro 8, pg. 47

Uso de distintos mtodos de recoleccin de datos con la intencin de triangular

diferentes perspectivas y ofrecer una presentacin clara de los resultados:
La evaluacin no solo recopil datos sobre el paidocentrismo de los docentes, sino tambin datos
sobre las prcticas de enseanza de los beneficiarios finales: los alumnos. Si bien esta puede
parecer una fuente de datos obvia para algunos evaluadores, preguntar a los participantes del
programa no se incluye necesariamente de manera sistemtica en todas las evaluaciones de
impacto, y cuando se incluye, a menudo se trata de forma simblica (vase tambin la Sntesis n.o
5 (Enfoques participativos)). El estudio sobre las escuelas amigas de la infancia presentaba datos
complejos de una manera muy accesible mediante una buena visualizacin de datos (vanse los
grficos 15 y 16, una vez ms extrados del informe de evaluacin).

Pgina 16

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
Grfico 1. Opiniones de los alumnos respecto a las prcticas de enseanza relevantes para el
paidocentrismo (grfico izquierdo) y respecto a las prcticas de enseanza (grfico
derecho). (Clasificacin de promedios; 0 = mucho,3 = poco). Extrado del informe
de evaluacin sobre escuelas amigas de la infancia en Moldava, grfico 15
(izquierda) y grfico 16 (derecha), pg. 48.

Valorar los impactos diferenciales del programa

Adems de informar sobre los promedios, los evaluadores tambin analizaron los impactos
diferenciales del programa. Estos impactos son esenciales para entender mejor lo que funcion, con
quin y en qu condiciones.
As por ejemplo, los evaluadores sealaron resultados positivos en el comportamiento de los
alumnos, lo que se reflej en una mayor participacin y ms frecuente en las actividades escolares,
especialmente de los nios con discapacidad o de grupos vulnerables (definidos en el estudio).
Asimismo, un mayor nmero de nios obtuvo mejores resultados acadmicos, con un progreso
notable entre los alumnos con bajo rendimiento escolar (definidos en el estudio).

8.

EJEMPLOS DE POSIBLES PROBLEMAS

Un posible problema en la recoleccin y anlisis de datos puede referirse a una mala eleccin de los
mtodos as como a una mala aplicacin de los mtodos. A continuacin se presentan algunos
ejemplos.

Mala eleccin de los mtodos:

Elegir los mismos mtodos antiguos independientemente de su adecuacin a la evaluacin
especfica.
Como se desprende claramente de esta sntesis, existe toda una serie de mtodos de
recoleccin y anlisis de datos para su uso en evaluaciones de impacto. La combinacin ms
adecuada de mtodos depende de la naturaleza de lo que se est evaluando y el contexto de
la evaluacin. En otras palabras, cules son las preguntas de evaluacin que deben
responderse; cundo deben estar disponibles las respuestas para apoyar la toma de
decisiones de distintas partes interesadas; de qu recursos se dispone para la evaluacin; y
qu otras condiciones pueden limitar la evaluacin (por ejemplo, el entorno poltico).
Pgina 17

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
Elegir mtodos que no estn especficamente relacionados con las respuestas a las preguntas
clave de evaluacin.
Construir una matriz de evaluacin (vase el cuadro 1) puede ayudar a asegurar que se
engloben todas las preguntas clave de evaluacin.
Elegir solo un mtodo para responder a una pregunta clave de evaluacin.
No se trata nicamente de emplear varios mtodos, sino de elegirlos de manera que se
complementen, reduciendo as los sesgos y garantizando la triangulacin. Es decir, el punto
fuerte de cualquier mtodo individual seleccionado corregir (al menos algunos de) los puntos
dbiles de otro mtodo seleccionado, adems de incluirse distintas perspectivas sobre la
intervencin en trminos de las principales partes interesadas.

Mala aplicacin de los mtodos:

Mala ejecucin del muestreo.
Por ejemplo, utilizar una muestra de conveniencia o tener una tasa de respuesta
invariablemente baja sin comprobar sistemticamente y mostrar claramente en qu se pueden
haber diferenciado los encuestados de los no encuestados.
El principal objetivo del muestreo es que los datos de la muestra puedan extrapolarse
adecuadamente, desde un punto de vista estadstico o analtico. Una infrarrepresentacin
importante en la muestra seleccionada puede dar lugar a conclusiones falsas o incorrectas
sobre el programa o poltica objeto de investigacin, por ejemplo cuando hay una
infrarrepresentacin importante de determinadas edades, paridad de gnero u otras variables
demogrficas pertinentes, o de determinadas caractersticas que se cree que estn
relacionadas con los resultados o impactos de inters (como la exclusin de los alumnos con
un bajo rendimiento en el caso del anlisis del impacto en los porcentajes de aprobacin de
exmenes).
Mala calidad de la recoleccin de datos.
Por ejemplo, cuestionarios mal elaborados; no dar a las personas la oportunidad de hablar
realmente durante las entrevistas; falta de buenos traductores; y no registrar los datos con
precisin. Algunas formas de evitar o minimizar estos errores frecuentes y comunes son: contar
con una opinin experta a la hora de disear o adaptar los instrumentos de recoleccin de
datos; garantizar una recoleccin de datos de buena calidad mediante la seleccin,
capacitacin y supervisin de responsables de la recoleccin de datos (entre otras cosas
asegurando la paridad de gnero en los equipos de entrevista); proporcionar espacios privados
para las entrevistas, a fin de que las personas se sientan ms cmodas para expresar sus
opiniones, o hacer uso de la tecnologa para proporcionar ms privacidad en las respuestas
y evitar obtener respuestas socialmente deseables; y recurrir a traductores certificados y con
experiencia.
Mala calidad del anlisis de datos.
Por ejemplo, extraer conclusiones que no estn respaldadas por los datos o centrarse solo en
el efecto medio del programa o poltica. Algunas formas de apoyar un anlisis de datos de
buena calidad son: asegurar que se cuestionan las conclusiones iniciales manteniendo
sesiones de comentarios y sugerencias con las principales partes interesadas o buscar
intencionadamente rechazar las pruebas empricas; buscar patrones; y asegurar que se
aborden cuestiones transversales como la equidad.

Pgina 18

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
Mala calidad de la presentacin de informes y resultados.
Por ejemplo, plantear la presentacin de informes segn los distintos instrumentos de
recoleccin de datos (ir repasando los elementos del cuestionario uno por uno) en vez de
responder a las preguntas clave de evaluacin, o utilizar grficos complicados que requieren
una extensa explicacin para entenderlos. Una buena visualizacin de datos es una
herramienta esencial para comunicacin los mensajes principales; por ejemplo, crear un
mapa visual de las ideas principales para los datos textuales y aadir citas especficas en
recuadros para ilustrar constataciones resumidas, o presentar las principales constataciones a
travs de hojas de clculo cuidadosamente seleccionadas (es decir, hay muchas opciones
entre las que elegir una vez que se decide ir ms all de las tcnicas habituales).

9.

LECTURAS Y ENLACES CLAVE

Bamberger, Michael, Introduction to Mixed Methods in Impact Evaluation, Guidance Note No. 3,
InterAction, Washington, D.C., agosto de 2012. Vase http://www.interaction.org/impact-evaluationnotes.
BetterEvaluation, Analyze Data, sitio web de BetterEvaluation,
http://betterevaluation.org/plan/describe/look_for_patterns.
BetterEvaluation, Collect and/or Retrieve Data, sitio web de BetterEvaluation,
http://betterevaluation.org/plan/describe/collect_retrieve_data.
BetterEvaluation, Combine Qualitative and Quantitative Data, sitio web de BetterEvaluation,
http://betterevaluation.org/plan/describe/combining_qualitative_and_quantitative_data.
BetterEvaluation, Manage Data, sitio web de BetterEvaluation,
http://betterevaluation.org/plan/describe/manage_data.
Evergreen, Stephanie, D.H., Presenting Data Effectively, Communicating Your Findings for Maximum
Impact, Sage, Thousand Oaks, 2013.
Measure Evaluation, Data Quality Assurance, sitio web de Measure Evaluation,
http://www.cpc.unc.edu/measure/tools/monitoring-evaluation-systems/data-quality-assurancetools/data-quality-assurance-tools.
Patton, Michael Quinn, Qualitative Research & Evaluation Methods, tercera edicin, Sage, Thousand
Oaks, 2001.
Perrin, Burt, Linking Monitoring and Evaluation to Impact Evaluation, Guidance Note No. 2,
InterAction, Washington, D.C., abril de 2012. Vase http://www.interaction.org/document/guidancenote-2-linking-monitoring-and-evaluation-impact-evaluation.

Pgina 19

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto

GLOSARIO
Actividad

Datos de referencia

Depuracin de datos

Diseo cuasi experimental

Error de muestreo

Evaluacin participativa

Impacto

Indicador

Informante clave
Insumo

Magnitud del efecto

16

Acciones emprendidas o procesos mediante los que se movilizan

insumos para generar productos determinados. Por ejemplo, sesiones
de asesoramiento que se adhieren a unas normas de calidad.
Datos recopilados inicialmente que sirven de base para la comparacin
con los datos obtenidos en una fase posterior. Por ejemplo, los datos
recopilados antes de una intervencin se comparan posteriormente con
los datos recopilados despus de ejecutar la intervencin.
Proceso de comprobacin de los datos para ver si se ajustan a los
estndares, coherencia interna, integridad referencial y mbito vlido, y
de sustitucin/reparacin de los datos incorrectos por datos correctos.
Depurar un archivo de datos consiste en comprobar si hay cdigos
rebeldes y respuestas incongruentes; verificar que el archivo tiene el
nmero correcto y esperado de registros, casos y tarjetas o registros
por caso; y corregir los errores detectados.
Diseo de investigacin/evaluacin en el que los participantes no se
asignan de forma aleatoria a las condiciones del tratamiento, sino que
los grupos de comparacin se construyen por medios estadsticos.
Difiere del experimento controlado (clsico) en que no hay una
asignacin aleatoria del tratamiento/intervencin.
Grado en el que los resultados de la muestra se desvan de los que se
habran obtenido con toda la poblacin debido al error aleatorio en la
seleccin de participantes y la correspondiente reduccin de la
fiabilidad.
Enfoque de evaluacin que involucra a las partes interesadas,
especialmente a los participantes en un programa o a los afectados por
una determinada poltica, en algunos aspectos del proceso de
evaluacin, entre ellos, el diseo, la aplicacin de la recoleccin y el
anlisis de datos o la supervisin del trabajo de los expertos tcnicos.
Efectos de largo plazo positivos y negativos, primarios y secundarios,
producidos directa o indirectamente por la intervencin,
intencionalmente o no. 16
Medida verificable que ha sido seleccionada por la direccin de un
programa o poltica para tomar decisiones sobre dicho programa o
poltica. Por ejemplo, la proporcin de estudiantes que aprueban un
examen estandarizado.
Participante en la investigacin/evaluacin que es probable que est
bien informado sobre una cuestin y dispuesto a responder sin sesgos.
Recursos financieros, humanos y materiales empleados en un
programa o una poltica. Por ejemplo, los materiales de capacitacin
elaborados.
Trmino estadstico de la magnitud de la relacin entre dos variables.

CAD-OCDE, Glosario de los principales trminos sobre evaluacin y gestin basada en resultados, OCDE, Pars, 2010. Vase
http://www.oecd.org/development/peer-reviews/2754804.pdf.

Pgina i

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
Metaanlisis

Metaevaluacin

Muestreo aleatorio simple

Muestreo de bola de nieve

Muestreo de variacin
mxima
Muestreo estratificado

Muestreo por etapas

mltiples

Muestreo secuencial

Producto

Proceso o tcnica de sintetizacin de los resultados de la investigacin

de dos o ms estudios utilizando varios mtodos estadsticos para
recuperar, seleccionar y combinar los resultados de anteriores estudios
que abordan la misma cuestin.
Revisin/valoracin de la calidad de una evaluacin. El trmino se
utiliza tambin para describir la actividad de sintetizar constataciones de
una serie de evaluaciones con el fin de valorar su calidad o medir el
desempeo de los evaluadores. Tambin se conoce como sntesis de
evaluacin.
Tipo especfico de muestreo probabilstico en el que los sujetos se
seleccionan de una lista de poblacin utilizando una tabla de nmeros
aleatorios o un generador de nmeros aleatorios. (Una muestra
aleatoria requiere una lista de miembros de la poblacin en la que
pueda asignarse a cada miembro un nmero diferente.) La asignacin
al azar de los sujetos a distintos tratamientos, intervenciones o
condiciones en vez de forma sistemtica. La asignacin aleatoria de los
sujetos aumenta la probabilidad de que las diferencias observadas
entre los grupos de sujetos sean fruto de la intervencin experimental.
Muestreo no probabilstico que se crea recurriendo a los miembros del
grupo de inters para que sealen a otros miembros del grupo (por
ejemplo, pidiendo sugerencias a un sujeto al trmino de una entrevista
sobre a quin ms se podra entrevistar).
Utilizado en la investigacin cualitativa para seleccionar
deliberadamente una amplia variedad de casos.
Muestreo probabilstico que se determina dividiendo la poblacin en
grupos o estratos definidos por la presencia de determinadas
caractersticas y posteriormente realizando un muestreo aleatorio de
cada estrato. Es una buena forma de asegurar que una muestra de
estudiantes sea racialmente diversa (por ejemplo).
Muestreo probabilstico que conlleva varias etapas (y frecuentemente
una etapa de muestreo por conglomerados), por ejemplo, seleccionar
conglomerados de una poblacin y posteriormente seleccionar
personas de cada conglomerado.
Mtodo de muestreo que puede ser probabilstico y no probabilstico.
Como mtodo de muestreo probabilstico, el muestreo secuencial
requiere un marco ordenado de unidades de muestreo desde el que se
selecciona la muestra utilizando una probabilidad o previsin
explcitamente indicada, por ejemplo, seleccionando uno de cada diez
casos de una lista.
Como tcnica de muestreo no probabilstico, el muestreo secuencial
empieza por el muestreo de una nica observacin o un grupo de
observaciones que posteriormente se ponen a prueba con respecto a la
hiptesis. Si no se rechaza la hiptesis nula, se somete a muestreo otra
observacin o grupo de observaciones y la hiptesis se pone a prueba
otra vez, etc.
Efectos inmediatos de las actividades de un programa o poltica, o los
productos o entregables directos de estas actividades. Por ejemplo, el
nmero de vacunas administradas.

Pgina ii

Sntesis metodolgica n10: Sinopsis:

Mtodos de Recoleccin y Anlisis de Datos en la Evaluacin de Impacto
Prueba piloto
Resultado

Revisin realista

Revisin sistemtica

Teora del cambio

Valor atpico

Estudio a pequea escala llevado a cabo para comprobar la fiabilidad

de una herramienta de recoleccin de datos.
Algo que ocurre a las personas, las comunidades, el medio ambiente
o la economa, que al menos parcialmente se debe al programa o a la
poltica que se est evaluando. Los resultados pueden ser cambios
positivos o negativos, previstos o no previstos, que se producen, o
cambios que se evita que se produzcan. En el contexto de evaluacin,
el uso del trmino resultado implica que el programa/poltica
contribuy al cambio, ayud a provocarlo o lo cataliz (lo aceler).
Tipo de sntesis de investigacin explicativa e iterativa que pone a
prueba y crea teoras de alcance intermedio. Facilita un anlisis
exploratorio para responder qu funciona, con quin, en qu
circunstancias, por qu y cmo.
Mtodo de investigacin que ofrece un marco para extraer y evaluar de
forma crtica los resultados derivados de las pruebas empricas
existentes sobre una cuestin o tema especfico. Las pruebas empricas
se seleccionan de acuerdo con criterios claros y la revisin se lleva a
cabo a travs de un protocolo estandarizado. Una vez que termina la
compilacin de toda la literatura pertinente, se valora la calidad de los
estudios e informes utilizando criterios claramente definidos, y las
conclusiones se extraen nicamente a partir de los datos que cumplen
las normas de calidad.
Explica cmo se entiende que las actividades produzcan una serie de
resultados que contribuyen a lograr los impactos finales previstos.
Puede elaborarse para cualquier nivel de intervencin: un
acontecimiento, un proyecto, un programa, una poltica, una estrategia
o una organizacin.
Observacin en un conjunto de datos cuyo valor est alejado de los
otros en el conjunto de datos. Es un valor inusualmente grande o
pequeo en comparacin con los dems.

Pgina iii