Professional Documents
Culture Documents
MARA BUSTELO**
* Publicado en la Revista Espaola de Desarrollo y Cooperacin n 4; primavera / verano 1999; Madrid; pginas 9 a 29. La
autora agradece a Carlos Closa, Narciso Pizarro, Jacint Jordana y Carles Rami, sus valiosos comentarios sobre este trabajo
** Profesora asociada del Departamento de Ciencia Poltica y de la Administracin II. Facultad de CC. Polticas y
Sociologa de la Universidad Complutense de Madrid.
1
NDICE
RESUMEN................................................................................................................................................3
I. ESTABLECIMIENTO Y DISCUSIN DE CRITERIOS PARA LA COMPARACIN.....................3
II. LAS DIFERENCIAS DE FINALIDAD Y PROPSITO.....................................................................6
III. LAS DIFERENCIAS DE CONTEXTO ..............................................................................................7
IV. LAS DIFERENCIAS DE OBJETO ....................................................................................................8
V. LAS DIFERENCIAS DE MTODO ...................................................................................................9
VI. LAS DIFERENCIAS EN LOS DESTINATARIOS O USUARIOS DE LAS INVESTIGACIONES
Y DE LAS EVALUACIONES................................................................................................................11
VII. LAS DIFERENCIAS DE RESULTADOS: PRODUCTOS Y EFECTOS ESPERADOS. .............11
VIII. LAS DIFERENCIAS DE AGENTES (INVESTIGADORES Y EVALUADORES) ....................13
IX. CONCLUSIONES.............................................................................................................................16
BIBLIOGRAFA .....................................................................................................................................18
2
RESUMEN
En este artculo se abordan las diferencias y semejanzas entre los dos tipos de actividad o
indagacin. La diferenciacin se realiza sobre la base de la necesidad de clarificar la
naturaleza de ambos conceptos y de afirmar la identidad de la evaluacin de programas como
actividad cientfica diferenciada.
1 Utilizamos aqu el trmino de evaluacin de programas en sentido amplio y gnerico, incluyendo la evaluacin de
polticas, planes, programas, proyectos, servicios, medidas, instituciones y materiales. Excluimos de este trmino la
evaluacin de alumnos y de personal.
2 Aqu se aboga por la utilizacin del trmino de investigacin evaluativa nicamente como la actividad de investigacin
sobre la evaluacin: metaevaluacin, investigacin sobre la utilizacin de la evaluacin por parte de los poderes pblicos,
institucionalizacin y desarrollo de la funcin de evaluacin en las instituciones, etc. Es decir, a la investigacin cuyo objeto
de estudio son los procesos de evaluacin. Aunque se cree que el trmino ms adecuado sera investigacin sobre
evaluacin ms que investigacin evaluativa.
3
A caballo entre el criterio de la naturaleza de cada actividad y el criterio de su finalidad, estara su
posible carcter bsico o aplicado. Ambos tipos de actividad investigacin y evaluacin- pueden ser
de carcter aplicado; pero la evaluacin es siempre de carcter aplicado, nunca bsico. La
investigacin, por el contrario, puede ser tanto de carcter bsico como aplicado. Sin embargo, el
hecho de que se d una investigacin aplicada (cuyo fin primario sea la solucin de un problema o la
respuesta a una necesidad concreta, ms que el desarrollo de teora en abstracto) no la convierte
automticamente en una actividad evaluativa. Tampoco el hecho de ser aplicada no significa que sea
una investigacin de categora inferior; muy al contrario, el carcter aplicado de la investigacin dota
de contenido y utilidad social a la actividad cientfica. Como sealan Lincoln y Guba es posible
afirmar que muchos avances bsicos en las ciencias han sido ocasionados por esfuerzos para resolver
problemas prcticos (1986: 548). Lo que s parece claro es, como se ha dicho antes, que la evaluacin
es siempre de carcter aplicado ya que se hace para valorar el mrito y/o valor de un evaluando en su
contexto, para resolver determinadas necesidades de informacin y con la intencin de mejorar el
evaluando, rendir cuentas sobre el mismo o ilustrar sobre acciones futuras. Es ms, se puede afirmar
que la evaluacin es un tipo de indagacin sistemtica especialmente aplicada.
De forma especial, las diferencias en el objeto de estudio han sido poco tratadas en la literatura sobre
evaluacin, aunque desde nuestro punto de vista, tambin se pueden identificar algunas diferencias.
Incluso suponiendo que se trata de una investigacin de tipo aplicado, y que su objeto de estudio est
directamente relacionado con el objeto o problema que pretende un programa o poltica (en trminos de
Cordray y Lipsey, 1987, lo que llamaramos investigacin de programas), se pueden establecer y
discutir algunas distinciones segn el objeto de estudio.
Como ya se ha mencionado, los criterios ms utilizados para resaltar diferencias y semejanzas entre
investigacin y evaluacin, junto con los de finalidad, son los de tipo epistemolgico y metodolgico.
Algunas de las primeras distinciones que se encuentran en la literatura, tendan a pensar en la
investigacin en trminos positivistas, dejndole a la evaluacin mayores grados de libertad
metodolgicos. Las evaluaciones suelen utilizar mtodos subjetivos y no estn tan estrechamente
controladas ni sujetas a manipulacin como las investigaciones (Stufflebeam y Shinkfield, 1987: 23).
Incluso se llega a identificar a cada tipo de actividad con un paradigma diferente desde el punto de
vista epistemolgico. Para Cordray y Lipsey (1987: 29), la evaluacin se inscribira en una perspectiva
ms constructivista (examinando diferentes hechos, vistos desde muchos puntos de vista) mientras la
investigacin lo hara en una ms positivista (examinando un conjunto de hechos sobre los aspectos
tangibles de una intervencin). Desde nuestro punto de vista, incluso contemplando dichas actividades
desde todas las posturas epistemolgicas posibles, se pueden distinguir de forma clara estos dos tipos
de indagacin.
4
En esta lnea de inclusin de todas las perspectivas paradigmticas, distinguen investigacin y
evaluacin Lincoln y Guba (1986). Estos autores proponen una definicin de investigacin que sea
vlida para cualquier orientacin epistemolgica y para cualquier tipo de investigacin (bsica o
aplicada): es un tipo de indagacin disciplinada que se lleva a cabo para resolver algn problema de
forma que se consiga entendimiento o se facilite la accin. Sin embargo, la evaluacin es un tipo de
indagacin disciplinada que se lleva a cabo para determinar el valor (mrito y/o vala) de alguna
entidad -el evaluando- tal como un tratamiento, un programa, unos recursos o una actuacin, de forma
que se mejore o refine el evaluando (evaluacin formativa) o se valore su impacto (evaluacin
sumativa) (Lincoln y Guba, 1986: 549-550). Como se puede observar, estas definiciones vuelven a
hacer hincapi en las diferentes finalidades.
Una de las semejanzas que siempre se aducen al hablar de investigacin y evaluacin es la utilizacin
de la misma metodologa (Weiss, 1998). Es ms, en ocasiones se ha definido la evaluacin como la
utilizacin de los mtodos de la investigacin para valorar programas. Para Weiss, la utilizacin de los
mtodos de las ciencias sociales tiene como fin hacer que el proceso valorativo sea ms exacto y
sistemtico. De nuevo, como muchos otros autores, Weiss seala que lo que distingue la investigacin
evaluativa no es el mtodo o la materia de la que se ocupa, sino la intencin o el propsito para la que
se hace (Weiss, 1998: 15). Como ya se ha visto, ni siquiera Lincoln y Guba, quienes enmarcan su
discusin con pautas de carcter epistemolgico, insisten en las diferencias metodolgicas, sino que se
centran en las diferencias de propsito, y mencionan algunas cuestiones respecto a los destinatarios y
los resultados o productos. Ms adelante, se argumenta que tambin existen diferencias de mtodo,
aunque ambos tipos de actividad utilicen las mismas tcnicas de recopilacin y anlisis de informacin
e incluso las mismas metodologas en ocasiones. De esta manera, hacemos eco del smil utilizado por
Lincoln y Guba: el hecho de que utilicen las mismas herramientas (martillos, destornilladores, sierras y
llaves) no hace iguales a carpinteros, electricistas y fontaneros (Lincoln y Guba, 1986: 537).
Carol H. Weiss, adems de la utilizacin de las mismas tcnicas y mtodos, e incluso los mismos
diseos de investigacin, menciona otra semejanza relacionada con el criterio metodolgico. Para
Weiss, la evaluacin pretende, como cualquier otra investigacin, describir, entender relaciones entre
variables y seguir la secuencia causal de una variable con otra. Sin embargo, para la autora, no siempre
se pueden aplicar los mtodos con el mismo rigor que en la investigacin ya que las dependencias del
tiempo, el espacio, la gente y los recursos disponibles son ms estrechas y evidentes en situaciones de
evaluacin. As, "los mtodos de evaluacin a menudo representan un trmino medio entre lo ideal y lo
posible" (Weiss, 1998: 18). En definitiva, lo que las diferencia, pues, no es la metodologa en s misma
sino las circunstancias y condicionantes con los que se aplica.
Segn nuestro punto de vista, la idea de metodologa de Weiss tiene que ver con una visin
tradicional y acotada del mtodo y que se limita a la forma en la que se recopila y analiza la
informacin. Esto tambin tiene que ver con la necesaria diferencia que se debe establecer entre los
niveles metodolgico y tecnolgico (referido a las tcnicas para la recopilacin y anlisis de la
informacin). La metodologa se refiere al razonamiento lgico que vincula la informacin que se
recopila al conocimiento general. Las tcnicas son las que permiten recopilar la informacin. Como
veremos ms adelante, si consideramos que la metodologa de evaluacin comprende algo ms que la
recopilacin y el anlisis de la informacin, se pueden tambin encontrar diferencias de mtodo entre
los dos tipos de indagacin.
Adems de los criterios mencionados, se pueden tambin sealar diferencias entre investigacin y
evaluacin segn los destinatarios o usuarios de los dos tipos de actividad, ya que estos son
potencialmente distintos, siendo los destinatarios de la investigacin la comunidad cientfica en
5
trminos abstractos, y de la evaluacin, una comunidad de poltica o programa concreta. Tambin se
pueden establecer diferencias segn los resultados que deben producir y que se esperan de los dos
tipos de indagacin; respecto a los resultados se puede hablar, por un lado, de productos esperados
(publicacin de resultados en un caso y recomendaciones e informe en el otro) y, por otro, de sus
efectos (reconocimiento de la comunidad cientfica en un caso y utilizacin de los resultados en el
otro).
Finalmente, al ser actividades diferenciadas, el papel de los agentes (es decir, investigadores y
evaluadores) tambin puede diferenciarse, incluyendo algunos requisitos y necesidades distintas para
investigadores y evaluadores. Al fin y al cabo los evaluadores se mueven en un contexto determinante
y de caractersticas muy distintas (con un fuerte carcter poltico) a los contextos en los que se generan
las investigaciones. Esto significa que los evaluadores deben contar con una serie de destrezas, como
son, por ejemplo, el conocimiento de los procesos polticos y ciertas habilidades de comunicacin, que
no son tan importantes en el caso de los investigadores.
A continuacin analizamos pormenorizadamente las diferencias entre los dos tipos de actividad,
discutiendo las diferencias de finalidad y propsito, de contexto, de objeto, de mtodo, de destinatarios
de resultados (productos y efectos esperados) y de agentes. Finalmente se elaboran unas conclusiones
sobre el significado de dichas diferencias para la teora y la prctica de la evaluacin.
6
El hecho de que la utilidad sea una caracterstica central de la evaluacin conlleva una serie de
condicionantes que deben darse en este tipo de actividad cientfica. La existencia de un cliente o
clientes que han demandado la evaluacin y la necesidad de responder ante un contexto especfico
hacen que el evaluador, adems de la lealtad hacia su campo de estudio y como cientfico social, tenga,
sobre todo, obligaciones con el cliente, los formuladores de la poltica, los directivos, los profesionales
y los participantes y beneficiarios del programa evaluado. Esto significa que la evaluacin debe tener
mayor capacidad de respuesta que la investigacin, especialmente ante el contexto (aunque la
investigacin debe tener tambin en cuenta el contexto, para la evaluacin la respuesta al mismo es
crucial) y ante los responsables e implicados3 de los programas.
En conexin con esta capacidad de respuesta y, en general, con la utilidad como sentido ltimo de la
evaluacin, est la necesaria oportunidad en el tiempo que debe tener la evaluacin. Los ritmos de la
investigacin pueden ser distintos, mucho ms lentos. Sin embargo, para la evaluacin, la capacidad de
respuesta est claramente ligada al calendario. La utilidad de la informacin que arroja una evaluacin
depende, en gran medida, de que sta llegue a tiempo para la toma de decisiones sobre las mejoras, las
posibles modificaciones y el rendimiento de cuentas. La entrega tarda de un informe de evaluacin
puede significar la prctica inutilidad del mismo. Eleanor Chelimsky reflexiona sobre las aportaciones
que se pueden hacer a la teora de la evaluacin desde la experiencia de la prctica evaluativa4, y es
precisamente ste uno de los puntos sobre el que llama la atencin; para ella, a la necesidad de
oportunidad en el tiempo de la evaluacin no se le ha dado la suficiente importancia a nivel terico
(Chelimsky, 1998). Cuanto ms inestable e incierto polticamente sea el contexto en el que se
encuentra el programa o poltica a evaluar, ms acuciante es la necesidad de que la evaluacin cumpla
los criterios de temporalidad. Si se tarda mucho tiempo en contestar las preguntas de evaluacin, por
muy bien contestadas que estn, es posible que el debate que las gener ya no sea el mismo, que se
hayan quedado obsoletas y sean irrelevantes o que los destinatarios a los que se haba dirigido la
evaluacin hayan desaparecido. Chelimsky tambin seala que el incumplimiento de plazos en un
proceso de evaluacin suele daar la reputacin y credibilidad de los evaluadores a largo plazo; adems
del incumplimiento de compromisos, los retrasos suelen entenderse como seal de incompetencia o de
que hay algo que ocultar (Chelimsky, 1998: 41).
3 El trmino utilizado en la bibliografa es el de stakeholder, de difcil traduccin al castellano y que vendra a significar
aquellas personas que tienen algo que decir respecto al programa (que pueden verse afectadas o afectan al mismo). La
definicin del trmino aplicada a la evaluacin se expresa como los individuos o grupos que pueden verse implicados o
afectados por una evaluacin (Joint Committe, 1994: 3). Aqu se traduce como implicados.
4 Chelimsky trabaja durante la dcada de los 80 como directora de la Divisin de Evaluacin de Programas y Metodologa
de la General Accounting Office (GAO). Como tal se encarg de encargar y dirigir ms de 300 evaluaciones dirigidas al
Congreso de los EE.UU.
7
lgico que aquella dependa de y se subordine a ste. Por lo tanto, los procesos de evaluacin dependen
ms del contexto que los de investigacin. Esto, en trminos prcticos, significa que las estrategias de
seleccin, recopilacin y anlisis de la informacin tambin se deben plantear de forma diferente en los
dos tipos de actividad, siendo ms cautelosos e inclusivos (ofreciendo una mayor participacin a
responsables e implicados) en los procesos de evaluacin.
Esta mayor dependencia del contexto de la evaluacin est ntimamente ligada al necesario
reconocimiento del carcter poltico de los procesos evaluativos. Esta es otra diferencia clara con la
investigacin, ya que esta ltima se ve mucho menos afectada por el contexto poltico. Carol H. Weiss
(Weiss, 1987) sostiene que la evaluacin es una tarea racional pero que se lleva a cabo en un contexto
poltico en el que, adems, hay que tener en cuenta tres consideraciones: la primera, que las polticas y
programas que se evalan son resultado de decisiones polticas. Segundo, la evaluacin al llevarse a
cabo para alimentar el proceso de toma de decisiones entra, inevitablemente, en la arena poltica.
Tercero, la evaluacin en s misma adopta una postura poltica ya que, por su misma naturaleza,
expone implcitamente cuestiones tales como la naturaleza problemtica o necesidad de algunos
programas, la legitimidad de las estrategias y objetivos, etc. Conocer estas resistencias y fuerzas
polticas es necesario para realizar una evaluacin til. En definitiva, se reconoce el contexto poltico,
incluso como determinante de una situacin evaluativa a la que vamos a tener que responder
metodolgicamente de formas diversas.
Adems de la valoracin de este efecto neto, que en muchas ocasiones es sumamente difcil y costoso
de medir, la evaluacin de la forma en la que se aborda un problema pblico debe incluir la valoracin
del diseo de la intervencin, su puesta en prctica y sus resultados. Es decir, el foco de la evaluacin
es la valoracin de las acciones e intervenciones concretas que se realizan para abordar un problema
determinado, en todas sus dimensiones. Stufflebeam y Shinkfield (1987: 23) consideran que, mientras
la investigacin se limita al estudio de ciertas variables que tienen un inters terico, la evaluacin se
8
dedica a todos los criterios que se utilizan en la determinacin de un valor. Esto significa que la
investigacin puede centrarse en ciertos aspectos concretos o en algunas variables especficas; es decir,
su foco de atencin puede ser pequeo o ms acotado. Por el contrario, la evaluacin, por el hecho de
determinar el valor de una intervencin, suele tender a considerar sta de forma global, ms que
centrarse en algunos aspectos concretos de dicha intervencin.
Sin embargo, aunque existen diferencias genricas entre el objeto de estudio de la investigacin y la
evaluacin y el reconocimiento de las mismas es tambin importante para establecer una identidad para
la evaluacin como actividad cientfica diferenciada, no basta con distinguir los objetos en trminos
abstractos. Por un lado, es evidente que el abanico de objetos de investigacin (cualquier tipo de
problema) es mucho ms amplio que el de la evaluacin, que est mucho ms acotado (abordaje de un
problema a travs de algn tipo de intervencin). Pero por otro lado, para diferenciar entre objetos,
puede hacer falta el cruce del propsito con el que se lleva a cabo la indagacin. As, el objeto de la
evaluacin puede ser invadido por la investigacin, si sta se lleva a cabo con un propsito diferente
al de la evaluacin de programas. Por ejemplo, el estudio comparado de las polticas de cooperacin al
desarrollo en tres pases, aunque se trata de un objeto que tiene que ver con el abordaje de un problema,
ms que con el problema en s mismo, sera ms investigacin que evaluacin porque, seguramente, no
se llevara a cabo con la intencin de mejorar las polticas o controlar responsabilidades, sino con un
propsito ms general de construccin de conocimiento.
En primer lugar, esta especificidad tiene que ver con la definicin del problema a resolver y con el
primer paso sobre cmo se seleccionan los criterios o preguntas de evaluacin. Weiss (1998: 15)
seala que, en evaluacin, las preguntas que se plantean se derivan siempre del propio programa a
evaluar. Independientemente de que se tenga en cuenta el estado de la cuestin, las fuentes ms
importantes para la elaboracin de los criterios o preguntas de evaluacin son los objetivos del
programa a evaluar y, sobre todo, las preocupaciones de los implicados en o afectados por dicho
programa (de la comunidad de poltica o programa). Mientras los investigadores pueden formular
sus propias hiptesis, el evaluador debe convertir en preguntas de evaluacin las preocupaciones del
programa. Aunque el evaluador pueda influir en lo que l considera importante, el corazn de los
estudios de evaluacin son las cuestiones de inters programtico.
En segundo lugar, en evaluacin siempre se da un elemento de valoracin. Para Weiss (1998:15) una
de las diferencias entre investigacin y evaluacin es lo que ella llama la calidad de juicio. En
evaluacin se compara entre lo que es y lo que debera ser; se compara respecto a normas implcitas o
explcitas, relativas o absolutas. El elemento de valoracin respecto a una serie de criterios es lo que
diferencia la evaluacin respecto a otros tipos de investigacin. Tambin para Alvira, aunque los
procesos de evaluacin son muy similares a los de una investigacin aplicada, la caracterstica que
principalmente diferencia a los dos tipos de actividad es que en evaluacin se deben emitir juicios de
valor sobre el objeto evaluado (Alvira, 1991: 7). Este debe ser siempre un enjuiciamiento sistemtico,
que tenga en cuenta los criterios y normas previamente establecidos y que se base, sobre todo, en los
datos recopilados y en las interpretaciones que de ellos se han hecho.
Sin embargo, investigacin y evaluacin no se diferencian por las tcnicas de recopilacin y anlisis
de informacin que son, bsicamente, las mismas. Aunque, afinando en el anlisis, se puede sealar
que, en general, las evaluaciones tienden a utilizar tcnicas menos sofisticadas que las investigaciones.
Las constricciones de tiempo, recursos y contexto que suelen darse en las situaciones de evaluacin
hacen que, en muchas ocasiones, la utilizacin de tcnicas complejas y costosas sea menos posible y
apropiado.
10
VI. LAS DIFERENCIAS EN LOS DESTINATARIOS O USUARIOS DE LAS
INVESTIGACIONES Y DE LAS EVALUACIONES
Otra diferencia entre evaluacin e investigacin son los destinatarios a los que se dirige, o dicho de
otro modo, los usuarios de ambas actividades cientficas. En el caso de la investigacin, el grupo
destinatario principal es la comunidad cientfica y en un papel secundario, las comunidades de poltica
relacionadas con el tema investigado. En evaluacin, ocurre justamente lo contrario: en un papel
secundario estara la comunidad cientfica, y como destinataria principal la comunidad de poltica. Esta
comunidad de poltica es, en cualquier caso, compleja y amplia. Adems del cliente que la encarga,
existen muchas otras personas que estn implicadas en el programa, de una manera u otra, y, por lo
tanto, tienen necesidades de informacin e intereses en los procesos evaluativos. Es posible que para
una evaluacin haya un nico cliente que la ha encargado, pero siempre va a haber ms destinatarios
que esperan algo en concreto de esa evaluacin. Como muestra, Guba y Lincoln (1989: 40-41)
identifican un amplio listado de trece tipos de posibles implicados (stakeholders) en una evaluacin,
divididos en tres grandes clases: los agentes, los beneficiarios y las vctimas del programa a
evaluar. En este listado se incluyen desde los patrocinadores del programa (agentes) hasta las personas
que sufren costes de oportunidad por el uso del evaluando, tales como las personas que hubieran
preferido invertir los recursos en otros programas (vctimas). Por lo tanto, el elenco de destinatarios a
los que hay que responder y de posibles actores a involucrar es mucho ms amplio y complejo en los
procesos de evaluacin que en los de investigacin.
11
grado en que sta contribuye al aumento o mejora del conocimiento sino, sobre todo, por el grado en el
que ha resultado valiosa para cubrir las necesidades especficas de informacin de un cliente,
destinatario o usuario particular.
Una respuesta natural a esta preocupacin por la utilizacin y por responder a necesidades especficas
de informacin, ha sido la atencin prestada a los procesos de comunicacin de los resultados de las
evaluaciones, incluyendo la importancia de la elaboracin de un buen informe, legible y claro (y su
difusin y seguimiento posterior), y de otras formas alternativas de comunicacin (como por ejemplo,
sesiones de trabajo, presentaciones orales, conferencias de prensa, comunicaciones cortas como faxes,
memoranda o correos electrnicos, vdeos, psters, boletines y resmenes ejecutivos). Un buen
exponente de esta preocupacin por el elemento comunicativo es la obra de Torres, Preskill y Piontek
(1996), la cual se centra en fundamentar la importancia de dicho elemento en los procesos evaluativos
y en ofrecer orientaciones prcticas para la comunicacin y difusin de los resultados. Es decir, la
responsabilidad del evaluador no acaba con la entrega del informe, sino que tambin tiene
responsabilidades de comunicacin, difusin y seguimiento de dicho informe.
Otra de las diferencias entre investigacin y evaluacin, respecto a los resultados esperados de ambos
procesos de indagacin, es, como seala Weiss (1998: 16) la publicacin posterior. Mientras el
resultado evidente de la investigacin es su publicacin sta es, de hecho, prcticamente la nica va
para la diseminacin de las investigaciones-, la mayora de los informes de evaluacin no se publican.
Por un lado, los responsables de los programas entienden que la informacin que generan las
evaluaciones sirve, sobre todo, para contestar a sus preguntas y cubrir sus necesidades de informacin,
y no tienen especial inters en que dicha informacin se difunda. Por otro lado, los evaluadores suelen
trabajar con presin de tiempo y, normalmente, despus de la entrega del informe, suelen ya estar
trabajando en otro estudio. Adems, los canales para publicar estudios de evaluacin son todava muy
escasos, especialmente en pases que, como Espaa, tienen todava una escasa cultura evaluativa y la
funcin de evaluacin muy poco desarrollada e institucionalizada. En el mbito anglosajn existen una
serie de publicaciones peridicas especializadas6 en las que pueden publicarse los resultados de
estudios de evaluacin y el proceso seguido en los mismos, as como debatir sobre mtodos enfoques,
filosofa y usos de la evaluacin. En realidad, en el campo de la evaluacin, las cuestiones referidas a
los procesos y a la metodologa pueden tener ms inters incluso que los propios resultados de los
estudios de evaluacin, ya que al estar estos centrados en un contexto especfico y en un programa o
poltica concreta son menos generalizables o extrapolables que los resultados de las investigaciones.
Sin embargo, no cabe duda de que los resultados de las evaluaciones de programas y polticas de un
determinado sector pueden ser tambin de inters para la comunidad cientfica y profesional de dicho
sector (por ejemplo, las polticas de cooperacin al desarrollo), y que tambin pueden tener cabida en
las publicaciones y foros especializados de cada uno de los sectores.
Respecto a los efectos de los dos tipos de indagacin, se puede decir que la investigacin pretende, en
general, conseguir aportaciones a la comunidad cientfica y un reconocimiento por parte de la misma;
la evaluacin, sin embargo, pretende la utilidad concreta y la utilizacin de los resultados que
produzca. Esta utilizacin puede ser directa e inmediata, para la toma de decisiones (se utilizan los
resultados para tomar decisiones concretas sobre el programa o poltica evaluada) o ms indirecta,
difusa o mediata, para el aprendizaje organizativo (se aprende de los resultados y de los propios
procesos de evaluacin y este aprendizaje general supone una mejora para el programa y la
organizacin o colectivo que lo lleva a cabo).
6The American Journal of Evaluation (antes Evaluation Practice), Evaluation Review, Educational Evaluation and Policy
Analysis, New Directions for Evaluation, Evaluation and Program Planning, Evaluation and the Health Professions y la
europea Evaluation: The International Journal of Theory, Research, and Practice.
12
VIII. LAS DIFERENCIAS DE AGENTES (INVESTIGADORES Y
EVALUADORES)
Como ya se ha comentado anteriormente, para moverse adecuadamente en los determinantes contextos
evaluativos, el evaluador requiere de unas habilidades diferentes a las del investigador. Los
evaluadores deben ser capaces de manejarse con habilidad en los contextos complejos en los que deben
intervenir. Necesitan, desde luego, una buena formacin metodolgica, al igual que cualquier
investigador, aunque sta debe ser de carcter diferente: el evaluador debe ser un metodlogo todo
terreno, capaz de dar diferentes respuestas metodolgicas a distintas situaciones evaluativas. En
nuestra opinin, el buen evaluador no es el especialista en un determinado enfoque, una determinada
metodologa o en varias tcnicas concretas, sino el conocedor de un elenco amplio no slo de los
diferentes enfoques, metodologas y tcnicas sino de sus ventajas y desventajas, fortalezas y
debilidades en cada situacin y contexto especfico. Adems de la formacin metodolgica, el
evaluador requiere tambin de muchas otras habilidades que debe desarrollar de forma competente:
anlisis de polticas pblicas y conocimiento sobre los procesos polticos en general, conocimiento y
capacidad de trato con grupos y personas, habilidades de comunicacin, etc. Por ltimo, es evidente
que un cierto conocimiento del sector en el que desarrolla el programa o poltica evaluada es tambin
necesario7; por ejemplo, saber sobre poltica de cooperacin al desarrollo y sobre fortalecimiento
institucional, si sobre eso versan los programas a evaluar. Sin embargo, para el investigador, adems de
una formacin metodolgica, la clave es ser experto especialista en el sector en el que se investiga.
Otra diferencia estriba en la mayor atencin que necesariamente deben prestar los evaluadores a las
cuestiones de tipo tico. Es claro que tambin la investigacin (especialmente ms en unos campos que
en otros) debe guiarse por unos principios ticos, pero el carcter poltico de la evaluacin, apegada a
un contexto especfico al que tiene que responder y en la que siempre existen un nmero de personas y
grupos relacionados de diferente forma con el objeto de estudio, hace que la aparicin de dilemas
ticos en situaciones de evaluacin sea ms frecuente que en situaciones de investigacin. Esta
preocupacin por las cuestiones ticas ha sido recogida por las asociaciones profesionales y acadmicas
de evaluadores y, en los ltimos aos, se han desarrollado cdigos deontolgicos que suponen, no slo
orientaciones para afrontar posibles dilemas ticos, sino tambin una forma de consolidar e
institucionalizar el campo profesional de la evaluacin (Bustelo, 1998).
Para terminar, se expone a continuacin una tabla en la que se resumen las principales caractersticas
de la investigacin y la evaluacin segn cada uno de los criterios discutidos.
7 Sobre este particular hay cierta polmica en la comunidad cientfica de los evaluadores. La posicin de las asociaciones
profesionales de evaluadores es, lgicamente, darle prioridad al especialista en evaluacin por encima del experto en la
poltica o programa a evaluar. Lo que tambin es lgico y, de hecho ocurre, es que los evaluadores se suelen especializar en
uno o dos sectores de poltica o incluso llegan a la especializacin de la evaluacin de programas posteriormente a su
especializacin en un sector determinado. Sin embargo, desde las asociaciones profesionales, que tiene como principal
objetivo el desarrollo disciplinario de la evaluacin, es lgico tambin que incluso se haya llegado a proponer la no
conveniencia de que el evaluador profesional se anquilose en un nico sector o tipo de programas. En nuestra opinin
siempre cabe una solucin, asegurando que en los equipos de evaluacin siempre haya al menos un especialista en
evaluacin y un especialista en el sector o poltica a evaluar.
13
TABLA RESUMEN: DIFERENCIAS ENTRE INVESTIGACIN Y EVALUACIN
UTILIDAD
Debe ser una contribucin relevante Debe tener capacidad de respuesta ante
para la comunidad cientfica y cierta lealtad hacia los responsables de
los programas
Trasciende temporalmente
Debe ser oportuna en el tiempo
TEMPORALIDAD AJUSTADA
14
OBJETO Referido a problemas Referido a las intervenciones para
(QU se aborda) abordar dichos problemas (CMO se
Se interesa por la evolucin de un aborda)
problema en abstracto Se interesa por la evolucin de un
problema a consecuencia de la
Se puede centrar en algunos intervencin en el mismo
aspectos concretos
Tiende a considerar la intervencin de
forma global
15
AGENTES Capacidad investigadora: Conocimientos metodolgicos amplios
(investigadores y Conocimientos bsicos sobre y de sus posibilidades de aplicacin
evaluadores) metodologa de la investigacin
Necesario conocimiento previo y Conocimiento del sector (puede
exhaustivo del sector desarrollarse a lo largo del proceso)
IX. CONCLUSIONES
Como se ha visto hasta ahora, las diferencias entre investigacin y evaluacin son de tales
dimensiones, que deben reflejarse no slo en la prctica de la evaluacin sino tambin en la teora. Los
manuales de evaluacin, por ejemplo, deberan dejar de hablar de diseos de evaluacin como diseos
de investigacin social, y concentrar sus esfuerzos en las caractersticas metodolgicas especficas de la
evaluacin. Otra cuestin pendiente es, en nuestra opinin, la necesidad de una mayor elaboracin,
tanto desde el punto de vista prctico como del terico, sobre la valoracin y la emisin sistemtica de
juicios como parte del anlisis y la metodologa de evaluacin. Tambin creemos que se debe seguir
insistiendo en la forma de incluir, de forma sistemtica y cmo quehacer especfico de los procesos
evaluativos, el contexto del programa o poltica evaluada como marco de referencia del que arranca y
al cual responde la evaluacin, manteniendo el rigor de la actividad evaluativa.
Por otro lado, la distincin de la evaluacin respecto a otros tipos de anlisis e investigacin ayuda a
reforzar su identidad como actividad cientfica diferenciada. De esta manera, resulta crucial separar y
diferenciar los dos tipos de actividad, sobre todo en el terreno de las polticas pblicas. Ambas
actividades, investigacin y evaluacin, son necesarias y complementarias y, por lo tanto, no conviene
que restemos a una con la otra. Por ejemplo, en el terreno de las polticas de cooperacin al desarrollo
es necesario que se siga investigando sobre las desigualdades norte-sur y sobre los ndices de desarrollo
en los diferentes pases y territorio. Incluso es interesante que, con objetivos de anlisis e investigacin,
se realicen estudios comparativos sobre las polticas de cooperacin al desarrollo entre diferentes
pases. Pero tambin es absolutamente necesario que cada pas evale su poltica de cooperacin al
desarrollo y los diferentes programas e intervenciones que lleva a cabo con fines de mejora y
rendimiento de cuentas. En definitiva, no slo el hecho de que se d un alto grado de actividad en uno
de los modos de indagacin no significa que deba haber baja actividad en el otro, sino que tanto la
investigacin como la evaluacin se ven claramente beneficiadas por una existencia mutua.
De esta manera, se debe sealar la importancia de la investigacin para ofrecer un marco conceptual
que sirva para la realizacin de evaluaciones. La evaluacin de polticas innovadoras en las que existe
poca base terica sobre qu es posible esperar de una determinada intervencin (por ejemplo, las
polticas de igualdad de gnero) suele ser ms compleja que la evaluacin de programas en torno a los
cuales se han realizado mltiples investigaciones (por ejemplo, programas de asistencia a
16
drogodependientes). De igual manera, la existencia de programas sistemticamente evaluados ayuda a
conceptualizar y definir problemas y llama la atencin sobre campos de estudio en los que existe una
necesidad de investigacin.
Finalmente, se quiere apuntar otro terreno en el que, en nuestro parecer, ambos tipos de indagacin
pueden interactuar de forma fructfera; se trata de la investigacin cuyo objeto de estudio son los
procesos de evaluacin (investigacin evaluativa o sobre evaluacin), como por ejemplo la realizacin
de metaevaluaciones (evaluaciones de procesos de evaluacin), investigacin sobre la utilizacin de la
evaluacin por parte de los poderes pblicos, sobre la institucionalizacin y el desarrollo de la funcin
de evaluacin en las diferentes instituciones, anlisis de las polticas de evaluacin en los diferentes
pases, etc. Este tipo de investigacin, que corresponde a la perspectiva ms descriptiva del anlisis de
polticas pblicas, est todava poco desarrollada. Su prctica generalizada, sin embargo, contribuira
de forma importante al desarrollo, consolidacin e institucionalizacin de la evaluacin de programas
no slo como funcin normalizada en los sistemas poltico administrativos, sino tambin como
actividad cientfica diferenciada.
17
BIBLIOGRAFA
18