Evaluacin de servicios y programas sociales Mara Jos Aguilar Idaez- Ezequiel Ander-Egg.

1- Una primera aproximacin al concepto de evaluacin: La evaluacin en sentido lato y su diferenciacin de otros conceptos similares:

Qu se entiende por evaluacin?: Se trata de un trmino elstico, que tiene usos diferentes y puede aplicarse a una gama muy variada de actividades humanas.

En sentido lato: la palabra evaluacin hace referencia al trmino valor y supone un juicio acerca de algo. Se trata de un proceso orientado a emitir un juicio de valor. Son formas de evaluacin informal, tal como las actividades que solemos realizar en nuestro quehacer cotidiano. Cuando queremos evaluar servicios sociales o actividades profesionales no basta la evaluacin informal, se debe recurrir a formas de evaluacin sistemtica (la cual debe reunir ciertos requisitos metdicos, cientficos y tcnicos).

* Diferenciacin del concepto de evaluacin de otros trminos similares: Medicin, estimacin, seguimiento, control y programacin.

Si bien el concepto de evaluacin est muy ligado a la idea de medicin, no se trata de lo mismo. Medicin es el acto o proceso de determinar y/o cuantificacin de alguna cosa. La evaluacin, en cambio, hace referencia al acto o proceso de determinar el valor de esa cosa, e implica valorar la informacin a fin de emitir un juicio sobre el objeto evaluado.

Tambin es posible distinguir la evaluacin de la estimacin. Mientras que la primera involucra o pretende la mayor objetividad y precisin posible, la estimacin tiene un carcter aproximado (aprecio y valor que se atribuye a una cosa) que, con frecuencia, est cargado de subjetividad.

Otro concepto muy cercano al de evaluacin es el de seguimiento, que de algn modo, es una forma de evaluar logros, pero en sentido estricto no es evaluacin, sino ms bien, un proceso analtico que permite registrar, medir, recopilar y analizar una serie de informaciones. Puede inferirse que tiene como objetivo lograr la consecucin de las metas de un programa, mientras que la evaluacin pretende enjuiciar esos logros y su nivel de obtencin, as como los resultados obtenidos como consecuencias de dicho programa.

El seguimiento puede contribuir y ayudar en la tarea de evaluar, ya que proporciona un sistema de informacin acerca del objetivo evaluado. Sin embargo, puede hacerse una evaluacin sin que haya existido seguimiento del programa.

Conviene diferenciar la evaluacin del control. El control es una verificacin de resultados, mientras que la evaluacin es una ponderacin o enjuiciamiento de esos resultados. Su diferencia fundamental radica en el hecho que el control es una verificacin de algo, y la evaluacin es un juicio acerca de ese algo (aunque previamente tenga que haber sido verificado).

Por ltimo, realizaremos la comparacin entre programacin y evaluacin. El primero de estos trminos, introduce organizacin y racionalidad en la accin para el logro de determinadas metas y objetivos. Evaluar, en cambio, es una forma de verificar y enjuiciar esa racionalidad, midiendo el cumplimiento de los objetivos y metas previamente establecidos y la capacidad de alcanzarlos.

2- ACERCA DE LA NOCIN DE EVALUACIN EN SENTIDO ESTRICTO:

Cuando en las ciencias sociales y en las diferentes modalidades de intervencin social se habla de evaluacin, se alude a una forma de valoracin sistemtica que se basa en el uso de procedimientos que, apoyados en el uso del mtodo cientfico, sirva, para identificar obtener y proporcionar la informacin pertinente y enjuiciar el mrito y el valor de algo, de manera justificable. Entre la evaluacin en sentido lato y en sentido estricto no hay diferencia de propsitos, sino de mtodos. La evaluacin en sentido estricto: siempre se hace referencia a la investigacin evaluativa, la misma no tiene mtodos y tcnicas que le son propios, son los mismos que se utilizan en la investigacin social. Su utilidad radica en actuar como medio para corregir errores y poder modificar cursos de accin. Es decir, slo tiene sentido en la medida que sirve para tomar decisiones concretas. En este sentido se expresan Stufflebean y Cronbach, cuando afirman que la evaluacin es el estudio sistemtico, planificado y dirigido y realizado con el fin de ayudar a un grupo de clientes a juzgar y/o perfeccionar el valor y/o mrito de algn objeto.

Cronbachn adems, hace una importante consideracin: de toda la informacin posible, solo hay que recoger la que es relevante para tomar una decisin. El nfasis de la evaluacin, por tanto, lo pone en la utilidad para la toma de decisiones y no tanto en los procedimientos de recogida de dicha informacin.

Lo que se ha dicho acerca del alcance y significado del trmino evaluacin:

Existen muchas definiciones de las cuales se seleccionaron algunas. Las hay de diferentes campos como por ejemplo: Salud (Champaa; James), Educacin (Groudlund), Investigacin evaluativa (Tyler, Kaufman y English), Trabajo social, etc.

Scriven por su parte, define la evaluacin como una actividad metodolgica que consiste simplemente en la recopilacin y combinacin de datos de trabajo mediante la definicin de unas metras que proporcionen escalas comparativas o numricas, con el fin de justificar 1. los instrumentos de recopilacin de datos, 2. las valoraciones y 3.la seleccin de metas. Adems, diferencia la evaluacin como actividad metodolgica, de la evaluacin en un contexto particular. En el primer caso la define como el proceso por el cual estimamos el mrito o el valor de algo. En el segundo, seala que las funciones de la evaluacin son muy variadas y se relacionan con el uso que se hace de la informacin que se recoge, es decir, con el tipo de decisin a la que sirve. As diferencia el mrito del valor. El valor, entonces, de una accin viene dado por el grado de necesidad que existe al hacerla.

De esta forma, facilita algunos aspectos del trabajo de evaluacin, encaminado a establecer y aplicar criterios de enjuiciamiento. Por tanto, en la tarea de evaluar, hay que sealar criterios y normas que permitan establecer tanto el mrito como el valor del objeto evaluado.

Suchamn agrega una nota de realismo en cuanto a las posibilidades de la investigacin evaluativo, al definirla como un conjunto de procedimientos para la recogida y anlisis de datos que aumentan la posibilidad de probar, mas que de afirmar el valor de una actividad social.

* Luego de diferentes definiciones y consideraciones, creemos necesario destacar por si precisin, utilidad y amplitud, las aportaciones del comit PDK y concretamente del modelo CIIP de evaluacin:

La evaluacin es el proceso de identificar, obtener y proporcionar informacin til y descriptiva sobre el valor y el mrito de las metas; la planificacin, la realizacin y el impacto de un objeto determinado, con el fin de servir de gua para la toma de decisiones; solucionar los problemas de responsabilidad y promover la comprensin de los fenmenos implicados. D.L STUFFLEBEAM, et al.

La evaluacin es un proceso que consiste en determinar y en aplicar ciertos criterios y normas con el fin de realizar un juicio sobre los diferentes componente del programa, tanto en ele estadio de

su concepcin como de su ejecucin, as como sobre las etapas del proceso de planificacin que son previas a la programacin.

R. PINEAULT Y C.DAVELUY

La evaluacin analiza la relacin programada/necesidad social, midiendo el grado, y si es posible, la profundidad, en que sus fines son logrados, y por lo tanto, las necesidades cubiertas, o los problemas solucionados.

C H WEISS

La investigacin en evaluacin es una empresa racional, que examina los efectos de las polticas y los programas de sus poblaciones-objetos (targets) (individuos, grupos, instituciones, comunidades) en trminos de los fines que intentan alcanzar. Por mtodos objetivos y sistemticos, la evaluacin mide la extensin con la que dichos fines son alcanzados y observa los factores asociados con el xito o el fracaso de sus resultados. Se supone que aportando hechos, la evaluacin ayuda a la toma de decisiones para la eleccin inteligente entre cursos de accin. Los datos precisos y no sesgados sobre las consecuencias de los programas mejorarn dicha toma de decisiones.

C H WEISS

3- ELEMENTOS PARA UNA DEFINICIN DE EVALUACION

Se intenta una definicin de evaluacin que recoja sus principales rasgos caractersticos, en cuanto procesos sistemticos de valoracin o enjuiciamiento:

La evaluacin es una forma de investigacin social aplicada, sistemtica, planificada y dirigida; encaminada a identificar, obtener y proporcionar de manera vlida y fiable, datos e informacin suficiente y relevante, en que apoyar un juicio acerca del mrito y el valor de los diferentes componentes de un programa (tanto en fase de diagnstico, programacin o ejecucin), o de un conjunto de actividades especficas que se realizan, han realizado o realizarn, con el propsito de producir efectos y resultados concretos; comprobando la extensin y el grado en que dichos logros se han dado, de forma tal, que sirva de base o gua para una toma de decisiones racional e inteligente entre cursos de accin, o para solucionar problemas y promover el conocimiento y la comprensin de los factores asociados al xito o al fracaso de sus resultados

Las caractersticas ms relevantes son:

En una forma de investigacin social aplicada... En la investigacin social, consiste en aplicar el mtodo cientfico al conocimiento de un aspecto de la realidad, en cuanto investigacin aplicada se trata de aplicar el mtodo cientfico para valorar la aplicacin de estrategias cognitivas en la adquisicin de conocimientos o de estrategias de accin de cara aligerar determinados o propsitos.

Sistemtica, planificada y dirigida... Porque procedimientos basados en los requerimientos del mtodo cientfico. Con una intencionalidad expresa y una estrategia que tiene una clara direccionalidad.

Encaminada a identificar, obtener y proporcionar de manera vlida y fiable... Es necesario conocer primero ese objeto a estudiar, y que los procedimientos utilizados cumplan ciertos requisitos de fiabilidad y validez, afn de que los resultados de la evaluacin sean justificables y lo mas objetivos y precisos posible.

Datos e informacin suficiente y relevante, en que apoyar un juicio... Los juicios o valoraciones deben apoyarse en datos e informacin pertinente.

De los diferentes componentes de un programa (tanto en fase de diagnstico, programacin o ejecucin)... La evaluacin puede programas sociales puede realizarse tanto en el diagnostico, como en la fase de programacin y en la ejecucin. Adems, tambin puede hacerse una vez que el programa o el proyecto han finalizado.

O de un conjunto de actividades especficas que se realizan, han realizado o realizarn, con el propsito de producir efectos y resultados concretos... La existencia de un conjunto de actividades especificas que se organizan para lograr un fin determinado, son suficientes para la accin de evaluar.

Cuando decimos producir efecto y resultados concretos, tenemos en cuenta una doble dimensin de esos propsitos:

- por una parte, valorar el logro de los objetivos propuestos en un programa, servicio o actividad - por otro, valorar asimismo, en que medida se satisfacen las necesidades de los sus usuarios, beneficias dio o destinatarios del programa, servicio o actividad.

Comprobando la extensin y el grado en que dichos logros se han dado... Pretende dar cuenta sobre la forma o manera en que algo se ha llevado a cabo, y el grado en que dichas acciones han producido efectos o resultados concretos.

Para solucionar problemas y promover el conocimiento y la comprensin de los factores asociados al xito o al fracaso de sus resultados... El proceso de evaluacin debe dar cuenta de los factores que han contribuido al xito o al fracaso de una accin. Solo de esta forma se pondrn corregir errores, se podr aprehender de otras experiencias y en definitiva, se podr mejora la accin social. Esto es lo que de un carcter de instrumentalidad a la evaluacin.

No se pretende en nuestra propuesta, desplazar a la evaluacin desde los objetivos hasta las necesidades, consideramos necesario incluir ambos.

Evaluacin formal: se trata de utilizar procedimientos encaminados a comprobar en qu grado se han conseguido o no las metas y objetivos propuestos, e identificar los factores o razones que han influido en los resultados.

Evaluacin sustantiva: se remite a al intencionalidad del programa de acuerdo ala situacinproblema que se desea cambiar, Hace referencia a la realidad en que amplia el programa. Se evalan los cambios reales que se han efectuado y operado en la situacin concreta.

4- LAS PSEUDO EVALUACIONES Y LAS CUASI EVALUACIONES:

Las pseudo evaluaciones: aquellas dirigidas o utilizadas subrepticiamente para provocar un punto de vista determinado, positivo o negativo, sobre un objeto, independientemente de la valoracin objetiva de su valor o merito.

- Dos tipos. Las investigaciones encubiertas - Los estudios basados en las relaciones pblicas.

Las cuasi-evaluaciones: se trata de evaluaciones que no siempre permiten formular un juicio valorativo, habida cuenta que las cuestiones de valor suelen se secundarias o tangenciales, como: - Los estudios basados en los objetivos - Los estudios basados en la experimentacin