Seminario de Modelos de Evaluacin de Programas y Procesos de Enseanza Maestra en Ciencias de la Educacin Profa.

Edith Hernndez Vzquez

EL MTODO CIENTFICO DE EVALUACIN DE EDWARD A. SUCHMAN

Integrantes: Cortes Ortiz patricio Lpez arce Gabriela Adriana Lugo Velzquez Mara Luisa Martnez Garca Leticia de Jess Grupo: 4421 2-Febrero-2013

EL MTODO CIENTFICO DE EVALUACIN DE EDWARD A. SUCHMAN Cientfico investigador, que crea en la necesidad de basar las conclusiones en evidencias cientficas, consideraba que la evaluacin deba disponer de la lgica del mtodo cientfico, y que un evaluador debe utilizar todo tipo de tcnicas que sean tiles y apropiadas a las circunstancias y necesidades de un sentido evaluativo determinado. Suchman distingua entre evaluacin e investigacin evaluativa. A la primera se refera: proceso de emitir juicio de valor mientras la segunda a procedimientos de recopilacin y anlisis de datos, demostrar, el valor de alguna actividad social. Objetivos Suchman consideraba tres aspectos principales de la evaluacin: 1. Aspectos conceptuales: que incluye los propsitos y principios, valores, proceso, suposiciones, tipos y categoras de evaluacin. 2. Aspecto metodolgico: incluye un enfrentamiento ente la investigacin evaluativa y la no evaluativa, variaciones en la planificacin, principios de la planificacin y valores de los efectos (exactitud y validez). 3. Aspecto administrativo: incluye la ciencia evaluativa y los compromisos para cumplirlas obligaciones administrativas. Aspectos conceptuales de la evaluacin Suchman conceptualizo la investigacin evaluativa como la primera y principal investigacin, que debe acercarse a las normas de la metodologa investigativa. Adoptando el mtodo cientfico un evaluador conseguir resultados ms objetivos (exactitud y validez). La investigacin bsica es el descubrimiento del conocimiento y la investigacin evaluativa es investigacin aplicada y su propsito es determinar hasta qu punto un programa especfico ha conseguido el resultado deseado.

Propsitos de la evaluacin Asumi los propsitos expuestos por Bigman: 1. Describir si los objetivos han sido alcanzados y de que manera. 2. Determinar las razones de cada uno de los xitos y fracasos. 3. Descubrir los principios en un programa que ha tenido xito. 4. Dirigir el curso de los experimentos mediante tcnicas que aumentan su efectividad. 5. Sentar las bases de una futura investigacin sobre las razones del relativo xito de tcnicas alternativas. 6. Redefinir los medios para alcanzar los objetivos, subtemas, a la luz de los descubrimientos de la investigacin. Los medios para alcanzar los propsitos, deben proporcionar la informacin bsica para planificar, la investigacin evaluativa debe conducir a una mayor comprensin de los procesos aplicados o administrativos. Los valores y el proceso evaluativo Valor: como cualquier aspecto de una situacin, actividad u objeto que tenga un inters particular. Los valores, por lo tanto pueden estar construidos como modos de organizar la actividad humana, basados en principios que determinan tanto las metas como el perfeccionamiento de los programas, as como el medio de alcanzar esas metas. La evaluacin empieza con un valor concreto (explcito o implcito), luego procede a definir la meta. Seguidamente se seleccionan los criterios para valorar la consecucin de la meta, la naturaleza de la evaluacin determinara el tipo de valoracin que se deber utilizar. La prxima etapa es la identificacin de algn tipo de actividad para alcanzar la meta y la operacionalizacin de esta actividad .esta etapa incluye el grado que ha alcanzado el objetivo predeterminado. Finalmente se emite un juicio acerca de si esta actividad dirigida hacia la meta ha resultad til. Los valores desempean un amplio papel en la determinacin de los objetivos de los programas. Las presuposiciones en los estudios evaluativos Las principales suposiciones de Suchman es que cada programa tiene algn valor con algn propsito. La caracterstica ms identificable de la investigacin evaluativa es la presencia de alguna meta u objetivo cuyo nivel

de consecucin constituye el principal centro de atencin del problema investigativo. Propone seis preguntas que deben ser respondidas cuando se formulen los objetivos de un programa con propsitos evaluativos: 1. 2. 3. 4. 5. Cul es la naturaleza del contenido del objeto? Quin es el destinatario del programa? Cundo debe producirse el cambio deseado? Los objetivos son unitarios o mltiples? Cmo debe ser el objetivo que debe ser alcanzado?

Clasific las presuposiciones en dos clases: Presuposiciones de valor: pertenecen al sistema de creencias que determinan que es bueno para una sociedad. Presuposiciones de validez: estn relacionadas con los objetivos del programa. Tipos de evaluacin Hablaba de tres tipos: La evaluacin ltima: se refiere a la determinacin del xito global del programa; la investigacin preventiva: trata de los problemas intermedios que deben ser resueltos antes de abordar la evaluacin final; la evaluacin a corto plazo: busca informacin especfica acerca de procedimientos concretos en trminos de utilidad inmediata. Categoras de la evaluacin Estas categoras representan varios criterios de xito (o fracaso) con los que pueden juzgarse un programa: 1. Esfuerzo: criterios como de xito, calidad, cantidad de actividades. 2. Trabajo: se valoran los resultados del esfuerzo. 3. Suficiencia del trabajo: el grado en que el trabajo efectuad coincide con los objetivos. 4. Eficiencia: es la eficacia la capacidad de un individuo, organizacin, facilidad, operacin actividad, para producir resultados en proporcin al esfuerzo realizado? 5. Proceso: investigar explicaciones acerca de las razones que conducen a los resultados. Suchman apuntaba cuatro dimensiones para el anlisis de un proceso: a) Los atributos del programa b) La gente a la que le afecta el programa c) El contexto

d) Los diferentes tipos de efectos producidos por el programa. Los aspectos metodolgicos de la evaluacin Evaluacin contra investigacin no evaluativa La investigacin evaluativa es un tipo de investigacin aplicada cuya meta es valorar la aplicacin de este conocimiento, poniendo nfasis en la utilidad. La investigacin evaluativa debe proporcionar informacin para la planificacin del programa su realizacin y su desarrollo. Permite que las predicciones se conviertan en un resultado dela investigacin, contienen una amplia serie de variables. La evaluacin es aplicable nicamente al programa que est siendo evaluado y a sus ramificaciones contextuales. Variaciones en el plan de intervencin evaluativa La investigacin evaluativa no tena una metodologa propia, se atiene a los principios del mtodo cientfico. Dando mucha importancia a la relacin entre las causas y efectos de un programa, Suchman propuso un modelo que demostrara que la secuencia de causas propuestas para una evaluacin se convierte en uno ms de los campos de accin y actividades que conducen a las conclusiones. Este modelo es muy importante para la planificacin, as el plan de estudios debe tomar precauciones para tener en cuenta las precondiciones y los acontecimientos que pueden influir. Los efectos, tanto deseados como los indeseados. Principios de la planificacin de la investigacin evaluativa 1. Un buen plan es que el que resulta ser el ms apropiado para el propsito del estudio. 2. No hay nada como un plan correcto y simple. 3. Todo plan de investigacin representa un compromiso. 4. Un plan de investigacin evaluativa es una serie de indicaciones para asegurar que se va en la buena direccin. La valoracin de los efectos De acuerdo con Suchman, la valoracin de los efectos de un programa requiere que se especifiquen las cuatro principales categoras de variables:

1. 2. 3. 4.

Partes integrantes o procesos del programa. Poblacin estimada y grupos a los que realmente concierne. Condiciones situaciones en las que se desarrolla el programa. Efectos diferenciales del programa.

El evaluador no debe valorar directamente el fenmeno que est siendo estudiado, sino las clasificaciones de esos fenmenos. Las principales causas de variacin asistemtica en la investigacin evaluativa: Fiabilidad nimo. Fiabilidad del tema. Fiabilidad Fiabilidad Fiabilidad del sujeto: actitudes y comportamientos afectados por el estado de del observador: factores personales que influyen en la interpretacin de la situacin: condiciones de la valoracin. del instrumento: todo lo anterior (combinado) del proceso: enumerar los errores

La validez presenta mucho ms problemas que la fiabilidad porque no solo se refiere a valoraciones especficas, sino tambin al significado de todo el proceso evaluativo. Exponemos a continuacin a causa de los errores referentes a la validez en los estudios evaluativos: 1. Validez proposicional: la utilizacin de teoras incorrectas o inadecuadas. 2. Validez del instrumento: la utilizacin de clasificaciones operacionalmente irrelevantes. 3. Validez del muestreo: falta de representatividad de la poblacin escogida. 4. Validez del observador: introduccin de errores basados en inclinaciones personales. 5. Validez del sujeto: hbitos y predisposiciones que conducen a errores. 6. Validez de la administracin: las condiciones del estudio. 7. Validez del anlisis: errores deliberados o involuntarios. La evaluacin y la administracin del programa La investigacin evaluativa puede desafiar a la prctica tradicional y llevar a cabo la til funcin de hacer ms eficientes estas actividades. Los estudios evaluativos de programas anteriores cumplen la importante funcin de sacar a la luz los esfuerzos improductivos. La investigacin evaluativa puede valorar el progreso experimentando y adelantar nuevas estrategias. Y en lo que se refiere a programas futuros, la

investigacin evaluativa puede prestar una gran contribucin a la definicin de objetivos. Suchuman afirmaba que la evaluacin haba sido tradicionalmente considerada como el proceso final de la funcin administrativa que representa planificar un programa, siendo los procesos anteriores la investigacin, la planificacin, la demostracin y la ejecucin. La evaluacin operacional (o ejecucin) proporcionar una valoracin de hasta qu punto el programa ha alcanzado los resultados deseados entre otras estas valiosas funciones: 1. Especifica los puntos fuertes y los dbiles de la operacin programtica y sugiere cambios y modificaciones. 2. Examina la eficiencia de los programas comparndolos con otros mtodos a las necesidades. 3. Sugiere nuevos mtodos para futuros programas. 4. Establece prioridades entre los programas, segn la escasez de recursos como los fondos, el personal y el tiempo. 5. Facilita una responsabilizacin pblica. 6. Fomenta las actitudes morales y crticas del personal implicndolo en la evaluacin.

Administracin de los estudios evaluativos La precisin del juicio del evaluador puede muy bien depender de la calidad de las actividades complementarias del evaluador y el personal ms importante del estudio. Si las relaciones entre los papeles del evaluador y del administrador se deterioran, pueden abordarse varias estrategias para mejorarlas: Desarrollar un ptimo nivel de expectacin para la orientacin inicial de ambas partes. Clarificar los papeles y actividades de ambas partes. Fomentar las tcnicas interpersonales de todos los participantes por medio de un programa de preparacin inicial. El evaluador se preocupa ms por los objetivos ltimos, mientras que el administrador del programa se ocupa de los objetivos inmediatos. Suchman subraya que la evaluacin est concebida para ayudar, y no estorbar, en la realizacin de un proyecto. Acuerdos para solucionar los problemas administrativos

Suchman consideraba que los estudios evaluativos deba alcanzar el mejor compromiso posible entre las exigencias de las ciencias y las condiciones realistas de la investigacin. El evaluador siempre debe recordar que una evaluacin se desarrolla bajo condiciones naturales y que sus tcnicas investigativas deben necesariamente adaptarse a la realidad de la recopilacin y el anlisis de datos. La ingenuidad y confianza del evaluador, sin embargo, necesitan el mayor control cientfico posible. Suchman afirmaba que ambas partes deben consultarse acerca de la vialidad y las posibilidades del perfeccionamiento de las conclusiones mientras que los resultados de una evaluacin deben ser traducidos a juicios referentes al xito o fracaso del programa. Para que tengan un valor real, los resultados de una evaluacin deben ser claros indicadores de futuras direcciones. A partir de la conceptualizacin de la educacin como un bien social, se establece que la planificacin debe responder, a un concepto de la educacin como demanda social segn el cual existe una demanda de los individuos por educacin en un lugar y tiempo dado bajo circunstancias culturales, polticas y econmicas. La planificacin ya no es un sistema administrativo, sino una actitud, un proceso, un mtodo social de la educacin. Un instrumento de poltica educativa para cambiar las estructuras con contenido.

Bibliografa: Chacare. T. (2008) Evaluacin Institucional: Programa de Maestra en Ciencias de la Educacin. Universidad de Oriente Ncleo de Bolvar. Coordinacin de Postgrado de Educacin. http://postgradeducaciondobolivar.files.wrdprees.com/2001/03/evalucacioninstitucional.pdf