You are on page 1of 27

RMIE, OCT-DIC 2005, VOL. 10, NM. 27, PP.

1257-1283

Debate de actualidad

LA EVALUACIN EDUCATIVA

En esta seccin de debate, la

RMIE

presenta cuatro colaboraciones en torno a

la Evaluacin de la educacin. Los trabajos fueron ledos en la presentacin del nmero 23, cuya seccin temtica corresponde a ese campo, y la cual se llev a cabo el pasado 4 de abril en la Casa del Tiempo de la Universidad Autnoma Metropolitana (UAM ). Se pidi a los participantes ubicar su trabajo en la presentacin y en uno de los cuatro artculos de investigacin que aparecen en dicha seccin. El lector se beneficiar si acude al artculo correspondiente del citado nmero de la revista para recuperar el contexto de cada una de las colaboraciones. Iniciamos por el comentario de Carmen Carrin Carranza que se refiere a la presentacin del nmero. A continuacin, aparece el de Francisco Miranda Lpez sobre el primer artculo de investigacin: Aprobar o reprobar? El sentido de la evaluacin en la educacin bsica, de la autora de Felipe Martnez Rizo. Le sigue el de Jorge Ortiz Segura que se refiere al artculo Evaluacin de la docencia Universitaria: una propuesta alternativa que considera la participacin de los profesores de Mara Isabel Arbes Garca. Por ltimo aparece el de Jos Mara Garca Garduo que comenta el artculo de Elisa Fernndez Gmez y Edna Luna Serrano: Evaluacin de la docencia y el contexto disciplinario: la opinin de los profesores en el caso de ingeniera y tecnologa. El artculo de Aldo Bazn Ramrez et al ., Evaluacin del desempeo en lectura y escritura. Aportes empricos a la nocin de componentes lingsticos en el cuarto grado de primaria, no cuenta con comentario. Carmen Carrin Carranza ha trabajado el tema de la evaluacin de la educacin desde hace ms de veinticinco aos. Es psicloga de formacin y est doctorada en educacin. Su trayectoria profesional en el campo de la planeacin y la evaluacin incluye actividades relevantes en la
UNAM ,

la

UAM

y la

ANUIES .

Revista Mexicana de Investigacin Educativa

1257

Actualmente es Secretaria ejecutiva del Comit Regional Norte de Cooperacin con la


UNESCO

y profesora de la Facultad de Filosofa y Letras de la

UNAM .

Francisco Miranda Lpez es socilogo y cuenta con una maestra en sociologa poltica y el doctorado en ciencias sociales. Ha sido evaluador titular del Comit de Ciencias sociales de los Comits Interinstitucionales para la Evaluacin de la Educacin Superior ( CIEES). Es miembro del Sistema Nacional de Investigadores y su adscripcin la tiene en la Universidad Pedaggica Nacional. Actualmente es Coordinador de Asesores de la Subsecretara de la Educacin Bsica de la
SEP .

Jorge Ortiz Segura es antroplogo social y maestro en ciencias de la educacin, adems de candidato a doctor en ciencias sociales. Su rea de inters es la metodologa de evaluacin cualitativa y fue pionero, junto con otros autores, en trabajos de evaluacin de la docencia en educacin superior mediante estudios de caso, hace ms de veinte aos. Su adscripcin la tiene en la Divisin de Ciencias y Artes para el Diseo de la
UAM

Azcapotzalco.

Jos Mara Garca Garduo es psiclogo y posee dos maestras y el doctorado en educacin. Su rea de inters es la evaluacin y la gestin educativa. Es miembro del Sistema Nacional de Investigadores y pertenece al cuerpo de profesores de la Universidad Autnoma del Estado de Hidalgo.

1258

Consejo Mexicano de Investigacin Educativa

DISCUSIONES NECESARIAS EN TORNO A LA EVALUACIN DE LA EDUCACIN


CARMEN CARRIN CARRANZA

gradezco a Eduardo de la Garza la invitacin para comentar el nmero 23 de la Revista Mexicana de Investigacin Educativa , en particular, la presentacin escrita por l mismo de la seccin temtica dedicada a la evaluacin educativa. Mis comentarios sern alrededor de cuatro puntos que el autor argumenta a manera de elementos complementarios de discusin y otros dos que son, a mi juicio, conceptos que ya deberan estar presentes en los ensayos y trabajos de evaluacin educativa. Los primeros cuatro tpicos son: a) la racionalidad complementaria entre procesos de planeacin y evaluacin; b) la evaluacin como contrastacin de estndares y actividades; c) la evaluacin y el consenso y d) la evaluacin como investigacin educativa. Los dos asuntos adicionales apuntarn hacia la evaluacin: a) como transdisciplina y b) como profesin. El autor argumenta los trminos de una construccin terica sobre la racionalidad complementaria entre procesos de planeacin y evaluacin y menciona ms adelante el origen de los modelos, que ahora son de uso corriente, creados para trascender los resultados sistemticos de las investigaciones evaluativas por contrastacin de grupos, y dirigidos a buscar los caminos para el mejoramiento planificado de la educacin y no slo el enjuiciamiento de un modelo educativo frente a otro. No es desconocido, para ningn investigador, que ese tipo de protocolos de investigacin para comparar grupos demostraron sistemticamente durante el siglo XX resultados no concluyentes.

Carmen Carrin, Facultad de Filosofa y Letras-UNAM. CE: ccarrion33@netscape.net.

Revista Mexicana de Investigacin Educativa

1259

Carrin

Considero que esa construccin terica es ms una aspiracin de racionalidad que un hecho en s. Mltiples autores han hecho nfasis en la falta de secuelas despus de un proceso de evaluacin. sa ha sido tambin mi experiencia como evaluadora. Por ejemplo, hace algunos aos dirig la evaluacin formativa de la implantacin piloto de RedEscolar, para la cual empleamos los procedimientos de que da cuenta el autor en alguno de los prrafos. A partir de los hallazgos, hicimos una serie de recomendaciones para una mejor planificacin de la generalizacin del proyecto. Debo decir que casi ninguna de ellas se puso en marcha pero s me pidieron, tanto los asesores como los directores del proyecto, demostrar que la RedEscolar era una opcin de mejoramiento de la calidad escolar, empleando el mtodo de contrastacin de grupos. No est de ms mencionar que les advert reiteradamente lo evidente, que los resultados seran los mismos de siempre: no significativos. Creo que estas experiencias, por s mismas, reflejan el tipo de factores que deben ser atendidos por los investigadores, para indagar los obstculos y las circunstancias de la aspiracin de racionalidad mencionada. Creo, tambin, que la aspiracin terica nubla el verdadero problema de la evaluacin como racionalidad el de toma de conciencia de un estado de cosas al igual que la constatacin cotidiana de que la planeacin y la evaluacin son procesos que, en la prctica social, se diferencian sustancialmente y son producto de voluntades de accin diferentes. Sobre el segundo punto, el de la evaluacin como contrastacin de estndares con una realidad educativa debo recordar que, a mi juicio, la propuesta de la Comisin de evaluacin de la calidad y la cobertura, del primer Congreso Nacional de Investigacin Educativa, de 1980, no ha sido superada en el plano de las discusiones de una evaluacin como transformadora de las realidades educativas. En el estado del arte realizado por la Comisin mencionada, se propuso analizar la evaluacin educativa sobre la base de dos ejes: el primero considera las evaluaciones desde el punto de vista del poder: quin las origina, las paga y las controla, independientemente del grupo o institucin que las disee o ejecute. En este sentido la evaluacin presupone poder; sin ste, la evaluacin es ejercicio especulativo. La otra perspectiva o eje destaca una tendencia evolutiva en los estudios de evaluacin y seala tres etapas de desarrollo: 1) en la que calidad equivale a cobertura; 2) en la que calidad equivale al logro de un estndar aceptado
1260
Consejo Mexicano de Investigacin Educativa

Discusiones necesarias en torno a la evaluacin de la educacin

y 3) en la que, adems del estndar para juzgar la calidad, se emplean componentes situacionales de quienes se ven involucrados en los procesos educativos. La progresin revela una tendencia hacia la apropiacin del acto evaluativo por quienes son objeto de la evaluacin misma. Si consideramos lo anterior, podemos decir que nos encontramos en una etapa intermedia, que se caracteriza por tomar como criterio de evaluacin alguna norma estndar que pueden ser los objetivos de un programa acadmico, la convencin del conjunto de competencias que debe tener un individuo en alguna etapa de su vida (por ejemplo, los 15 aos en el criterios de diseo de las pruebas de PISA) o la norma estadstica. Lo importante en esta etapa es que los actores inmediatos del proceso educativo no toman parte en la definicin de la norma. El tercer punto, estrechamente relacionado con el anterior, es sobre la evaluacin y el consenso. Considero que el problema antecedente a los juicios consensuados sobre el sentido, el propsito y el uso de la evaluacin es el sentido, el propsito y el uso de la educacin misma. Este acuerdo previo es el que otorga validez de constructo hipottico a las conclusiones de una evaluacin. A mi juicio, el problema de la validez de las conclusiones se ubica en la confluencia entre teora y beneficio; aplicacin y accin educativa y cumplimiento de expectativas individuales y sociales respecto de la educacin. Es un problema de concordancia entre lo que las teoras de aprendizaje y de enseanza dictan como ms verdadero, mejor, ms eficiente, y las condiciones reales de accin educativa y las expectativas y aspiraciones de formacin intelectual, instrumental y tica de los individuos y sus comunidades de referencia. Por tanto, la validez no es slo un asunto de estadstica sino de consenso social sobre los propsitos de la educacin. En el cuarto punto, la evaluacin como investigacin educativa, difiero totalmente del autor. Cuando a m o a mis colegas nos piden una evaluacin, no actuamos como investigadores sino como evaluadores. Es verdad que aplicamos todos los mtodos y procedimientos derivados de la investigacin social pero nuestros propsitos estn delineados por quien pide la evaluacin y por el posible uso de los resultados; es frecuente, en mi caso, que para dar cumplimiento a las necesidades de conocimiento del objeto de anlisis me aparte del protocolo establecido y eche mano de otros procedimientos que considero ms oportunos o ms sensibles para crear el estado de conciencia deseado sobre el objeto de referencia. ste ha
Revista Mexicana de Investigacin Educativa

1261

Carrin

sido el caso, cuando menos, de las dos ltimas evaluaciones que hemos realizado. Por qu esto es as?, porque debemos resolver un problema que no tiene la investigacin educativa, referida a la necesidad de que los actores de los procesos educativos se reconozcan en las conclusiones de los informes de evaluacin. Es un problema de legitimidad de la evaluacin, ms all del ejercicio de poder de quien la ha decidido. No tengo duda de que este es el principio de la evaluacin como proceso de transformacin. Adems de lo anterior, est el hecho de que, cuando menos en mi caso y en otros que conozco, el informe de evaluacin rara vez es de dominio pblico, pues la decisin sobre la publicidad de los resultados es prerrogativa de quien ha pedido la evaluacin. Por el contrario, en el caso de la investigacin, los investigadores tienen la obligacin tica de publicar sus hallazgos. Desde luego, tambin es el caso del Instituto de Evaluacin que se ha creado precisamente para socializar los resultados del sistema educativo nacional y su actividad est normada por las leyes de transparencia de la informacin. Considero ms prometedora y sugerente como investigacin educativa, la pauta sugerida por los autores Santos y Moreno, que se encuentra en la misma revista que comento, en relacin con la metaevaluacin. A los evaluadores nos vendra muy bien que los investigadores analizaran los procesos que aplicamos, es decir, que consideraran la evaluacin como un objeto de estudio en s mismo. Como puntos complementarios, me gustara sealar dos temas que no se consideran en la revista y que me hubiera gustado que, de alguna manera, se introdujeran a manera de debate. El primero est relacionado con la epistemologa de la evaluacin. El hecho es que todos los modelos comparten principios y procedimientos pero se decantan por sus propios desarrollos y solucin de problemas al margen de las otras prcticas. A este respecto, Michael Scriven menciona que para que la evaluacin tome lugar como una disciplina autnoma en el conjunto de las ciencias sociales, debe encontrar lo que es comn a todas las aplicaciones y reconocer la concurrencia de mtodos y procedimientos de otras disciplinas en los procesos de valoracin como la lgica, la tica, la poltica, la estadstica, la sociologa y antropologa, entre otras, por lo que de hecho, argumenta, la evaluacin es una actividad caractersticamente transdisciplinaria. Esta perspectiva, desde su punto de vista, est
1262
Consejo Mexicano de Investigacin Educativa

Discusiones necesarias en torno a la evaluacin de la educacin

en camino de resolver dos de los problemas ms acuciantes de la evaluacin en el conjunto de sus aplicaciones: la validez de las conclusiones y la utilidad de estos procesos para el mejoramiento de la educacin. La afirmacin anterior se manifiesta en los comentarios de la bibliografa especializada, en artculos de divulgacin o en las discusiones de los administradores de las polticas educativas sobre los problemas que frecuentemente se encuentran en el transcurso de las aplicaciones evaluativas: la ausencia de un mtodo o sistema de compilacin de informacin, confiable y vlido, que pueda ser base de los juicios valorativos; la falta de confiabilidad de la informacin correspondiente, lo cual resulta paradjico en la era de la informtica y las telecomunicaciones; la existencia de interpretaciones y concreciones mltiples sobre conceptos como normas de resultados, estndares, criterios de calidad as como la falta de secuelas de las evaluaciones para disear planes de mejoramiento de las instituciones que tengan como base un mejor conocimiento del estado en el que se encuentran, es decir, una base valorativa; y, lo ms grave, la tergiversacin de los procesos escolares en razn de las evaluaciones de que son objeto. El segundo tema est relacionado con la evaluacin como actividad social profesional. El problema para el evaluador es delimitar cules son las expectativas a las que debe dar respuesta antes de definir los procedimientos y poner en marcha el proceso evaluativo, que se concreta en cuestiones como las siguientes: cmo definir la satisfaccin social de las comunidades respecto de la educacin y cmo conciliar esto con las aspiraciones individuales?, cmo lograr una evaluacin con resultados crebles y al mismo tiempo objetivos e imparciales?, cmo conciliar los diferentes intereses y las verdades diversas de las personas que constituyen una comunidad educativa?, cmo hacer que acepten el ejercicio de la evaluacin, en el entendido de los resultados pueden tener consecuencias?, cmo lograr la participacin directa e indirecta de estas comunidades?; en fin, cmo se lidia con la complejidad tcnica y poltica de la evaluacin, para que una no se imponga sobre la otra sino que se condicionen mutuamente de una manera racional? Esto son los comentarios que considero pertinentes, tomando como base mi propia experiencia y teniendo como afn abrir ms temas al debate de la evaluacin educativa.

Revista Mexicana de Investigacin Educativa

1263

EL SENTIDO DE LA EVALUACIN EN EDUCACIN BSICA Comentarios al artculo de Felipe Martnez Rizo: Aprobar o reprobar?
FRANCISCO MIRANDA LPEZ

a seccin temtica del nmero 23 de la Revista Mexicana de Investigacin Educativa est dedicada a un campo que, como todos sabemos, tiene especial importancia en nuestro sistema educativo: la evaluacin. Es, sin duda alguna, si no el tema, s uno de los fundamentales por donde se desenvuelven varias de las discusiones torales en materia de poltica, gestin y pedagoga. La relevancia del tpico y la manera en que se aborda en este nmero de la revista nos recuerda la multiplicidad de dimensiones, aristas y mbitos por los cuales transita la evaluacin, as como sus diversas implicaciones tcnicas, polticas y sociales en el funcionamiento cotidiano de la educacin y sus diversos aparatos institucionales. Hoy, la evaluacin tiene una importancia estratgica para modificar las relaciones entre actores, agentes, resultados y procesos educativos. Lo anterior nos abre la oportunidad para reflexionar sobre el sentido de la evaluacin en el contexto poltico mexicano actual, tanto del sistema educativo como de la sociedad en su conjunto. Especialmente nos permite hacer una pausa en el camino y reflexionar crticamente sobre sus alcances, significados y retos no slo para conocer ms y mejor el funcionamiento, resultados y procesos educativos, sino para potenciar an ms y replantear algunas de sus tendencias y usos. Especialmente en estos tiempos, la importancia de la evaluacin, en contextos donde las comparaciones internacionales y nacionales parecen

Francisco Miranda Lpez, Subsecretara de Educacin Bsica-SEP, CE: fmiranda@sep.gob.mx

1264

Consejo Mexicano de Investigacin Educativa

El sentido de la evaluacin en educacin bsica

hacer mella respecto de la eficacia de los resultados y credibilidad de las acciones pblicas y privadas sobre la educacin, es una oportunidad valiosa para reorientar lo que en ocasiones parece una obsesin cuasi-ontolgica de la evaluacin para sealar problemas y malos resultados, perdiendo en ocasiones su capacidad de dilogo con la sociedad y la poltica para comprometerse con decisiones y la bsqueda de eficacia y buenos resultados. Tengo la impresin, con temor a equivocarme, de que el crecimiento de la importancia de la evaluacin y de sus evaluadores han generado una especie de ambiente sadomasoquista, en el que parece tener mayor peso sealar problemas y malos resultados mientras ms se sealen y en corto tiempo mejor, como elemento crtico regulador de los responsables de las decisiones y resultados educativos que acompaar los resultados de la evaluacin de un dilogo permanente y fructfero para transformar las realidades que se cuestionan. Creo que hoy, ms que nunca, existe la imperiosa necesidad de crear los espacios institucionales para dialogar ms enfticamente entre la evaluacin y la poltica para tomar decisiones y acompaar su proceso de operacin en beneficio de la educacin pblica del pas. Ms all de la espectacularidad de los medios y del uso poltico para cuestionar autoridades o responsables en turno, lo que ahora parece ms prometedor es vincular ms estrechamente a la investigacin, la evaluacin y la toma de decisiones en espacios de mayor sinergia que permitan enfrentar la dura realidad y, a veces, el carcter retorcido de los problemas educativos en beneficio de la sociedad mexicana. Con estos elementos iniciales me gustara entrar a los comentarios puntuales sobre el artculo de Felipe Martnez Rizo, ms con la intencin de aprovechar varios de los argumentos planteados para reubicarlos en un contexto poltico, que de puntualizar ideas sobre el debate sobre la investigacin sobre el tema, cuestin que en mi opinin Felipe trata adecuadamente y coloca en tono pertinente, recuperando los argumentos en favor y en contra sobre el significado de la no reprobacin. Situacin que, sin embargo, de entrada sugiere la necesidad de fomentar mucho ms la investigacin sobre este tema en Mxico para disponer de mayores elementos empricos y juicios para respaldar decisiones. El texto que nos ofrece Martnez Rizo ha generado una importante polmica en diversos sectores acadmicos e institucionales vinculados con la educacin bsica, lo que coloca al texto en una situacin de relevancia no
Revista Mexicana de Investigacin Educativa

1265

Miranda

slo por los argumentos planteados sino tambin por la posicin de Felipe como director del Instituto Nacional para la Evaluacin de la Educacin ( INEE ), es decir, lo coloca en una condicin excepcional donde conocimiento y poltica podran empezar a establecer dilogos provechosos para tomar las decisiones ms adecuadas orientadas a atender los delicados problemas de calidad y equidad de la educacin bsica en nuestro pas. Parece oportuno, en este sentido, incluir algunos puntos adicionales que pudieran acompaar desde perspectivas distintas los argumentos y planteamientos hechos por Martnez Rizo en su artculo. Me refiero a una postura ms desde el anlisis de polticas, tema de mi especialidad, que creo que puede aportar elementos a la disyuntiva de definir una poltica de promocin de la no reprobacin en educacin bsica, tal como parece ser una de las apuestas fundamentales del artculo en cuestin. Para ello quiero introducir el tema de la factibilidad poltica y referirme brevemente a las implicaciones de un procedimiento de esa naturaleza para la educacin bsica en Mxico. Hablar de si es polticamente factible referirse no tanto a la bondad y justificacin de la poltica sino a una cuestin fundamental: si se puede llevar a cabo, es decir, si se puede hacer o no lo que esta poltica plantea. Para responder a esta pregunta segn nos propone Giandominico Majone un importante analista contemporneo sobre la factibilidad y credibilidad de las polticas pblicas es necesario considerar si la poltica que se propone es capaz de resolver tres mbitos de restriccin: a) la que tiene que ver con la limitacin de los recursos disponibles, b) la que atae a la distribucin permisible de los costos y beneficios (restricciones distributivas) y c) las que impone el marco institucional. En estos trminos es que conviene preguntarse sobre la capacidad de una eventual poltica de no reprobacin en la educacin bsica para resolver con relativa soltura estos tres campos de restricciones polticas. Respecto de los recursos polticos disponibles, entendidos como el contexto definido por la correlacin de intereses y el nivel de regateo y lucha as como de la capacidad de la autoridad poltica y de la influencia coercitiva, es claro que una poltica de no reprobacin tendra, en estos momentos y probablemente en no pocos aos, recursos limitados sobre todo por el nivel de fragmentacin actual de nuestro sistema poltico, evidenciado por lo que vemos en el Congreso y en el comportamiento de las mayoras y minoras partidarias y, por qu no decirlo, tambin en el sistema educa1266
Consejo Mexicano de Investigacin Educativa

El sentido de la evaluacin en educacin bsica

tivo tanto en el mbito propiamente administrativo como especficamente poltico por lo que se refiere al sindicato y diferentes grupos de inters de la sociedad. Aunque en estos trminos siempre es factible pensar en el dictador benevolente, lo cierto es que las apuestas de nuestra democracia parecieran inclinarse mucho ms a frmulas de consenso amplio que a unas cesaristas, caudilliles o populistas. Riesgos que, dicho sea de paso, no debieran tampoco descartarse frente a lo que refleja nuestra actual coyuntura electoral y de confrontacin de fuerzas polticas e institucionales. Como quiera que sea, parece indispensable ampliar los recursos polticos disponibles para una medida de no reprobacin que, indudablemente, deben basarse en el dilogo informado, la expansin de la investigacin educativa y evaluativa sobre el tema y la conformacin de importantes foros plurales de anlisis y discusin. En ello quiz exista un mbito especialmente relevante para acercar a la investigacin y los responsables de la evaluacin interna y externa con los de las decisiones de la educacin bsica del pas, no slo con los funcionarios responsables en turno sino especialmente con el magisterio. No debemos perder de vista que nuestro sistema educativo, sobre todo el de bsica, se construye diferenciadamente en 32 entidades federativas, en las cuales las situaciones de factibilidad son diversas y contrastantes, como igualmente lo son las posibilidades de innovacin y cambio. Resolver las incertidumbres y la factibilidad poltica a nivel nacional tiene ahora que enfrentar su capacidad de resolucin en los mbitos locales y regionales, con lo que se agrega una variable adicional en las propuestas de conformacin de nuevas polticas educativas. Por lo que hace a las restricciones distributivas una poltica de no reprobacin tendra que establecer con mucha claridad las limitaciones al momento de repartir los beneficios y costos entre los individuos y grupos que afecta esa decisin. De manera particular debiera tenerse muy en cuenta el argumento que el propio Martnez Rizo subraya acerca del beneficio o perjuicio individual que implicara la no reprobacin, diferencindolo del impacto social e institucional del sistema en su conjunto sobre todo por sus implicaciones en el terreno de la equidad educativa y del mejoramiento permanente de la calidad de la educacin. Las restricciones distribucionales parecen, en todo caso, pasar por fuertes problemas de significacin cultural, social y poltica de la educacin y sus repercusiones para actores y sectores fundamentales: el magisterio, las escuelas pblicas y privadas, los
Revista Mexicana de Investigacin Educativa

1267

Miranda

propios alumnos y los padres de familia. Sin lugar a dudas, una poltica de no reprobacin tendra que cambiar tradiciones, atavismos y todo el sistema de cdigos institucionalizados fuertemente arraigados en la idea de que una educacin que no diferencia logros, entre personas exitosas y no exitosas, entre aprobados y reprobados, carecera de sentido. Como lo apunta Martnez Rizo parece necesario crear un nuevo ambiente cultural y de sentido que empezara a reemplazar el actualmente vigente, orientado ms hacia el nuevo significado que tiene la educacin bsica, el sentido de la buena calidad para todos, la importancia de mejorar los dispositivos de evaluacin y su cultura para atender mejor a los alumnos, la reactivacin de los dispositivos pedaggicos y didcticos para una atencin personalizada. Todos estos argumentos bastante loables que, sin embargo, parece necesario involucrar en una estrategia ms global de revalorizacin de la educacin bsica y del magisterio, para ubicarla dentro de una estructura de poltica que canalice sentidos, incentivos y programas en esa perspectiva. Finalmente, por lo que hace al marco institucional son claros los requerimientos que una poltica de no reprobacin tendr en los aspectos regulatorios y reglamentarios de varios de los mbitos relacionados con la educacin bsica; desde la ley fundamental hasta los aspectos especficos que habra que adecuar y, en su caso, transformar profundamente. Adicionalmente, los esquemas organizacionales y de gestin institucional y escolar tendran que ajustarse para construir un marco propicio para la no reprobacin. Sin el menor asomo de dudas, tendra que pensarse en la funcin de la supervisn tcnico-pedaggica para acoplarlo en una perspectiva funcional, de capacidades y hasta de cultura para una adecuada operacin de esta nueva poltica de promocin de los alumnos de educacin bsica. En suma, pareciera una necesidad vincular la poltica de no reprobacin a una ms estructural de la reforma de la educacin bsica que se encamine a la creacin de una nueva escuela mexicana. El efecto multiplicador en requerimientos y resultados de esta poltica parece exigir una reflexin de esta envergadura de cambio y transformacin. El tema de la factibilidad poltica es, en mi opinin, de primer orden para valorar las opciones y posibilidades reales para transformar a nuestro sistema educativo. En bsica, en el actual contexto que vivimos, asistimos a serios problemas de factibilidad poltica y creo que en el futuro varias de
1268
Consejo Mexicano de Investigacin Educativa

El sentido de la evaluacin en educacin bsica

las iniciativas gubernamentales de reforma, ms all de sus bondades tcnicas y pedaggicas, tendrn que entrar a una ponderacin mucho ms rigurosa sobre la capacidad de manejar recursos polticos limitados, sobre las restricciones distributivas y las alternativas de transformacin del marco institucional. En mi opinin, el estado actual de varios de los programas y acciones en bsica, en la presente administracin, parecen mostrar una correlacin diferenciada de estos tres criterios de factibilidad que colocan a cada uno de ellos en distintos escenarios de ejecucin efectiva. Slo para referir ejemplos problemticos, tenemos el caso de la Reforma Integral de Educacin Secundaria ( RIES ), Enciclomedia, el Programa Escuelas de Calidad y los dilemas difciles del Programa Nacional de Lectura que ahora tiene que discutir su eficacia frente al debate publico sobre el narcotrfico. En fin, valgan estas reflexiones como comentarios a un artculo que ha iniciado un camino que parece largo y sinuoso, pero que parece sentar las bases para una reflexin informada y prometedora. Valgan tambin como un reconocimiento a la seriedad de los argumentos y de las preocupaciones que nos transmite Felipe Martnez Rizo esperando que la discusin que abre sea canalizada adecuadamente en los misteriosos terrenos de la decisin poltica en educacin, que sea en beneficio de decenas de miles de nios y jvenes que esperan de la educacin bsica un futuro prometedor que responda a los retos y desafos de su futuro social y profesional.

Revista Mexicana de Investigacin Educativa

1269

EVALUACIN DE LA DOCENCIA UNIVERSITARIA Comentarios al texto de Isabel Arbes


JORGE ORTIZ SEGURA

uisiera empezar agradeciendo al doctor Eduardo de la Garza la invitacin a comentar el artculo Evaluacin de la docencia universitaria: una propuesta alternativa que considera la participacin de los profesores elaborado por la doctora Arbes Garca, docente de la UAM-Xochimilco, para la Revista Mexicana de Investigacin Educativa y publicado en la seccin temtica dedicada a la evaluacin. No quisiera detenerme en la presentacin temtica ya que el doctor De la Garza hace una resea excelente de los cuatro artculos relacionados con la evaluacin educativa. Ms bien iniciar con unos comentarios en relacin con la evaluacin para despus hacer un breve recorrido por el artculo y finalizar con algunos comentarios de corte metodolgico.
Evaluacin

Evaluacin es un concepto que desciende, en lnea directa, de la modernidad y, por tanto, es resbaloso y confuso. Tiene tantos significados como los lugares en que lo empleamos. Podemos evaluar o valorar una obra de arte, un automvil, una comida, un libro y, en nuestro caso, la forma de realizar la docencia en una universidad pblica. Es ms, podemos decir que se trata de una actividad inconsciente que realizamos continuamente en nuestra vida diaria: me gusta, no me gusta, me gusta muchsimo, no me gusta casi nada. El trmino evaluacin es un derivado del latn valere que implica la accin de justipreciar, tasar, valorar o atribuir cierto valor a una cosa. Ardoino1 nos seala que evaluar est emparentado con conceptos tales como: avaluar que proviene a su vez de valer (siglo XI ), del latn: valere , gozar de
Jorge Ortiz, Divisin de de Ciencias y Attes para el Diseo-UAM -Azcapotzalco. CE: joy@correo.azc.uam.mx

1270

Consejo Mexicano de Investigacin Educativa

Evaluacin de la docencia universitaria

buena salud, ser fuerte; as como de vlido, del lat. validus, en oposicin a invlido [cfr. tambin validadcin (1598), revalidar (1465), valorizacin (1923), devaluacin (1929), devaluar (1948)]. Para House 2 supone la estimacin del mrito de un objeto. Tyler lo seala como el proceso de determinar la medida en que los objetivos de un programa se han alcanzado. Levine, finalmente, lo menciona como el proceso de examinar los efectos o resultados de un programa.
Evaluacin de la docencia

Dado lo anterior podemos decir que evaluar significa muchas cosas, involucra diversas actividades y se puede utilizar en diferentes procesos sociales. En este caso nos encontramos con una investigadora que se propone evaluar la encuesta que se aplica a los docentes del sistema modular de la UAM Xochimilco. Un sistema novedoso, en el que en un trabajo anterior, 3 seala que se trata de un proceso de enseanza-aprendizaje donde el docente sirve de gua, de organizador del proceso de enseanza-aprendizaje; es el coordinador del mdulo, el moderador de las discusiones que se dan en el aula, no es la nica fuente de informacin a travs de la cual los estudiantes aprenden. Su trabajo es orientar a los alumnos para que sean capaces de acudir a diversas fuentes de informacin. Utilizando una metfora dira que la autora a lo largo de su artculo nos lleva en una especie de safari que se inicia con la mencin del Programa de Modernizacin Educativa (1988-1994) que se propona la creacin de un sistema nacional de evaluacin de las instituciones de educacin superior, mismo que se convirti, a juicio de la investigadora, en un agente fiscalizador para la entrega de financiamiento. Tomando ese hilo conductor nos trasladamos a la UAM , cuando en 1989, la Rectora General, a fin de retener a sus profesores investigadores les ofrece una serie de estmulos econmicos entre otros: beca de apoyo a la permanencia, ctedras universitarias, as como premios a la investigacin y a la docencia. A continuacin la doctora Arbes se detiene en la beca a la docencia, analizando el cuestionario aplicado por la UAM a sus estudiantes de licenciatura y posgrado en la sptima semana de actividades docentes, concluyendo que dicha herramienta se utiliza sobre todo para tener un control acadmico administrativo de los profesores y eludiendo la posibilidad de que los mismos docentes participen en la elaboracin de un modelo de evaluacin propio.
Revista Mexicana de Investigacin Educativa

1271

Ortiz

Siguiendo con el safari se nos invita a reconocer, a los que a juicio de la autora son los fundadores de la evaluacin formativa: Scriven, Stake, McDonald, Rosales, Santos Guerra, Arodino y Moral, para concluir que con la evaluacin formativa y no desde la perspectiva proceso-producto, el profesor tendr la posibilidad de reconocer su prctica y reflexionar sobre los aspectos que necesita mejorar. Con todos estos antecedentes nos presenta una investigacin de corte cualitativo que realiza a lo largo de ms de un ao, con tres grupos, del mdulo de conocimiento y sociedad del tronco interdivisional ( TID ) que cursan interdisciplinariamente todos los estudiantes de primer ingreso de las 19 carreras que ofrece la UAM- Xochimilco. La parte sustancial de la investigacin tiene que ver con las entrevistas que la investigadora les hace a los acadmicos; Rolando, un filsofo adscrito a la Divisin de Ciencias sociales que acepta que el proceso de enseanzaaprendizaje no slo implica aspectos cognitivos, sino que tambin tiene que ver con cuestiones afectivas. Csar, un diseador industrial adscrito a la Divisin de Ciencias y Artes para el Diseo que reconoce que la investigacin realizada por la doctora Arbes le ha permitido trabajar con mayor seguridad y libertad en los grupos que ensea. Finalmente, Lidia, una biloga adscrita a la Divisin de Ciencias Biolgicas y de la Salud que despus de verse a s misma decide modificar algunos aspectos relacionados con su prctica. Para concluir el recorrido se incluyen nueve hallazgos que tienen que ver con las formas de evaluacin de la docencia universitaria, con la inclusin de los acadmicos en los procesos de evaluacin, la observacin con ms detalle de lo que sucede en el aula, la reflexin y el anlisis de las experiencias pedaggicas de los profesores, la exploracin de formas alternativas de evaluacin de la docencia y la promocin de programas permanentes de formacin docente.
La metodologa cualitativa

Aqu me propongo exponer lo que me ocupa y me preocupa: que se haya utilizado como mtodo de investigacin las metodologas de corte cualitativo. Una primera pregunta que se puede hacer sera: qu es lo que realmente hacen los investigadores cualitativos cuando dicen que estn investigando? El trabajo reseado es bastante explcito cuando la autora dice que realiz trabajo de campo por ms de un ao, lo que incluy observacin participante, entrevistas semiestructuradas con docentes y alumnos, videofilmaciones de tres sesiones, consulta con colegas, diario de campo y observacin de los videos con el docente.
1272
Consejo Mexicano de Investigacin Educativa

Evaluacin de la docencia universitaria

A lo largo de la investigacin cuando la profesora nos dice que su trabajo es de carcter cualitativo, podemos ver que la metodologa cualitativa no es una sola cosa, ya que bajo ese rubro se puede incluir, entre otros, el interaccionismo simblico, la etnografa educativa, la etnometodologa, la hermenutica, el procesualismo, el post-estructuralismo, el estudio de caso, la narrativa y la entrevista. Es importante sealar que la autora asume la etnografa como un mtodo de investigacin y no como un mero proceso de recopilacin de informacin. Cuando hace esto le da a la investigacin de la educacin superior una nueva perspectiva, dado que la etnografa educativa se haba utilizado principalmente para la educacin bsica (Elsie Rockwell, Justa Ezpeleta y Ruth Mercado), la educacin secundaria (Rafael Quiroz), la educacin indgena (Ruth Mercado), las polticas educativas (Guillermo de la Pea), la educacin en enclaves culturales (Patricia Scanlon) o la influencia de los padres en el proceso escolar (Lucila Galvn). Este trabajo, junto con otros, abre una nueva brecha a las posibilidades de indagar sobre los significados en un universo tan complejo como el de la educacin superior. Esta investigacin da testimonio de que los mtodos cualitativos han adquirido en los ltimos aos una gran aceptacin no slo en el mundo de la sociologa y la antropologa, sino que han tenido un impacto creciente en reas disciplinares consideradas ajenas, como lo son el estudio de mercados, el anlisis organizacional, las polticas urbanas, los sondeos de opinin pblica y, por supuesto, la evaluacin educativa. Como estudiosos de la educacin hemos presenciado la renovacin de una de las mayores explicaciones del mundo social: el paradigma marxista. Frente a nosotros se sacudi una explicacin que daba cuenta de lo poltico, lo social, lo econmico y lo cultural. Esta crisis, adems, fue de la mano con las crticas que desde diversos frentes se le hicieron al positivismo lgico (Kuhn y Lakatos, entre otros). Esto ha motivado la bsqueda de nuevas explicaciones del mundo social recobrando los planteamientos cualitativos que el positivismo haba desechado. La investigacin comentada me deja cinco certezas: 1) Este tipo de trabajo requiere de un esfuerzo prolongado y riguroso, donde el investigador, acompaado de un diario de campo, debe estar atento a los imponderables de la vida cotidiana (Malinowsky) en un saln de clase.
Revista Mexicana de Investigacin Educativa

1273

Ortiz

2) Adems de la observacin participante se requiere de anlisis documental, video, entrevistas, fotografas y lectura de material bibliogrfico. 3) Se trata de poder armar una descripcin densa (Geertz), dado que nos enfrentamos con una multiplicidad de estructuras complejas, muchas de las cuales estn superpuestas o entrelazadas entre s. 4) No basta con observar, sino que se requiere interpretar, explicar la manera en que las personas en determinados enclaves llegan a comprender, gestionar, justificar sus situaciones cotidianas y actuar (Miles y Huberman). Se busca analizar las acciones de los individuos en determinados contextos buscando la respuesta a tres preguntas (Erickson): qu est pasando aqu?; lo que est pasando aqu, qu significado tiene para los actores involucrados? y qu relacin existe entre lo que pasa aqu y los contextos macro sociales? 5) Hay que acabar con el fantasma de las hiptesis. Esta investigacin demuestra que se puede empezar con descripciones que lleven a preguntas ya que, en general se trata de una investigacin abierta que deja un margen para descubrir y analizar problemas o aspectos de la vida social que no se reconocen de antemano. Finalmente, recomiendo la lectura de este artculo por lo siguiente: se agradece que est bien escrito, utilizando un lenguaje propio, abundante, rico, meditado, llano y preciso; que el contenido est actualizado, sea oportuno, sagaz, novedoso y trascendente; que la bibliografa sea actual y novedosa y, finalmente, se agradece que sea un trabajo innovador, donde la autora se arriesga a establecer un dilogo entre la educacin superior y los mtodos cualitativos. Hay un trabajo de campo serio y una descripcin correcta de lo que ocurre cuando se intenta evaluar cuantitativamente algo tan complejo como la docencia.
Notas
1 Ardoino, Jackes, La evaluacin desgarrada, entre un balance contable y el pleno ejercicio de una funcin crtica plural (multirreferencial), en Mario Rueda Beltrn, et al. (2001). Evaluar para comprender y mejorar la docencia en la educacin superior, Mxico: UNAM/ UAM/ UABJO. 2 House, Ernest (1980). Evaluating with validaty, Londres/California: Sage Publications. 3 Arbes, Isabel (2004). La prctica de la docencia modular: el caso de la Unidad Xochimilco en la Universidad Autnoma Metropolitana (mimeo).

1274

Consejo Mexicano de Investigacin Educativa

EL AVANCE DE LA EVALUACIN EN MXICO Y SUS ANTECEDENTES


JOS MARA GARCA GARDUO

n primer lugar, agradezco al COMIE , particularmente a Eduardo de la Garza, el haberme invitado a participar como comentarista en la primera seccin temtica de la RMIE dedicada a la evaluacin. Antes de hablar sobre el artculo de Elisa Fernndez y Edna Luna (2004), al cual debo la invitacin, quisiera que se me consintiese comenzar con la presentacin sucinta del panorama de la evaluacin, en particular de dos de las reas que aborda esta seccin temtica, evaluacin de programas y de la docencia, y hacer un somero balance de las mismas dimensiones sobre su avance en Mxico; posteriormente comentar el tema y artculo de Fernndez y Luna. Hoy en da en el sector educativo, y en otros ms, es muy comn hablar de la evaluacin. El desarrollo de la evaluacin ha sido producto de dos disciplinas que, posteriormente, convergieron en el camino: la psicologa y la educacin. A la psicologa, en particular a la psicometra, se le debe el desarrollo de los primeros tests de rendimiento como el Stanford Achievement Test en 1923. Sin duda los psiclogos como Edward L. Thorndike tuvieron mucho que ver en ese desarrollo. Sin embargo, es poco conocido que a Ralph Tyler se le debe la creacin del trmino evaluacin y, posteriormente el de assessmen t, para referirse a la estimacin del desempeo escolar, y que este gran educador e investigador fue el primero que dise pruebas de rendimiento basadas en los objetivos del curso, tal y como se conocen el da de hoy (Cordero y Garca Garduo, 2004), a principios de la dcada de los treinta. La distincin entre assessment y evaluacin es muy fina y, en ocasiones, hasta confusa. Por assessment los estadunidenses en-

Jos Mara Garca Garduo, Universidad Autnoma del Estado de Hidalgo. CE: josemariagarduno@yahoo.com.mx

Revista Mexicana de Investigacin Educativa

1275

Garca

tienden la evaluacin sistemtica, usualmente a travs de pruebas del desempeo escolar; en cambio, evaluacin es un trmino ms amplio. Tyler es considerado el padre de la evaluacin educativa en todos los sentidos. No slo acu el trmino de evaluacin y cre la metodologa para construir pruebas objetivas de rendimiento, a principios de la dcada de los treinta, sino que tambin ide el primer mtodo para evaluar programas educativos a raz del estudio curricular ms grande que se haya realizado en Estados Unidos: El estudio de los ocho aos (1933-1941) del cual Tyler, junto con sus discpula y asistente Hilda Taba, fue el coordinador de evaluacin de ese gran proyecto (Ridings, 1981). La evaluacin de programas se inspir en los mismos principios del mtodo tyleriano para disear tests de rendimiento: evaluar en qu medida se han logrado los objetivos; estos mtodos para valorar el aprendizaje y los programas estuvieron sin cuestionarse por ms de 20 aos. El cuestionamiento comenz en 1963 con la publicacin de un artculo de Lee Cronbach (otro discpulo de Tyler) sobre el mejoramiento de los cursos a travs de la evaluacin. Fue este gran psiclogo el primero en hablar sobre la evaluacin formativa, sin usar ese trmino (Cronbach, 1983). Posteriormente, a raz de la Guerra contra la pobreza y el Acta de educacin elemental, promulgadas en 1965 por el Gobierno Federal estadounidense, surge la necesidad de rendir cuentas sobre los miles de millones de dlares destinados a la educacin y a otros programas sociales. Para llevar a cabo la tarea se contrataron especialistas en evaluacin que determinaran la utilidad de los programas (Stufflebeam y Shinkfield, 1987). Estos especialistas pronto se dieron cuenta que el mtodo tyleriano no provea de toda la informacin necesaria sobre la marcha y utilidad de los mismos. Entre 1966 y 1971 surgen las principales aportaciones terico-metodolgicas sobre la evaluacin de programas que han dado pie al desarrollo de otras modelos y variantes metodolgicas: el modelo CIPP (contexto, insumo proceso y producto) de Stufflebeam, el orientado al consumidor de Scriven, el de la figura de Stake (de inspiracin Tyleriana) y posteriormente su mtodo cualitativo llamado evaluacin respondente. Este ltimo fue el primer modelo cualtitativo basado en el estudio de casos. En la presentacin a la seccin temtica que comentamos, De la Garza (2004a) analiza los orgenes de los modelos naturalistas de evaluacin en Inglaterra en los setenta. El autor provee de informacin poco conocida sobre los orgenes de la tradicin naturalista. Stake fue participante de las
1276
Consejo Mexicano de Investigacin Educativa

El avance de la evaluacin en Mxico y sus antecedentes

conferencias que describe De la Garza; los trabajos de Parlett y Hamilton, creadores del modelo de evaluacin iluminativa y participantes en esa conferencia, fueron muy importantes para fundamentar su modelo de evaluacin respondente. A partir de la dcada de los setenta la evaluacin empez una etapa de profesionalizacin vertiginosa. En 1975 los evaluadores ms connotados comenzaron a planear la construccin de estndares de evaluacin que guiarn la prctica profesional; para ello fue creado el Comit Conjunto de Evaluacin Educativa que public en 1981 los primeros estndares de evaluacin de programas. En 1994 sali a la luz la segunda edicin de los estndares (Joint Committee on Standars for Educational Evaluation, 1994), se dividen en cuatro grandes reas: utilidad, viabilidad, propiedad (tica) y precisin (mtodo) de la evaluacin. El estndar ms peculiar de la evaluacin, y que la hace diferente de la investigacin, es que la evaluacin debe ser til. Para realizar ese propsito es necesario que, adems de entregar informes oportunos, el evaluador debe considerar las necesidades y expectativas del cliente y los grupos interesados en la evaluacin. Cuando se hace sin que el evaluador se involucre con esos aspectos, considerando solamente o en gran medida las creencias y expectativas del evaluador, se le denomina evaluacin de caja negra (black box evaluation). El Comit Conjunto recomienda que el proceso de metaevaluacin, evaluacin de la evaluacin, se lleve a cabo bajo los estndares citados. Podra decirse que las obras de Tyler, Scriven, Stufflebeam y Stake han sido las cumbre que han cobijado, inspirado y desarrollado el campo toricometodolgico de la evaluacin de programas. Todos ellos, con excepcin de Tyler, estn vivos y activos dentro del campo. Recientemente Scriven fue invitado por el Centro de Evaluacin de la Universidad de Western Michigan, hasta hace poco dirigido por Daniel Stufflebleam, a dirigir el Journal of Multidisciplinary Evaluation. Parece ser que dedicarse a la evaluacin est asociado con longevidad y productividad intelectual. Para comprobarlo es slo cuestin de mirar la actividad de esos padres (vivos) de la evaluacin.
La evaluacin de la docencia

Al igual que la evaluacin de programas, la de la docencia comenz y se desarroll en Estados Unidos, pero han seguido caminos paralelos que raramente se han entroncado. Herman Remmers de la Universidad de Indiana, cre el primer cuestionario de evaluacin de la docencia ( CEDA )
Revista Mexicana de Investigacin Educativa

1277

Garca

en 1927 (Centra, 1993). Remmers y su equipo fueron, prcticamente los nicos que investigaron sobre el tema durante los siguientes 25 aos. El uso de los CEDA comenz a popularizarse a partir de finales de la dcada de los sesenta. En un principio, las instituciones universitarias de ese pas promovan la aplicacin voluntaria, posteriormente se hizo obligatoria. Hoy en da ms de 90% de las instituciones estadunidenses evalan la docencia por medio de esos cuestionarios (Seldin, 1993). El uso de los CEDA ha promovido el desarrollo de la investigacin, principalmente en Estados Unidos y Canad. Al respecto, se pueden distinguir al menos cuatro fases en el desarrollo: la primera corresponde a la poca de Remmers; la investigacin fue escasa y poco sistemtica; la segunda la podramos situar en la dcada de los setenta donde la mayora estuvo dedicada a determinar la validez y confiabilidad de los CEDA ; la tercera puede situarse en los ochenta; aqu los investigadores estuvieron ms preocupados por relacionar los resultados de los CEDA con caractersticas de los alumnos, la disciplina y el profesor (Garca Garduo, 2000). A partir de los noventa, despus de haber sido uno de los temas ms estudiados de la educacin superior en dcadas anteriores, el inters de los investigadores comenz a disminuir, pero algunos siguen elaborando sobre el tema. Otros, como Herbert Marsh, probablemente el investigador ms importante desde los ochenta, estn cambiando de objeto de investigacin. Sus intereses recientes tienen que ver con el desarrollo del autoconcepto y su relacin con constructor de la motivacin.
El desarrollo de la evaluacin en Mxico: un proceso interrumpido

El trabajo de Martnez Rizo (2001) presenta un panorama muy completo del desarrollo de la evaluacin del aprendizaje y de las pruebas en el medio internacional y en Mxico. De acuerdo con este autor, el nacimiento de la evaluacin educativa y concretamente de la del aprendizaje en Mxico comenz muy temprano, en 1936, con el Instituto Nacional de Psicopedagoga. Sin embargo, a decir del autor es en la dcada de los noventa con el lanzamiento del Examen de Habilidades y Conocimientos Basicos ( EXHCOBA ), la creacin del CENEVAL en 1994 y el rea de evaluacin de la SEP en 1995, que se ha atendido de manera sistemtica la evaluacin del aprendizaje. Puede colegirse que uno de los grandes problemas que se han tenido en el pas y que ha impedido el desarrollo de la evaluacin y la continuidad en los proyectos y programas es, por ejemplo, que en la evaluacin del
1278
Consejo Mexicano de Investigacin Educativa

El avance de la evaluacin en Mxico y sus antecedentes

aprendizaje los registros formales son escasos o inexistentes salvo por los testimonios sobre el gran salto hacia delante que se tuvo durante la segunda mitad de la dcada de los setenta, con la creacin de la Direccin General de Evaluacin del SEP , encabezada por Ral Taln. En esa Direccin se form un grupo, la mayora de jvenes psiclogos egresados de la UNAM y de la UIA , que se dedic a elaboracin cientfica de pruebas de rendimiento. Ese equipo, entre los que se cuentan ngel Lpez y Mestas, Mara del Rayo Jimnez, Carlos Garca Camacho, Enoch Tamariz, Armando Vsquez, Mara Garca y Graciela Galindo, tradujeron artculos sobre el tema, desarrollaron manuales de elaboracin de reactivos y de anlisis de tems; construyeron y aplicaron pruebas de rendimiento a muestras nacionales. Sin embargo, el trabajo del grupo, el tiempo y el dinero invertido ha quedado perdido en algn archivo muerto de la SEP . La historia comenz nuevamente a partir de la dcada de los noventa. A pesar de todo ello, es en la evaluacin del aprendizaje donde Mxico tiene los avances importantes en esta materia. Existen tres instituciones importantes dedicadas al cultivo de la disciplina: el Instituto de Investigacin y Desarrollo Educativo de la UABC ( IIDE ), el CENEVAL y el INEE . En materia de evaluacin de programas podra afirmarse que, en comparacin con el desarrollo internacional y con el de otros pases de la regin, es una de las reas que en Mxico ha tenido menos desarrollo, a pesar de que se public en espaol uno de lo primeros textos dedicados al tema, me refiero a la obra de Carol Weiss (1975): Investigacin evaluativa . Ese nivel escaso de desarrollo se manifiesta, por ejemplo, en que la mayora de los trabajos de evaluacin publicados se basan en el modelo de caja negra; que poco se preocupa de la utilidad de la evaluacin y toma en cuenta los intereses de los usuarios del programa; bsicamente, se lleva a cabo bajo la orientacin tyleriana de los objetivos. Asimismo, no adopta los mtodos y estndares derivados de los enfoques ms importantes de la evaluacin de programas, o emplea trminos como evaluaciones cuantitativas o cualitativas, cuando en el escenario internacional se ha dejado de emplear esa terminologa, la cual fue derivada de la pugna entre lo cualitativo versus lo cuantitativo acaecida en las dcadas de los setenta y ochenta. En el campo de la evaluacin, esa pugna concluy a principios de los noventa. De acuerdo con los estndares del Comit Conjunto (Joint Committee, 1994), los informes de evaluacin deben incluir tanto informacin cuantitativa como cualitativa.
Revista Mexicana de Investigacin Educativa

1279

Garca

En materia de la profesionalizacin de la evaluacin, algunos pases de la regin muestran avances ms notables que Mxico, por ejemplo, en 1989 se cre la Asociacin Centroamericana de Evaluacin, con sede en Costa Rica. En el 2002 se crearon organizaciones profesionales de evaluacin en Brasil Colombia y Per (Chianca y Youker, 2004). En Mxico, a pesar del dinero y esfuerzo dedicado no se ha formado ninguna asociacin profesional.
Evaluacin de la docencia

La excepcin ha sido la evaluacin de la docencia . En esta rea Mxico ha hecho progresos notables. El uso de los cuestionarios comenz casi a la par en que inici su uso sistemtico en Estados Unidos, a finales de la dcada de los sesenta. El introductor en Mxico fue el padre Ernesto Meneses Morales, sj, de la Universidad Iberoamericana. En 1971, en la UIA se crea el primer cuestionario mexicano de evaluacin docente. En esa dcada en la UNAM se hacen varios trabajos de investigacin sobre el tema. Durante la segunda mitad de los ochenta ciertas universidades pblicas y privadas comenzaron a emplear CEDA de manera sistemtica en la evaluacin de las tareas docentes. En 1984 Arias Galicia public, por primera vez, las caractersticas psicomtricas de un instrumento de evaluacin docente. A partir de los noventa, a la luz de los programas de estmulo, los cuestionarios de evaluacin comenzaron a ser un tema comn y aceptado dentro de las universidades pblicas. A mediados de esta poca se crea el Grupo Interinstitucional de la Evaluacin de la Docencia, al que pertenecen dos de las autoras de la seccin temtica publicados en este nmero. En este grupo, que se form bajo el liderazgo de acadmicos de la UNAM , estn involucradas, segn la numeralia de Eduardo Garza (2004b), ocho instituciones de educacin superior (seis pblicas y dos privadas). Durante los ocho aos de vida, el Grupo Interinstitucional de Evaluacin de la Docencia ha producido una cantidad notable de libros, tesis, nmeros temticos y artculos sueltos, adems de haber realizado varias reuniones internacionales sobre el tema. Al respeto se est preparando un artculo de investigacin que analiza el desarrollo y produccin de este grupo. Uno de los dos trabajos de este grupo presentado en el reciente nmero que comentamos de la RMIE es el de Elisa Fernndez y Edna Luna. Las autoras buscaron indagar cules son los componentes de la docencia que los profesores de los programas del rea de ingeniera y tecnologa consideran relevantes de integrar al cuestionario de evaluacin de la docencia
1280
Consejo Mexicano de Investigacin Educativa

El avance de la evaluacin en Mxico y sus antecedentes

por los alumnos. Si slo nos atuviramos al objetivo del trabajo se podra concluir, errneamente, que la investigacin es simple y que no vale mucho la pena invertir tiempo y recursos en llevar a cabo una investigacin de tal naturaleza. Sin embargo, el tema es valioso por s mismo. A pesar de la popularidad creciente de los cuestionarios de evaluacin, y segn lo informado en diversas investigaciones producidas por el grupo mencionado (Arbes, 2004; Gilio, 2000; Loredo y Grijalva, 2000), el docente no ha sido, en la mayora de los casos, un partcipe activo en el proceso de evaluacin de su desempeo. Para llevar a cabo el trabajo las autoras siguieron una metodologa original y vlida, pues ya haba sido probada en otros estudios de una de las autoras del artculo (Luna, 2002). Los resultados de su investigacin confirman los hallazgos internacionales (Cashin, 1990) y nacionales (Garca Garduo, 2003): las disciplinas le otorgan un peso diferente a ciertos aspectos de la evaluacin docente. Asimismo, que los profesores universitarios aceptan y consideran justo y necesario ser parte activa en este proceso de evaluacin. Por otro lado, el estudio seala la importancia de los profesores en el mejoramiento de este tipo de instrumentos. La retroalimentacin que dieron nos muestra que en la enseanza de las ingenieras es importante la solucin de problemas y que la enseanza en reas que integran el plan de estudios puede se diferente. Adems, que los aspectos a evaluar sobre el desempeo docente varan de acuerdo con el tipo de curso y el nivel en que se encuentre situado dentro del plan de estudios. El estudio de las autoras puede ser til para iniciar una discusin sistemtica sobre la posibilidad de que los CEDA incluyan aspectos generales aplicados a toda la poblacin universitaria y una seccin propia para cada disciplina o rea de conocimiento. Cules seran las limitaciones y bondades de tener un cuestionario que incluyera aspectos generales para evaluar la docencia de toda la institucin y que adems incluyera otros reactivos dirigidos a satisfacer las necesidades de evaluacin especficas de las diferentes disciplinas o carreras? Esta estrategia es conocida como el mtodo de cafetera , creada en la Universidad de Indiana en Estados Unidos. El nombre es una analoga de la manera en que el comensal elige los alimentos en una cafetera de autoservicio; de la misma forma se escogen los reactivos del cuestionario para evaluar al docente. Podemos apreciar que en Mxico la investigacin sobre la evaluacin de la docencia ha hecho progresos notables que sealan un desarrollo imRevista Mexicana de Investigacin Educativa

1281

Garca

portante y propio. Los programas de estmulo salarial y el Grupo Interinstitucional de Evaluacin de la Docencia han sido las piedras de toque para tal desarrollo. Finalmente, puede concluirse que el desarrollo del campo de la evaluacin en Mxico ha sido, de alguna manera, ahistrico. Poco ha servido lo que se hizo antes de la dcada de los noventa para la nueva etapa que comenz en esos mismos aos. Para favorecer su desarrollo y continuidad convendra pensar en la creacin de una gran asociacin mexicana de evaluacin. Esta asociacin podra crear una revista de mayor alcance que las actuales, que difundiera los avances de la disciplina y los hallazgos producidos. Asimismo el INEE y el CENEVAL bien podran auspiciar la formacin de una asociacin profesional para superar el aislamiento y promover el desarrollo de la disciplina en Mxico, como est ocurriendo en otros pases de la regin.
Referencias
Arbes, Ma. I. (2004). Evaluacin de la docencia: Una propuesta alternativa que considera la participacin de los profesores, Revista Mexicana de Investigacin Educativa, 9, nm. 23, pp. 863-890. Cashin, W. E. (1990). Students do Rate Different Academic Fields Differently, en Theall y Franklin (eds.), Student Ratings of Instruction, New Directions for Teaching and Learning, nm. 43, San Francisco: Jossey-Bass, pp. 113-121. Chianca, Th. y Youker B. (2004). La evaluacin en Amrica Latina y el caribe: Visin general de los desarrollos recientes, publicado originalmente en ingls en noviembre de 2004 en el primer nmero del Journal of Multidisciplinary Evaluation, y disponible en web:http://evaluation.wmich.edu/jmde/. Centra, J. A. (1993). Reflective faculty evaluation, San Francisco: Jossey-Bass. Cordero, G. y Garca Garduo, J. M. (2004). The Tylerian curriculum model and the reconceptualists. Interview with Ralph W. Tyler (1902-1994), Revista Electrnica de Investigacin Educativa, 6 (2), disponible en http://redie.uabc.mx/vol6no2/contenido-cordero.html. De la Garza, E. (2004a). La evaluacin educativa, Revista Mexicana de Investigacin Educativa, 9, nm. 23, pp. 807-816. De la Garza, E. (2004b). Evaluacin de la docencia en la educacin superior, resea, Revista Mexicana de Investigacin Educativa, 9, nm. 23, pp. 933-946. Fernndez, E. y Luna, E. (2004). Evaluacin de la docencia en el contexto disciplinario: La opinin de los profesores en el caso de la ingeniera y tecnologa, Revista Mexicana de Investigacin Educativa, 9, nm. 23, pp. 891-911. Garca Garduo, J. M. (2000). Las dimensiones de la efectividad docente, validez y confiabilidad de los cuestionarios de evaluacin de la docencia: sntesis de investi-

1282

Consejo Mexicano de Investigacin Educativa

El avance de la evaluacin en Mxico y sus antecedentes

gacin internacional, en Rueda y Daz-Barriga (compiladores), Evaluacin de la docencia , Mxico: Paids, pp. 41-62. Garca Garduo, J. M. (2003). Profesores universitarios y su efectividad docente. Un estudio comparativo entre Mxico y Estados Unidos, en Perfiles Educativos, 25 (100), pp. 42-55. Gilio, Ma. C (2000). La evaluacin docente desde una perspectiva participativa: el caso de la licenciatura en Qumica de la Universidad Autnoma de Quertaro, en Rueda y Daz Barriga (coords.) Evaluacin de la docencia, Mxico: Paids, pp. 85-101. Joint Committee on Standards for Educational Evaluation (1994). The program Evaluation Standards (2a ed.). Thousand Oaks, CA: Sage. Existe traduccin al espaol: Comit Conjunto de Estndares para la Evaluacin Educativa (1998). Estndares para la evaluacin de programas, Bilbao: Ediciones Mensajero. Loredo, J. y Grijalva, O. (2000). Propuesta de un instrumento de evaluacin de la docencia para estudios de posgrado. Quertaro, en Rueda y Daz Barriga, Evaluacin de la docencia, Mxico: Paids, pp. 103-131. Luna, E. (2002). La participacin de los docentes y estudiantes en la evaluacin de la docencia, Mxico: Universidad Autnoma de Baja California/Plaza y Valds. Ridings, J. (1981). An interview with Ralph Tyler, Occasional papers, nm. 13, noviembre, disponible en http://www.wmich.edu/evalctr/pubs/ ops/ Martnez Rizo, F. (2001). Evaluacin educativa y pruebas estandarizadas. Elementos para enriquecer el debate, Revista de la Educacin Superior, 30 (120), pp. 71-85, disponible en: www.anuies.mx/principal/servicios/publicaciones/revsup/rres120/ men5.htm. Seldin, P. (1993 ). The Use and Abuse of Student Ratings of Professors,The Chronicle of Higher Education, vol. 39, julio 21, p. 40. Stufflebam, D. y Shinkfield, A. (1987). Evaluacin sistemtica, Barcelona: Paids. Weiss, C. (1975). Investigacin evaluativa , Mxico: Trillas.

Revista Mexicana de Investigacin Educativa

1283