Universidad Nacional Abierta Direccin de Investigaciones y Postgrado Especializacin en Telemtica e Informtica en Educacin a Distancia

CAPTULO 11 LA EVALUACIN

Garca Aretio, L. (2001) La educacin a Distancia. De la Teora a la prctica. Barcelona: Ariel. (Compilacin con fines instruccionales)

LA EVALUACIN

287

Captulo 11 LA EVALUACIN Nuestro grfico, reflejo de la teora del dilogo didctico mediado que desarrollbamos en el captulo 4 de este libro, lo culminbamos con la evaluacin. Evaluacin que dirigamos en todos los sentidos del citado grfico, evaluacin, cmo no, de los aprendizajes, de la institucin y de todo el programa (diseo, desarrollo, materiales, sistemas de comunicacin, etc). En este captulo limitaremos el campo a lo que entendemos como una de las tareas esenciales de la labor de un docente o formador, la evaluacin de los conocimientos y competencias adquiridos por los estudiantes que han seguido un proceso de formacin a distancia. Slo al final del captulo ofrecemos, a modo de modelo, un esquema de lo que entendemos de lo que podra ser una propuesta de evaluacin institucional y de programas, que ya hemos desarrollado en otro lugar (Garca Aretio, 1998). En consecuencia, hemos venido analizando diferentes funciones que entendemos est obligado a desempear el docente de un curso, programa o institucin a distancia: disear o usar determinados medios y establecer la debida comunicacin e interaccin de calidad con los estudiantes. Faltara ahora conocer cmo evaluar los logros de aprendizaje de stos. Para ello, vamos a prescindir en este captulo de adentrarnos en cuestiones conceptuales y tericas relativas a la evaluacin cuya literatura es muy extensa, para concentrarnos exclusivamente en su especificidad en el mbito de la enseanza y el aprendizaje a distancia. Remitimos al lector a una anterior obra nuestra que aborda de manera ms amplia el tema de la evaluacin (Garca Aretio, 1994). En el proceso enseanza-aprendizaje existen unos objetivos que se prev alcancen los estudiantes al final de un determinado curso, fase o etapa. Si tratamos de comprobar el grado de consecucin de esos objetivos al final del proceso, estaramos ante los tpicos exmenes finales que pretendan medir hasta qu punto se haban alcanzado una serie de conocimientos previamente programados. Una vez superado el mnimo acordado, el estudiante era considerado apto. En caso contrario, la san-

288

LA EDUCACIN A DISTANCIA

cin era negativa. Mediante este sistema el estudiante se lo jugaba todo a una carta y sin posible oportunidad para la enmienda. Postulamos la necesidad de recoger constante y suficiente informacin sobre la situacin del sujeto de aprendizaje en cada una de las fases de su itinerario informativo, con el fin de orientarle a lo largo del proceso, y ayudarle a superar las Para ello se arbitrarn las pertinentes actividades complementarias de aprendizaje o consejos singularizados, que deberan apuntar al logro de los objetivos de formacin antes no posedos y previamente diseados. Por tanto, no podr ser la evaluacin una fase aislada y mucho menos, final, del currculo, sino integrada, formando parte de l como elemento sustancial del mismo (Prez Juste, 1996). Nosotros consideramos a la evaluacin del aprendizaje como la accin de obtencin de informacin sobre el estudiante y la naturaleza y calidad de su aprendizaje, integrada en el proceso formativo, sistemtica y continuada, que nos permite juzgar alternativas previas a la toma de decisiones. 1. Etapas de la evaluacin de aprendizajes Como puede observarse, no se trata de una mera recopilacin de datos, que podra ser la funcin de un examen que comprueba los resultados o producto de unos determinados aprendizajes. Precisamente, esa sistemtica recogida de informacin ser una de las fases-la primera- de la evaluacin, pero ni siquiera. Por tanto, stas son las fases que entendemos debe comprender el proceso de evaluacin de aprendizajes: Recogida de datos, recopilacin sistemtica de toda la informacin a lo largo del proceso completo de enseanza-aprendizaje con la utilizacin de los ms adecuados instrumentos de medida. Puntuacin de las pruebas, una vez recopilada la informacin es decir, medir cuantitativa o cualitativamente los distintos bloques de informacin recogidos. Juicio de valor o calificacin que puede hacerse limitndose a criterios de grupo (evaluacin normativa), refirindola a criterios de superacin de objetivos y/o contenidos (evaluacin criterial), o teniendo en cuenta la personalidad, posibilidades y limitaciones del propio sujeto del aprendizaje (evaluacin personalizada). Toma de decisiones. Que trae consigo una serie de consecuencias personales, administrativas, econmicas, laborales, familiares, didcticas, etc., provocadas por decisiones tales como: seleccin-exclusin; promocin-recuperacin-repeticin; retroaccin a niveles anteriores; ampliacin.

dificultades que se le pudieran presentar durante el estudio.

LA EVALUACIN

289

Informacin a los interesados que ha de llegar a diferentes destinatarios, aunque principalmente y de forma adecuada, a los estudiantes. 2. Importancia de una evaluacin educativa bien concebida El punto de mira de los estudiantes es siempre la evaluacin. En realidad, aunque tristemente, suelen estudiar para ser evaluados (Hills, 1981; Calonghi, 1987), sobretodo en el contexto del sistema educativo formal. Esta circunstancia se da menos en el mbito de la formacin permanente por la motivacin que suele existir para la adquisicin de esos nuevos conocimientos o destrezas no posedos aunque s deseados o necesitados. Si los instrumentos y pruebas de evaluacin son-como deberan sercoherentes con los otros elementos o variables del diseo y desarrollo de la accin o curso, estn determinando el realidad el aprendizaje de los estudiantes, las enseanzas de los docentes e incluso las formas de ensear. Un curso de formacin a distancia, pues, puede quedar condicionado por lo que se evala. De poco servir plantearse hermosos objetivos e inmejorables contenidos si se prescinde de qu, cmo y cundo evaluar. El resultado de un buen curso puede quedar malogrado por unas inadecuadas tcnicas de evaluacin. Ya se ha investigado suficientemente sobre la relacin que existe entre evaluacin tcnicamente bien concebida y calidad de la educacin. Las pruebas de evaluacin bien estructuradas se convierten en un elemento ms de aprendizaje y no slo de control al obligar al estudiante a recordar, comprender, reconocer y reconstruir. 3. Objetivos y funciones de la evaluacin Si realizamos una evaluacin de carcter formativo adecuadamente diseada pueden lograrse, entre otros posibles, los siguientes resultados: Clarificar y ajustar objetivos y contenidos. Qu evaluar?, para qu?, son objetivos y contenidos realistas, evaluables...? Probablemente habrn de ser eliminados los objetivos y contenidos que no son posibles de valuar. En todo caso, la funcin de clarificacin forzar a redactarlos de forma ms adecuada que apunten a la posibilidad de comprobar de una u otra manera si se cubren o no. Diagnosticar situaciones. Bien sean de individuos concretos o del grupo d estudiantes que siguen el curso, con el fin de adecuar el proceso de enseanza a sus posibilidades y limitaciones. Mantener constantes los niveles acadmicos. La evaluacin sirve de gua al propio docente para cerciorarse sobre el rendimiento de los estudiantes y sobre las previsibles desviaciones del itinerario formativo previsto que pudiera llevar a metas no deseadas.

290

LA EDUCACIN A DISTANCIA

Seleccionar y adecuar los conocimientos a las necesidades sociales. La evaluacin es requerida desde el punto de vista social, de manera que pueda utilizarse para cumplir una funcin de seleccin y adecuacin de los conocimientos de los alumnos diplomados a los requerimientos laborales del pas. Motivar pautas de actuacin de estudiantes y profesores. Una evaluacin bien diseada indica al estudiante qu, cmo y cundo se estudia, y al profesor qu y cmo se ensea, con el fin de facilitar el xito y huir del fracaso. Predecir resultados. La prevencin y el pronstico facilitados por una evaluacin inicial y del proceso son ms pedaggicos que la recuperacin posterior de lo no aprendido al facilitar informacin que nos permite actuar con inmediatez. Orientar a los estudiantes Fundamentalmente cuando, de todas las prevenciones, se producen fallos, lagunas o limitaciones en los aprendizajes con el fin de superarlos aminorar sus efectos. Propiciar la investigacin. Con los datos recogidos pueden comparase mtodos y estrategias, cursos, grupos de alumnos, diseos, recursos, etc. Fundamentar la innovacin La investigacin referida puede probar la eficacia de nuevos mtodos o estrategias didcticas que inviten a la introduccin de algn cambio que transforme y mejore la estructura o elementos de la accin formativa. Proporcionar informacin ms all del docente. Bien sea para la propia institucin que imparte el curso, bien para instancias superiores (administraciones pblicas, asociaciones, empresas, etc.), con el fin de tomar decisiones dirigidas a la mejora de la accin. Informar y orientar al alumno, con el propsito de hacerle partcipe de sus deficiencias o progresos y as ayudar a fijar mejor sus aprendizajes. 4. La evaluacin en cursos de enseanza a distancia Lo que llevamos hasta ahora afirmado cuadra a la evaluacin del rendimiento en general y a la especfica que ha de realizarse igualmente en los cursos de enseanza a distancia. Sin embargo, conviene agregar otras consideraciones propias de esta modalidad de enseanza. La realimentacin que propicia la evaluacin se hace imprescindible ene estudiantes a distancia, individuos que precisan comprobar con inmediatez y frecuentemente si sus aprendizajes son slidos para, en le caso contrario, introducir los correctivos necesarios. Por otra parte, aunque pensamos que la modalidad de enseanza a distancia ya ha mostrado debidamente su eficacia, para luchar contra los escpticos, an requiere ser reforzada con la credibilidad necesaria, mediante la comprobacin pblica de que los ciudadanos que han superado un curso a travs de esta modalidad estn preparados o mejor que otros que siguieron el mismo

LA EVALUACIN

291

curso por va de la enseanza presencial (Childs, 1965; Eicher, 1984; Casas, 1987; Garca Aretio, 1987; Hanson y otros, 1997; Phipps, Wellman y Merisotis, 1988; Phipps y Merisotis, 1999; Lewis y otros, 1999; Russell, 1999). En la docencia presencial, la evaluacin se nos muestra como un elemento sustancial del proceso enseanza-aprendizaje, aunque existen a lo largo del mismo continuas situaciones de relacin profesor-alumno que eluden que este ltimo pierda el norte. Sin embargo, en la enseanza a distancia, la relacin llega a convertirse, nos atreveramos a decir, en elemento estrella. Tngase en cuenta que en muchas relaciones de esta modalidad de enseanza va a ser la evaluacin la que, casi exclusivamente, posibilite la relacin profesor-alumno. Ser a travs de ella cuando determinados docentes de enseanza a distancia tengan la ocasin nica de reorientar el aprendizaje de los estudiantes, aunque slo sea cuando stos se ven obligados a cumplimentar las preceptivas pruebas de evaluacin a distancia a o realizar alguna prueba presencial. La inmediata respuesta del profesor comentando el trabajo del alumno se convierte en elemento formativo de primera magnitud. 5. Variables de la evaluacin en enseanza a distancia Nevo (1986) apunta una serie de cuestiones a la que se cree que ha de darse respuesta en el caso de que se desee tener muy clara la naturaleza y funciones de la evaluacin, a saber: Cmo se define? Cules son sus funciones? Cul es el proceso a seguir? Qu evaluar?, y qu tipo de informacin debe recogerse? Qu criterios deben utilizarse para juzgar el mrito o valor de un objeto? A quin debe servir la evaluacin? Qu mtodos deben utilizarse? Quin debe realizarla? Qu estndares de calidad han de tomarse para valorar las evaluaciones?

Ya conocemos el concepto, proceso o etapas, los objetivos y funciones de la evaluacin y que son de aplicacin plena en la enseanza a distancia. Vamos ahora a dar respuesta a algunos de los otros interrogantes que completarn la perspectiva general de la evaluacin en esta modalidad de enseanza. 5.1. QU EVALUAR?

Objetivos y contenidos. No nos deberemos limitar a evaluar lo que se suele ser ms habitual, los conocimientos. Proponemos que en las distintas

292

LA EDUCACIN A DISTANCIA

fases del proceso evaluador nos preocupemos por recoger informacin de los diversos mbitos del saber; del saber hacer y del saber comportarse y relacionarse humanos. As, sugerimos, de acuerdo con la planificacin formulada, valorar objetivos de los siguientes mbitos y los contenidos referidos a los mismos, que siempre estarn, en cantidad y calidad, en funcin de las caractersticas y nivel del curso: Conocimiento, comprensin, aplicacin, anlisis, sntesis y valoracin de principios, hechos y leyes. Competencias y habilidades, procedimientos y normas tcnicas. Actitudes, valore y normas, personales y sociales. 5.2. QUIN EVALA? No es fcil aceptar que pueda ser una sola persona la responsable nica de la evaluacin del rendimiento acadmico de un estudiante, y menos en esta modalidad de enseanza. Para responder a esta cuestin habremos de considerar: Al responsable del diseo de los objetivos y contenidos del curso. De ah ha de partir la evaluacin. Pero una persona distinta puede decidir sobre el nivel de exigencia que ha de imprimirse a un determinado curso, o sobre los objetivos mnimos necesarios para su superacin positiva. Si ya se marcaron los objetivos, contenidos y el nivel mnimo de exigencia, la misma persona u otra distinta habr de decidir, elaborando o dando las directrices para ello, sobre las pruebas concretas que habrn de pasar los estudiantes, tanto al nivel de autoevaluacin como de heteroevaluacin. La misma u otra persona se har cargo de todos o de cada uno de los siguientes procesos: correccin, calificacin, juicio y toma de decisiones respecto a las pruebas a que ha sido sometido el destinatario del curso. Quin y de qu manera informar a los estudiantes sobre el resultado de la evaluacin? Incluso conviene conocer quin har uso de los datos globales de la evaluacin y qu decisiones se podrn adoptar al respecto. 5.3. CUNDO EVALUAR? Sugerimos la realizacin de una evaluacin inicial o diagnstica al comienzo del curso que nos ofrecer una radiografa de cada estudiante concreto y de la situacin del grupo, si es que todos iniciaron el curso a la vez, en el caso de empresas o instituciones.

LA EVALUACIN

293

Con estos datos conoceremos las lagunas, posibilidades y limitaciones de cada estudiante con el fin de que podamos personalizar la orientacin o ayuda y, en su caso, nos cercioraremos de la imposibilidad de que alguno inicie el curso al no poseer los conocimientos mnimos requeridos para el uso adecuado de los correspondientes materiales autoinstructivos. A lo largo del curso, se hace precisa la evaluacin del proceso o evaluacin continua del trabajo que se realiza. De esta manera la realimentacin es constante y la evaluacin es realmente formativa. Se hace precisa, por fin, una evaluacin final, que debera ser consecuencia lgica de la evaluacin continua y sistemtica que se ha venido realizando. No es aconsejable llevarla a cabo descontextualizada de los trabajos y pruebas que el alumno ha ido realizando a lo largo del proceso de aprendizaje. 5.4. CMO EVALUAR? Muchas de las decisiones que a este respecto habrn de adoptarse debern ser previas al desarrollo del curso. Decisiones que inciden en las propias posibilidades y medios con que cuenta el centro responsable de impartir el curso, o la institucin o empresa en la que lo van a seguir. As, caben todas estas posibilidades: 5.4.1 Tipos de evaluacin a) Evaluacin sumativa - Evaluacin formativa (Scriven, 1967). De acuerdo con nuestro trabajo anterior (Garca Aretio, 1987: 50), hablaremos de evaluacin sumativa o acumulativa cuando pretendemos averiguar el dominio conseguido por el alumno con la finalidad de certificar unos resultados o de asignar una calificacin de aptitud o inaptitud referente a determinados conocimientos, destrezas o capacidades adquiridos en funcin de unos objetivos previos. Esta evaluacin hace referencia al momento final de un curso o actividad de aprendizaje. Es punto de llegada, valoracin de un producto cerrado y acabado.

La evaluacin formativa procesual (Scriven, 1967; Popham, 1983) trata de

proporcionar una informacin, con el fin de tomar decisiones de cara a la orientacin del estudiante conforme ste va siendo evaluado. Pretende que el alumno corrija defectos y confusiones, supere dificultades y adquiera habilidades que se han detectado como ausentes en la prueba o trabajo de evaluacin propuesto. Interesa conocer qu es lo que el estudiante no sabe y debera saber, lo que no domina suficientemente y debera dominar. Si la evaluacin sumativa es un punto de llegada, la formativa es un punto de partida para la asimilacin de nuevos aprendizajes o para la

294

LA EDUCACIN A DISTANCIA

rectificacin de los mal adquiridos (Prez Juste, 1989). Las dos formas se hacen precisas en la enseanza a distancia, aunque pensamos que se debe insistir especialmente sobre la segunda. b) Evaluacin cuantitativa Evaluacin cualitativa (Zabalza, 1986). Significaremos a la evaluacin cuantitativa como basada en la observacin, medicin, cuantificacin y control. Se da mxima importancia a la objetividad, exactitud, rigor y rigidez en la medida, mediante el uso de sofisticados y consecuentes instrumentos y cuidados mtodos de recogida y anlisis de los datos. Sin embargo, la evaluacin cualitativa pretende penetrar ms en el sujeto a evaluar y comprender profundamente sus caractersticas. A travs de ella se pueden evaluar productos ms all de los objetivos propuestos, pueden utilizarse mtodos ms informales de medicin, se consideran otras variables distintas a las de la objetividad de los fros resultados de una prueba, tales como situacin del individuo, prerrequisitos con los que inici el curso, etc. L a riqueza informativa que ofrece es muy amplia. Pensamos que en la enseanza a distancia las dos formas cuantitativacualitativa deben tener cabida en el proceso de evaluacin, mediante la consideracin de todas las variables que inciden en el estudiante y con la correcta utilizacin de los mtodos e instrumentos tcnicos ms depurados posible. c) Evaluacin normativa, Evaluacin criterial o Evaluacin personalizada. Al evaluar, podemos limitarnos a criterios de grupo, con lo que la calificacin del individuo queda en una posicin relativa con respecto a los otros miembros del grupo (evaluacin normativa) (Glaser, 1963). Podemos referir la evaluacin a criterios conductuales, especificados previamente, de superacin de objetivos y/o contenidos (evaluacin criterial) (Popham, 1983). Por fin, podemos considerar la personalidad, posibilidades de progreso y limitaciones del propio alumno, sin compararlo con otros y slo consigo mismo (evaluacin personalizada). Entendemos que en la formacin a distancia, dirigida a adultos que pretenden una determinada capacitacin, la evaluacin ms acorde sera criterial, en la que se certifica que el alumno ha superado satisfactoriamente todos los objetivos propuestos y los contenidos que conforman el perfil del curso. d) Autoevaluacin-Heteroevaluacin Nadie mejor que el estudiante puede valorar el esfuerzo realizado, el tiempo dedicado, las dificultades superadas, la satisfaccin o insatisfaccin, etc., producido por los aprendizajes. Por otra parte, la participacin del estudiante en la valoracin continua de sus progresos de aprendizajes no han de obviarse. sta sera la autoevaluacin que, sin embargo, no aceptamos como

LA EVALUACIN

295

elemento exclusivo de la estimacin de la superacin o no de los objetivos mnimos. Por tanto, autoevaluacin y heteroevaluacin habrn de complementarse oportunamente. Tambin podramos integrar en este bloque a la coevaluacin realizada por los propios pares. 5.4.2

Ubicacin tempoespacial de las pruebas

a) Evaluacin presencial. Este tipo de la evaluacin de los estudiantes de

enseanza a distancia consiste en la realizacin de pruebas o trabajos que habrn de desarrollarse con tiempo, espacio y situacin delimitados con suficiente antelacin. En este caso, todos los estudiantes se encuentran en la misma situacin. Y existe la garanta de que el individuo matriculado en el curso es quien de verdad realiza la prueba.

b) Evaluacin a distancia Se realiza con espacio y situacin libre para el

estudiante, con fecha lmite o no para entregar el trabajo o prueba. Algunos entornos virtuales de aprendizaje, en la actualidad Webt por ejemplo, permiten que, a distancia, a travs del ordenador, el profesor seale una fecha, incluso hora y duracin, para responder la prueba a travs de Internet, individualizando la instancia, si lo desea, para cada uno de los estudiantes. protagonista del proceso de aprendizaje, pero sta no es definitiva. La evaluacin del alumno se cierra con una prueba presencial que puede dar mayor credibilidad al rendimiento real del estudiante. Esta evaluacin presencial puede consistir en la realizacin de un trabajo o prueba desconocido por el alumno, o con conocimiento previo de lo que se va a plantear. Tambin puede consistir en la defensa de un trabajo elaborado en le propio hogar o empresa, etc.

c) Evaluacin mixta. En este caso cabe la evaluacin a distancia como

6. Pruebas de evaluacin en enseaza a distancia 6.1. EJERCICIOS DE AUTOEVALUACIN Son preguntas que pueden estar intercaladas en le texto, y, ms habitualmente, al final de una unidad de aprendizaje. En el primer caso sirven ms de orientacin que de autocontrol del progreso en le aprendizaje. En los ejercicios de autoevaluacin o autocomprobacin se efectan unas preguntas que el estudiante responde, bien eligiendo entre ms de una opcin, o elaborando la respuesta y, con inmediatez, puede comprobar el acierto o error de la misma, dado que las soluciones correctas las ofrece el autor del material, desde su

296

LA EDUCACIN A DISTANCIA

propia perspectiva, en otro lugar distinto a aquel en el que aparecen las preguntas. De esta manera el estudiante comprueba frecuentemente cul es su grado de progreso en el aprendizaje. Si responde correctamente los aprendizajes pueden quedar an mejor anclados. Si la respuesta fue errnea puede motivar a estudiar nuevamente el material o a la bsqueda de informacin complementaria. Las cuestiones aqu planteadas deben estar-como en cualquier otro tipo de pruebas- plenamente relacionadas con los objetivos de formacin propuestos y cubrir todos ellos, planteando preguntas relacionadas con los contenidos relevantes tratados en el material. Y ello por que los estudiantes son dados a identificar como importante para el aprendizaje y clave del estudio todo lo que se pregunta, relegando a segundo trmino aquello que no fue motivo de autoevaluacin. Por ello consideramos que el nmero de estos ejercicios debe ser suficientemente amplio y no reducido-como suele ser habitual- a unas cuantas preguntas que generalmente quedan respondidas con suma facilidad. De esta manera se potencia el repaso de lo fundamental de la unidad. En todo caso, si la lista de preguntas o tems fuese demasiado larga, convendra dividirla y ubicar cada fragmento al final de cada una de las partes importantes de la unidad. Generalmente estos ejercicios deben solicitar del alumno respuestas breves aunque exigiendo una profunda reflexin sobre lo estudiado. Las preguntas han de formularse de manera que sean difcil de contestarlas con una reproduccin literal de lo ledo, visto u odo, deben obligar al estudiante a sintetizar, analizar, relacionar, aplicar, comparar, etc. Y ello puede hacerse tanto a travs de pruebas objetivas como de preguntas que exijan la elaboracin personal. Desde estas pginas aconsejamos que no se utilice e todas las unidades el mismo tipo de pruebas, con el fin de habituar al estudiante a enfrentarse a una amplia variedad de formas de control que, por otra parte, enriquecen diversas capacidades cognitivas. Las soluciones a estos ejercicios de autoevaluacin deben cuidarse especialmente. En ellas se pueden dar la respuesta correcta, sugerir al estudiante en qu parte del texto puede encontrar la respuesta o qu material distinto debe consultar. En los materiales elaborados mediante hipertexto soportados en un CD o en Internet esta comprobacin resulta ms rpida, eficaz y completa. Basta con establecer un enlace con la respuesta adecuada, con la parte del material en la que se contiene una amplia explicacin, o con otro lugar de la red. Si se pidi la resolucin de un problema o la aplicacin de teoras, es aconsejable que la solucin ofrecida responda ntegramente a la cuestin propuesta. Igualmente conviene ofrecer al estudiante la aclaracin de por qu una respuesta, aunque plausible, no es correcta. Esta opcin es ms aconsejable cuando se emplean pruebas objetivas. El estudiante debe asegurarse de por qu su respuesta no fue correcta y s lo es la ofrecida por el autor de los materiales.

LA EVALUACIN

297

LAS PRUEBAS A DISTANCIA Normalmente estructuradas como cuadernillos de evaluacin, cuadernos de trabajo, unidades de evaluacin o pgina Web en la que se disea el formato adecuado para la prueba que, lgicamente, puede responderse de manera automtica, a travs de la propia red. Este tipo de pruebas a distancia consiste en unos ejercicios en los que se plantean cuestiones a los estudiantes que stos habrs de responder y enviar al centro o institucin desde el que se imparte el curso o, en su caso, al tutor al que se ha ido encomendado el estudiante en cuestin. Estas pruebas, generalmente de carcter formativo, pueden ser estructuradas de muy diversas maneras, siempre en funcin de la naturaleza del curso que se imparte. Desde trabajos amplios que requieran poner en juego diversas capacidades cognitivas del estudiante que evalan distintos objetivos de formacin, hasta pruebas objetivas, pasando por pruebas de ensayo o trabajos de elaboracin, sean stos tericos o prcticos. Es aconsejable utilizar instrumentos de evaluacin mltiples-incluso dentro de cada unidad de evaluacin- que pueden ser vlidos sin que creen especiales problemas para ser resueltos a distancia. Nos parece que esta forma de evaluacin del proceso o evaluacin continua a distancia garantiza un estudio sistemtico y eficaz y comporta otras ventajes como stas (Garca Aretio, 1987: 52-53): Suponen un control peridico del proceso acadmico de los estudiantes, posibilitando una evaluacin continua y formativa. Obligan a estudiar, dado que suele ser preceptivo el envo de la prueba al tutor en una fecha determinada. Este estudio lo realizar el alumno de forma sistemtica, ya que las pruebas se ajustan a la parte de la materia que se calcula debe haberse aprendido en una determinada unidad de tiempo, evitando as la sobrecarga de estudio en unas fechas concretas. Ayudan a retener los aspectos fundamentales de la materia. El estudiante habr de insistir en los puntos no suficientemente asimilados que son motivo de pregunta, con el fin de retener los conceptos fundamentales y, de esta manera, convertirse en autntico protagonista de su aprendizaje. Se utilizan como elemento de comunicacin bidireccional, dado que habrn de ser devueltos normalmente por el tutor con la correccin de errores, calificacin y las pertinentes orientaciones. El conocimiento, por parte del estudiante, de los resultados de su aprendizaje y la correspondiente orientacin sobre el mismo actan de fuerte incentivo para la mejora en cantidad y calidad de los futuros. Se obliga al alumno a no limitarse en su estudio a la consulta del material estrictamente obligatorio, al solicitrsele respuestas a cuestiones que requieran la reelaboracin, anlisis de enfoques distintos o

6.2.

298

LA EDUCACIN A DISTANCIA

relacin entre ellos, etc., que ponen al individuo en situacin de verse obligado a acudir a otras fuentes bibliogrficas o a profundizar en las de estudio obligatorio. Se exige, en algunos casos, la postura personal en determinadas cuestiones, que requerirn la reflexin y estudio con detalle de todo tipo de material. Sirven de entrenamiento-en su caso-para la realizacin de las pruebas presenciales, al deber estar estructuradas en forma similar, en cuanto al contenido y estilo de las cuestiones, aunque requieran un tiempo superior para su cumplimentacin que las personales. Orientan a los docentes para detectar los bloques de la materia en donde existen mayores lagunas en le aprendizaje de los alumnos, para poder insistir, bien en sesiones presenciales de tutora, o a travs del contacto postal, telefnico o telemtico, en la resolucin, discusin y anlisis de las mismas Los profesores redactores de las pruebas pueden averiguar, al igual que los tutores, dnde se centran las dificultades ms tpicas de la materia, as como dnde se detectan los fallos ms notables en la propia redaccin de estas pruebas. Se establece el oportuno requisito administrativo de la cumplimentacin de estas pruebas sin las cuales, en determinados programas, no puede superarse la materia o curso en cuestin. LAS PRUEBAS PRESENCIALES

6.3.

Son pruebas que, cuando estn establecidas, ponen al alumno en disposicin de demostrar hasta qu punto los trabajaos realizados a distancia han sido fruto de su exclusivo esfuerzo personal. Este tipo de pruebas es recomendable, pensamos que prescindible, en aquellas materias y cursos cuya superacin llevan al logro de una certificacin, ttulo a acreditacin de carcter oficial. Hasta tanto las modernas tecnologas no garanticen otra forma de examen en las que sea difcil la suplantacin de personas, seguiremos recomendando este tipo de pruebas en los casos sealados. Debido a la trascendencia de estas pruebas, dado su peso especfico en la evaluacin final de los estudiantes, con vistas a la toma de decisiones, ser conveniente que los responsables de redactarles se atengan a una serie de criterios, normas o sugerencias que las hagan ms objetivas, vlidas y fiables. Seguidamente se sealan los criterios que creemos ms destacados, vlidos igualmente para los otros tipos de pruebas. 6.4 CRITERIOS GENERALES PARA LA REDACCON DE LAS PRUEBAS Habr de cuidarse minuciosamente la redaccin de todas las pruebas: presenciales, cuadernillos impresos o electrnicos, trabajos de evaluacin

LA EVALUACIN

299

a distancia, pruebas de autoevaluacin, etc. Sugerimos una serie de pautas que pueden mejorar este material (Garca Aretio, 1993).

a) Consideracin de los objetivos

Ajustar la redaccin de las preguntas a todos y cada uno de los objetivos previamente requeridos. Ha de evaluarse lo que se pretenda que aprendiesen los alumnos. En definitiva, el contenido de la pregunta ha de ser siempre relevante y estar de acuerdo con los objetivos. Por lo tanto, prescindir de minucias y de la erudicin sin relevancia.

b) Proceso mental que se pretende evaluar

Incluir en la prueba preguntas que evidencien el tipo de proceso mental que se pretende que muestre el estudiante (describir, comparar, relacionar, analizar, sintetizar), pero a ste le debe quedar meridianamente claro qu es lo que se le est requiriendo en la correspondiente pregunta: describir sucintamente, analizar esquemticamente, citar X ejemplos relacionados con, comparar X conceptos o ideas, sintetizar en X lneas, trazar un grfico, etc.

c) Enunciado de las cuestiones

Huir de enunciados similares a los epgrafes que aparecen en el material estudiado, dando cierta originalidad a la pregunta, organizando la cuestin de manera diferente, para que el alumno tenga que seleccionar el material y organizar su propia respuesta. Pero procurando ceir las propias cuestiones estrictamente a los que se debe haber asimilado a travs del material didctico puesto a disposicin.

d) Tiempo concedido al alumno para responder

Calcular adecuadamente el tiempo medio requerido para responder a la prueba propuesta. El estudiante debe tener garanta de poder responder satisfactoriamente a las pruebas en el tiempo concedido en las de carcter presencial. En las de tipo no presencial, respondidas por escrito o electrnicamente, convendra sugerir al estudiante que tiempo es el recomendable para dedicar a responder a la prueba.

e) Univocidad de la pregunta
Cuidar la formulacin de las preguntas, de forma que todos puedan en tender lo mismo. La redaccin de las cuestiones ser clara y precisa. Habr de evitarse las que lleven al equvoco, preguntas con doble sentido, capciosas, confusas, etc., que desvirtan con frecuencia la valoracin adecuada de cada alumno.

300

LA EDUCACIN A DISTANCIA

f) Instrucciones para cumplimentar la prueba

Determinar con claridad las instrucciones para la correcta realizacin de la prueba. Dar orientaciones sobre la distribucin en pruebas que se compongan de ms de una parte; criterios de valoracin de las partes del examen o de las preguntas (estructura, fuerza expresiva, estilo, precisin, calidad de los argumentos empleados, calidad de la informacin seleccionada, etc.); indicaciones sobre la forma de responder-de forma limitada o amplia-en la misma hoja, en papel aparte, rodeando con un crculo, tachando, con lpiz o bolgrafo, pulsando una tecla o un botn del ratn, escribiendo en el recuadro, etc., y otras consideraciones adaptadas al curso en cuestin que eviten calificaciones que no respondan a la realidad de lo que sabe cada uno.

g) Precauciones en pruebas objetivas

Si se han influido pruebas objetivas, adems de lo expuesto anteriormente, se deber tener cuidado con: Explicar las normas para cada tipo de respuestas Obviar las preguntas irrelevantes, aunque sean muchos los tems de que se componga la prueba. Evitar que en una pregunta se encuentre la pista para responder correctamente a otra. Agrupar los tems segn el tipo de prueba objetiva. No convendr mezclar, por ejemplo, respuestas de asociacin, de doble alternativa, de ordenamiento, de mltiple eleccin, etc. Procurar situar los tems de menos dificultad al principio de la prueba.

h) Diversificar la dificultad de la prueba

Distribuir la diversa dificultad de la prueba, incluyendo preguntas de solucin ms o menos fcil, con el propsito de discriminar convenientemente los aprendizajes de los alumnos. 7. La informacin a los interesados De poco servira que la evaluacin terminase con la toma de decisiones por parte del profesor, una vez medida y enjuiciada la calidad de los aprendizajes del estudiante. La informacin extrada de la evaluacin final se hace absolutamente necesaria a diversas instancias: profesor, centro, institucin o empresa y naturalmente, interesado. A ste ltimo es a quin ms importa y a quin ms va a beneficiar esta informacin y la generada por otras fases o etapas de la evaluacin no final. Centrmonos en

LA EVALUACIN

301

ella. La informacin ha de pasarse al estudiante siempre que ste haya realizado un acto evaluativo, haya sido a distancia o presencial. Esta informacin habr de ser: Total. Reflejando todas las consideraciones necesarias de las que se deduzca lo que el estudiante realmente sabe y no sabe de aquello de lo que no ha sido evaluado. Obviamente, esta caracterstica estar siempre en funcin de la calidad de los instrumentos de medida. Personalizada. Particular y especfica para cada sujeto, mediante la que ste identifique los fallos, deficiencias o lagunas que le permitan centrarse en el estudio especfico de unos contenidos concretos, insuficientemente asimilados y no en la totalidad de los que abarcaba la prueba de evaluacin. Motivadora. La comunicacin de la sola calificacin es muy pobre. Si a ella se aade un pormenorizado informe de la localizacin de las insuficiencias detectadas, ya se gana bastante. Pero si esta informacin se completa con las correspondientes indicaciones de orientacin y ayuda que siten al estudiante en la buena direccin de aprendizaje se habr hecho un buen servicio pedaggico. Por fin, si a ello se agregan frases o expresiones de nimo, de estmulo al propio autoconcepto del estudiante, puede redondearse la bondad de un informe de evaluacin. Inmediata. Habrn de aprovecharse las posibilidades pedaggicas que supone la inmediatez de la informacin como refuerzo para el aprendizaje. La modalidad de enseanza a distancia de corte ms convencional tropezaba aqu con un serio escollo. Con la adopcin de las tecnologas avanzadas esta circunstancia queda ms que superada. En todo caso, siempre habr que esforzarse en lograr reducir al mximo el tiempo transcurrido entre el envo de la prueba a distancia o realizacin de la presencial y la remisin del informe del profesor. Clara. La interpretacin no ha de dejar lugar a dudas. Todo lo que ha querido reflejar el profesor en su informe deber poder entenderlo con absoluta claridad el individuo evaluado. Esta informacin, obviamente, estar siempre adaptada al nivel cultural del destinatario. Pueden utilizarse en el informe: Expresiones de carcter meramente simblico (grficos, nmeros, letras, etc.). Expresiones estimativas o juicios valorativos, tambin bastante escasos de valor pedaggico (los tradicionales suspenso, aprobado, notable, etc.). Expresiones descriptivas de lo que se sabe y no se sabe, que incluyan los pertinentes comentarios individualizados que estamos aconsejando.

302

LA EDUCACIN A DISTANCIA

Pero con estas expresiones no es suficiente. El informe debe recoger algn tipo de comentarios que pueden ser de distinta ndole. Bth y Rekkendal (1987) sealan que son recomendables comentarios que: Corrijan errores indiscutibles y malentendidos. Expliquen la correccin o crtica y le ayuden a entender lo que debera hacer para evitar errores similares en el futuro. Traten cmo puede mejorarse una respuesta concreta que no est mal, pero no es del todo satisfactoria. Apoyen, animen y motiven Traten sobre tcnicas de estudio o mtodos para resolver el ejercicio en cuestin. Expliquen la calificacin dada (evaluacin o comentarios finales). 8. Evaluacin institucional y de programas a distancia Como ya habamos sealado al principio de este captulo, no era nuestra intencin en su desarrollo, penetrar en cuestiones tericas relativas a la evaluacin, ni ampliar nuestro campo de reflexin a la evaluacin de otras instancias diferentes a las del estudiante: docentes, instituciones, centros, programas, cursos, etc. Sin embrago, aunque sea brevemente, vamos a esbozar el modelo, ampliamente desarrollado en otro lugar (Garca Aretio, 1998) que sugerimos para la evaluacin de carcter institucional, y tambin de programas, en centros de educacin a distancia. Nos referimos fundamentalmente a la evaluacin del mbito ms singular de estas instituciones, el que hace referencia a la docencia, enseanza, metodologa, etc. Y lo haremos ocupndonos de la calidad del mismo que la significaremos, dentro de nuestro modelo, a travs de una serie de relaciones y concordancias entre diferentes variables de la institucin o programa. No cabe duda de que resulta difcil de aplicar los mismos parmetros e indicadores de evaluacin a todas las instituciones de educacin a distancia. Sin embargo, podramos llegar a cierto consenso para ponderar determinados indicadores y variables que aporten informacin para una valoracin objetiva de la enseanza que imparten. Si de evaluar la calidad de una institucin educativa o de formacin se tratase, estaramos hablando de evaluacin institucional o de intento de valorar el grado de consecucin de las metas y objetivos propuestos, as como las condiciones de partida y los procesos (Weert, 1990). Esta evaluacin, por una parte puede ser llevada a cabo por la propia institucin (evaluacin interna) a travs de alguna comisin, departamento, o instituto de la propia entidad con objeto de mejorar el producto, o mediante alguna comisin exterior u organismo especializado imparcial. Igualmente unas evaluaciones se centran en la valoracin del grado de consecucin de los objetivos (eficacia) o del grado de aprovechamiento de los recursos

LA EVALUACIN

303

en funcin de los objetivos (eficiencia). Ciertas evaluaciones se ocupan de los procesos, otras de los resultados y otras de la relacin existente entre las metas propuestas y la disponibilidad de recursos para su logro. Por fin, todas las evaluaciones, si pretenden mejorar la calidad del producto, deberan culminarse con la innovacin necesaria para el logro de ese producto de mejor calidad. Basados en estas reflexiones vamos a esbozar un modelo que entendemos integrador, basndonos en las caractersticas que refera la Nacional Comisin on Excelente in Education en 1983 (Medina Rubio, Garca Aretio, Lpez-Barajas y Martn Ibez, 1991) como propias delimitadoras del principio de calidad, a las que nosotros aadimos otras tres que perfilarn el modelo. Por tanto, en este catlogo de ajustes o de relaciones de coherencia, concordancia, congruencia o armona basamos nuestro concepto de calidad de la docencia. a) Funcionalidad Coherencia entre objetivos, metas y resultados educativos y el sistema de valores, expectativas y necesidades culturales y socioeconmicas de una comunidad. Se tratara de la funcionalidad cultural y socioeconmica de la institucin. Desde esta perspectiva, la disfuncionalidad, inadaptacin o poca calidad de una institucin o de un programa hara referencia a que sus objetivos, componentes internos y resultados pueden ser tericamente buenos y coherentes entre s, pero no sirven para dar solucin al problema o necesidades sociales en funcin de los cuales se establecen. b) Eficacia o efectividad Coherencia entre metas y objetivos educacionales considerados como valiosos y deseables en la institucin o programa, y los resultados alcanzados. Se pueden haber obtenido unos resultados no necesariamente malos y , sin embargo, al no corresponderse con los objetivos y metas deseados y esperados, fallar la eficacia de la institucin. c) Eficiencia Coherencia entre entradas, procesos y medios y los resultados educativos (relacin entradas/medios-producto). Eficiencia entendida no slo en una aceptacin econmico-administrativa (mximos resultados con mnimos costos, o ndice de productividad), sino tambin pedaggica, como adecuacin y validez de las estrategias de intervencin, tiempos, recursos instructivos y curriculares a unas metas de educacin. Es decir, pueden lograrse las metas y objetivos propuestos, pero a un alto coste humano, material o econmico que rebajara el grado de eficiencia. Como antes indicbamos, a estas tres caractersticas, nosotros agregaramos las siguientes:

304

LA EDUCACIN A DISTANCIA

d) Disponibilidad Coherencia entre las metas y objetivos propuestos y los recursos humanos, materiales y econmicos de que puede disponerse para iniciar el proceso. Sera la relacin entre las metas y las entradas. De poco servira formular, incluso de forma consensuada, unas metas y objetivos valiosos e, incluso, unos procedimientos o procesos acertados si no se cuenta con infraestructura, personal y presupuesto adecuados. e) Informacin Coherencia entre los resultados obtenidos y las propuestas de mejora que se ofrecen en le pertinente informe. Las conclusiones del informe deben ser coherentes con las sugerencias de mejora consistentes en reforzar los puntos fuertes y combatir los dbiles. Este informe, segn los trminos que se acuerden, debe difundirse adecuadamente. De nada servira haber obtenido determinados resultados si de ellos no se extrae el correspondiente informe. En l se rinden cuentas y se ofrecen las bases para la mejora de la institucin. f) Innovacin Coherencia entre el catlogo de mejoras precisas (reforzamiento de puntos fuertes y correccin de los dbiles) para el logro de las metas, y la decisin de innovar y revisar, bien esas metas-podran ser poco realistas-o con ms seguridad, las entradas y los procesos. Poco avanzaramos en el modelo si, contando con todos los ajustes antes sealados, la evaluacin no tuviese reales consecuencias para la mejora del sistema, innovando metas, entradas o procesos en los que se hubiera detectado puntos dbiles. La figura 11.1 muestra visualmente el esquema del modelo que proponemos. Son seis mbitos o dimensiones (contexto, metas, entradas o componentes, procesos, resultados y mejoras) a los que quedarn adscritos una serie de variables e indicadores. Si los niveles de coherencia, ajustes o relaciones entre estas dimensiones (funcionalidad, disponibilidad, eficacia, eficiencia e innovacin) son adecuados, la calidad est asegurada. Cada una de las dimensiones abordadas, contexto, metas, componentes, etc., son desmenuzadas en una serie de amplios indicadores que nos permitirn responder a la pregunta de si existe o no coherencia o concordancia en los trminos sealados1. Una vez que estos indicadores

Una detallada relacin de todos estos indicadores puede ser encontrada en nuestro trabajo, Garca Aretio, L (1998). Indicadores para la evaluacin de la enseanza en una universidad a distancia. Revista Iberoamericana de Educacin a Distancia (RIED), 1, 1, 63-86. Aunque informamos que este trabajo est referido al mbito universitario.

LA EVALUACIN

305

Fig 11.1. han sido cuantificados o cualificados, para lo que debern establecerse los criterios pertinentes, deber procederse al estudio de relaciones, ajustes o coherencias que sugerimos en nuestro modelo. As, en funcin de los grados de funcionalidad, disponibilidad, eficacia y eficiencia, obtendremos el correspondiente ndice de calidad de la institucin y los diferenciales entre los resultados obtenidos y las restantes dimensiones, que a travs del correspondiente informe nos obligarn a elaborar el catlogo de mejoras que, introduciendo los pertinentes cambiosinnovando-, nos debera llevar a una calidad superior del producto futuro. Y vuelta a empezar. Concluimos. Si nos proponemos un programa de evaluacin institucional de la calidad, promovido por la propia institucin y realizado por agentes internos, al margen de la que pudiera hacerse desde fuera, sugerimos que esa evaluacin de la calidad debera realizarse siempre que comportara una serie de caractersticas o condiciones. Vamos a extraer de entre las propuestas por Kells y Vought (1988) las que entendemos como ms apropiadas para evaluar la calidad de una institucin a distancia, a las que nosotros agregamos otras: Evaluar para controlar la calidad y asegurar el mnimo exigido en el proceso y en le producto.

306

LA EDUCACIN A DISTANCIA

Evaluar la calidad para, a la vista de los resultados, introducir los mecanismos o elementos precisos con el fin de mejorar el producto. Evaluar slo a la institucin, a algn programa, titulacin, unidad, etctera. Centrar el estudio en la misma sin necesidad de preocuparse de la realizacin de anlisis comparativos con otras instituciones similares. Tanto los procedimientos de la evaluacin como los indicadores empleados deben tener el origen en el acuerdo o consenso entre los distintos elementos y sectores miembros de la comunidad. La evaluacin se llevar a cabo de manera planificada, regular y cclicamente. El seguimiento de la calidad de una institucin, de sus actividades y problemas ha de ser continuo por que as se producen stos y no espordico. La globalidad de la evaluacin es otro requisito imprescindible para el logro de la calidad total. En cada proceso regular de evaluacin sern evaluadas todas las unidades, secciones y departamentos de la institucin. Las decisiones a que todo proceso de evaluacin debe llegar, como fruto del compromiso consensuado adquirido, deben ser ejecutadas con el fin de mejorar la calidad. Un resumen del informe final de la evaluacin debe ser conocido por todos los miembros de la institucin, guardando la confidencialidad en los aspectos que puntualmente se refieran a personas, unidades o departamentos concretos.

LA EVALUACIN

307

BIBLIOGRAFA CITADA Bth, J y Rekkedal, T. (1987): Course for totors. AECS. Calonghi, L. (1987): Valuazione. Brecia: La Scuola. Childs, G. B. (1965): Research in the correspondence instruction field, 7th ICCE. Eicher, J.C. (1984): Algunas reflexiones sobre el anlisis econmico de los medios de enseanza modernos, VV. AA. La economa de los nuevos medios de enseanza. Barcelona: Serbal/UNESCO. Garca Aretio, L. (1985): La orientacin y el tutor en las nuevas enseanzas medias, Educadores, n. 132. (1987): Eficacia de la UNED en Extremadura. Badajoz: UNED-Mrida. (1993): Evaluacin de los aprendizajes, Proyecto de Aplicaciones Tecnolgicas a la enseanza a Distancia (PATED). Madrid: FORCE-ANCED. (1994): Educacin a distancia hoy. Madrid: UNED. (1998):Indicadores para la evaluacin de la enseanza en una Universidad a distancia, Revista Iberoamericana de Educacin a Distancia (RIED), 1, 1, pp.63-86.

Glaser, R. (1963):Instructional technology and the measurement of learning outcomes: Some questions, American Psycologist, 18, pp. 519-521. Hanson, D.; Maushak, N.; Schlosser, C.; Anderson, M. ; Sorensen, C. y Simonson, M. (1997): Distance education: Review of the literature, 2 (eds). Washington, DC, and Ames, IA: Association for Educational Communications and Technology and Research Institute for Studies in Education. Hill, J. R. (1981): Evaluacin y medicin en la escuela. Mxico: Kapeluzs. Keels, H. R. y Van Vught, F. A. (1988): Theoretical and practical aspects of a selfregulation and quality control system for Dutch higher education, Tijdschrift voor Hoger Onderwijs, 6, 1, pp. 15-20. Lewis, L.; Levin, D.; Grene, B. (1999): Distance education at postsecondary education institutions: 1997-1998. Statistical Analysis Report. National Center for Education Statistics. Medina Rubio, R. Y Garca Aretio, L.; Lpez-Barajas, E. y Marn Ibez, R. (1991): La adaptacin del binomio formacin empleo en el mundo educativo, en Nez, L. Educacin y trabajo. Sevilla: Preu-Spnola.

308

LA EDUCACIN A DISTANCIA

Nevo, D. (1986): The conceptualization of educational evaluation: An analytical review of literature en House, E. R. New directions in educational evaluation. Lewes The Falmer Press, pp. 15-30. Prez Juste, R. (1996): La evaluacin en la Universidad, en Garca Hoz, V. La educacin personalizada en la Universidad. Madrid: Rialp, pp. 431-478. Prez Juste, R. y Garca Ramos, J. M. (1989): Diagnstico, evaluacin y toma de decisiones. Madrid: Rialp. Phipps, R. y Merisotis, J. (1999): Whats the difference?. A Review of

Contemporary Research on the Effectiveness of Distance Learning in Higher Education. Washington, D.C.: The Institute for Higher Education Policy.

Popham, W. J. (1983): Evaluacin basada en criterios. Madrid: Magisterio Espaol. Russell, T. L. (1999): The No Significant Difference Phenomenon. Chapel Hill, NC: Office of Instructional Telecommunications, North Carolina State University. (http://cuda.teleeducation.nb.ca/nisignificantdifferebce/index.cfm). Scriven, M. (1967): The methodology of evaluation, Perspectives on curriculum evaluation (AERA Monograph series on curriculum evaluation, n. 1). Chicago: Rand McNally. Weert, E. de (1990): A macro-analysis of quality assessment in higher education, Higher Education, 19, pp. 57-52.