You are on page 1of 42

Instituto Nacional para la Evaluacin de la Educacin

El Manual Tcnico para la Construccin de Reactivos es un documento de uso oficial elaborado por la Direccin de Pruebas y Medicin del Instituto Nacional para la Evaluacin de la Educacin.

REDACTADO POR: Eduardo Backhoff Escudero Margarita Peon Zapata Andrs Snchez Moguel REVISIN Y CORRECCIN: Laura Tayde Prieto Lpez DISEO Y DIAGRAMACIN: Elizabeth Rojas Martnez

D. R. 2005 por el Instituto Nacional para la Evaluacin de la Educacin (INEE) Jos Ma. Velasco 101, 03900 Mxico, D. F.

Primera edicin: septiembre de 2005

Impreso en Mxico

NDICE
INTRODUCCIN .............................................................................................................................5 1. DELIMITACIN DEL DOMINIO DE UNA PRUEBA .......................................................................9 1.1 Tabla de doble entrada ............................................................................................................... 9 1.2 Especificacin de reactivos ........................................................................................................ 10 1.3 Estructura general de la especificacin de reactivos ..................................................................... 11 2. TIPOS DE REACTIVOS QUE SE UTILIZAN EN LOS Excale .........................................................13 2.1 Reactivos de opcin mltiple...................................................................................................... 13 2.2 Reactivos de respuesta construida.............................................................................................. 14 3. CONSTRUCCIN DE REACTIVOS ..............................................................................................17 3.1 3.2 3.3 3.4 Elaboracin de reactivos............................................................................................................ 17 Prueba emprica de los reactivos a pequea escala ...................................................................... 19 Revisin de reactivos ................................................................................................................ 21 Entrega de reactivos ................................................................................................................. 23

REFERENCIAS BIBLIOGRFICAS .................................................................................................24 ANEXOS ........................................................................................................................................25 Anexo Anexo Anexo Anexo Anexo I ......................................................................................................................................... 25 II ........................................................................................................................................ 27 III....................................................................................................................................... 34 IV ....................................................................................................................................... 39 V ........................................................................................................................................ 42

INTRODUCCIN
El proceso general para la construccin de los Exmenes de la Calidad y el Logro Educativos (Excale) contempla siete fases y 16 etapas, as como la obtencin de los productos parciales y finales que se presentan en la siguiente tabla.
Tabla I. Proceso general para disear, construir, aplicar y validar los Excale
Fases Etapas Participantes externos Procedimientos Productos

1. Diseo del Plan General de Evaluacin

Consejo Tcnico Asesores en medicin y validacin 1. 2. 3. 4.

I. Planeacin general1 2. Diseo y elaboracin de cuestionarios de contexto 3. Diseo y desarrollo del sistema informtico 4. Diseo de los Excale II. Estructuracin de los Excale

Especialistas en diseo de cuestionarios Especialistas en evaluacin del aprendizaje Especialistas en bases de datos y sistemas de informacin Comit Acadmico (uno por examen)

1. Plan General de Evaluacin del Aprendizaje; incluye el Marco de Referencia de los Excale 2. Manual General de Procedimientos 3. Manual Tcnico para el Diseo Matricial 4. Manual Tcnico para el Escalamiento de Puntuaciones y Niveles de Competencias Documentacin 5. Marco Terico de Validacin de los Seminarios Excale Trabajo colegiado Trabajos por encargo 6. Marco de Referencia de los Cuestionarios de Contexto 7. Cuestionarios de Contexto del alumno, docente y director

III. Construccin de reactivos de los Excale

Comit Elaborador de 5. Especificacin de Especificaciones reactivos de Reactivos (uno por examen) Comit Constructor de 6. Elaboracin de Reactivos (uno reactivos por examen) Comit de Validacin y 7. Validacin de Sesgo (uno por reactivos examen)

8. Piloteo de reactivos y cuestionarios de contexto

Algunas Coordinaciones Estatales de Evaluacin

8. Sistema de bases de datos de reactivos 9. Documento que describe la estructura y funcionamiento de la base de datos2 10. Manual Tcnico para el Diseo de los Excale 11. Retcula curricular de cada examen 1. Documentacin 12. Tabla de Contenidos de cada examen 2. Capacitacin 13. Manual Tcnico para la Elaboracin de 3. Preparacin de Especificaciones materiales 14. Especificaciones de reactivos de cada 4. Trabajo colegiado examen 15. Dos revisiones por especificacin de reactivos 16. Manual Tcnico para la Construccin de Reactivos 17. Tres reactivos por especificacin 1. Documentacin 18. Dos revisiones por reactivo construido 2. Capacitacin 3. Trabajo individual 19. Manual Tcnico para la Validacin de y colegiado Reactivos 20. Dos reportes de validacin por cada reactivo 21. Manual Tcnico para el Piloteo de Reactivos 1. Muestreo para el 22. Muestra poblacional piloteo 23. Manual Tcnico para la Edicin de 2. Pre-edicin de Reactivos reactivos e 24. Cuadernillos de los Excale y impresin de Cuestionarios de Contexto impresos cuadernillos 25. Base de datos con resultados de 3. Capacitacin pilotaje

1 2

Fase general para la nueva generacin de los Excale. A partir de la cuarta etapa el sistema informtico se ir alimentando con la informacin que se produzca a lo largo de todo el proceso.

Fases

Etapas 9. Seleccin de reactivos e integracin de bloques y formas

Participantes externos

Procedimientos

Productos 26. Manual Tcnico para el Anlisis Psicomtrico de Reactivos 27. Informe de Estimadores Estadsticos de Reactivos 28. Bloques de reactivos 29. Estructura de formas (combinacin de bloques) 30. Manual Tcnico para la Edicin de Reactivos y Cuadernillos 31. Cuestionarios de Contexto impresos 32. Cuadernillos de los Excale impresos

Asesores en medicin

1. Documentacin 2. Anlisis de reactivos 1. Edicin de cuadernillos y cuestionarios de contexto 2. Impresin de cuadernillos de lectura ptica 1. Documentacin 2. Trabajo colegiado 3. Trabajo por contrato

IV. Conformacin de los Excale

10. Edicin, armado e impresin

Imprenta contratada

11. Muestreo poblacional V. Aplicacin de los Excale 12.

13.

VI. Anlisis e 14. interpretacin de resultados de los Excale 15.

16. VII. Validacin de los Excale

33. Manual Tcnico para Seleccionar Muestras Poblacionales 34. Marco muestral actualizado 35. Diseo y muestra poblacional 36. Manual Tcnico para la Administracin Todas las de Cuadernillos y Cuestionarios de Coordinaciones 1. Documentacin Administracin Contexto 2. Distribucin de Estatales de de las pruebas 37. Paquetes de cuadernillos distribuidos cuadernillos en Evaluacin y captura de en las entidades federativas Personal las entidades resultados 38. Base de datos con resultados de la contratado evaluacin capturados 39. Manual Tcnico sobre Anlisis de 1. Seminarios Reactivos 2. Anlisis Anlisis iniciales Asesores en 40. Informe tcnico sobre el estadsticos de de resultados medicin Comportamiento Psicomtrico de los resultados reactivos 41. Manual Tcnico sobre Establecimiento Comits de de Niveles de Logro 1. Documentacin Establecimiento Niveles de Logro 42. Documento donde se consignen los 2. Capacitacin de niveles de (uno por niveles de logro y puntos de corte de 3. Trabajo colegiado logro examen) cada Excale 43. Manual Tcnico para el Informe de Elaboracin de Resultados de Aprendizaje 1. Documentacin Asesores en informe tcnico 44. Informe tcnico sobre Resultados de 2. Capacitacin medicin y de resultados Aprendizaje Asociados con Variables 3. Trabajo colegiado validacin de aprendizaje de Contexto 45. Marco de Referencia de los Estudios de Validez Estudios de 46. Marco de Referencia de cada Excale validez de Asesores en 1. Documentacin 47. Reportes Tcnicos de Estudios de procesos y validacin 2. Investigacin Validez resultados de 48. Publicaciones sobre la validez de los los Excale exmenes Especialistas en muestreo

Como puede observarse, la primera fase y sus tres etapas corresponden a la planeacin general de todos los Excale que realice el INEE. En la segunda fase se disea dicha prueba; mientras que durante la tercera fase se trabaja sobre la construccin de reactivos. Es durante la sexta etapa de esta fase que se elaboran los reactivos, para despus validarlos (con docentes de distintos estratos y modalidades educativos) y pilotearlos en una muestra grande de estudiantes. El trabajo que corresponde desarrollar a los miembros del Comit Constructor de Reactivos (CCR) se refiere, precisamente, a esta etapa en particular. Lo anterior significa que hasta el momento se han realizado las actividades correspondientes a las dos primeras fases, y se han generado los productos necesarios para que los miembros de cada CCR puedan trabajar y lograr los objetivos que les sern encomendados.

De especial importancia para los CCR son los productos elaborados por los miembros de los Comits Acadmicos (CA) quienes han diseado los distintos Excale, as como los productos generados por los Comits Elaboradores de Especificaciones (CEE) quienes describieron en forma detallada las caractersticas de forma y fondo de todos los reactivos que conformarn los exmenes. A continuacin se delinean brevemente estos insumos que nutren el proceso. Productos elaborados por el Comit Acadmico

Retcula del curso. La retcula es un modelo grfico que muestra los contenidos del curso y las relaciones
de servicio que stos dan y reciben. Los contenidos estn identificados mediante rectngulos; en tanto que las relaciones entre ellos se indican mediante flechas que representan la funcin principal del contenido como parte del programa de estudios. Dichas funciones pueden ser: 1) dar servicio a otros contenidos; 2) recibir servicio de otros contenidos; y 3) no dar ni recibir servicio, toda vez que es un contenido aislado.

Documento de justificacin de los contenidos a evaluar. Se trata de un escrito en el cual se presentan los
contenidos que fueron juzgados como esenciales e importantes en el contexto del programa de estudios. Asimismo, incluye las razones por las cuales fueron categorizados como tales, as como la decisin adoptada respecto a ellos: censarlos en todo el Excale por ser esenciales, o incorporarlos al examen por ser importantes. Dicha justificacin es necesaria en virtud de que es imposible evaluar todo el currculo de un curso. En ocasiones este documento est incorporado en la Tabla de Contenidos.

Tabla de Contenidos. Se trata de una tabla que resume las decisiones adoptadas (en los documentos
antes descritos) respecto a la planeacin de la prueba. Especifica el tema o subtema cuyo dominio ser evaluado, el nmero de especificaciones de reactivos para evaluarlo, as como el nmero y tipo de reactivos que ser necesario construir para responder a cada especificacin. De hecho, la tabla de contenidos presenta la estructura general del examen. Cabe sealar que el nmero de especificaciones y de reactivos que se indican en la tabla es ponderado con base en criterios tcnicos que hacen alusin a la importancia del contenido y al tipo de prueba a construir. Productos elaborados por el Comit elaborador de especificaciones

Carpeta de especificaciones de reactivos. Rene las especificaciones de los contenidos a ser evaluados del
programa de estudios respectivo, mismas que fueron escritas por los miembros de los Comits Elaboradores de Especificaciones con el propsito de describir las caractersticas que debe poseer cada uno de los reactivos de los diferentes Excale. En general, las especificaciones elaboradas presentan las siguientes secciones: datos de identificacin del contenido a evaluar, interpretacin de su sentido evaluativo, descripcin del contenido a evaluar, plantilla del reactivo, comentarios adicionales a los elementos de la plantilla, caractersticas de los estmulos que los reactivos debern presentar al examinado (instrucciones para responder, base del reactivo, distractores, respuesta correcta, tablas o figuras de apoyo, etctera), as como un reactivo muestra que ilustra la aplicacin de dichas especificaciones.
7

DELIMITACIN DEL DOMINIO DE UNA PRUEBA

El propsito de una prueba educativa es hacer inferencias acerca del conocimiento que tiene un estudiante respecto al dominio evaluativo que se pretende medir; informacin que es til a los educadores para tomar decisiones tendientes a mejorar el proceso educativo. Sin embargo, no se puede saber si una prueba representa adecuadamente el dominio si ste no est explcitamente definido. As, muchas personas definen el dominio evaluativo con el trmino dominio del contenido, el cual considera conocimientos, habilidades y competencias, entre otros elementos. Usualmente los documentos de las pruebas estandarizadas se refieren al dominio evaluativo como especificaciones de la prueba, especificaciones de tems, estructura de la prueba, etctera. En el caso particular de los Excale se le denomina especificaciones de reactivos. Asimismo, toda prueba educativa tiene ciertas caractersticas que limitan su dominio evaluativo. Ejemplo de lo anterior es el tiempo destinado a la aplicacin de la prueba, su longitud (nmero de reactivos), los materiales necesarios para contestarla (diccionarios, calculadoras), as como los tipos de reactivos que se utilizan (opcin mltiple, respuesta corta, ensayo, entre otros).

1.1 Tabla de doble entrada Una de las estrategias ms comunes para definir un dominio evaluativo es mediante el uso de una tabla de doble entrada; donde una de sus dimensiones est representada por el contenido temtico que se evala, en tanto que otra dimensin es el tipo de estrategia cognoscitiva que el estudiante tiene que utilizar para responder el reactivo. La tabla II muestra un ejemplo donde se aprecia el nmero y tipo de reactivos que conforman una prueba. Se ha utilizado para este caso una taxonoma de objetivos educativos.
Tabla II. Ejemplo de una tabla de especificaciones Contenidos Nmeros decimales Regla de tres rea de un rectngulo Decimales y fracciones Total Estrategias cognoscitivas Conocimiento 3 4 2 3 12 Comprensin 5 2 3 3 13 Aplicacin 3 3 3 3 12 Anlisis 3 2 2 1 8 Total 14 11 10 10 45

Como se puede apreciar en este ejemplo, la prueba est conformada por 45 reactivos distribuidos de acuerdo a los contenidos temticos y categoras cognoscitivas. La tabla es de utilidad, ya que a simple vista se puede apreciar si inadvertidamente la prueba presenta algn desbalance en su estructura.

Es posible, por supuesto, agregar otras dimensiones a la tabla, como sera el caso del tipo de reactivos a utilizar o un desagregado de los temas en subtemas. De esta manera, la tabla podra contener tantas dimensiones como caractersticas definan al dominio. Para una prueba normativa esta informacin puede ser suficiente, ya que este tipo de pruebas no requiere especificacin a detalle de sus contenidos. Sin embargo, para una prueba criterial, como es el caso de los Excale, el nivel de detalle de estos descriptores resulta muy general, pues proporciona poca informacin sobre el reactivo mismo. De ah que es necesario utilizar otra estrategia que brinde abundante informacin de los tems, si lo que se desea es conocer el nivel de aprendizaje que logran los estudiantes en los distintos contenidos curriculares. Independientemente de la estrategia que se utilice para definir un dominio evaluativo, una pregunta clave que hay que formular es en qu momento se deben crear las especificaciones del dominio evaluativo de una prueba. La respuesta, sin duda alguna, es antes de iniciar el proceso de construccin de reactivos, toda vez que la descripcin del dominio evaluativo debe gobernar la produccin y seleccin de los mismos. 1.2 Especificacin de reactivos Las especificaciones de reactivos tienen como propsito principal proporcionar a los Comits Constructores de Reactivos tanto el contenido especfico de los tems como los detalles tcnicos necesarios que les permitan elaborar reactivos adecuados para evaluar el logro escolar de los estudiantes. Sin embargo, otros objetivos que se asocian son: Comunicar a los profesores, estudiantes, investigadores y autoridades educativas qu es lo que mide cada reactivo, as como la cobertura y alcance de las competencias escolares evaluadas. Informar al pblico en general sobre los contenidos de los Excale. Servir de criterio para determinar si los reactivos elaborados por el CCR son adecuados (congruentes con la especificacin) o deben desecharse. Proporcionar un marco contextual que ayude a interpretar la ejecucin de los estudiantes, aportando elementos al anlisis de resultados de los Excale.

Al respecto, cabe sealar que existe el compromiso institucional para que el conjunto de especificaciones de tems de todas las pruebas sea dado a conocer al pblico en general a travs de la pgina electrnica del INEE. Del mismo modo, el conjunto de reactivos-muestra que forman parte de las especificaciones se difundir como ejemplo de los contenidos de los diversos Excale. Resumiendo, las especificaciones de reactivos sealan los elementos esenciales y particulares que debern exhibir los tems una vez elaborados. De hecho, tales elementos sern empleados posteriormente para evaluar la congruencia del reactivo con la especificacin correspondiente. As, la elaboracin de un tem es

una tarea cuyo reto implica apegarse estrictamente a lo que establece la especificacin.

10

1.3 Estructura general de la especificacin de reactivos Para facilitar el trabajo de los CCR, as como para uniformar la presentacin de las especificaciones de manera que se facilite la comunicacin con los destinatarios finales de las mismas, se dise un formato (ver Anexo I) cuya estructura general se presenta a continuacin: Datos del redactor de la especificacin. Nombre del especificador y fecha en que se elabor la especificacin. Datos de identificacin del contenido a evaluar. stos incluyen el enunciado del contenido y su ubicacin en el programa de estudios correspondiente; es decir, la asignatura, grado escolar, eje temtico, tema y contenido que se evala, as como la especificacin general tal como aparece en la Tabla de Contenidos. La importancia de esta seccin radica en que el tipo de desagregacin curricular que tiene el tema proporciona un contexto significativo para la construccin del tem. Descripcin general del contenido a evaluar. Aqu se especifica la delimitacin del contenido a evaluar, su importancia y funcin en el contexto del currculo, as como el nivel de dominio esperado, los conocimientos y habilidades necesarios para responder el reactivo, y las actividades cognitivas involucradas en el mismo. Plantilla. En esta seccin se hace la descripcin de los reactivos propiamente dicha; es decir, se especifica la manera de formular la base del reactivo, la respuesta correcta y los distractores, y se detallan las ilustraciones o textos adicionales requeridos para cualquier tem construido con esa especificacin. Comentarios adicionales a los elementos del plantilla. En esta parte se enuncian las particularidades de las respuestas que deber presentar el tem, segn las necesidades especficas en cada caso. Lo anterior significa que se detallan slo las caractersticas relevantes de la informacin que se presentar al examinado. stas incluyen: Las peculiaridades de las instrucciones para responder el reactivo. Las peculiaridades de la base del reactivo, de la informacin textual, grfica o tabular que ste debe presentar, el tipo de vocabulario que se emplear, as como otros elementos vlidos de emplear o aqullos que no son vlidos utilizar. Las peculiaridades de la respuesta correcta. Las peculiaridades de las opciones de respuesta, es decir, de los distractores que se ofrecen al examinado como respuestas posibles, pero incorrectas.

Redaccin de un tem muestra. ste deber ilustrar la manera de aplicar los elementos descritos en la especificacin. Cabe sealar que cuando se trabaj con los Comits Elaboradores de Especificaciones se acord que, dadas las caractersticas de un contenido y a menos que se especifique lo contrario, el vocabulario, las conceptualizaciones, las situaciones y los eventos que se describan debern corresponder a aqullos que son tpicos del grado escolar al que se refiere cada una de las especificaciones de tems. Lo anterior significa, por ejemplo, que las palabras que se incorporan en cada reactivo son las que aparecen en los libros de texto y
11

en los materiales que usualmente emplean los profesores que trabajan con los nios o jvenes de ese grado escolar. De igual modo, se estuvo de acuerdo en que las instrucciones para responder tems de opcin mltiple, o el nmero de opciones de respuesta que presentar el tem, son aspectos que se incluirn en las instrucciones generales para responder la prueba.

12

TIPOS DE REACTIVOS QUE SE UTILIZAN EN LOS Excale

Los reactivos que se utilizan en los Excale son fundamentalmente de opcin mltiple, con excepcin de la prueba de Redaccin de la asignatura de Espaol, la cual es de respuesta construida. 2.1 Reactivos de opcin mltiple Por distintas razones, especialmente por su versatilidad y caractersticas psicomtricas, los reactivos ms comunes son los de opcin mltiple. Pueden ser utilizados en distintos contextos y con diferentes propsitos; sirven para evaluar conocimiento factual (puramente memorstico), habilidades intelectuales de alto orden, o disposiciones actitudinales y valorativas. Con ese tipo de preguntas, siempre que sean bien utilizadas, se puede medir una gran cantidad de atributos sofisticados de los estudiantes. Por lo anterior, este tipo de reactivos son los ms idneos para ser incorporados en los Excale. Los componentes indispensables de un reactivo de opcin mltiple son: la base del reactivo y las alternativas de respuesta. Estas ltimas se conforman de una respuesta correcta y tres distractores. Definamos estos elementos: Base del reactivo. Estmulo en forma de pregunta (o de enunciado incompleto), al cual debe responder el estudiante. Alternativas. Opciones plausibles de las cuales se debe seleccionar una: la respuesta correcta. Respuesta correcta. Opcin que responde correctamente a la base de la pregunta. Distractores. Opciones incorrectas pero plausibles. Se les llama de esta manera pues, en ocasiones, se dice que distraen a los estudiantes que no conocen la respuesta correcta. El INEE considera que la funcin de estos elementos no es distraer, sino atraer a los estudiantes que tienen niveles de logro insuficiente para poder distinguir la respuesta correcta. Otros componentes adicionales de los tems de opcin mltiple son las instrucciones, as como las figuras y los textos que complementan el reactivo segn sea el caso. Instrucciones. Indicaciones dirigidas a los textos y figuras que se utilizan adicionalmente a la base del reactivo. Figuras adicionales. Elementos grficos (dibujos, diagramas, grficas, frmulas, etctera) que el estudiante debe analizar para responder la pregunta. Son muy utilizados en los reactivos de matemticas, geografa y ciencias naturales. Textos adicionales. stos se presentan en dos formas: como elementos que acompaan a las figuras adicionales, o como escritos completos que el estudiante debe leer para responder el reactivo. Estos ltimos son tpicos de las preguntas de comprensin lectora.

13

En la siguiente figura se presentan los distintos elementos de un reactivo de opcin mltiple.

Utilizando esta fig ura contesta la sigu iente pregunta.


C

Instru cciones

D E

Figura adicional

A que fraccin de la fig ura corresponde la seccin D? a) b) c) d) 1 /16 1 /8 1 /1 2 1 /20

Bas e de l reactivo Respuesta corre cta Distr actores

Figura 1. Componentes de un reactivo de opcin mltiple

Entre las ventajas de las pruebas construidas con preguntas de opcin mltiple destacan las siguientes: Permiten medir muchos tipos de aprendizaje. Se pueden resolver muchos tems en poco tiempo, lo cual posibilita la exploracin de una buena muestra de contenidos. Resultan fciles de calificar. Entrenan a los estudiantes a responder exmenes de gran escala, ya sean de admisin o certificacin.

Entre sus desventajas podemos destacar que: Son difciles de redactar cuando se pretende medir aprendizaje complejo. Existe una tendencia a redactar reactivos fciles que implican pura memorizacin. El estudiante slo reconoce la respuesta, no produce la suya. Es difcil redactar buenos distractores (que sean plausibles). Pueden penalizar a los pensadores divergentes.

2.2 Reactivos de respuesta construida Las preguntas de respuesta construida se caracterizan por solicitar al alumno la produccin libre de sus respuestas, dadas las demandas planteadas por los tems. Hay situaciones educativas donde es imperativo utilizar este tipo de preguntas; por ejemplo cuando se tiene que evaluar la habilidad para escribir ensayos, cartas personales, composiciones, etctera. Sin lugar a dudas, los tems de respuesta construida representan la nica posibilidad razonable para evaluar la habilidad de redactar, as como otras competencias escolares, como podran ser: la originalidad, las operaciones intelectuales complejas y la solucin de ciertos tipos de problemas, entre otros.

14

En los Excale se utilizan dos tipos de reactivos de respuesta construida: respuesta breve y ensayo. La tabla III muestra las principales caractersticas de este tipo de reactivos.
Tabla III. Caractersticas de los reactivos de respuesta construida Tipo de reactivo Caractersticas Principales ventajas Principales desventajas Contexto de uso Saln de clase y nivel nacional. Saln de clase y nivel nacional.

El estudiante responde Permite un buen muestreo Slo es til para medir Respuesta breve con una palabra, smbolo de contenido. aprendizajes ms bien o frase corta. simples. Pide al estudiante Permite medir integrar libremente y por aprendizajes complejos y escrito lo que sabe la expresin personal. acerca de un tema. Permite un muestreo de contenido muy pobre y es difcil de calificar.

Ensayo

Aunque parezca que toma menor tiempo la preparacin de reactivos de respuesta construida en comparacin con los de opcin mltiple, en realidad pasa lo contrario, ya que es preciso tomar en consideracin el proceso (previo y posterior) que conlleva la calificacin de las respuestas. Por otra parte, las respuestas construidas slo se pueden calificar en forma subjetiva, lo cual deriva resultados poco confiables. Debido a esto, es necesario agregar a cada reactivo construido una rbrica o protocolo de calificacin para mejorar la confiabilidad de las calificaciones. Los reactivos de respuesta construida pueden ser de respuesta breve o respuesta larga. Los primeros, por lo general, le solicitan al estudiante proporcionar una palabra o frase como respuesta a una pregunta directa o para completar una afirmacin incompleta. Cuando un reactivo requiere ser contestado con una respuesta extensa, ste se debe considerar como un tem de respuesta larga o ensayo, dndole el tratamiento como tal. Aunque las preguntas de respuesta corta son particularmente adecuadas para evaluar resultados de aprendizaje relativamente simples, tambin es posible construir tems muy complejos cuya respuesta refleje operaciones intelectuales de alto nivel. Sin temor a equivocarnos, el tipo ms comn de reactivos de respuesta construida es la pregunta de ensayo. Este tipo de preguntas es especial para evaluar resultados complejos de aprendizaje que requieren niveles cognitivos altos. Las preguntas tipo ensayo pueden ser estructuradas de tal manera que el estudiante sea obligado a dar una respuesta breve, muy semejante a los reactivos de respuesta corta; o bien una respuesta larga y elaborada. Al primer tipo de reactivo se le conoce como tem de respuesta restringida, y al segundo como tem de respuesta extensa. Por lo general, las respuestas son restringidas limitando el alcance del tema a ser tratado en la respuesta, lo que depende de la forma de plantear el reactivo. En los tems de respuesta extensa se restringe menos al estudiante, por lo general solicitndole una respuesta ms sofisticada. Sin embargo, siempre existe la duda de hasta dnde las respuestas complejas pueden ser calificadas satisfactoriamente. En este sentido, el uso de procedimientos, rbricas o protocolos de calificacin bien diseados puede mejorar significativamente la confiabilidad de las calificaciones.

15

Entre las ventajas que presentan estos reactivos, podemos destacar las siguientes: Permiten evaluar aprendizajes complejos, como la solucin de problemas y la creatividad. Representan la nica va aceptable para evaluar la habilidad de expresin escrita. Permiten que el estudiante produzca su propia respuesta, lo que se asemeja mucho a la vida real.

Para terminar, las deficiencias ms importantes de este tipo de reactivos se relacionan con: El tiempo que requiere un estudiante para dar respuesta a una pregunta de ensayo, lo que reduce el nmero de reactivos contestados en una prueba y, por lo tanto, la representatividad del dominio que evala. La baja confiabilidad de su calificacin, lo que reduce la certidumbre que se tenga en el dominio evaluado. El alto costo que representa el contratar personal capacitado para realizar la calificacin en una prueba de gran escala.

16

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

CONSTRUCCIN DE REACTIVOS

Como se dijo anteriormente, con las especificaciones de reactivos es posible iniciar la tercera fase del proceso de elaboracin de los Excale. Esta fase corresponde a la construccin de reactivos, su validacin y piloteo. Su propsito es producir reactivos de alta calidad para la conformacin de cada prueba. As, en la sptima etapa, los reactivos resultantes pasan al Comit de Validacin y Sesgo (CVS), el cual revisa cada reactivo con relacin a su contenido (pertinencia curricular, grado de dificultad, etctera), redaccin (lenguaje utilizado y construccin sintctica, entre otros) y sesgos cultural y de gnero (caractersticas de contenido y redaccin que favorezcan o perjudiquen a algn grupo social). La tercera fase del proceso termina con la octava etapa, en la cual se realiza un estudio piloto con una muestra intencional de aproximadamente cinco mil estudiantes3 por prueba, a fin de conocer el comportamiento psicomtrico de los reactivos y detectar los problemas que enfrentan los alumnos al responderlos. Dicho lo anterior, corresponde a los CCR realizar cuatro tareas bsicas que servirn de insumo para completar a satisfaccin la fase descrita: 1) elaborar los reactivos de una prueba con base en sus especificaciones y de conformidad a la normatividad establecida por el INEE; 2) probar los reactivos elaborados con una muestra pequea de alumnos; 3) revisar los tems que hayan construido otros especialistas; y 4) corregir los reactivos propios de acuerdo a la revisin correspondiente. 3.1 Elaboracin de reactivos La meta principal al construir los reactivos de los diferentes Excale es asegurar que cada tem represente la parte del currculo para la cual se especific. Por ello, es necesario garantizar que, a partir de las especificaciones, cada miembro de los CCR desarrolle el conjunto de tems que le corresponda, de conformidad con las normas tcnicas estipuladas para asegurar su validez. Al respecto cabe decir que se construirn tres tems por cada especificacin, a fin de estar en posibilidades de seleccionar (despus de un piloteo) el mejor de ellos. Los CCR deben redactar de manera independiente los reactivos y probarlos empricamente con una pequea muestra de estudiantes. Posteriormente, dos revisores harn observaciones que debern ser atendidas por los constructores de reactivos. Los pasos que se recomiendan para la construccin de reactivos se presentan a continuacin: 1. Revisar la retcula, tabla de contenidos y justificacin. Esta revisin debe ser exhaustiva con el fin de comprender cabalmente el propsito de la prueba, as como sus alcances y limitaciones. Toda duda al respecto deber ser despejada antes de proseguir con el siguiente paso.

La muestra de 2005 abarca cinco estados de la Repblica, as como las modalidades y estratos educativos de mayor relevancia.

17

2. Revisar las especificaciones de los reactivos a elaborar. En esta etapa se estudia a detalle cada especificacin de los reactivos que se van a elaborar, ya que sta ser su base y sustento conceptual. La idea es conocer con mucha precisin la interpretacin de los contenidos a evaluar, su importancia y funcin curricular, as como la actividad cognoscitiva involucrada en el reactivo a contestar. Para ello, se recomienda proceder de la siguiente manera: - Revisar la descripcin general del contenido a evaluar con el propsito de comprender el sentido del mismo. Se debe responder a la pregunta qu es lo que se pretende evaluar? - Revisar el tipo de habilidad cognoscitiva que se pone en juego al responder el reactivo. Se debe responder a la pregunta qu actividad intelectual se est evaluando con este tem? - Revisar los distintos elementos de la plantilla del reactivo. Se debe responder a la pregunta en

qu medida la plantilla corresponde a la esencia del contenido y a la habilidad intelectual que se desea evaluar?
- En su caso, analizar los comentarios adicionales para comprender cabalmente los alcances y limitaciones del reactivo que se desea construir. Se debe de responder a la pregunta cules son

las peculiaridades del reactivo?


- Revisar el reactivo muestra y tratar de responderlo sin conocer la respuesta correcta. Se debe responder a la pregunta el reactivo corresponde a las caractersticas y plantilla descritas en la

especificacin (en cuanto a contenido y habilidades requeridas)?


- Anotar cualquier discrepancia interna que se observe en la especificacin, a fin de que el Coordinador del Excale pueda aclararla. 3. Construccin del reactivo. Una vez estudiada la especificacin, se proceder a elaborar el tem correspondiente apegndose a la plantilla del reactivo (y no al reactivo muestra). En este sentido, ser necesario consultar los libros de texto y materiales didcticos que sean pertinentes, as como a otros asesores en la materia. 4. Redaccin del reactivo. Para redactar el tem correctamente, se deber consultar el documento Normas Tcnicas para la Construccin de Reactivos (ver Anexo II). Dichas normas hacen nfasis en los siguientes apartados generales: La congruencia con la especificacin El contenido El uso del lenguaje La redaccin Los materiales de apoyo El formato

Adicionalmente, se dan lineamientos especiales de acuerdo al tipo de reactivo que se vaya a construir: - Opcin mltiple - Respuesta corta - Ensayo

18

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

Finalmente, se proporcionan lineamientos para las pruebas de acuerdo a su contenido temtico; a saber: Espaol Matemticas Ciencias Naturales Ciencias Sociales

Es importante mencionar que adems de la elaboracin de reactivos con base en una plantilla, existen otras tcnicas muy eficaces, como la Transformacin lingstica y el Anlisis de conceptos y procedimientos, mismas que se presentan en el Anexo III como referencia para que los CCR amplen su repertorio metodolgico y puedan lograr que los reactivos producidos sean de una alta calidad tcnica. 3.2 Prueba emprica de los reactivos a pequea escala Una vez que el especialista elabore y depure los reactivos asignados, es conveniente que los pruebe empricamente con un grupo reducido de estudiantes (entre diez y veinte), a fin de: 1) observar las dificultades que encuentra el alumno al responderlos, 2) estimar el nivel de dificultad de cada uno de ellos, 3) conocer el comportamiento de sus distractores (para los reactivos de opcin mltiple) y, 4) conocer el tiempo que se tardan los estudiantes en contestarlos. Frecuentemente los estudiantes tienen dificultades al responder un reactivo, las cuales pasan inadvertidas al especialista que lo construy. Entre los problemas ms comunes se encuentran los siguientes: 1. La base del reactivo es confusa debido al uso de lenguaje sofisticado, estructura gramatical compleja, o a su mala formulacin. 2. La pregunta resulta muy fcil debido a que los distractores son muy obvios, poco plausibles o mal redactados. 3. La pregunta es muy difcil debido a la cercana conceptual de los distractores, lo cual hace difcil discriminar la respuesta correcta o que haya ms de una respuesta correcta, etctera. Igualmente importante es estimar el nivel de dificultad emprico del reactivo. Esto se puede obtener fcilmente calculando la proporcin de estudiantes que contest correctamente el tem. El ndice de dificultad o valor p del reactivo se obtiene con la siguiente frmula:

p=c/t
donde,
p = nivel de dificultad. c = nmero de examinados que tuvieron correcto el tem. t = total de examinados que respondieron el tem.

19

As, a mayor valor de p, menor ser la dificultad del tem. La facilidad o dificultad del tem estn relacionadas con el currculo. Es decir, la dificultad emprica del reactivo debe corresponder con la dificultad conceptual (o esperada) del contenido que se evala. Es importante detectar los reactivos que presenten discrepancias al respecto, ya que este problema con seguridad se deber a causas relacionadas a la forma en que est redactada la base del reactivo y/o sus distractores. Asimismo, para los reactivos de opcin mltiple, es importante conocer el comportamiento estadstico de sus distractores; es decir, la ejecucin de los estudiantes evaluados ante cada una de las opciones de respuesta. Para tal efecto, se calcula la proporcin de estudiantes que seleccionaron cada alternativa de los reactivos. La siguiente tabla muestra un ejemplo hipottico de esta distribucin en dos reactivos contestados por 20 estudiantes.
Tabla IV. Distribucin de las respuestas a las alternativas de dos reactivos Reactivos A* Reactivo 1 Reactivo 2
* Respuesta correcta

Opciones de respuesta B 8 (40%) 4 (20%) C 0 (0%) 4 (20%) D 4 (20%) 4 (20%)

8 (40%) 8 (40%)

Se puede ver en la tabla que los distractores del reactivo 1 tienen un comportamiento anmalo o muy desequilibrado, ya que uno de ellos (B) tiene tantas respuestas como la respuesta correcta (A); mientras que otro no tiene ninguna respuesta (C). Por el contrario, el reactivo 2 presenta un comportamiento ideal, ya que la respuesta correcta es la opcin ms seleccionada y el resto de las respuestas se reparten homogneamente entre los tres distractores. Otra informacin importante que se obtiene de la prueba es la cantidad de tiempo que los estudiantes se tardan en responder cada una de las preguntas. Idealmente, una pregunta de opcin mltiple le debe de tomar al alumno entre uno y dos minutos. Las preguntas de comprensin lectora son ms largas y las de ensayos an ms. Sin embargo, es importante que en ningn caso el estudiante requiera de tiempo excesivo para responder una pregunta. Por todo lo anterior, es claro que la nica forma de conocer si los alumnos tendrn dificultad o no con un tem en especial es probndolo empricamente. El resultado generalmente da muy buenos indicios para mejorar el reactivo. Los tipos de fallas ms comunes y las decisiones adoptadas ante ellas se describen en la siguiente tabla.

20

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

Tabla V. Fallas ms comunes y decisiones adoptadas para el mejoramiento de los tems Tipo de falla Complejidad del reactivo Problemas con los distractores Edicin Redaccin Mixta Ejemplos Muy difcil Muy fcil Muy difciles Muy fciles Escritura confusa Conceptos complejos Respuesta al azar Tipo de decisin adoptada para el mejoramiento Cuidadoso anlisis del contenido del tem y, en su caso, usar una redaccin ms categrica, hacer ms o menos atractivas las opciones, o sustituirlas. Ampliar la distancia conceptual entre ellos. Revisar si son poco plausibles o si hay pistas en su redaccin. Corregir errores mecanogrficos, hacer instrucciones o dibujos ms claros. Simplificar las conceptualizaciones, cambiar la redaccin confusa. Hacer ms categricas la base del reactivo y la respuesta correcta, o sustituir los distractores.

Finalmente, es conveniente que en algunos casos se prueben los reactivos de opcin mltiple con un formato de respuesta construida, ya que las respuestas incorrectas de los alumnos podrn dar pistas para seleccionar los mejores distractores. Especialmente esto es cierto para el caso de las matemticas. 3.3 Revisin de reactivos Para asegurarse que los reactivos estn formulados correctamente y cumplan con su propsito en la prueba correspondiente, una vez formulados por los especialistas pasarn por un proceso de revisin minucioso para comprobar que cumplieron con las normas de calidad establecidas. En caso contrario, se debern determinar sus fallas y ser enviados para su correccin a los especialistas que los elaboraron. Este proceso se repite hasta que el reactivo sea aprobado por dos revisores. En las pruebas criteriales es preciso esforzarse por describir con precisin el dominio que se desea medir y luego asegurar que los reactivos son congruentes con dicha descripcin, lo cual slo puede hacerse mediante juicios humanos. Existen varias fuentes de datos derivados de juicios: los redactores de los tems, quienes tras disearlos pueden revisarlos; paneles de jueces independientes que revisan y mejoran los reactivos; o los propios estudiantes que reportan tems ambiguos, engaosos, difciles, fciles, o bien instrucciones confusas, tiempo insuficiente, etctera. En esta etapa del proceso los miembros del propio CCR pueden fungir como revisores de los reactivos elaborados por otros compaeros del mismo comit. Aqu se busca que los revisores evalen dos aspectos esenciales del reactivo: Que cada uno de los elementos del reactivo se apegue a la especificacin correspondiente. Que las caractersticas del reactivo se apeguen a las Normas para la Construccin de Reactivos del INEE (ver Anexo II).

Lo anterior se hace con base en el formato para revisar reactivos que se anexa al final del documento (Anexo IV). El proceso se repite hasta que el reactivo quede a satisfaccin de los revisores. Es importante tener en mente que esta tarea tiene como propsito principal asegurar la calidad de la relacin tem especificacin, con lo cual se garantiza que el reactivo represente el currculo y, con ello, su validez de contenido.
21

En teora, el procedimiento de revisin de reactivos debe operar de la manera como se ilustra en el siguiente diagrama (Figura 2). Sin embargo, es importante decir que ste debe ajustarse a la mecnica que establezca cada Coordinador de Excale, por lo que no se debe tomar al pie de la letra, ya que, por ejemplo, es comn que los revisores prefieran evaluar al reactivo en su totalidad, dar observaciones y esperar a que se resuelvan los problemas antes de volverlo a revisar.

Correccin o, en su caso, reelaboracin

No
Revisin de tem vs. especificacin
El tem es congruente con la especificacin?

No

No S
Revisin de la correccin de contenido

El tem es congruente con el contenido?

El tem es relevante?

Hay errores conceptuales?

No

Revisin de errores de escritura

No

El tem ofende o penaliza?

Revisin de sesgo

El tem tiene vocabulario apropiado?

Revisin de vocabulario apropiado

La respuesta correcta, lo es?

No

S No
El tem presenta fallas de redaccin de fcil correccin?

No
Correccin in situ

Fin

Figura 2. Diagrama de flujo del proceso de revisin formal de los tems de la prueba

A continuacin se describe el proceso ilustrado en el diagrama: Inicialmente cada tem es contrastado con la especificacin que lo produjo. Para ello, el CCR dictaminar si el tem es congruente con la especificacin y con el contenido correspondiente, y si adems resulta relevante. Estas decisiones se adoptarn de manera consensual. Cuando el dictamen es favorable en los tres casos, se contina con el anlisis; cuando no lo es, se enva el tem a correccin o reelaboracin segn la naturaleza de las observaciones. Enseguida se revisa la correccin del contenido del tem; es decir, que est exento de errores conceptuales y que la respuesta correcta realmente lo sea. Cuando el dictamen es favorable en ambos casos, se contina el proceso; en los casos en que no lo es, se indica lo procedente. Posteriormente, se revisa que el tem presente un vocabulario apropiado al nivel de los examinados. Cuando no es as, se hacen las correcciones necesarias. Adems, se revisa que el tem no presente estereotipos tnicos o de gnero y que no ponga en ventaja a un grupo social sobre otros. Lo mismo se hace ms adelante con el conjunto de tems que forman cada modelo.

22

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

Finalmente, se revisa que el tem est exento de errores de escritura, tanto en tcnica como de tipo mecanogrfico. En los casos en que se presenten determinantes especficos, opciones poco plausibles, u otras fallas similares, se efectuarn las correcciones en el momento. Cuando no pueda hacerse de inmediato, y segn la naturaleza de la falla detectada, la correccin se deja a cargo de quien elabor el tem y su dictamen queda pendiente para la siguiente sesin.

3.4 Entrega de reactivos Una vez revisados los reactivos, se deben entregar al Coordinador del Excale usando el formato que se presenta en el Anexo V, tanto en su versin electrnica como en papel. El redactor debe proporcionar toda la informacin necesaria para poder identificar el reactivo y para que se pueda editar sin que ste tenga que ser consultado. Lo anterior implica que cada uno de los elementos del tem debe estar perfectamente descrito, incluyendo sus elementos grficos. Es comn que los redactores no sean especialistas en la elaboracin de dibujos o diagramas que requiera el tem. En este caso, se debern proporcionar los elementos indispensables para que el Departamento de Diseo y Edicin pueda realizar esta tarea (ej. copia de diagramas similares, dibujos hechos a mano, etctera). El INEE cuenta con el profesionalismo de los participantes en este trabajo (integrantes de los diferentes CCR, personal interno, jueces independientes, etctera) para mantener la necesaria confidencialidad en el manejo del material generado a lo largo del proceso.

23

REFERENCIAS BIBLIOGRFICAS

Berk, R. (1984). A Guide to Criterion-Referenced Test Construction. Baltimore: The Johns Hopkins University Press. Bloom, B. S. (1956). Taxonomy of educational objectives: Handbook I. Cognitive domain. New York: McKay.

Assessment Profile-State Summary. Evaluation Comment. CRESST

CRESST: National Center for Research on Evaluation, Standards and Student Testing (1994).

Haladyna, T. (1990). Advances in Item Design. Rasch Measurement Transactions, 4 (2). [documento www.] Disponible en: Gopher_root_eric_ae:[_rasch.back]rm42_52.txt:1 Nitko, A. J. (1994). A Model for Developing Curriculum-Driven, Criterion-Referenced and NormReferenced National Examinations for Certification and Selection of Students. Ponencia presentada

en la Conferencia Internacional sobre Evaluacin y Medicin Educativas, de la Asociacin para el Estudio de la Evaluacin Educativa en Sudfrica (ASSESA).
Nitko, A. J. (1995). Curriculum-based Continuous Assessment: A Framework for Concepts, Procedures and Policy. Assessment in Education, 3 (2). Popham, J. (1990). Modern Educational Measurement. A Practitioners Perspective. Boston, MA. Allyn and Bacon. Rudner L. (1993). Test Evaluation. [documento www.] Disponible en Gopher ERIC/AE. 12/93.

24

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

ANEXOS Anexo I. Formato para elaborar especificaciones


Instituto Nacional para la Evaluacin de la Educacin Direccin de Pruebas y Medicin Formato de especificacin de reactivos
NOTA: Este formato puede sufrir modificaciones de acuerdo a las necesidades propias de cada asignatura.

Nombre del redactor de la especificacin: Fecha: Identificador nico de la especificacin:

1. DATOS DE IDENTIFICACIN DEL CONTENIDO A EVALUAR


a. Asignatura: c. Eje temtico/rea/Lnea de evaluacin reticular: b. Grado y nivel educativo: d. Tema/Sublnea de evaluacin:

e. Contenido/Contenido eje para la elaboracin del reactivo: f. Qu evaluar: g. Especificacin general como aparece en la tabla de contenidos:

2. DESCRIPCIN DEL CONTENIDO Y SU JUSTIFICACIN a. Delimitacin del contenido que se deber cubrir. b. Importancia del contenido. c. Descripcin de la funcin del contenido en el contexto del currculo. d. Conocimientos y habilidades requeridos para contestar el reactivo correctamente. e. Actividades cognitivas involucradas en la contestacin correcta del reactivo. 3. PLANTILLA a. Base del reactivo: b. Ilustraciones o texto adicionales: c. Respuesta correcta: A. d. Distractores: B. C. D.

25

4. PECULIARIDADES DE LA PLANTILLA (opcional) a. Peculiaridades de la base del reactivo: Instrucciones para responder el reactivo. Informacin textual, grfica o tabular. Demanda de la tarea. Vocabulario empleado. Otros elementos.

b. Peculiaridades de las ilustraciones o el texto adicional: c. Peculiaridades de la respuesta correcta: d. Peculiaridades de los distractores: 5. REACTIVO MUESTRA a. Base del reactivo: b. Ilustraciones o texto adicionales: c. Respuesta correcta: A. d. Distractores: B. C. D. Referencia de fuentes utilizadas en el reactivo: 6. BIBLIOGRAFA CONSULTADA

26

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

Anexo II. Normas para la construccin de reactivos


Instituto Nacional para la Evaluacin de la Educacin Direccin de Pruebas y Medicin Normas para la construccin de reactivos
1. De la congruencia con su especificacin a. b. c. Tanto la base del reactivo como los distractores deben redactarse de conformidad estricta con su correspondiente especificacin. Ningn tem debe ser ms o menos difcil de lo que seale su especificacin. Se podrn utilizar los libros de texto, guas y otros materiales didcticos oficiales como insumo para la construccin de tems. Sin embargo, debe evitarse la creacin de reactivos idnticos a los que aparecen en dichos recursos. En los casos en que resulte necesario cambiar la dificultad del reactivo, porque as lo indique el anlisis de la prueba emprica, la modificacin se efectuar incrementando la dificultad de las opciones de respuesta y nunca formulando la base de la pregunta de manera ms ambigua o mediante el uso de vocabulario ms sofisticado o de situaciones ms complejas.

d.

2.

Del contenido El contenido de los reactivos deber: a. b. c. d. e. f. g. Reflejar el currculo nacional. Centrarse en los contenidos curriculares que, por su importancia y frecuente implementacin dentro del aula, sean ms significativos en el nivel escolar al que se dirige la prueba. Evaluar lo que es esencial y consecuente con un determinado aprendizaje, evitando tener que recurrir a conocimientos adquiridos fuera del saln de clases. Considerar los contenidos, el vocabulario y los procesos de aprendizaje previos, pero slo para lograr el andamiaje preciso con el contenido a evaluar y partir de lo que el alumno ya conoce. Evitar requerir del estudiante el uso de una estrategia en particular para resolver los problemas que se le planteen. Evitar entrar en detalles del conocimiento que resulten demasiado especficos, as como emplear informacin basada en opiniones. Procurar que cada reactivo constituya un estmulo y un reto intelectual para los nios.

27

3.

Del uso del lenguaje El lenguaje de los reactivos deber: a. b. c. d. Ser sencillo y acorde al nivel escolar al que se dirige la prueba. Tener calidad ortogrfica y de redaccin. Estar libre de expresiones idiomticas locales que dificulten su comprensin. Evitar todo tipo de sesgo (cultural, social, de gnero, etctera); es decir, vocabulario o cualquier tipo de representacin que ofenda a un grupo de estudiantes en particular y/o facilite la identificacin de la respuesta correcta o dificulte contestar correctamente. Contemplar el uso de nombres propios representativos de la diversidad cultural de Mxico. Se preferirn nombres cortos que sean fciles de leer.

e.

4.

De la redaccin La redaccin de un reactivo deber: a. b. c. d. e. f. g. h. i. j. k. l. Tener oraciones breves y sintaxis sencilla. Especificar claramente lo que se espera como respuesta y ayudar al estudiante a enfocar su atencin en la tarea a realizar. Considerar el uso de la organizacin en vietas para el caso especfico de instrucciones complejas. Contemplar un tiempo mnimo de lectura, lo cual exige, por lo tanto, precisin, sencillez y claridad de ideas. Utilizar una combinacin semntica y sintctica simple. Ser siempre afirmativa. Usar verbos en imperativo al inicio de la instruccin o instrucciones. Establecer consignas directas y concisas. Construir la base de cada tem en forma de pregunta o de enunciado incompleto. Redactar cada tem de manera independiente de los dems reactivos. Formular el reactivo en forma positiva evitando la palabra NO en la base de la pregunta. Evitar el S condicional en la base de la pregunta.

m. Evitar mezclar el modo condicional y el modo interrogativo en una misma oracin. Por ejemplo: Cul sera el resultado de sumar 25 ms 32, si 32 es un nmero negativo?. n. Incluir todos los elementos de informacin necesarios para responder cada reactivo.

28

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

5.

De los materiales de apoyo (ilustraciones, grficos, tablas, etctera) Los materiales de apoyo debern: a. b. c. d. e. f. Ser concisos. Ser conceptualmente correctos. Ser claros y simples, con el mnimo de distractores o informacin irrelevante. Cumplir su funcin de apoyo y nunca engaar a los estudiantes para que se confundan o seleccionen una respuesta incorrecta. Ser realistas y cercanos a la cotidianeidad de los nios y/o adolescentes, particularmente en el caso de representaciones grficas como dibujos o fotografas. Ser atractivos y acordes al nivel escolar a evaluar.

6.

De formato a. b. c. Se evitar usar margen justificado. La fuente tipogrfica a utilizar ser Arial, 12 puntos. Las imgenes debern tener formato JPG.

7.

De las preguntas de opcin mltiple a. b. En promedio, el reactivo debe requerirle al estudiante un minuto para su respuesta. Ocasionalmente podr utilizar dos tres minutos. Cada reactivo deber contener una base del reactivo (en formato de pregunta, enunciado incompleto o afirmacin) y cuatro posibles respuestas (tres plausibles, pero slo una considerada correcta). La base del reactivo deber presentar informacin suficientemente clara, a fin de que el estudiante sepa qu hacer antes de leer las opciones de respuesta. En la base del reactivo se evitar incluir informacin irrelevante. Cuando el reactivo lo requiera (por ejemplo, cuando incluya textos o figuras complementarias), podr acompaarse de instrucciones adicionales a la base de la pregunta. Los distractores debern reflejar errores comunes o malos entendidos, concepciones simples o ingenuas, u otro tipo de error, de tal forma que las respuestas correctas demuestren lo que los alumnos realmente saben o pueden hacer. Los distractores no tendrn la intencin de confundir al estudiante, por lo que no debern ser variantes cercanas a la respuesta correcta. Todos los distractores debern tener congruencia gramatical con la pregunta. No se debern utilizar alternativas como: todas las anteriores, ninguna de las anteriores, las dos de arriba. El diseo de las alternativas no deber inducir a que los estudiantes descarten o eliminen alguna opcin de respuesta, o a que identifiquen la respuesta correcta debido a caractersticas superficiales y triviales de las otras alternativas, o debido a la complejidad sintctica y conceptual de las mismas. Los reactivos no debern permitir que las respuestas correctas se obtengan mediante procedimientos incorrectos.
29

c. d. e. f.

g. h. i. j.

k.

l.

Preferentemente, las alternativas de respuesta debern tener la misma longitud y formato, as como ser sintctica y semnticamente paralelas. En caso de que esto no sea posible, podr haber dos pares de alternativas con las mismas caractersticas (ejemplo: dos respuestas cortas y dos largas).

m. Las letras A, B, C y D debern ser utilizadas para las alternativas de respuesta y no como encabezados o vietas en el reactivo. n. o. p. Las alternativas de respuesta debern ordenarse considerando su longitud, cantidad o cronologa. En las especificaciones de reactivos la primera opcin deber ser siempre la respuesta correcta. Deber, adems, estar indicada con un asterisco. Ningn tem debe proporcionar determinantes especficos; es decir, pistas que indiquen la respuesta correcta o que invaliden ciertas opciones incorrectas que se ofrecen a los estudiantes. A continuacin se presentan los determinantes especficos ms comunes: Se proporcionan claves contextuales, las cuales permiten identificar que una opcin no puede ser correcta o, en su caso, que se trata de la respuesta correcta. Por ejemplo, la base del reactivo se refiere a un tema determinado; tres alternativas hacen referencia al mismo tema, y la restante, que es incorrecta, se refiere a un tema distinto. Se proporcionan claves gramaticales, las cuales indican que una opcin es la correcta o que no lo es. Por ejemplo, la base informativa de un tem demanda que la respuesta correcta sea un sustantivo con nmero singular; sin embargo, salvo la opcin correcta, las dems opciones presentan sustantivos cuyo nmero es plural. La longitud de una opcin es considerablemente ms larga o ms corta que las dems. Se emplean determinantes como "nunca", "siempre" o "algunas veces". Se presentan asociaciones evidentes, opciones absurdas o indicadores semnticos muy generales o especficos.

8.

De respuesta corta a. b. c. d. e. Una pregunta directa es generalmente preferible a un enunciado incompleto. Estructurar el reactivo de tal manera que la respuesta requerida sea muy concisa. En los reactivos por completar, se deber ubicar el espacio al final del enunciado incompleto, o bien en el margen de la pregunta directa. Es necesario restringir el nmero de espacios en blanco a uno o dos como mximo. Los espacios en blanco deben ser todos del mismo tamao.

9.

De los reactivos de ensayo a. b. c. d. e. f. g. Dar encuadre al reactivo, de tal manera que la tarea del estudiante est explcitamente definida. Especificar el tiempo aproximado que le toma a un estudiante responder la pregunta. Emplear una gran cantidad de reactivos que requieran de respuestas relativamente cortas, en vez de utilizar pocas preguntas que requieran respuestas extensas. No emplear preguntas opcionales. Verificar la calidad del tem mediante un borrador escrito de la respuesta que se solicita. Preparar una gua o protocolo de calificacin en forma anticipada. Calificar todas las respuestas del mismo reactivo antes de pasar a la siguiente pregunta.

30

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

h. i. j.

Definir en forma anticipada el tratamiento que se le dar a factores tales como la ortografa, la caligrafa, la puntuacin, etctera. Evaluar las respuestas en forma annima. Calificar las respuestas de ensayo con los mtodos analticos y holsticos.

10. De las pruebas de Matemticas a. b. El uso del lenguaje deber corresponder siempre a un grado menor al que se dirige el examen. Con base en la pregunta, y para el caso particular del uso de nmeros de ms de tres dgitos enteros (que no refieran aos calendario), se debern utilizar espacios para agrupar rdenes y clases numricas. Por ejemplo: 26 000. Se podrn utilizar abreviaturas de medidas estndar; sin embargo, cuando pueda haber una posible confusin, ser necesario evitarlas. Por ejemplo: pulgada (para sustituir la abreviatura pul). Las variables debern usar tipografa itlica y mayscula. La variable X no deber usarse en los reactivos donde el smbolo x se utilice para indicar una multiplicacin. Toda fraccin quedar representada mediante una lnea horizontal para separar al numerador del 1 denominador. Por ejemplo: 2 Los reactivos no debern evaluar definiciones de vocabulario. Las caractersticas de las cifras y smbolos dependern del eje y grado escolar, tomndose las correspondientes de los libros de texto. En la solucin de problemas escritos o en contexto, las medidas utilizadas debern ser cercanas a la realidad. Nunca se debern utilizar situaciones absurdas.

c.

d. e. f.

g. h. i.

11. De las pruebas de Espaol a. Se debern usar instrucciones adicionales a la base del reactivo: una para la accin de lectura y otra para la actividad a desarrollar a partir del texto. Los textos de lectura tendrn las siguientes caractersticas: b. c. Debern ser tomados de los libros del alumno editados por la SEP, as como de libros, revistas o peridicos de reconocido prestigio. Siempre ser necesario referir la fuente bibliogrfica. Se dar preponderancia al uso de textos completos. El uso de fragmentos o adaptaciones estar sujeto a las necesidades que se deriven de la prueba en general, o del reactivo en particular, y deber ser autorizado por el Coordinador del Excale. Los textos informativos (artculos de divulgacin, editoriales, artculos de opinin, reportajes, etctera) debern contener informacin fidedigna y de inters para los estudiantes del nivel educativo a evaluar. Los textos literarios debern ser estticos y cumplir la funcin recreativa que marca el plan y los programas de estudio. La extensin de los textos informativos, literarios y de divulgacin se especifican en la siguiente tabla.

d.

e. f.

31

Extensin mxima del nmero de palabras de los textos de lectura Tipo de texto Informativo y divulgacin Literarios 3 de primaria 300 300 6 de primaria 450 500 3 de secundaria 600 600

Los textos para correccin de borradores tendrn las siguientes caractersticas: a. b. c. Debern ser transcripciones de textos autnticos escritos por los alumnos del nivel escolar a evaluar. Slo se aceptarn como vlidas las adaptaciones menores, siempre y cuando no se altere el sentido, la intencin y el mensaje del texto. La extensin de los textos respetar la siguiente tabla:

Extensin mxima del nmero de palabras en los textos para reflexin sobre los cdigos escritos Tipo de texto Todos 3 de primaria 50 6 de primaria 75 3 de secundaria 100

12. De las pruebas de Ciencias Naturales a. b. c. Los reactivos debern evitar el empleo de tecnicismos y lenguaje cientfico de difcil comprensin. En los reactivos que midan la dimensin valoral ser importante cuidar, de manera especial, que haya una sola respuesta correcta y que sta no est sujeta a discusin. Cuando se presenten ilustraciones en la base del reactivo, deber incluirse un enunciado corto o frase que invite a los sustentantes a observarla antes de responder el reactivo. Por ejemplo: "Observa el siguiente dibujo". Los esquemas de plantas, animales, aparatos, sistemas y ciclos (o procesos) debern ser realistas, claros y adaptados a las caractersticas de los nios y nias del nivel y grado escolar. Adems, slo debern incluir los detalles necesarios. Los dibujos de historietas y escenarios en los que se incluyan objetos, animales, plantas y personas podrn ser caricaturizados para hacerlos ms agradables, siempre y cuando no se distorsionen, ni desatiendan las caractersticas de desarrollo de los nios y nias del nivel y grado escolar. Cuando se incluyan grficas, tablas y otras ilustraciones originales, deber citarse la fuente bibliogrfica de donde se tomaron. Cuando se empleen unidades de medida debern expresarse con palabras completas, no con abreviaturas.

d.

e.

f. g.

32

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

13. De las pruebas de Ciencias Sociales a. Se debern usar instrucciones adicionales a la base del reactivo: una para invitar a la lectura de un texto (o a la observacin de una imagen) que sirva de contexto o anclaje para la ejecucin de la tarea, y otra para la demanda de la tarea propiamente dicha.

Los textos, mapas, tablas, grficas e imgenes tendrn las siguientes caractersticas: b. Las citas textuales utilizadas debern referir, preferentemente, los libros del alumno editados por la SEP, as como libros, revistas o peridicos de reconocido prestigio. Siempre ser necesaria la fuente bibliogrfica. Se podrn utilizar adaptaciones o fragmentos de texto, siempre y cuando no pierdan su sentido, intencin y mensaje, lo mismo que su enfoque, tendencia o corriente a la que pertenecen. Se podrn utilizar textos de creacin personal que correspondan a situaciones de contextualizacin para la respuesta al tem. Se eliminarn dilemas con sesgo, estereotipos o descalificaciones para ciertos grupos sociales. En su lugar se procurar incluir textos estrictamente descriptivos del hecho dilemtico, que puedan ser interesantes, conocidos y estar al alcance de alumnos de todo el pas. Se podr hacer uso de historietas cortas editadas, de creacin personal o adaptadas, propias del nivel educativo a evaluar. El uso de textos informativos, mapas, tablas y obras plsticas (dibujos, murales, pinturas, fotografas, etctera) estar sujeto a la presentacin de informacin fidedigna completa y de inters para los estudiantes del nivel educativo a evaluar. Los mapas, planos, dibujos y croquis, as como las fotografas, grficas y tablas, debern ser inditos y elaborados ex profeso para la evaluacin y nunca escaneados o fotocopiados. Las imgenes de murales y pinturas debern ser reales, sin ningn tipo de adaptacin o mutilacin. El lenguaje utilizado deber ser sencillo, claro y llano, carente de tecnicismos o jerga propia de las disciplinas a evaluar. Todo recurso utilizado deber de estar debidamente citado.

c. d. e.

f. g.

h. i. j. k.

La extensin de los textos se especifica en la siguiente tabla.


Extensin mxima del nmero de palabras de los textos Tipo Citas textuales y adaptaciones Dilemas Textos informativos Historietas 3 de primaria 80 De 30 a 50 80 De tres a cuatro cuadros de dilogo. 6 de primaria 100 50 100 De cuatro a cinco cuadros de dilogo 3 de secundaria 200 100 200 De cinco a seis cuadros de dilogo.

33

Anexo III. Reglas para la generacin de reactivos


Regla para la generacin de reactivos: transformaciones lingsticas Las transformaciones lingsticas pueden ser utilizadas como tcnicas que facilitan la escritura de tems y consisten en hacer una estructura genrica con partes fijas y variables, de tal manera que al interactuar las partes variables sobre la estructura fija comn, es posible obtener gran cantidad de tems. Esta regla para la generacin de reactivos permite asegurar la relacin lgica entre los tems y los materiales textuales a partir de los cuales se generan. Incluye las siguientes fases: Bsqueda de frases clave en el proceso educativo. Seleccin de las frases ms importantes (frase original). Transformacin de las frases segn el nivel de complejidad (taxonmico) del tem que se establece en la especificacin correspondiente (frase transformada: tem). Construccin de distractores.

Para efectuar la transformacin lingstica pueden emplearse los siguientes procedimientos: Eliminar un segmento. Emplear la parfrasis. Reemplazar trminos particulares por otros ms generales. Reemplazar los sustantivos por sinnimos. Eliminar un segmento o realizar una pregunta.

Ejemplo para un nivel de reconocimiento de informacin

Frase original: El mtodo de transformaciones lingsticas asegura la relacin lgica entre los tems y los
textos a partir de los cuales se generan.

Frase transformada (tem): El mtodo de ______________________________ asegura la relacin lgica


entre los tems y los textos a partir de los cuales se generan. Ejemplo para un nivel de comprensin de informacin (mediante parfrasis)

Frase original: Las preguntas elaboradas mediante transformaciones literales de frases importantes tomadas
de los libros de texto, conducen a evaluar nicamente el reconocimiento o memoria directa. Por ello, la comprensin de la instruccin no puede garantizarse a partir de un rendimiento satisfactorio en tems de ese tipo.

Parfrasis: Puesto que los tems construidos mediante frases tomadas directamente de textos slo miden
memorizacin, no se pueden garantizar niveles superiores de comprensin a partir de las respuestas correctas a tales preguntas.

Frase transformada (tem): Los tems que se construyen a partir de frases tomadas directamente del libro de
texto: A. B. C. D.
34

No garantizan los niveles superiores de comprensin del material textual.

Son necesarios para evaluar la comprensin del texto. Son parfrasis apropiadas del significado esencial del material. Son transformaciones literales en las que se establece la equivalencia de significado.

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

Ejemplo para un nivel de aplicacin de informacin

Frase original: La elaboracin de las preguntas que conforman un examen se consigue: a) reemplazando los
trminos particulares con trminos supraordenados; b) reemplazando todos los sustantivos con sinnimos o mediante parfrasis apropiadas; c) eliminando un segmento de informacin; o d) realizando una pregunta.

Trminos supraordenados: La generacin de tems se lleva a cabo realizando operaciones estructurales y


semnticas con el material textual.

Frase transformada (tem): Qu es lo que se lleva a cabo realizando operaciones estructurales y semnticas
con el material textual? A. La mejora del test. B. La generacin de tems. C. La clarificacin semntica y estructural. D. La revisin del test y de los tems. A partir de los aspectos que definen un contenido se elabora una sentencia directriz con dos elementos: la formulacin fija del tem y las partes variables o facetas. Las facetas definen variaciones en las formas de expresin que se emplean para generar sentencias paralelas, a partir de cuya combinacin se pueden generar muchos tems. La idea es descomponer un tema en un enunciado general y en varias facetas, de tal manera que se facilite no slo la elaboracin de muchos tems, sino tambin la comprensin de lo que puede ser evaluado. Esta tcnica es especialmente til cuando el contenido se caracteriza por estar muy estructurado. Ejemplo para un nivel de conocimiento de informacin

Contenido a evaluar: reglas ortogrficas.


1. Sentencia directriz: Una regla ortogrfica del espaol dice que antes de la letra FACETA A siempre va la letra FACETA B y nunca la letra FACETA C. Lo anterior es: 2. Descripcin de las facetas: FACETA A: Letras / b / p / v / f FACETA B: Letras / m / m / n / n FACETA C: Letras / n / n / m / m

3. Reglas de generacin de tems: Se pueden combinar al azar los dos primeros elementos de la FACETA A, con los dos primeros elementos de la FACETA B y con los dos primeros elementos de la FACETA C. Se pueden combinar al azar los dos ltimos elementos de la FACETA A, con los dos ltimos elementos de la FACETA B y con los dos ltimos elementos de la FACETA C.

35

Ejemplo de tem (Av Bn Cm):


Una regla ortogrfica del espaol dice que antes de la letra v siempre va la letra n y nunca la letra m. Lo anterior es: A. Cierto, en todos los casos. B. Falso, en todos los casos. C. Cierto, solamente en algunos casos. D. Falso, solamente en algunos casos. Ejemplo para un nivel de anlisis de informacin 1. Sentencia directriz: La grandeza de/del FACETA A en el Quijote radica en FACETA B que pone/hace Cervantes en/de

FACETA C.

2. Facetas:
FACETA A - el tema - el desarrollo de caracteres - la forma - el estilo - el comentario social FACETA B - la atencin - la eleccin - el punto de partida - la crtica FACETA C - la relacin entre Don Quijote - el aspecto moral - el estilo de aventuras, de boga en la poca - el uso del lenguaje - la nobleza de espritu y la fe inquebrantable

3. Posible ejemplo de tem de respuesta breve: Describe brevemente tres episodios que muestren que la grandeza del FACETA A en el Quijote radica en

FACETA B que pone/hace Cervantes en/de FACETA C .

36

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

Regla para generacin de reactivos: Anlisis de contenido de conceptos y procedimientos Comprender la naturaleza del contenido cuyo dominio se va evaluar resulta una condicin necesaria para estructurar de manera apropiada una tarea evaluativa orientada a determinar si el examinado se ha apropiado del conocimiento que prev el currculo. En general, a lo largo del sistema educativo formal los currcula privilegian la adquisicin de grandes cantidades de informacin y, en menor medida, de habilidades. Las razones de tal privilegio estn asociadas, probablemente, con la necesidad social de transmisin de la herencia cultural a las nuevas generaciones, o con el avance cientfico y tecnolgico de una sociedad cada vez ms diversificada, compleja y global. Dado que los jvenes que asisten a las escuelas estn destinados a adquirir principalmente conocimientos tericos y prcticos, es necesario analizar si los contenidos sobre cuyo dominio sern evaluados se refieren a conceptos o procedimientos y, posteriormente, examinar las implicaciones que tal distincin tendr para disear la estrategia evaluativa. Las implicaciones de este anlisis del contenido para fines de construccin de las especificaciones de reactivos son claras: puesto que aprender un concepto involucra procesos cognitivos diferentes a los implicados en el aprendizaje de procedimientos, la evaluacin del aprendizaje debe ser congruente con ambos tipos de procesos. Es decir, la evaluacin de un concepto puede incluir tems que indaguen sobre las caractersticas crticas o atributos del concepto; que exploren la capacidad del examinado para distinguir ejemplos de los no-ejemplos del concepto; o que demanden al nio o joven ubicar al concepto en una red conceptual que incluya los conceptos supraordenados, coordinados y subordinados que le corresponden segn la estructura del conocimiento disciplinario. De igual modo, seran vlidos los reactivos que sondeen la comprensin del concepto mediante su definicin, parfrasis, sinonimia o antonimia. En cambio, las tareas evaluativas congruentes con el aprendizaje de procedimientos podran explorar el dominio que tiene el examinado de los requisitos tericos y prcticos del procedimiento; la comprensin del tipo de problemas que su uso resuelve; el conocimiento de las condiciones para su utilizacin; el conocimiento del contexto de uso del procedimiento; o bien, la exploracin del dominio que posee de las fases que integran el proceso, o de la secuencia de operaciones que estn involucradas en ste. Una vez identificados los conceptos, se precisan sus atributos o caractersticas crticas y las que son variables (aqullas que pueden variar tanto en los ejemplos como en los no-ejemplos del concepto) para, mediante su combinacin, generar los ejemplos y no-ejemplos a utilizar en la formulacin de los tems (y de la instruccin). Esta tcnica se fundamenta en tres ideas: 1) que los estudiantes deben aprender a discriminar entre ejemplos y no-ejemplos de un concepto; 2) que los estudiantes deben ser capaces de generalizar (a partir de los ejemplos empleados en la enseanza) hacia un conjunto de ejemplos ms amplio; y 3) que al evaluar la comprensin de conceptos deben ser incluidos tanto ejemplos como no-ejemplos, diferentes a los utilizados al ensear los conceptos. Los conceptos se definen como clases de entidades cuyos miembros comparten algunas propiedades que les son comunes; tal es el caso de conceptos y su correspondiente rea de contenido como soliloquio (literatura), verbo (oracin) o sinnimo (gramtica), para los cuales pueden especificarse los atributos y las caractersticas variables de ejemplos y no-ejemplos. Por mencionar un caso, un atributo del concepto sustantivo es que designa al sujeto dentro de la oracin, pero sus accidentes de gnero y nmero pueden variar tanto en ejemplos como en no-ejemplos.

37

Un conjunto de conceptos relacionados puede ser coordinado de manera tal que los ejemplos empleados para evaluar un concepto puedan ser usados como no-ejemplos para evaluar otro concepto. Adems, los ejemplos utilizados en la enseanza deben ser evitados al construir los reactivos del examen, a fin de que ambas condiciones permitan explorar la comprensin autntica de los conceptos. Una extensin de este mtodo incluye el anlisis de reglas y principios; considerados como enunciados que establecen relaciones entre conceptos. De hecho, usualmente es ms fcil identificar reglas o principios en los materiales instruccionales, que los conceptos ms elementales. Un estudio cuidadoso de las reglas gramaticales y ortogrficas revela los conceptos que estn incluidos en ellos. As, al proporcionar una lista de ejemplos y no-ejemplos para cada concepto involucrado, es posible construir un conjunto enorme de tems para evaluar la comprensin de la regla. Ejemplo: Concepto: adjetivo.

Caractersticas crticas:
1. Es una parte de la oracin. 2. Se une al sustantivo para calificarlo o determinarlo. 3. No puede estar solo en la oracin, salvo que se utilice sustantivado (lo corts), en cuyo caso se usa como neutro.

Caractersticas variables:
Puede ser calificativo o determinativo (al igual que el adverbio). Puede adoptar los accidentes de gnero y nmero (al igual que el sustantivo). Puede ser adjetivo primitivo, derivado o parasinttico (al igual que el sustantivo). Puede ser simple o compuesto (al igual que el sustantivo).

Ejemplos para la instruccin:


Demostrativos (esos, este, aquel, etctera). Posesivos (nuestras, su, mi, etctera). Calificativos (amarillos, bella, travieso, etctera).

Ejemplos para la prueba:


Demostrativos (esa, esta, aquellas, etctera). Posesivos (mi, sus, tus, etctera). Calificativos (honesta, molesto, apasionado, etctera).

No-ejemplos para la prueba:


Sustantivos (les faltan las caractersticas 2 y 3); como pureza, trabajador, planchador, blancura, docena, tapaboca, ropavejero, hombrn, etctera. Adverbios (les faltan las caractersticas 2 y 3); como pequeito, grandote, ayer, ahora, jams, etctera.

38

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

Anexo IV. Protocolo de revisin de reactivos


Instituto Nacional para la Evaluacin de la Educacin Direccin de Pruebas y Medicin Protocolo de revisin de reactivos
Identificacin de la especificacin
Nombre del redactor de la especificacin: Identificador nico de la especificacin:

Asignatura: Eje temtico / rea / Lnea de evaluacin reticular:

Grado y nivel educativo: Tema / Sublnea de evaluacin:

Especificacin general como aparece en la tabla de contenidos:

Identificacin del reactivo


Nombre del revisor del reactivo: Fecha: Identificador nico del reactivo:

1. Evale si cada uno de los elementos del reactivo se apega a su especificacin. Marque con una X la opcin que corresponda. Si el elemento que evala no fue especificado en el reactivo, marque la opcin No procede (ej. reactivos que no lleven figuras). En caso de que considere que un elemento NO se apeg a la especificacin, escriba en la columna de observaciones sus razones para que ste pueda ser corregido posteriormente.

39

Elementos del reactivo Instrucciones

Se apega

No se apega

No procede

Observaciones

Texto, esquema o figura

Base del reactivo

Respuesta correcta A

Distractor B

Distractor C

Distractor D

2. Evale las siguientes caractersticas del tem de acuerdo con las normas para elaborar reactivos. Marque con una X la opcin que corresponda. En caso de que considere que un reactivo NO cumple con la caracterstica evaluada, escriba en la columna de observaciones sus razones para que ste pueda ser corregido posteriormente.

Caractersticas Indicaciones precisas (con base en la pregunta y/o en las instrucciones) Redaccin clara (no ambigua) en todo el reactivo Sintaxis simple en todo el reactivo Vocabulario adecuado en todo el reactivo Libre de problemas ortogrficos Base del reactivo autocontenida Cumple con la norma de no presentar

No

Observaciones

40

MANUAL TCN IC O CO NSTRUC CI N DE RE ACTIVOS

Caractersticas enunciados negativos Se apega a la regla de no considerar alternativas muy largas Presenta slo una alternativa correcta (la opcin A) Las cuatro alternativas corresponden gramaticalmente con la base del reactivo Las alternativas estn libres de pistas inadvertidas Todas las alternativas son plausibles Ni una de las alternativas es del tipo: todas las anteriores, ninguna de las anteriores Los textos y/o figuras adicionales son adecuados El reactivo se apega al nivel medio del grado escolar que se evala El reactivo cumple con el tiempo promedio requerido (un minuto) para ser contestado por un nio Cumple con las normas especficas de la asignatura Otro (especifique):

No

Observaciones

En caso de que la respuesta sea negativa, favor de especificar en el rubro de observaciones cul es el tiempo estimado para que un nio de ese grado escolar conteste el reactivo.

41

Anexo V. Formato de entrega de reactivos


Instituto Nacional para la Evaluacin de la Educacin Direccin de Pruebas y Medicin Formato de Entrega de Reactivos
Identificacin de la especificacin
Nombre del redactor de la especificacin: Identificador nico de la especificacin:

Asignatura: Eje temtico / rea / Lnea de evaluacin reticular:

Grado y nivel educativo: Tema / Sublnea de evaluacin:

Especificacin general como aparece en la tabla de contenidos:

Identificacin del reactivo


Nombre del redactor del reactivo: Fecha: Identificador nico del reactivo:

Reactivo:

Observaciones:

42

You might also like