Professional Documents
Culture Documents
NDICE
05 1.Antecedentes
06
2.Definicin de trminos
08
3.Introduccin
09
11
12
13
14
15
a Junta de Gobierno del Instituto Nacional para la Evaluacin de la Educacin (INEE), con fundamento en lo dispuesto en la fraccin IX del artculo 3o. de la Constitucin Poltica de los Estados Unidos Mexicanos; artculos 10,
11, 12, 13, 14, 15 fracciones III y VI, 17 fracciones I a la V, 26, 27 fracciones VII, X, XIII, 29, 38 fracciones VI, IX, X y XXI,
47, 49, 57 y 59 de la Ley del Instituto Nacional para la Evaluacin de la Educacin; as como los Lineamientos iniciales
especficos para llevar a cabo la evaluacin del ingreso al Servicio Profesional Docente en Educacin Bsica y Educacin Media Superior y lineamientos iniciales especficos para llevar a cabo la evaluacin para la promocin a cargos
con funciones de Direccin (Directores) en Educacin Media Superior, para el ciclo escolar 2014-2015, LINEE-02-2014,
publicados en el Diario Oficial de la Federacin de fecha 6 de marzo de 2014, emite los siguientes Criterios Tcnicos
para el Desarrollo y Uso de Instrumentos de Evaluacin Educativa, 2014-2015 (en adelante Criterios Tcnicos).
1. Antecedentes
La reforma constitucional en materia de educacin, estableci en la fraccin IX del artculo 3o. la creacin del Instituto Nacional para la Evaluacin de la Educacin, como un organismo constitucional autnomo que tiene por
objeto coordinar el Sistema Nacional de Evaluacin Educativa (SNEE), con la atribucin de evaluar la calidad, el
desempeo y los resultados del Sistema Educativo Nacional (SEN) en educacin preescolar, primaria, secundaria
y media superior.
De conformidad con los preceptos legales antes invocados, la Junta de Gobierno del Instituto disear y expedir
los lineamientos generales de evaluacin educativa a los que se sujetarn las Autoridades Educativas en su conjunto para llevar a cabo las funciones de evaluacin. Asimismo, conforme a lo establecido en el artculo 26 de la Ley
del Instituto Nacional para la Evaluacin de la Educacin, el Instituto, en el ejercicio de sus atribuciones, se regir
por los principios y criterios tcnicos de objetividad, validez y confiabilidad, segn se establece en el artculo mencionado, as como en el diverso 29 del mismo ordenamiento, el Instituto tambin deber actualizar peridicamente
los Criterios Tcnicos, los lineamientos y conceptos que establezca en materia de evaluacin de la educacin. Para
ello, la Junta de Gobierno del INEE determinar la periodicidad para su revisin y tomar en cuenta los avances
cientficos y tcnicos en materia de educacin y de evaluacin.
Los Criterios Tcnicos servirn de apoyo para cumplir con lo establecido en la fraccin XIII del artculo 27 de la Ley
del Instituto Nacional para la Evaluacin de la Educacin, en lo referente a asesorar y, en su caso, supervisar el diseo y aplicacin de instrumentos de medicin para las evaluaciones de los componentes, procesos o resultados del
SEN que realicen las Autoridades Educativas, en el marco de sus atribuciones y competencias.
Conforme a lo establecido en las fracciones X y XXI del artculo 38 de la Ley del Instituto Nacional para la Evaluacin
de la Educacin, la Junta de Gobierno del Instituto aprobar los proyectos de medicin y evaluacin que correspondan a componentes, procesos o resultados del SEN, en el mbito de su competencia. Las autoridades educativas
federales, locales, municipales y organismos descentralizados, o las organizaciones e instituciones pblicas o privadas interesadas en el desarrollo de instrumentos de evaluacin, debern considerar los presentes Criterios Tcnicos
para asegurar su calidad tcnica. Para este efecto, el Instituto revisar y, en su caso, har por escrito observaciones
a los instrumentos; para ello recurrir a la documentacin y sistematizacin de evidencias sobre su diseo, construccin y uso.
El propsito de los Criterios Tcnicos es el de proveer referentes para valorar la calidad de los instrumentos de evaluacin, de las prcticas evaluativas y de los usos de las evaluaciones. Aunque la valoracin de la calidad de los instrumentos de evaluacin educativa y de su aplicacin y usos dependen en gran medida del juicio de profesionales,
los Criterios Tcnicos proveen un marco de referencia que asegure sean considerados los aspectos ms importantes
de la evaluacin educativa. En general, los Criterios Tcnicos buscan propiciar que, dentro de los lmites posibles, la
informacin tcnica relevante de las evaluaciones sea visible, de tal manera que aquellos involucrados en la toma
de decisiones de poltica educativa estn bien informados sobre los alcances y limitaciones de los resultados que
arrojan los instrumentos de evaluacin educativa en el pas.
Para la integracin de los presentes Criterios Tcnicos se consideraron distintos aspectos de los estndares de
calidad tcnica para los instrumentos de evaluacin propuestos por organismos de evaluacin educativa internacionales y nacionales, como la European Commission (EC); el Grupo de Evaluacin de las Naciones Unidas (UNEG,
por sus siglas en ingls); el Comit para el Desarrollo de Estndares de Pruebas Educativas y Psicolgicas de la
American Educational Research Association (AERA), la American Psychological Association (APA) y el National
Council on Measurement in Education (NCME); el Joint Committee on Testing Practices (JCTP), el Educational Testing Service (ETS), el Centro Nacional de Evaluacin para la Educacin Superior (Ceneval) y el Instituto Nacional
para la Evaluacin de la Educacin (INEE).
Especialmente se retoman el enfoque y la lgica de los Estndares para los instrumentos de evaluacin educativos
y psicolgicos1 y el enfoque unitario de la validez2. En dichos enfoques, se proveen los fundamentos tericos y
las orientaciones que deben tomarse en cuenta para la obtencin de evidencias de calidad tcnica y validez de los
resultados de las evaluaciones, tanto educativas como psicolgicas.
2. Definicin de trminos
Para los efectos de los presentes criterios, se emplean las siguientes definiciones:
I.
Aplicadores: Personas fsicas con la funcin de auxiliar en la aplicacin de los instrumentos de evaluacin.
II.
Alto impacto: Se indica cuando los resultados del instrumento tienen consecuencias importantes para las
personas o las instituciones; por ejemplo, en los procesos de admisin o certificacin.
III.
Confiabilidad: Cualidad de las mediciones obtenidas con un instrumento, que se caracterizan por ser
consistentes y estables cuando este se aplica en distintas ocasiones.
IV.
Constructo: Elaboracin terica formulada para explicar un proceso social, psicolgico o educativo y
cuya adecuada descripcin permite que sea susceptible de ser observable o medible.
V.
Criterio de evaluacin: Indicador de un valor aceptable sobre el cual se puede establecer o fundamentar
un juicio del valor sobre el desempeo de una persona.
VI.
Desempeo: Es el resultado obtenido por la persona evaluada con un instrumento de evaluacin educativa.
VII. Dominio: Conjunto de conocimientos, habilidades, destrezas, actitudes u otros atributos que tienen las
siguientes propiedades: lmites, extensin y definicin. Tambin se puede aplicar a contenidos,
procedimientos u objetos.
1 American Educational Research Association (AERA), American Psychological Association (APA) y National Council on Measurement
in Education (NCM). (1999). Standards for educational and psychological testing. Washington, D.C.: American Educational Research
Association.
2 Messick, S. (1989). Validity. En R.L. Linn (Ed.), Educational measurement (3a. ed., pp 13-104). Nueva York: American Council on
Education/MacMillan.
VIII. Educacin bsica: Tipo de educacin que comprende los niveles de preescolar, primaria y secundaria en
todas sus modalidades, incluyendo la educacin indgena, la especial y la que se imparte en los centros de
educacin bsica para adultos.
IX.
Educacin media superior: Tipo de educacin que comprende el nivel de bachillerato, los dems niveles
equivalentes a ste, as como la educacin profesional que no requiere bachillerato o sus equivalentes.
X.
Especificaciones de tareas evaluativas o reactivos: Descripcin detallada de las caractersticas relevantes
que se espera tengan los sujetos al sustentar el instrumento de evaluacin y que es posible observar
a travs de las tareas evaluativas o los reactivos. Tienen el papel de guiar a los comits acadmicos
en la elaboracin y validacin de las tareas evaluativas o los reactivos y que estos cuenten con los
elementos necesarios para construirlos alineados al objeto de medida o constructo que se desea evaluar a
travs del instrumento.
XI.
Estndar: Principio de valor o calidad en la conduccin y uso de los procedimientos de evaluacin y que
son acordados por expertos en evaluacin.
XII. Estndar de desempeo: Es un criterio conceptual que delimita el marco interpretativo de las puntuaciones
obtenidas en un instrumento de evaluacin y que refiere a lo que la persona evaluada es capaz de hacer en
trminos de conocimientos, destrezas o habilidades en el contexto del instrumento.
XIII. Evaluacin: Accin de emitir juicios de valor que resultan de comparar los resultados de una medicin u
observacin con un referente previamente establecido.
XIV. Instrumento de evaluacin: Tcnicas de medicin y recoleccin de datos que suelen tener distintos formatos,
atendiendo a la naturaleza de la evaluacin, por ejemplo, instrumentos de seleccin de respuesta, instrumentos
de respuesta construida, cuestionarios, observaciones, portafolios, entre otros.
XV. Jueceo: Mtodo en el cual se utiliza la opinin de expertos (denominados jueces) para determinar,
entre otras cosas, la pertinencia de la validez de las tareas evaluativas o los reactivos respecto a un
dominio; el establecimiento de estndares o puntos de corte; as como la calificacin de reactivos de
respuesta construida.
XVI. Medicin: Proceso de asignacin de valores numricos a atributos de las personas, objetos o eventos de
acuerdo con reglas especficas que permitan que sus propiedades puedan ser representadas
cuantitativamente.
XVII. Muestra: Subconjunto de la poblacin de inters que refleja las variables medidas en una distribucin
semejante a las de la poblacin.
XVIII. Objeto de medida: Conjunto de caractersticas o atributos que se miden en el instrumento de evaluacin.
XIX. Prueba piloto de las tareas evaluativas o los reactivos: Recoleccin preliminar de datos sobre los elementos
de un nuevo instrumento de evaluacin a fin de valorar su funcionamiento en una poblacin especfica para
realizar ajustes orientados a su mejora y a su posterior aplicacin.
XX. Protocolo de aplicacin estandarizado: Procedimiento para la conduccin de la aplicacin de un instrumento
de medicin acorde a reglas especficas y detalladas que garanticen que las condiciones de evaluacin sean
las mismas para todos los examinados.
XXI. Punto de corte: En instrumentos de evaluacin con referencia a un estndar de desempeo, es la puntuacin
mnima o criterio a alcanzar o superar para considerar que el nivel de desempeo de una persona cumple con
lo esperado y distinguirlo de otro que no.
XXII. Instrumento de evaluacin referido a un criterio: Instrumento que permite comparar el desempeo de
las personas evaluadas con un estndar pre-establecido.
XXIII. Reactivo: Unidad bsica de medida de un instrumento de evaluacin que consiste en una pregunta o
instruccin que requiere una respuesta del sujeto.
XXIV. Rbrica: Herramienta que integra los criterios a partir de los cuales se califica una tarea evaluativa.
XXV. Sesgo: Error en la medicin de un atributo (por ejemplo, conocimiento o habilidad), debido a una variable
no controlada, como las diferencias culturales o lingsticas de las personas evaluadas.
XXVI. Tarea evaluativa: Unidad bsica de medida de un instrumento de evaluacin que consiste en la ejecucin
de una actividad que es susceptible de ser observada.
XXVII. Validez: Juicio valorativo integrador sobre el grado en que los fundamentos tericos y las evidencias
empricas apoyan la interpretacin de las puntuaciones de los instrumentos de evaluacin.
3. Introduccin
Los Criterios Tcnicos que se presentan a continuacin suponen que un buen instrumento de evaluacin es el producto de una aplicacin cuidadosa y coherente de principios establecidos para el diseo, elaboracin y revisin de
instrumentos de evaluacin. Estos principios refieren a un proceso de carcter secuencial en el que los productos
de una fase se convierten en los insumos de la siguiente.
Las fases del proceso de desarrollo de un instrumento de evaluacin que se consideran para la exposicin de
estos Criterios Tcnicos son seis: 1) planeacin del instrumento de evaluacin, 2) elaboracin del instrumento
de evaluacin, 3) aplicacin o administracin del instrumento, 4) procesamiento y anlisis de resultados del instrumento, 5) difusin y uso de los resultados y 6) informe tcnico del instrumento. Para cada una de estas fases
se contemplan diversas acciones de verificacin documental que permitirn cotejar el nivel de cumplimiento de
los criterios tcnicos expuestos.
Estos Criterios Tcnicos son aplicables a instrumentos de evaluacin educativa destinados a medir atributos de
personas, ya sean de seleccin de respuesta (como los instrumentos de opcin mltiple), de respuesta construida
(como los ensayos), o de desempeo (como el desarrollo de un plan de clase o una exposicin en el aula), y cualquiera que sea su forma de administracin (en lpiz y papel o dispositivos electrnicos).
10
11
5.2.2 En caso de que sea imposible realizar una prueba piloto antes de su aplicacin final, deber incluirse un nmero mayor de tareas evaluativas o reactivos a los establecidos en la tabla de especificaciones del instrumento, para
que con base en los resultados se puedan identificar las tareas evaluativas o reactivos con mejor calidad mtrica
para ser utilizados en la calificacin.
5.2.3 En todos los casos se realizar el anlisis de dificultad y discriminacin de las tareas evaluativas o los reactivos
sometidos a prueba; adicionalmente, para los reactivos de opcin mltiple tambin se analizar el comportamiento de sus distractores. Esta informacin servir para identificar y eliminar aquellas tareas evaluativas o reactivos
que no alcancen los ndices de calidad tcnica requerida para este tipo de instrumentos.
5.2.4 En el caso de instrumentos de evaluacin que requieren de jueceo para la calificacin de las tareas evaluativas
o reactivos (por ejemplo, cuando se incluyen preguntas de respuesta construida que utilizan rbricas), adems del
anlisis de dificultad y discriminacin, debern definirse y documentarse tanto el procedimiento de jueceo como la
concordancia entre las valoraciones de los jueces.
Accin para la verificacin documental. La instancia responsable del desarrollo del instrumento de evaluacin
deber documentar los resultados del anlisis de las tareas evaluativas o reactivos probados, as como los
protocolos de lectura y calificacin utilizados.
De los aplicadores
6.4 Para la administracin del instrumento, deber desarrollarse un manual del aplicador en el que se establezcan,
con toda claridad, las caractersticas de los materiales que manejar (por ejemplo, cuadernillo del instrumento,
hojas de respuesta, formatos de registro de incidencias, material de apoyo, etctera), las posibles contingencias
que pudieran ocurrir en el transcurso de la aplicacin y las acciones que deber tomar para enfrentarlas adecuadamente, as como los lmites y responsabilidades de los actores involucrados en la situacin de aplicacin.
12
6.5 El personal responsable de la aplicacin del instrumento de evaluacin deber estar previamente capacitado para realizar dicha tarea. Asimimismo, deber presentar condiciones de imparcialidad, asegurando que no
participen como aplicadores las personas que tengan algn conflicto de intereses que puedan llegar a afectar los
resultados de la evaluacin (por ejemplo, familiares o amigos de las personas evaluadas).
6.6 Los aplicadores debern estar presentes con suficiente antelacin (al menos dos horas antes) en el lugar en el
que se realizar la aplicacin del instrumento, a fin de garantizar que se cumpla con todos los requerimientos fsicos
y materiales indispensables para llevar a cabo adecuadamente el proceso de evaluacin.
6.7 Una vez iniciada la administracin del instrumento, el aplicador verificar que las personas por evaluar hayan
comprendido cabalmente las instrucciones del instrumento y, en su caso, atender aquellas dudas que estn dentro
de su marco de competencia y en los trminos establecidos en el manual del aplicador.
13
7.4 Deber realizarse el proceso de calificacin con base en protocolos estandarizados que incorporen los algoritmos y reglas de calificacin, considerando que deben ser claras para el pblico usuario del instrumento y que se
correspondan con el propsito de la evaluacin.
7.5 Cuando se incluyan procesos de jueceo en la calificacin de un instrumento de respuesta construida, se documentarn con claridad los procedimientos y criterios que utilizarn los jueces en la calificacin de las respuestas.
Tambin se proporcionar evidencia del grado de acuerdo entre las puntuaciones dadas por los jueces a fin de que
la calificacin obtenida sea un resultado imparcial y objetivo de la medicin.
7.6 Para los instrumentos de evaluacin en los que se requiera determinar un punto de corte para establecer estndares de desempeo, el Comit Acadmico deber ser capacitado especficamente para ejercer su mejor juicio
profesional y poder identificar cul es la puntuacin requerida para que la persona evaluada alcance un determinado nivel o estndar de desempeo.3
Accin para la verificacin documental. La instancia responsable del desarrollo del instrumento de evaluacin
deber documentar los protocolos, algoritmos y reglas de calificacin, as como la manera correcta de interpretar
los resultados. En los casos que se utilicen puntos de corte para definir niveles de desempeo, deber documentarse
la racionalidad del proceso y las caractersticas de los juicios emitidos por los expertos, as como la evidencia de la
idoneidad de su experiencia profesional y formacin acadmica que sustenten la validez de los niveles establecidos.
Asimismo, deber documentarse los materiales utilizados para la capacitacin.
3 Para el caso del Servicio Profesional Docente, le corresponde definir este aspecto al INEE, de conformidad con lo establecido en el
numeral I del Artculo 9 de los Lineamientos iniciales especficos para llevar a cabo la evaluacin del ingreso al Servicio Profesional
Docente en Educacin bsica y Educacin media superior y lineamientos iniciales especficos para llevar a cabo la evaluacin para la
promocin a cargos con funciones de Direccin (Directores) en Educacin media superior, para el ciclo escolar 2014-2015.
14
8.4 Ninguna decisin que tenga consecuencias importantes sobre los individuos o instituciones, se basar nicamente en los resultados de solo un instrumento de evaluacin, por lo cual, debern considerarse otras fuentes
confiables de informacin que incrementen la validez de las decisiones que se tomen (por ejemplo, en los procesos
de ingreso o admisin, la experiencia previa, el promedio escolar, cartas de recomendacin o entrevistas).
Accin para la verificacin documental. La instancia responsable del desarrollo del instrumento de evaluacin
deber documentar los formatos utilizados para reportar los resultados del instrumento, as como la racionalidad
en la que se bas su diseo.
Mxico, D.F., a los diez das del mes de abril de dos mil catorce.- As lo
aprob la Junta de Gobierno del Instituto Nacional para la Evaluacin de
la Educacin en la Quinta Sesin Extraordinaria, celebrada el diez de abril
de dos mil catorce. Acuerdo nmero SEAJG/5-14/01.O2,R.- La Consejera
Presidenta, Sylvia Irene Schmelkes del Valle.- Rbrica.- Los Consejeros:
Eduardo Backhoff Escudero, Teresa Bracho Gonzlez, Gilberto Ramn
Guevara Niebla, Margarita Mara Zorrilla Fierro.- Rbricas
15