Secretara de Educacin Subsecretara de Planeamiento Educativo

Anlisis Curricular y Validacin de Criterios Nacionales de Evaluacin PILOTO 2012 del ONE 2013

Departamento de Evaluacin de la Calidad Educativa

AUTORIDADES
PRESIDENTA DE LA NACION DRA. CRISTINA FERNNDEZ DE KIRCHNER MINISTRO DE EDUCACIN PROF. ALBERTO ESTANISLAO SILEONI SECRETARIO DE EDUCACIN LIC. JAIME PERCZYK SUBSECRETARIO DE EQUIDAD Y CALIDAD LIC. EDUARDO ARAGUNDI SUBSECRETARIA DE PLANEAMIENTO EDUCATIVO PROF. MARISA DAZ DIRECCIN NACIONAL DE INFORMACIN Y EVALUACIN DE LA CALIDAD EDUCATIVA DRA. LILIANA PASCUAL

DEPARTAMENTO DE EVALUACIN DE LA CALIDAD EDUCATIVA Mg. Mariela Leones

REA DE MATEMTICA Prof. Liliana Bronzina Prof. Pilar Varela Lic. Nora Burelli Prof. Andrea Novembre REA DE LENGUA Prof. Beba Salinas Lic. Andrea Baronzini Prof. Graciela Piantanida Lic. Carmen de la Linde Prof. Graciela Fernndez REA DE CIENCIAS SOCIALES Prof. Amanda Franqueiro Prof. Andrs Nussbaum Prof. Ana Lamberti Prof. Mara Espasande REA DE CIENCIAS NATURALES Mg. Elizabeth Liendro Prof. Norma Mustacciuoli Lic. Florencia Carballido Lic. Evangelina Indelicato ASISTENCIA TCNICO-PEDAGGICA Prof. Natalia Rivas

Mayo 2012

Anlisis Curricular y Validacin de Criterios Nacionales de Evaluacin PILOTO 2012 del ONE 2013

El Departamento de Evaluacin de la Calidad Educativa de la DiNIECE, con el propsito de cumplir sus funciones, parte de las siguientes cuatro premisas que buscan alcanzar una evaluacin de calidad: planificacin sostenida, actualizacin constante, trabajo colegiado, transparencia de la evaluacin. Planificacin sostenida. El Departamento de Evaluacin sostiene que solo se pueden alcanzar metas en tiempos reducidos cuando se cuenta con un plan de trabajo efectivo. Por ello, en al ao 2005, antes de iniciar el trabajo de evaluacin, se dedic un tiempo considerable a debatir y a fundamentar la adopcin de un nuevo enfoque para los ONE: el enfoque de Pruebas Referidas a Criterios. All se especificaron los principales objetivos, as como la organizacin y actividades necesarias para lograrlos. Fundamental esta planificacin fue la elaboracin de un modelo para desarrollar pruebas de aprendizaje y las etapas del proceso de construccin, aplicacin y validacin de dichos instrumentos. Entonces, en el ao 2005, se pas progresivamente en el proceso de construccin de: Pruebas Referidas a Normas (PRN) a Pruebas Referidas a Criterios (PRC). Las PRN comparan los resultados de un alumno o grupo de alumnos con respecto a los resultados de los dems alumnos o grupo de alumnos que contestan la misma prueba. Su finalidad es describir al alumno en el continuo de algn rasgo o dominio, expresando su posicin relativa respecto al grupo de estudiantes. En cambio, las PRC trasladan el foco de atencin de la comparacin de resultados entre alumnos, hacia la descripcin de lo que los alumnos saben y son capaces de hacer. La contribucin de este enfoque es importante en la medida en que se contrapone al enfoque de PRN, de carcter clasificatorio y comparativo, y en la medida en que define puntos referenciales para la interpretacin profunda de las dificultades de los alumnos. Los resultados obtenidos a partir de las PRC favorecen el dilogo entre el docente y el alumno, necesario para repensar las hiptesis y para reformular alternativas de solucin. Asimismo, dinamizan las reflexiones de los docentes sobre sus propias posiciones, estrategias de enseanza y anlisis de las respuestas de los alumnos. Para mayor comprensin de algunos de los cambios, mostramos un ejemplo de cmo fueron los informes nacionales antes del 2005 y cmo fueron a partir de estas modificaciones.

Tipos de Informes/Ejemplos Segn:

Pruebas Referidas a Normas PRN 6 ao Matemtica Media Nacional % Respuestas Correctas 57.8 % de respuestas correctas Media Jurisdiccin % Respuestas Correctas Jurisdiccin X 59.0% de respuestas correctas Pruebas Referidas a Criterios PRC 6 ao Matemtica % Nacional de alumnos ubicados en cada Nivel de Desempeo 13,4 % de alumnos Nivel Alto 52,2% de alumnos Nivel Medio 34,3% de alumnos Nivel Bajo % de alumnos ubicados en cada nivel de desempeo, por jurisdiccin Jurisdiccin X 13,4% de alumnos Nivel Alto 51,2% de alumnos Nivel Medio 35,4% de alumnos Nivel Bajo

La clave de la validacin en un sistema de evaluacin referido a criterios, es: el alineamiento al currculo, el referente. la capacidad de reportar por niveles de desempeo. Actualizacin constante. El Departamento de Evaluacin de la DiNIECE tom la decisin de consultar, investigar y estudiar los principales estudios nacionales e internacionales de evaluacin y retomar las mejores prcticas en materia de evaluacin del aprendizaje a gran escala. La evaluacin del aprendizaje a gran escala es una tarea altamente especializada que requiere del conocimiento y experiencia de acadmicos, especialistas y docentes en varias disciplinas, tales como: el anlisis del diseo curricular, la enseanza de las disciplinas que se evalan, la estadstica aplicada a la evaluacin, la elaboracin de pruebas y cuestionarios de contexto, etc. Trabajo colegiado. Desde un principio, el Departamento de Evaluacin de la DiNIECE tuvo claro que para evaluar las capacidades cognitivas y los contenidos, en trmino de desempeo de los estudiantes del Sistema Educativo Nacional, requerira del trabajo colegiado de una gran cantidad de especialistas y docentes del pas, que asegurara la calidad y equidad de las evaluaciones, as como su aceptabilidad acadmica y social. Por ello, se determin que al Departamento de Evaluacin le corresponde planear y coordinar los ONE, en colaboracin con los Coordinadores Jurisdiccionales de Evaluacin. Al mismo tiempo, al Departamento de Evaluacin le corresponde validar las actividades o tems construidos por docentes en ejercicio. En todos estos aos, se ha tenido mucho inters en incorporar en el proceso evaluativo a docentes. Esto se debe a dos razones: por un lado, porque los docentes son el personal ms capacitado para hacer ciertas actividades del proceso evaluativo, entre las que se destacan la construccin y validacin de tems; por otro, porque entendemos que es la mejor

manera de socializar y transparentar la evaluacin, que varias veces es considerada una caja negra para los docentes y dems actores educativos. Transparencia de la evaluacin. Finalmente, el Departamento de Evaluacin de la DiNIECE se propone que todo el proceso de evaluacin del aprendizaje se realice en forma transparente. Para ello, documenta las decisiones que se realiza durante el proceso evaluativo. El proceso de evaluacin del PILOTO 2012 del ONE 2013 En todo proceso de evaluacin intervienen diferentes etapas o componentes. Una etapa fundamental es la Programacin de la Evaluacin, que implica la elaboracin de un plan, cuya funcin es orientar el proceso de evaluacin para asegurar juicios bien fundamentados y decisiones justas. En dicha programacin o plan de evaluacin, una dimensin que cobra real importancia es la Construccin del Referente: es decir, los criterios de evaluacin, la construccin del dominio a evaluar o la imagen de lo deseable. La formulacin de criterios de evaluacin justos y equitativos constituye una de las premisas ms importantes de las prcticas evaluativas, tanto a nivel de aula como en el sistema educativo. As, los Criterios de Evaluacin del ONE 2013 consensuados con las jurisdicciones sern el marco de referencia para producir un juicio de valor justo. La definicin de los criterios alude a cul ser la base de referencia que permitir afirmar si un alumno alcanz o no un desempeo destacado, satisfactorio o elemental/poco satisfactorio en el dominio del conjunto de contenidos y capacidades cognitivas evaluadas y esperables, segn los documentos curriculares jurisdiccionales y los NAP considerados como referentes. A continuacin, se presentan algunas tendencias mundiales acerca de la operacionalizacin de criterios de calidad. En la actualidad, son recurrentes los debates en torno de la necesidad de operacionalizar criterios de calidad curricular en sistemas de evaluacin. La especificacin de criterios de evaluacin, supone operacionalizar criterios de calidad para el sistema educativo y son las autoridades centrales, de los estados y/o de las provincias, casi siempre los responsables por fijar los criterios a evaluar. Las tendencias mundiales claramente sealan un creciente inters por especificar operacionalmente criterios de calidad y por alinear los sistemas de evaluacin de acuerdo a estos criterios. Esto ha llevado al aumento de evaluaciones referidas a criterios en donde los dominios son los criterios de calidad curricular. En gran parte del mundo, aun cuando los sistemas de evaluacin del sistema educativo pueden ser implementados por distintos agentes externos o internos (Ministerios, entes autnomos, las mismas escuelas o distritos escolares), los criterios a evaluar son fijados por autoridades centrales del sistema.

A modo de ejemplo, veamos qu sucede en algunos pases: Canad, sistema federal, el proyecto nacional de indicadores de logro parte de un acuerdo entre los Ministros de Educacin de cada provincia. Espaa, el Instituto Nacional de Calidad y Evaluacin fija los criterios usando de referencia la legislacin espaola en educacin y los currculos fijados en cada una de las comunidades autnomas. Suecia logra una definicin nacional de criterios de evaluacin a travs del Ministerio de Educacin que fija un currculo nacional obligatorio y produce los exmenes nacionales asociados a ese currculo. Dinamarca las normas y la especificacin de los contenidos a evaluar se establecen en el Ministerio de Educacin. Francia la Direccin de evaluacin y el Ministerio de Educacin elaboran los criterios de evaluacin.

En nuestro pas se dise una propuesta de Anlisis Curricular y Validacin de Criterios Nacionales de Evaluacin, teniendo en cuenta los siguientes aspectos. La tarea de revisar y actualizar el Anlisis Curricular (AC) se concentra en dos propsitos: (1) Producir un AC fundamentado en la informacin de las jurisdicciones y apoyado en el antecedente de informacin generado por ONE 2010; (2) Identificar y definir los dominios o los criterios en las reas de Matemtica, Lenguaje, Ciencias Naturales y Ciencias Sociales de Educacin Primaria y Secundaria, comunes a las 24 jurisdicciones, que sirvan de base para la construccin de las pruebas y como contribucin, por ende, al proceso de evaluacin de la educacin en el que se desarrolla ONE 2013. Las etapas que son esenciales para elaborar tems o actividades que formarn parte de la evaluacin son tres: Etapa I: Anlisis curricular de las reas de conocimiento y ao correspondiente, mediante uso de una tabla de doble entrada, donde se representa la carga curricular de las reas de conocimiento y capacidades cognitivas. Es importante sealar que esta propuesta no es propia de un anlisis profundo de los diseos curriculares, sino que representan un medio sistemtico de exploracin de los contenidos, exclusivamente para determinar lneas de evaluacin. Para cumplir con esta etapa, se analiz informacin oficial proporcionada por las jurisdicciones, que mediante la recoleccin de informacin y sistematizacin de los diseos curriculares provinciales, los NAP y el ONE 2010, como as tambin, en un proceso de realimentacin continua, se logr elaborar las primeras tablas. (Ver cronograma).

Etapa II: Tabla de criterios o desempeos de la prueba, mediante el uso de una tabla de doble entrada, se definen los criterios o desempeos acordados para el prximo ONE 2013. Las razones para incluir los contenidos y las capacidades cognitivas pueden ser de orden disciplinario, pedaggico, epistemolgico u otro, pero estn fundamentadas en los diseos curriculares y el ONE 2010. Este tipo de decisiones deben ser tomadas en virtud de que la prueba del ONE es una muestra representativa del diseo curricular, dada la imposibilidad de evaluar en una sola ocasin todo el currculo. Para cumplir con esta etapa, se analizarn las primeras tablas trabajadas por los especialistas jurisdiccionales y se elaborar, en un proceso de realimentacin continua, las Tablas Definitivas de Criterios Nacionales de Evaluacin. De esta manera se obtiene, mediante un proceso de anlisis de las tablas, un resultado importante de informacin sobre las reas objeto de estudio. (Ver cronograma). Etapa III: Justificacin de la seleccin curricular a evaluar, finalmente, toda toma de decisin ser justificada a partir de los diseos curriculares y de los antecedentes del ONE 2010. La decisin del Departamento de Evaluacin, sobre el diseo de las tablas, se basa en la incorporacin de la informacin consignada en ONE 2010 para que los equipos jurisdiccionales la analicen segn tres posibilidades: Complementacin: si la informacin no est completa. Actualizacin: si la informacin ya no es vigente. Correccin: si la informacin est equivocada Los acuerdos bsicos son: El ONE 2013 debe permitir la comparabilidad con el ONE 2010. El intercambio con las jurisdicciones, para el anlisis curricular del ONE 2013, es una red que se compone de la representacin de cada jurisdiccin y el Departamento de Evaluacin de la DiNIECE para la revisin y ajuste del anlisis curricular. La informacin recopilada para el ONE 2013 se apoya en los informes presentados por cada Jurisdiccin, enviados por los Coordinadores Jurisdiccionales de Evaluacin, segn el cronograma presentado. Se incorporan modificaciones a las tablas propuestas, a partir de las observaciones acordadas por las jurisdicciones. La informacin que enva cada jurisdiccin a travs del correo electrnico es la informacin oficial de cada provincia.

Cronograma de actividades

Actividad
Comunicacin Coordinadores Jurisdiccionales de Evaluacin y equipos. Envo de tablas: contenidos y capacidades cognitivas, sistematizados a partir de los diseos Curriculares jurisdiccionales, los NAP y ONE 2010. Las jurisdicciones envan solicitudes de modificaciones a las tablas. Reenvo de tablas Definitivas por Criterios o Desempeos de Evaluacin.

Fecha
Desde el 1 de noviembre de 2011 11 de mayo de 2012

Responsable
Coordinadores Jurisdiccionales de Evaluacin y especialistas prov. Departamento de Evaluacin de la DiNIECE.

Resultado
Envo de Diseos Curriculares Jurisdiccionales.

Tablas de contenidos y capacidades cognitivas de Matemtica, Lengua, Cs. Sociales y Cs. Naturales de Primaria y Secundaria Incorporacin acordada de las modificaciones a las tablas. Tablas de criterios o desempeos de evaluacin de Lengua, Matemtica, Cs. Sociales y Cs. Naturales de Primaria y Secundaria. Tablas definitivas y aprobadas por las jurisdicciones. Valoracin de informacin recibida y cierre de los Criterios Nacionales de Evaluacin. Elaboracin de los instrumentos PILOTO 2012.

22 de mayo de 2012 4 de junio de 2012

Coordinadores Jurisdiccionales de Evaluacin y especialistas prov. Departamento de Evaluacin de la DiNIECE.

Recepcin de las Tablas Definitivas, por rea y ao a evaluar. Revisin, informacin complementaria y cierre de los criterios reenviados por las jurisdicciones. Elaboracin de tems1, segn criterios nacionales consensuados y lectura crtica2 de especialistas externos. PILOTO 2012 del ONE 2013.

15 de junio de 2012

16 al 22 de junio de 2012 De Junio a Agosto de 2012

Coordinadores Jurisdiccionales de Evaluacin y especialistas prov. Departamento de Evaluacin de la DiNIECE. Departamento de Evaluacin de la DiNIECE.

Fines de Octubre de 2012

Departamento de Evaluacin de la DiNIECE y Coordinadores Jurisdiccionales de Evaluacin.

Anlisis y procesamiento de datos del PILOTO 2012.

Elaboracin de actividades por docentes en ejercicio de las reas de conocimiento y los aos evaluados. 2 Lectura crtica de acadmicos de Universidades Nacionales, especialistas en las reas de conocimiento evaluadas.