ReporteTecnicoSERCE PDF

Autora
REPORTE TCNICO
Hctor Valds Veloz (Coordinador) Ernesto Trevio Mauricio Castro Roy Costilla Carmen Gloria Acevedo
Equipo tcnico del LLECE
Ernesto Trevio* Editor General Daniel Bogoya Captulo 1 David Glejberman Mauricio Castro Captulo 2 Daniel Bogoya Giuliana Espinosa Captulo 3 Claudia Tamassia Mauricio Castro Captulo 4 Carlos Pardo Daniel Bogoya Captulo 5 Ernesto Leigh Traduccin captulo 4 al espaol Alejandro Urbn Diagramacin y diseo *Acadmico e investigador, Facultad de Educacin de la Universidad Diego Portales
Publicado por la Oficina Regional de Educacin de la UNESCO para Amrica Latina y el Caribe OREALC/UNESCO Santiago. Permitida su reproduccin total o parcial, as como su traduccin a cualquier idioma citando la fuente. Los autores son responsables por la seleccin y presentacin de los hechos contenidos en esta publicacin, as como de las opiniones expresadas en ella, que no son necesariamente el pensamiento de UNESCO y no comprometen a la Organizacin. Las denominaciones empleadas en esta publicacin y la presentacin de los datos que en ella figuran no implican, de parte de la UNESCO, ninguna toma de posicin respecto al estatuto jurdico de los pases, ciudades, territorios o zonas, o de sus autoridades, ni respecto al trazado de sus fronteras o lmites.
ISBN: 978-956-322-008-7
Presentacin
l Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE) es la red de los sistemas de medicin de la calidad de la educacin de los pases de Amrica Latina y el Caribe. Al mismo tiempo constituye un mbito de discusin tcnico poltico sobre el aprendizaje, otras variables relativas al desarrollo personal de los estudiantes, as como los factores asociados a estas. La creacin del LLECE acontecida en Ciudad de Mxico en noviembre de 1994, marc un hito en el desarrollo de nuevas formas de cooperacin entre los pases de la Regin y en el papel de coordinacin que asume la Oficina Regional de Educacin de la UNESCO, con sede en Santiago de Chile. Sus objetivos principales consisten en generar conocimientos que contribuyan a que los Ministerios de Educacin de la regin tomen decisiones informadas en materia de polticas educativas a partir del anlisis de los resultados de las investigaciones evaluativas que el LLECE realiza. En el Laboratorio participan Argentina, Brasil, Chile, Colombia, Costa Rica, Cuba, Ecuador, El Salvador, Guatemala, Honduras, Mxico, Nicaragua, Panam, Paraguay, Repblica Dominicana, y Uruguay. Tambin forma parte del LLECE el estado mexicano de Nuevo Len. El LLECE realiza permanentes gestiones para que se integre a sus actividades el resto de los pases de la regin. Entre los aos 2004 y 2008 el LLECE realiz el Segundo Estudio Regional Comparativo y Explicativo (SERCE) que evala el desempeo de los estudiantes en Amrica Latina y el Caribe e indaga sus factores asociados. Dicho estudio se enmarca dentro de las acciones de la OREALC / UNESCO, tendientes a asegurar el derecho de todos los estudiantes de la regin a recibir una educacin de calidad. El principal propsito del SERCE fue generar conocimientos acerca de los rendimientos de los estudiantes de 3 y 6 grados de Educacin Primaria en Amrica Latina y el Caribe en las reas de Matemtica, Lenguaje (Lectura y Escritura) y Ciencias y, al mismo tiempo, explicar dichos logros identificando las caractersticas de los estudiantes, de las aulas y de las escuelas que se asocian a ellos en cada una de las reas evaluadas. Los resultados del referido estudio, se han publicado en los textos siguientes: Primer reporte de los resultados del SERCE Resumen Ejecutivo Aportes para la enseanza de la Lectura Aportes para la enseanza de la Matemtica Aportes para la enseanza de las Ciencias Con estos antecedentes corresponde ahora publicar el Reporte tcnico del SERCE, que busca mediante la profundizacin y el anlisis detallado de lo realizado en este estudio, ofrecer a los profesionales interesados en la investigacin evaluativa, la informacin que da sustento a todas las publicaciones antes referidas. Lo anterior, con el objetivo de que puedan obtener un conocimiento ms profundo y amplio de la realidad educativa latinoamericana y sobre todo de los mtodos cientficos movilizados para estudiarla. El reporte consta de cinco captulos y un apartado destinado a los anexos. El captulo 1 est dedicado a explicar el diseo de los instrumentos utilizados en este estudio (45 instrumentos). Por su parte el captulo 2 se concentra en el diseo de la muestra; mientras que en el captulo 3 se explican detalladamente los procedimientos utilizados para el levantamiento de los datos.
En el captulo 4 se describen las acciones realizadas en la direccin del aseguramiento de la calidad del estudio, mientras que el captulo 5 y final muestra exhaustivamente los mtodos y procedimientos utilizados para el procesamiento de los datos de esta importante investigacin evaluativa. Finalmente, en los anexos se describen detalladamente los manuales e instructivos diseados y utilizados como pautas para la realizacin de cada etapa de esta investigacin, as como los indicadores de calidad y su comportamiento en cada uno de los pases participantes. Tengo la seguridad de que la lectura minuciosa del presente texto contribuir a la elevacin de la cultura evaluativa de los directivos y docentes que se entreguen a ella con alta motivacin y ansias de saber.
Dr. C. Hctor Valds Veloz Coordinador del LLECE
NDICE
CAPTULO 1
DISEO DE INSTRUMENTOS
I.1. DISEO DE LAS PRUEBAS DE DESEMPEO I.1.1. MARCO CONCEPTUAL ANLISIS CURRICULAR Habilidades para la vida ESPECIFICACIONES DE LAS PRUEBAS FORMATO DE LAS PRUEBAS ELABORACIN DE LOS ITEMS PERTINENCIA DE LOS ITEMS ADAPTACIN LINGSTICA Y TRADUCCIN AL PORTUGUS I.1.2. DISEO DE LAS PRUEBAS EN LA FASE PILOTO I.1.3. DISEO DE LAS PRUEBAS DEFINITIVAS PRESENTACIN DEL MODELO DE ANLISIS ITEMS ANMALOS ENSAMBLE DE LAS PRUEBAS DEFINITIVAS ESTRUCTURA DE LAS PRUEBAS DEFINTIVAS ADAPTACIONES LINGSTICAS I.2. DISEO DE LOS CUESTIONARIOS DE CONTEXTO I.2.1. ANTECEDENTES PRIMER ESTUDIO INTERNACIONAL COMPARATIVO OTROS ESTUDIOS INTERNACIONALES Proyecto Regional para Amrica Latina y El Caribe(PRELAC) I.2.2. MARCO CONCEPTUAL CARACTERSTICAS SOCIOCULTURALES OPORTUNIDADES EDUCATIVAS LOGROS ACADMICOS EQUIDAD EDUCATIVA I.2.3. ETAPAS DEL DISEO DE LOS CUESTIONARIOS FACTORES Y VARIABLES CUESTIONARIO
12
14 14 14 16 17 18 21 21 21 23 25 25 26 27 28 31 32 33 33 34 35 36 37 37 37 38 39 39 43
CAPTULO 2
DISEO DE LA MUESTRA
II.1. UNIVERSOS QUE SON OBJETO DE ESTUDIO II.2. SUBUNIVERSOS DEL ESTUDIO II.3. UNIDADES DE MUESTREO Y MARCO MUESTRAL II.3.1.EXCLUSIONES VLIDAS II.4. MTODO DE MUESTREO II.4.1. CRITERIOS DE ESTRATIFICACIN PARA LA OPTIMIZACIN DEL MUESTREO II.4.2. CANTIDAD MNIMA DE ESCUELAS POR ESTRATO EXPLCITO Y POR PAS II.5. MUESTRA EFECTIVA POR PASES II.6. PROCEDIMIENTOS PARA LA SELECCIN DE ESCUELAS Y ALUMNOS. SISTEMA DE REEMPLAZOS II.7. ESTRATOS ADICIONALES OPTATIVOS PARA CADA PAS Y TRATAMIENTO DE LAS MUESTRAS PARA ENTIDADES SUBNACIONALES (NUEVO LEN) II.8. ELABORACIN DEL MARCO MUESTRAL EN CADA PAS II.8.1. CRITERIOS Y PROCEDIMIENTOS PARA EL CONTROL DE LOS MARCOS MUESTRALES POR PARTE DE LA COORDINACIN TCNICA II.8.2. REQUISITOS MNIMOS DE COBERTURA QUE DEBEN SER ALCANZADOS POR CADA PAS PARA QUE LOS DATOS SEAN CONSIDERADOS CONFIABLES II.8.3. CRITERIOS Y PROCEDIMIENTOS PARA EL CONTROL DE LAS MUESTRAS REALMENTE OBTENIDAS UNA VEZ CULMINADA LA APLICACIN II.9. MRGENES DE ERROR ESTIMADOS PARA EL DISEO MUESTRAL, A NIVEL INTERNACIONAL, NACIONAL Y DE ESTRATO II.10. SISTEMA DE PONDERACIONES PARA LA ESTIMACIN DE RESULTADOS A NIVEL NACIONAL Y DE SUBUNIVERSOS SINTAXIS PARA LA GENERACIN DE PESOS.
44
46 47 48 48 50 51 58 59 62 63 64 65 66 77 78 82 84
CAPTULO 3
LEVANTAMIENTO DE DATOS
III.1. Responsabilidades y roles III.1.1. Coordinador NacionaL III.1.2. Director de escuela III.1.3. Aplicador de instrumentos III.2. Operaciones en campo
86
88 88 90 91 92
III.2.1. Reproduccin, embalaje y distribucin del material III.2.2. Convocatoria y capacitacin de aplicadores III.2.3. Aplicacin de los instrumentos III.2.4. Retorno del material III.2.5. Codificacin de respuestas abiertas III.2.6. Evaluacin de la prueba de escritura III.2.7. Captura de datos III.2.8. Informe final de aplicacin III.2.9. Muestras de recorreccin III.3. Sistema de supervisin externa III.3.1. Seleccin de los observadores internacionales III.3.2. Seleccin de los monitores externos III.3.3. Capacitacin de los monitores externos III.3.4. Escuelas visitadas por los monitores externos III.3.5. Visita al centro nacional III.3.6. Visitas de monitoreo externo a las escuelas III.3.7. Informe de supervisin
92 93 94 96 96 99 101 103 104 104 105 106 107 107 108 109 110
CAPTULO 4
ASEGURAMIENTO DE LA CALIDAD
IV.1 Muestreo Tasa de participacin de las escuelas Tasa de participacin de los estudiantes IV.2. procedimientos de implementacin del estudio principal Aplicadores Adhesin a los procedimientos Aspectos escolares Instrumentos Otros aspectos Comentarios generales sobre la implementacin IV.3. Acopio de datos Captura de datos y estructura de la base de datos Naturaleza confidencial de los instrumentos IV.4. Calificacin y codificacin IV.5. ndice de cumplimiento de las pautas de calidad del SERCE. IV.6. Resultados generales asociados con la calidad Muestreo Aspectos asociados con la implementacin
111
112 113 113 115 116 118 118 119 119 120 120 121 123 123 129 135 135
y administracin de datos Calificacin de Items de respuesta abierta Comentario final
136 137 138
CAPTULO 5
PROCESAMIENTO DE DATOS
V.1. ESTRUCTURA DE LA BASE DE DATOS REGIONAL Y PROCEDIMIENTOS PARA SU DEPURACIN V.2. PROCEDIMIENTOS PARA LA ESTIMACIN DE PARMETROS Y ESCALAMIENTO DE LOS TEMS V.2.1. tems de Ciencias Depuracin de la informacin Anlisis de datos INDICADORES POR TEM INDICADORES POR OPCIN MAPA DE DISTRIBUCIN DE HABILIDADES Y DIFICULTADES PROMEDIO, DESVIACIN ESTNDAR Y VALORES MXIMO Y MNIMO DE DIFICULTADES DE TEMS FUNCIN DE INFORMACIN DE LA PRUEBA VALOR DE DIFICULTAD DE TEMS POR PAS VALOR DE AJUSTE DE TEMS POR PAS VALOR DE DISCRIMINACIN DE TEMS POR PAS PROPORCIN DE RESPUESTAS CORRECTAS DE CADA TEM POR PAS V.2.2. tems de Lectura 3 Resultados sobresalientes Depuracin de la informacin recibida Anlisis de datos INDICADORES POR TEM INDICADORES POR OPCIN MAPA DE DISTRIBUCIN DE HABILIDADES Y DIFICULTADES PROMEDIO, DESVIACIN ESTNDAR Y VALORES MXIMO Y MNIMO DE DIFICULTADES DE TEMS FUNCIN DE INFORMACIN DE LA PRUEBA VALOR DE DIFICULTAD DE TEMS POR PAS VALOR DE AJUSTE DE TEMS POR PAS VALOR DE DISCRIMINACIN DE TEMS POR PAS PORCENTAJE DE RESPUESTAS CORRECTAS DE CADA TEM POR PAS V.2.3. tems de Lectura 6 Depuracin de la informacin recibida Anlisis de datos INDICADORES POR TEM INDICADORES POR OPCIN
139
140 153 153 153 156 156 170 189 191 192 193 199 205 211 217 217 217 220 220 224 236 238 239 240 246 252 258 264 264 267 267 273
MAPA DE DISTRIBUCIN DE HABILIDADES Y DIFICULTADES PROMEDIO, DESVIACIN ESTNDAR Y VALORES MXIMO Y MNIMO DE DIFICULTADES DE TEMS FUNCIN DE INFORMACIN DE LA PRUEBA VALOR DE DIFICULTAD DE TEMS POR PAS VALOR DE AJUSTE DE TEMS POR PAS VALOR DE DISCRIMINACIN DE TEMS POR PAS PROPORCIN DE RESPUESTAS CORRECTAS DE CADA TEM POR PAS V.2.4. tems de Matemtica 3 Resultados sobresalientes Depuracin de la informacin recibida Anlisis de datos INDICADORES POR TEM INDICADORES POR OPCIN MAPA DE DISTRIBUCIN DE HABILIDADES Y DIFICULTADES PROMEDIO, DESVIACIN ESTNDAR Y VALORES MXIMO Y MNIMO DE DIFICULTADES DE TEMS FUNCIN DE INFORMACIN DE LA PRUEBA VALOR DE DIFICULTAD DE TEMS POR PAS VALOR DE AJUSTE DE TEMS POR PAS VALOR DE DISCRIMINACIN DE TEMS POR PAS PROPORCIN DE RESPUESTAS CORRECTAS DE CADA TEM POR PAS V.2.5. tems de Matemtica 6 Resultados sobresalientes Depuracin de la informacin recibida INDICADORES POR OPCIN MAPA DE DISTRIBUCIN DE HABILIDADES Y DIFICULTADES PROMEDIO, DESVIACIN ESTNDAR Y VALORES MXIMO Y MNIMO DE DIFICULTADES DE TEMS FUNCIN DE INFORMACIN DE LA PRUEBA VALOR DE DIFICULTAD DE TEMS POR PAS VALOR DE AJUSTE DE TEMS POR PAS VALOR DE DISCRIMINACIN DE TEMS POR PAS PROPORCIN DE RESPUESTAS CORRECTAS DE CADA TEM POR PAS V.3. CONSTRUCCIN DE ESCALAS DE HABILIDADES Y NIVELES DE DESEMPEO V.3.1. Fundamentacin terica del modelo Las teoras de medicin La teora de respuesta al tem (TRI) Parmetros y modelos en la TRI Modelo de dos parmetros Modelo de tres parmetros Modelo de Rasch
291 293 294 295 301 307 313 319 319 320 323 323 327 342 344 345 346 352 358 364 370 370 371 380 398 400 401 402 408 414 420 426 427 428 429 430 431 432
Modelo utilizadO para el procesamiento del estudio principal V.3.2. Depuracin de bases de datos para el anlisis de tems Por informacin insuficiente Por preguntas no alcanzadas Por desajuste de los estudiantes evaluados V.3.3. Verificacin de los supuestos del modelo V.3.4. Indicadores estadsticos para el anlisis de tems Indicadores de categora uno Ajuste prximo y lejano (Infit y Outfit) Funcionamiento diferencial de tems DIF Indicadores de categora dos Dificultad Discriminacin Correlacin producto momento punto medida Curva caracterstica del tem CCI Promedio de habilidad por opcin Correlaciones inter-tem Error estndar de medicin Mapa de distribucin de habilidades y dificultades Indicadores estadsticos para anlisis de grupos de tems Promedio Desviacin estndar Puntuacin mxima y mnima Funcin de informacin V.3.5. Depuracin de bases de datos para generacin de escalas de calificacin Depuracin previa al procesamiento para anlisis de tems Por informacin insuficiente Por preguntas no alcanzadas Por asistencia parcial Depuracin posterior al procesamiento para anlisis de tems Por desajuste de los estudiantes evaluados Por anlisis de tem V.4. Escalas de calificacin Puntuacin total en la prueba Nivel de desempeo Desempeo relativo por categoras de la estructura de la prueba V.4.1. Niveles de desempeo CIENCIAS GRADO 6 REPORTE NIVELES NIVELES DE LECTURA V.4.2. Software para procesamiento V.5. CONSTRUCCIN Y VALIDACIN DE LOS NDICES UTILIZADOS PARA EL ESTUDIO DE FACTORES ASOCIADOS
433 434 434 434 434 435 435 436 436 437 437 437 438 438 439 439 440 440 441 441 441 442 442 442 443 443 443 443 443 443 443 443 444 444 444 444 445 448 449 451 452 452
ANEXO 5 Aspectos metodolgicos INDICADORES ESTADSTICOS DE LOS NDICES INDICADORES ESTADSTICOS DE LOS TEMS DE LOS NDICES Discriminacin
468 469 470 471
ANEXO
MANUALES E INSTRUCTIVOS
A. Tablas Tabla 1.1. Tasa de participacin de escuelas Tabla 1.2. Tasa de participacin de estudiantes, tercer grado Tabla 1.3. Tasa de participacin de estudiantes, sexto grado Tabla 4.1. Nivel de correspondencia para items de respuesta abierta de tercer y sexto grado Tabla 4.2. ndice Kappa para items de matemticas de tercer y sexto grado B. Resumen internacional I.Caractersticas del muestreo II.Aplicacin III.Calificacin de items de respuesta abierta C. Resmenes nacionales Argentina Brasil CHILE COLOMBIA COSTA RICA CUBA ECUADOR EL SALVADOR GUATEMALA MXICO NICARAGUA NUEVO LEN, MXICO PANAM PARAGUAY PER REPBLICA DOMINICANA URUGUAY TRADUCCIN DE TEXTOS DE GRFICOS INEDITABLES D. Criterios y Procedimientos para el Aseguramiento de la Calidad en el SERCE SUMARIO INTRODUCCIN PARTE I
484
485 485 486 487 488 489 491 491 491 493 494 494 497 500 503 506 409 512 515 518 521 524 527 530 533 536 539 542 545 546 546 546 546
ASEGURAMIENTO DE LA CALIDAD EN LA PRODUCCIN DE INSTRUMENTOS Y RESULTADOS PARTE II ASEGURAMIENTO DE LA CALIDAD EN LA IMPLEMENTACIN DEL ESTUDIO EN LOS PASES INTRODUCCIN El documento tiene varios propsitos. PARTE I. ASEGURAMIENTO DE LA CALIDAD EN LA PRODUCCIN DE INSTRUMENTOS Y RESULTADOS Criterio I.1. - INSTRUMENTOS DE MEDICIN - PRUEBAS Criterio I.2. INSTRUMENTOS DE MEDICIN - CUESTIONARIOS Criterio I.3. - DISEO MUESTRAL Criterio I.4. - PROCEDIMIENTOS DE APLICACIN ESTANDARIZADOS Criterio I.5. - PROCESAMIENTO Y ANLISIS DE LA INFORMACIN Criterio I.6. - REPORTES DE RESULTADOS Criterio I.7. ACCESO A LAS BASES DE DATOS PARTE II ASEGURAMIENTO DE LA CALIDAD EN LA IMPLEMENTACIN DEL ESTUDIO EN LOS PASES Criterio II.1. - EQUIPO DE TRABAJO Criterio II.2. - PARTICIPACIN EN LA APLICACIN PILOTO Criterio II.3. - APLICACIN DE LAS PRUEBAS SERCE Criterio II.4. - SUPERVISIN EXTERNA DE LA APLICACIN DEFINITIVA Criterio II.5. - CUMPLIMIENTO DE PLAZOS Y CRONOGRAMAS Criterio II.6. - ELABORACIN DEL MARCO MUESTRAL NACIONAL Criterio II.7. - COBERTURA A LOGRAR EN LA APLICACIN DEFINITIVA Criterio II.8. - CODIFICACIN DE PREGUNTAS DE RESPUESTA ABIERTA Criterio II.9. - CAPTURA DE DATOS Y CONFORMACIN DE BASES DE DATOS Criterio II.10. - CONFIDENCIALIDAD DE LOS INSTRUMENTOS Criterio II.11. - CONFIDENCIALIDAD DE LOS RESULTADOS PROVISORIOS Criterio II.12. - TRANSPARENCIA EN LA DIVULGACIN DE RESULTADOS
546
547 548 548
551 551 553 555 557 558 559 560
562 562 564 566 568 570 572 574 576 578 580 582 583
CAPTULO
ste apartado describe la metodologa utilizada en el diseo y elaboracin de los instrumentos empleados en el SERCE, as como el procedimiento seguido para analizar y aprobar las adaptaciones estructurales y lingsticas especficas requeridas por los pases participantes y para realizar la respectiva traduccin del espaol al portugus, con miras a producir la versin aplicada en Brasil. Los instrumentos se conforman, por una parte, con las pruebas de desempeo acadmico, y por otra parte, con los cuestionarios de factores asociados. Las actividades realizadas (cuadro I.1) para poder elaborar cada uno de los instrumentos comprendieron, desde el anlisis curricular de la regin y la revisin del estado del arte en cada campo, hasta las adaptaciones especficas de las versiones nacionales.
Cuadro I.1. Cronograma de la construccin de los instrumentos

Actividades
1. Elaboracin del anlisis curricular de la regin. 2. Elaboracin de documentos sobre habilidades para la vida. 3. Elaboracin de los items para las pruebas. Recepcin de propuestas de items de los pases. Seleccin de items propuestos por los pases. Construccin de items nuevos por parte de expertos. 4. Consulta a los pases sobre pertinencia curricular de los items y ensamble de bloques y cuadernillos para la aplicacin piloto. 5. Elaboracin de los items para los cuestionarios. 6. Adaptacin lingstica de pruebas y cuestionarios en castellano, atendiendo re querimientos de los pases, y traduccin al portugus. 7. Aplicacin piloto de pruebas y cuestionarios. 8. Anlisis conceptual y estadstico de items, estructuracin de la prueba para la aplicacin definitiva y ensamble de bloques y cuadernillos. Periodo Feb Nov 2004 Feb Mar 2005
Mar Abr 2005
Abr 2005
Abr May 2005
May Dic 2005
Jun Dic 2005
Mar 2006
9. Anlisis conceptual y ajuste de cuestionarios para la aplicacin definitiva. 10. Adaptaciones lingsticas y estructurales de las versiones nacionales para aplicacin definitiva.
May Jun 2006
Abr Oct 2006
CAPTULO 1
13
I.1. DISEO DE LAS PRUEBAS DE DESEMPEO

eniendo en consideracin las reas y grados definidos para ser evaluados, as como las recomendaciones emanadas de la primera reunin del Comit Tcnico Consultivo (UNESCO, 2004a), se disearon siete pruebas en total: tres de ellas dirigidas a evaluar los desempeos de los estudiantes de tercer grado en lectura, matemtica y escritura; y otras cuatro pruebas encaminadas a evaluar el desempeo de los estudiantes de sexto grado en los mismos campos de lectura, matemtica y escritura, ms el de ciencias naturales. Enseguida se presenta el marco conceptual, el alcance y el formato de las pruebas y los principales elementos derivados de la aplicacin piloto que permitieron afinar las versiones definitivas.
I.1.1. MARCO CONCEPTUAL

El SERCE fue definido como un estudio de base curricular, teniendo en consideracin slo los elementos comunes en la regin, y con el enfoque de habilidades para la vida declarado por UNESCO. La atencin de esta definicin implic la elaboracin de un anlisis curricular de la educacin bsica ofrecida en los pases participantes y la conformacin de paneles de expertos por cada rea disciplinar evaluada, quienes fueron responsables de disear y conformar las pruebas, a partir de los items propuestos por los mismos pases.
ANLISIS CURRICULAR
Como un aporte al LLECE, el Instituto Colombiano para el Fomento de la Educacin Superior (ICFES) dispuso y coordin un equipo de expertos en cada una de las reas previstas para la evaluacin: lenguaje, matemtica y ciencias. Cada rea cont con cuatro especialistas expertos en los fundamentos conceptuales y la pedagoga del rea y en proyectos de evaluacin a gran escala. Adicionalmente, se constituy un equipo trasversal sociopedaggico que brind su apoyo y particip en las discusiones semanales de los equipos de rea y se cont tambin con el concurso de dos lectores crticos que revisaron cada uno de los textos generados y sugirieron los ajustes pertinentes en el documento final. El trabajo se realiz durante cerca de nueve meses en los que se solicit a los pases latinoamericanos que remitieran material curricular relevante, en particular: los diseos o estructuras curriculares nacionales, los materiales dirigidos a estudiantes de los grados a evaluar (tercero y sexto) en las reas previstas (lenguaje, matemtica y ciencias) y las pruebas utilizadas en operativos nacionales de evaluacin. Adicionalmente se solicit informacin sobre la legislacin y normativa que rige aspectos de poltica curricular en cada pas. En algunos casos no fue posible obtener todo el material mencionado, en especial fue difcil acceder a las pruebas nacionales debido a las polticas de confidencialidad de los pases; sin embargo, se logr acopiar cantidad suficiente de documentacin.
14
REPORTE TCNICO
Cuadro I.1.1.1. Enfoques identificados en el anlisis curricular

Dimensin
Lenguaje1
rea Matemtica
Ciencias
Disciplinar
Lingstico textual. Gramatical prescriptivo.
Con nfasis en el aspecto formativo Con nfasis en las estrucde la matemtica. turas conceptuales de las ciencias. Con nfasis en la importancia de la educacin matemtica en la Descriptivo de las ciencias y sociedad. de las leyes que lo rigen. Pragmtico. Pragmtico.
Pedaggica
Activo constructivista. Interactivo constructivista. Instruccional directivo.

Con nfasis en la indagacin de habilidades y destrezas. Con nfasis en contenidos. Con nfasis en habilidades. A partir de estndares, logros acadmicos, competencias o desempeos.
Activo constructivista. Instruccional directivo.
Con nfasis en destrezas y conteniCon nfasis en contenidos y dos prescritos. habilidades prescritos. Orientado hacia la evaluacin de Con nfasis en el uso del competencias bsicas que se exconocimiento para la resoplicitan en indicadores generales o lucin de problemas noveen diseos de grado. dosos. Enfoque que orienta explcitamente estndares de logro acadmico o desempeos.
Lenguaje1
Evaluativa
El anlisis curricular ofrece una panormica del currculo de la regin latinoamericana basada en la revisin de la documentacin proveniente de Argentina, Bolivia, Brasil, Chile, Colombia, Costa Rica, Cuba, Ecuador, El Salvador, Honduras, Mxico, Nicaragua, Paraguay, Per, Repblica Dominicana, Uruguay y Venezuela2. Para explorar el enfoque prevaleciente en los pases cuya documentacin fue recibida y estudiada, en cada rea evaluada (Bogoya, 2005), el anlisis consider tres dimensiones a manera de perspectivas: la disciplinar; la pedaggica; y la evaluativa (cuadro I.1.1.1).
1 El anlisis curricular se hizo para el rea de lenguaje y comunicacin que incluye lectura,literatura y otros lenguajes; sin embargo, el cuadro nicamente recoge las subcategoras consideradas para el primero de estos aspectos. 2 Guatemala y Panam no fueron parte de este anlisis pero participaron en el estudio asumiendo el anlisis regional hecho sobre la base de la informacin recolectada en los dems pases.
CAPTULO 1
15
Habilidades para la vida
a definicin de las pruebas tuvo en consideracin el concepto de life skills que apareci como respuesta a la necesidad de incluir en el currculo escolar elementos que fomentaran el desarrollo personal de los estudiantes, ayudarlos a desarrollar su potencial y lograr una vida privada, profesional y social plena. Adems, que pudieran ayudar a los estudiantes a hacer frente a riesgos, a tomar decisiones en situaciones de emergencia y a desarrollar estrategias de supervivencia. El concepto suele referirse tambin como competencias especficas, en el sentido de capacidades (saberes, habilidades/aptitudes, valores, actitudes y comportamientos) necesarias para enfrentar distintos tipos de contextos y problemas de la vida cotidiana, privada, social y profesional, as como situaciones excepcionales, de manera exitosa (Atorresi, 2005; Bronzina, 2005; Macedo, 2005). Las competencias pueden asociarse con habilidades vinculadas al desempeo que surge en forma autnoma y genuina, al conocimiento en accin y que puede aplicarse en contextos especficos, al saber que conjuga un saber hacer con sentido y saber explicar aquello que se hace y por qu se hace. La construccin y el desarrollo de competencias suponen una articulacin entre la apropiacin conciente del saber y el desarrollo de habilidades cognitivas. Es necesario entonces, en esta perspectiva, ir ms all de los conocimientos entendidos como acumulacin de informacin o definicin rgida de conceptos, para entrar en el desarrollo de procedimientos intelectuales que permitan operar sobre el conocimiento, aplicarlo en situaciones que aparecen por primera vez y producir nuevos conocimientos (Bogoya, 2000; Braslavsky, 2001). Las estrategias educativas que procuran formar con el enfoque de las habilidades para la vida constituyen una importante metodologa para promover la insercin a la sociedad de los jvenes como ciudadanos activos. Es por esto que en las agendas educativas de todos los currculos debe promoverse el desarrollo de las habilidades mencionadas para que los aprendizajes se transformen en capacidad para tomar decisiones, resolver problemas novedosos, pensar creativa y crticamente, comunicarse con eficiencia, y establecer y mantener relaciones interpersonales.
16
REPORTE TCNICO
ESPECIFICACIONES DE LAS PRUEBAS

Como conclusin del anlisis curricular se lleg a una primera versin de las especificaciones de las pruebas que sirvieron como base para el diseo de los instrumentos. Dichas especificaciones definen los dominios conceptuales y los desempeos previstos para cada rea, as como la proporcin de items para cada caso. Con posterioridad a la publicacin de este anlisis curricular, se acogi la recomendacin del Comit Tcnico Consultivo de emplear el trmino proceso en vez de desempeo. Adicionalmente, las especificaciones derivadas del anlisis curricular fueron revisadas por los paneles de expertos responsables de la construccin de los instrumentos y ajustadas para vincular el enfoque de habilidades para la vida y las observaciones de los coordinadores nacionales. La modificacin ms importante tuvo lugar en el rea de lenguaje en donde la prueba se separ en dos: una de escritura y otra de lectura. Por otra parte, se suprimi el proceso de lectura crtico intertextual y se desagreg el de lectura inferencial en dos procesos: inferencial simple e inferencial complejo. Tambin en ciencias se produjo una modificacin importante: uno de los cuatro dominios conceptuales definidos en el anlisis curricular ciencia, tecnologa y sociedad fue valorado por el panel de expertos como un dominio transversal, presente en los otros tres dominios, y por tanto retirado de la malla de especificaciones (cuadro I.1.1.2).
Cuadro I.1.1.2. Dominios y procesos evaluados en las pruebas Dominio conceptual Lectura Lectura de prrafos y textos. Lectura de enunciados y palabras. Nmeros. Geometra. Medicin. Estadstica. Variacional. Seres vivos y salud. Tierra y ambiente. Materia y energa. Procesos Literal. Inferencial simple. Inferencial complejo. Reconocimiento de objetos y elementos. Solucin de problemas simples. Solucin de problemas complejos. Reconocimiento de conceptos. Aplicacin de conceptos e interpretacin. Solucin de problemas.
Matemtica
Ciencias
CAPTULO 1
17
FORMATO DE LAS PRUEBAS

En todos los casos las pruebas son de lpiz y papel, mientras que los formatos de los items varan dependiendo del rea evaluada. En las dos pruebas de lectura, una para tercero y la otra para sexto grado, todos los items son cerrados, es decir, estn estructurados con un enunciado y cuatro opciones de respuesta con una nica opcin correcta, y estn asociados a textos que se presentan en el transcurso del instrumento. Tras cada texto se plantean entre dos y cinco items, que el estudiante evaluado debe responder, luego de leer el texto correspondiente, seleccionando la opcin que considere correcta entre las cuatro posibles que se ofrecen. En las dos pruebas de matemtica, una para tercero y la otra para sexto grado, y en la prueba de ciencias para sexto grado, se utilizaron items abiertos, en los que el estudiante tiene que producir su propia respuesta, y tambin items cerrados con un enunciado y cuatro opciones de respuesta con una nica opcin correcta. Finalmente, en las dos pruebas de escritura, una para tercero y la otra para sexto grado, se pidi al estudiante producir un texto escrito, primero en borrador y luego en limpio, siguiendo una determinada consigna (cuadro I.1.1.3).
Cuadro I.1.1.3. Nmero de items por prueba Grado rea Lectura Tercero Matemtica Escritura Lectura Sexto Matemtica Ciencias Escritura Nmero de Items3 Cerrados 66 66 0 96 87 84 0 Abiertos 0 6 2 0 9 6 2 Total 66 72 2 96 96 90 2
Nmero de items3
3 Los items que finalmente conformaron la prueba fueron seleccionados despus de la aplicacin piloto, en donde se puso a prueba una cantidad mayor de ellos. Los criterios de seleccin combinaron los requerimientos de las especificaciones de las pruebas y el valor de los parmetros estadsticos resultantes luego de la aplicacin piloto.
18
REPORTE TCNICO
La cantidad de items por prueba, a excepcin de la de escritura, flucta entre 66 y 96 por rea y grado. Se estim que los estudiantes pueden ser evaluados en sesiones de no ms de 60 minutos de duracin, para minimizar el riesgo de cansancio o distraccin, por lo que fue necesario optar por un diseo de evaluacin que permitiera dividir la prueba en cuadernillos de menor extensin y que asegurara que la mayora de estudiantes tuviera oportunidad de responder a todos los items propuestos en el cuadernillo, dentro del tiempo de duracin de cada sesin. Por otra parte, la teora de respuesta al tem (modelo empleado para el escalamiento de las pruebas) presenta la ventaja, entre otras, de permitir la estimacin del desempeo de cada estudiante frente a toda la prueba, a partir de la ejecucin real en slo un subconjunto de items. Para asegurar que todos los estudiantes evaluados respondieran una muestra semejante de items, en trminos de los dominios conceptuales, los procesos evaluados y su nivel de dificultad, se opt por un modelo de bloques incompletos balanceados. Cada prueba de lectura, matemtica y ciencias se dividi en 6 bloques (B1, B2, B3, B4, B5 y B6), cada uno con un determinado nmero de items cerrados y abiertos (cuadro I.1.1.4).
Cuadro I.1.1.4. Distribucin de items por prueba, segn bloque, rea y grado Nmero de Items abiertos 0 Nmero Total de items 11 12
Grado
rea Lectura
Nmero de Items cerrados 11, en todos los bloques.
Tercero Matemtica
10, en bloques B2, B4 y B6. 2, en bloques B2, B4 y B6. 12, en bloques B1, B3 y B5. 16, en todos los bloques. 0
Lectura
16
Matemtica Sexto
13, en bloques B2, B4 y B6. 3, en bloques B1, B3 y B5. 16, en bloques B1, B3 y B5.
16
Ciencias
14, en todos los bloques.
1, en todos los bloques.
15
CAPTULO 1
19
Establecidos los seis bloques, se definieron seis cuadernillos (C1, C2, C3, C4, C5 y C6) que fueron ensamblados cada uno con dos de los seis bloques referidos, siguiendo una estructura en espiral (cuadro I.1.1.5), para las pruebas de lectura, matemtica y ciencias. Este diseo presenta la ventaja de conectar todos los bloques entre s y asegura que en cada grupo de seis cuadernillos consecutivos, de C1 a C6, cada bloque aparece dos veces, una en la primera posicin y otra en la segunda posicin, lo que luego permite estimar, entre otros, el efecto de la posicin del bloque en el cuadernillo.
Cuadro I.1.1.5. Estructura de cuadernillos para lectura, matemtica y ciencias
Cuadernillo
Bloque en primera posicin
Bloque en segunda posicin
C1 C2 C3 C4 C5 C6
B1 B3 B5 B2 B4 B6
B2 B4 B6 B3 B5 B1
Para el caso de la prueba de escritura, se disearon dos cuadernillos por grado, cada uno con un solo item abierto de respuesta extensa, requiriendo un texto relativo a una consigna especfica que implic la elaboracin de un borrador que luego se pas a limpio.
20
REPORTE TCNICO
ELABORACIN DE LOS ITEMS

anto el anlisis curricular como los documentos de habilidades para la vida, fueron circulados entre los pases participantes, en cada una de sus versiones durante la respectiva elaboracin, con el fin de socializar el alcance del anlisis, precisar conceptos y recibir aportes que permitieron afinar los textos definitivos. As mismo, los equipos tcnicos de los pases prepararon y remitieron al LLECE numerosos items ajustados a las especificaciones originales planteadas en el anlisis curricular. Sobre la base de estos aportes, cada panel de expertos de rea dispuesto por UNESCO seleccion aquellos items que fueron empleados en las pruebas y elabor items nuevos para cumplir con las especificaciones previstas. Si bien los paneles de expertos fueron coordinados y constituidos por especialistas o consultores de UNESCO, algunos de sus miembros fueron invitados de los equipos tcnicos de los propios pases participantes. De esta forma, se trat de una actividad que tambin cont con el aporte de las coordinaciones nacionales del LLECE.
lectura y otra de escritura, para cada grado (UNESCO, 2004b). En la XVI Reunin de Coordinadores Nacionales, celebrada en Managua en marzo de 2005, se present una segunda versin de las pruebas. Los pases contaron con tres semanas para enviar sus comentarios en una grilla de consulta que facilitaba su anlisis. En dicha reunin se acord que tomando como referencia el anlisis curricular del estudio, se requera que por lo menos el 70% de los pases deba objetar un determinado tem para proceder a suprimirlo (UNESCO, 2005a). En abril de 2005 se organizaron reuniones de los paneles de expertos que estudiaron las grillas de consulta y anlisis de los pases con las objeciones a los items. Los items cuestionados fueron retirados o modificados.
ADAPTACIN LINGSTICA Y TRADUCCIN AL PORTUGUS

Constituidos los cuadernillos con los items aprobados conceptualmente por los pases, se procedi a la diagramacin de una versin estndar que fue enviada a los coordinadores nacionales junto con una planilla en la que indicaron el cdigo de tem, la solicitud de adaptacin y la justificacin de la misma, en caso de alguna objecin a esta versin. Las solicitudes fueron consideradas por la coordinacin tcnica del estudio teniendo como criterio no alterar la dificultad de los items ni el domino conceptual, los procesos o la estructura de los mismos. Las solicitudes no aprobadas fueron explicadas y seguidas con una posibilidad de rplica por parte del pas solicitante, que siempre tuvo la oportunidad de ampliar su argumentacin. Cada rea tuvo su particularidad, por ejemplo, para el caso de lectura y escritura se intent emplear, en la medida de lo posible, castellano estndar para efectos de minimizar la cantidad de pedidos de adaptacin.
PERTINENCIA DE LOS ITEMS

En el marco del proceso de construccin de los instrumentos se dieron sucesivas consultas con los pases participantes del estudio, respecto de la calidad y pertinencia curricular de cada uno de los items propuestos. En la XV Reunin de Coordinadores Nacionales, celebrada en la Habana en octubre de 2004, se present una primera propuesta de diseo de las pruebas. En dicha reunin los pases acordaron modificar los items de produccin escrita y separarlos de la prueba de lenguaje, de forma tal que resultaron dos pruebas: una de
CAPTULO 1
21
En matemtica, las adaptaciones principales estuvieron en los sistemas de nomenclatura para los smbolos matemticos y las formas de separacin de los nmeros (por ejemplo, algunos pases de la regin usan la coma y otros el punto, para expresar cifras decimales). Aprobados los cambios a cada pas, se diagram una versin nacional de manera centralizada. En el caso de las pruebas en portugus, que fueron aplicadas en Brasil, se realiz un proceso de doble traduccin: las pruebas originales (en versin estndar en castellano) fueron primero traducidas al portugus y luego, desde el portugus al castellano.
la que se aproximaron al estudio, en especial al marco conceptual expresado en el anlisis curricular y los documentos de habilidades para la vida, y a las caractersticas de las pruebas y sus items. En la segunda traduccin, las versiones resultantes de la primera traduccin al portugus fueron de nuevo traducidas al castellano por una experta en ambas lenguas. Esta experta no tuvo conocimiento previo de las pruebas y su lengua materna era el castellano.
Despus, la versin original en castellano y la versin resultante de la traduccin de portugus a castellano fueron comparadas y validadas, antes de aprobar las pruebas en portugus. La primera traduccin, de castellano a portugus, estuvo coordinada por el Instituto Nacional de Estudos e Pesquisas Educacionais- Ansio Teixeira (INEP) del Ministerio de Educacin de Brasil y por la Secretara Estadual de Educacin de Goias. Para este propsito se constituy un equipo de especialistas con experiencia en la enseanza de las disciplinas o en las reas especficas. El equipo se conform con tres especialistas en lengua portuguesa, tres especialistas en matemtica y dos especialistas en ciencias naturales, ms un especialista en lengua portuguesa y espaola. Los requisitos mnimos para formar parte de este equipo fueron ser brasileo de nacimiento, haber hecho la escolaridad completa en Brasil y tener un amplio dominio de la lengua espaola. Todo el trabajo fue coordinado por una especialista en medicin que particip en los paneles de expertos realizados para la definicin final de los items utilizados en la aplicacin piloto. Los traductores recibieron una capacitacin previa en
Finalmente, se contrastaron la versin original en castellano y la versin proveniente de la segunda traduccin y se identificaron posibles discrepancias semnticas, en cuyo caso se revisaron las traducciones al portugus. Este ltimo anlisis fue realizado por la coordinadora de las pruebas del rea en conjunto con la experta que supervis el proceso de traduccin en Brasil.
22
REPORTE TCNICO
I.1.2. DISEO DE LAS PRUEBAS EN LA FASE PILOTO

Para la aplicacin piloto se utiliz un nmero de items mayor que el nmero especificado para las pruebas, en las reas de lectura, escritura y matemtica, con el fin de poder seleccionar entre estos items los que arrojaron los mejores indicadores estadsticos, con destino a las pruebas definitivas. Para este efecto, se construyeron dos bloques y dos cuadernillos ms que los previstos en el diseo y adicionalmente se colocaron ms items en cada uno de los bloques (cuadro I.1.2.1). En el caso de la prueba de ciencias, que slo se dise para el grado sexto, no fue posible alcanzar una produccin de items mayor que la prevista, debido a que los items presentados en la XVI Reunin de Coordinadores Nacionales (UNESCO, 2005a) fueron objetados en su mayora, lo cual oblig a emplear el tiempo disponible, entre la fecha de esta reunin y la de iniciacin de la aplicacin piloto, en apenas construir los nuevos items que permitieron reemplazar aquellos objetados.
Cuadro I.1.2.1. Composicin de las pruebas utilizadas en la aplicacin piloto Nmero de Nmero de items items cerrados abiertos 104 104 0 120 120 83 0 0 8 4 0 12 7 4 Nmero total de items 104 112 4 120 132 90 4 Nmero de bloques 8 8 4 8 8 6 4 Nmero de cuadernillos 8 8 4 8 8 6 4
Grado
rea
Lectura Tercero Matemtica Escritura Lectura Sexto Matemtica Ciencias Escritura
CAPTULO 1
23
Las pruebas fueron aplicadas en el operativo piloto implementado en los pases participantes4, con la direccin y control del respectivo coordinador nacional y sus equipos de trabajo, siguiendo las pautas indicadas en el Manual del Coordinador Nacional para la aplicacin piloto (UNESCO, 2005b). Las muestras nacionales de la aplicacin piloto fueron suficientemente grandes y diversas para valorar las propiedades estadsticas de los items y de la prueba en su conjunto. As mismo, en el operativo se incorporaron formularios que permitieron recoger informacin sobre el funcionamiento de las pruebas en campo, en trminos de comprensin de instrucciones, adecuacin de los plazos y tiempos preestablecidos, entre otros aspectos operativos que fueron puestos a prueba. Las pruebas fueron administradas por examinadores externos a las escuelas, siguiendo las indicaciones proporcionadas por el Manual del Aplicador para la aplicacin piloto (UNESCO, 2005c), donde se indican todos los procedimientos y se incluyen las instrucciones que debieron darse a los estudiantes. Los directores de las escuelas tambin recibieron el Manual del Coordinador de Centro Educativo para la aplicacin piloto ((UNESCO, 2005d), con las instrucciones correspondientes que fueron observadas durante la administracin de las pruebas. Entre los procedimientos establecidos, se asegur la alternancia de cuadernillos en todas las aulas evaluadas, de forma tal que se consiguieron similares cantidades de cuadernillos respondidos de cada tipo, en las aulas, escuelas y pases participantes.
4 La aplicacin piloto se realiz en todos los pases, con excepcin de Ecuador. En el caso de Brasil, la muestra piloto fue representativa nicamente del Estado de Gois.
24
REPORTE TCNICO
I.1.3. DISEO DE LAS PRUEBAS DEFINITIVAS

Una vez consolidada la informacin proveniente de la aplicacin piloto, se procesaron estos datos de acuerdo con el modelo de Rasch, siguiendo la metodologa concertada entre los pases participantes, que se encuentra documentada en el Manual de Procesamiento para el anlisis de items de la aplicacin piloto (UNESCO, 2005e). Luego del procesamiento de los datos5, se organizaron reuniones de los paneles de expertos de rea para el estudio respectivo de los indicadores estadsticos encontrados, la seleccin de los items de mejor desempeo y que cumplieron con las especificaciones previstas en el diseo, y el ensamble de bloques y cuadernillos para las pruebas definitivas. Los objetivos de estos talleres fueron principalmente dos: primero, a la luz de los resultados de la aplicacin piloto, definir los items, bloques y cuadernillos que conformaron las pruebas definitivas de lectura, matemtica y escritura para tercer grado y en las mismas reas ms ciencias para sexto grado; y segundo, ajustar los manuales de codificacin de la respuesta abierta de las pruebas de matemtica y ciencias, considerando los resultados de la aplicacin y la consistencia entre correctores y supervisores. Adicionalmente, el panel de lenguaje tuvo como objetivo valorar el nivel de consistencia de la correccin de la escritura, considerando las dificultades surgidas de la amplitud de criterios a valorar y la poca experiencia en la regin sobre evaluaciones de este tipo a gran escala. En cada reunin participaron por lo menos dos especialistas del rea, un especialista en evaluacin y uno en psicometra. Las principales actividades realizadas en el marco de estas reuniones se indican a continuacin.
PRESENTACIN DEL MODELO DE ANLISIS

Esta labor estuvo a cargo del especialista en psicometra y consisti en la explicacin a los expertos de rea del significado de cada uno de los indicadores estadsticos que arroja el procesamiento de los datos, utilizando el programa Winsteps, as como los criterios de aceptacin o rechazo de un determinado tem, desde la perspectiva estadstica (cuadro I.1.3.1). En el caso de las pruebas de matemtica y de ciencias, se incorporaron en el anlisis los items abiertos con la metodologa de crdito parcial y se dispuso un anlisis adicional al colapsar crditos distintos en una sola categora. Tambin se suministr la frecuencia de casos en cada cdigo establecido, considerando tanto el crdito otorgado como el proceso identificado por el codificador respectivo.
En el procesamiento los datos no se consideraron los de Costa Rica, debido a que este pas no remiti las bases de datos dentro del plazo establecido.
CAPTULO 1
25
Cuadro I.1.3.1. Indicadores para el anlisis de items Indicador6 Discriminacin (DISCRIM) Correlacin punto-medida (PTMEA) Ajuste prximo (INFIT) Ajuste lejano (OUTFIT) Promedio de habilidad por opcin Funcionamiento diferencial (DIF) Criterio de aceptacin Mayor o igual que 0,70 Mayor o igual que 0,25 Mayor o igual que 0,80 y menor o igual que 1,20 Mayor o igual que 0,80 y menor o igual que 1,20 Mayor para la clave que para las dems opciones Menor o igual que 1,96
indicador 6
ITEMS ANMALOS
A partir de los informes nacionales y del informe internacional de anlisis de items (UNESCO, 2006a), donde se reportaron los valores estimados para cada indicador, tem a tem, se identificaron aquellos items cuyos indicadores no satisficieron algunos de los criterios establecidos. Adicionalmente, se analizaron de nuevo todos los items y los respectivos informes de aplicacin provenientes de los pases, donde se incluyeron observaciones derivadas de las preguntas formuladas por los estudiantes al momento de responder los cuadernillos, con el fin de verificar el cabal cumplimiento de las especificaciones conceptuales de las pruebas.
6 Los trminos entre parntesis indican la denominacin empleada por el programa Winsteps (utilizado para el procesamiento de los datos) y que se utiliza en los reportes de anlisis de items.
26
REPORTE TCNICO
ENSAMBLE DE LAS PRUEBAS DEFINITIVAS
ceptual y el proceso que evala, la opcin que opera como clave o respuesta correcta y los parmetros estadsticos estimados con base en los resultados de la aplicacin piloto. Luego, se verific la distribucin de los items entre cada uno de los bloques previstos en el diseo, procurando cubrir el espectro ms amplio posible de dificultades y evitando redundancias o conglomerados demasiado densos en algn punto de la escala. En seguida, se procedi a ensamblar cada uno de los cuadernillos de las pruebas definitivas, siguiendo el diseo establecido. Por otra parte, tambin fue necesario revisar y ajustar los criterios de codificacin de las preguntas abiertas de matemtica y ciencias que se siguieron en la aplicacin piloto, segn los resultados del anlisis de la consistencia observada en la correccin, la tasa de coincidencias entre correctores y supervisores, el ndice de Kappa estimado y cuyo valor debi ser mayor que 0,60 y el juicio integral de los expertos del rea. Los procedimientos de codificacin debidamente ajustados constituyeron los manuales respectivos para la aplicacin definitiva (UNESCO, 2006b; UNESCO, 2006c). Es importante sealar que durante el proceso de conformacin de las pruebas definitivas, se atendieron las recomendaciones surgidas en la segunda reunin del Comit Tcnico Consultivo (UNESCO, 2006d), sobre todo en el sentido de mantener la estructura, el enunciado y las opciones de todos los items, en forma idntica a como fueron utilizados en la aplicacin piloto, con el fin de asegurar la estabilidad en el valor y la estructura de sus indicadores estadsticos. En el caso de la prueba de ciencias, sin embargo, debido a que no se contaba con items adicionales a los previstos en el diseo, fue necesario introducir modificaciones sustanciales en seis items, una modificacin leve en un tem e introducir un tem completamente nuevo en reemplazo de uno eliminado, siempre a juicio del respectivo panel de expertos.
na vez retirados los items anmalos, bien por razones conceptuales o estadsticas, se procedi a conformar cada una de las pruebas definitivas. Para ello se seleccionaron los items cerrados que arrojaron los mejores indicadores estadsticos y que cumplieron con las especificaciones previstas en el diseo, en trminos de dominios conceptuales y procesos, derivadas del anlisis curricular. Igualmente se seleccionaron los items abiertos para incluir en las pruebas definitivas de matemtica y ciencias, con base en criterios similares a los considerados en el caso de los items cerrados. En las pruebas de matemtica y de ciencias, se procur la conservacin de los bloques tal como fueron elaborados para la aplicacin piloto, en la medida de lo posible, pero se ajust el nmero de items por bloque. En las pruebas de lectura, se control la temtica y la extensin de los distintos textos y se procur mantener un nmero similar de preguntas asociadas con cada texto. En el caso de las pruebas de matemtica y lectura de tercer grado, se seleccionaron items apropiados de anclaje, para realizar la equiparacin entre el primer estudio y el segundo, dentro de las limitaciones tcnicas dadas por las diferencias de diseo y de enfoque entre uno y otro estudio. En las mismas pruebas, para ambos grados, tambin se seleccionaron items apropiados de anclaje, para efectuar la equiparacin entre tercero y sexto grados, considerando desde luego las restricciones derivadas del nmero de estos items, la diferencia entre algunos dominios conceptuales y la distancia entre los grados considerados. En seguida, se construyeron las tablas de especificaciones de las pruebas definitivas y la tabla de distribucin de items por bloque, incluyendo el nombre asignado al tem, tanto en la aplicacin piloto como en la aplicacin definitiva, el dominio con-
CAPTULO 1
27
En la prueba de matemtica no hubo items con cambios sustanciales; en total ocho items de tercero y tres de sexto tuvieron alguna modificacin leve en la notacin (por ejemplo: retirar una coma de un enunciado, o alargar un guin para darle mayor visibilidad, o cambiar la inicial de una palabra de mayscula a minscula). En la prueba de lectura, un tem de tercer grado sufri una modificacin en una de las opciones, debido a que se observ que su comportamiento fue semejante al de la clave, por un problema de formulacin. Los dems items de estas tres reas (lectura, matemtica y ciencias) mantuvieron intacta la formulacin utilizada en la aplicacin piloto. En relacin con la prueba de escritura, que corresponde a un estudio pionero y exploratorio en la regin, con un nfasis cualitativo, tambin se estudiaron las observaciones efectuadas durante la aplicacin piloto y el nivel de consistencia entre los correctores nacionales y el equipo de supervisin centralizado, a la luz de los indicadores estadsticos que arroj el respectivo procesamiento de los datos, utilizando tambin el modelo de Rasch (UNESCO, 2006e). Para la prueba de tercer grado se eligieron los cuadernillos 2 y 3, pues los cuadernillos piloto 1 y 4 no permitieron discriminar los estudiantes capaces de subclasificar un universo de cosas; por su parte, en sexto grado se eligieron los cuadernillos 1 y 3, porque mostraron que permiten estimular un mayor despliegue de la escritura, aunque es importante advertir que los cuatro cuadernillos piloto arrojaron indicadores estadsticos satisfactorios y con todos se logr un nivel de escritura aceptable por parte de los estudiantes. Luego, se revisaron y ajustaron las instrucciones que finalmente aparecieron en forma explcita en cada cuadernillo, con las que los estudiantes pudieron responder de manera adecuada cada prueba.
ESTRUCTURA DE LAS PRUEBAS DEFINITIVAS
Satisfechos todos los pasos anteriores, las pruebas definitivas para evaluar la escritura comprendieron dos consignas para cada grado. En el caso de tercero, una consigna estuvo asociada con listar diez tareas entre aquellas dadas al estudiante en la escuela o en la casa; y la otra consigna consisti en listar seis recomendaciones entre las entregadas por parte de un mdico que visitaba la escuela. Para sexto grado, una consigna pidi escribir sobre el perro, para una enciclopedia sobre el mundo animal que sera publicada con destino a nios de otro planeta; y la otra consigna pidi escribir sobre el pan, para una enciclopedia sobre comidas latinoamericanas que tambin sera publicada con destino a nios de otro planeta. Las pruebas de escritura fueron pensadas para explorar un proceso que surge en varias etapas y que requiere reflexin y madurez alrededor de un tema. En este sentido, las pruebas previeron tres pasos claramente diferenciados: primero, hacer un borrador o poner ideas en sucio; segundo, pensar cmo mejorar el borrador; y tercero, pasar el borrador en limpio, requiriendo adems la colocacin de un ttulo. Por otra parte, las pruebas para lectura y matemtica, en tercero y sexto grados, y en las mismas reas ms ciencias para sexto grado, correspondieron a la estructura y especificaciones que se muestran en los cuadros I.1.3.2 a I.1.3.6, respectivamente, en trminos de dominios conceptuales y procesos.
28
REPORTE TCNICO
Cuadro I.1.3.2. Especificaciones de la prueba de lectura para tercer grado PROCESOS Lectura literal
DOMINIOS Nmero de items Lectura de prrafos Lectura de enunciados y palabras TOTAL Lectura inferencial Lectura inferencial simple compleja
TOTAL
Porcentaje Porcentaje Porcentaje Porcentaje Nmero Nmero Nmero de items de items de items de items de items de items de items (%) (%) (%) (%)
25
37,88
23
34,85
13,63
57
86,36
12,12
1,52
0,00
13,64
33
50,00
24
36,37
13,63
66
100,00
Cuadro I.1.3.3. Especificaciones de la prueba de matemtica para tercer grado PROCESOS

Reconocimiento de objetos y elementos Solucin de problemas simples Solucin de problemas complejos
TOTAL
DOMINIOS
Nmero de items Nmeros Geometra Medicin Estadstica Variacional TOTAL
4 10 4 4 3 25
5,55 13,89 5,56 5,56 4,16 34,72
14 6 9 4 3 36
19,45 8,33 12,50 5,56 4,16 50,00
6 1 3 0 1 11
8,33 1,39 4,16 0,00 1,39 15,27
24 17 16 8 7 72
33,33 23,61 22,22 11,12 9,71 100,00
CAPTULO 1
29
Cuadro I.1.3.4. Especificaciones de la prueba de lectura para sexto grado PROCESOS

DOMINIOS Lectura literal Nmero de items Lectura de prrafos Lectura de enunciados y palabras TOTAL Lectura inferencial Lectura inferencial simple compleja
TOTAL
18 7 25
18,75 7,29 26,04
40 9 49
41,67 9,37 51,04
15 7 22
15,63 7,29 22,92
73 23 96
76,05 23,95 100,00
Cuadro I.1.3.5. Especificaciones de la prueba de matemtica para sexto grado PROCESOS

Reconocimiento de Solucin de objetos y problemas simples DOMINIOS elementos Nmero de items Nmeros Geometra Medicin Estadstica Variacional TOTAL Solucin de problemas complejos
TOTAL
8 6 4 8 2 28
8,33 6,25 4,17 8,33 2,08 29,16
15 8 11 7 9 50
15,63 8,33 11,46 7,29 9,38 52,09
4 5 6 1 2 18
4,17 5,21 6,25 1,04 2,08 18,75
27 19 21 16 13 96
28,13 19,79 21,88 16,66 13,54 100,00
30
REPORTE TCNICO
Cuadro I.1.3.6. Especificaciones de la prueba de ciencias para sexto grado PROCESOS

Reconocimiento de conceptos Nmero de items Seres vivos y salud Tierra y ambiente Materia y energa TOTAL Aplicacin de conceptos e interpretacin Solucin de problemas
TOTAL
DOMINIOS
15 6 6 27
16,66 6,67 6,67 30,00
16 16 13 45
17,78 17,78 14,44 50,00
5 5 8 18
5,56 5,56 8,88 20,00
36 27 27 90
40,00 30,00 30,00 100,00
ADAPTACIONES LINGSTICAS
Luego de la conformacin de las pruebas definitivas, se someti a consulta en los respectivos pases la versin estndar, junto con una planilla para efectos de documentar cualquier solicitud de adaptaciones. Se estableci que las versiones nacionales mantuvieran los cambios aprobados en la fase piloto. Los pases slo pudieron solicitar adaptaciones adicionales cuando los indicadores estadsticos de las pruebas, al nivel nacional, mostraron desajustes o valores que no cumplieron con los criterios de aceptacin sealados (cuadro I.1.3.1). Los nuevos pedidos de adaptacin fueron analizados por las coordinaciones de rea del LLECE y aprobados cuando se consider pertinente. En seguida, se diagramaron las versiones nacionales de las pruebas en forma centralizada y los pases tuvieron luego la responsabilidad de su revisin y aprobacin final.
CAPTULO 1
31
I.2. DISEO DE LOS CUESTIONARIOS DE CONTEXTO

Los cuestionarios que permiten identificar las variables del contexto donde tienen lugar los procesos educativos se disearon para atender el objetivo general del SERCE:
Generar conocimiento sobre los aprendizajes de lenguaje, matemtica y ciencias, y sobre factores asociados en estudiantes de tercero y sexto grados de educacin bsica primaria, para apoyar a los pases en el mejoramiento de sus polticas y prcticas educativas, que les posibilite ofrecer una educacin de mayor calidad y equidad.
(UNESCO, 2005f: 6)
En este sentido, el diseo de los cuestionarios enfatiz en aquellos factores que se encuentran directamente dentro del mbito de influencia de los sistemas educativos. Estos factores, vinculados principalmente con los recursos y prcticas que se realizan dentro de las escuelas y los niveles de autonoma con que actan, denominados modificables, constituyen la principal orientacin para poder formular recomendaciones de poltica resultantes del anlisis. Para el diseo tambin se tuvieron en cuenta factores vinculados con las caractersticas socioculturales de los estudiantes y sus familias, con el fin de poner en contexto los resultados de las pruebas (UNESCO, 2006f). El diseo referido correspondi a un proceso de discusin y construccin permanente de acuerdos entre especialistas y coordinadores nacionales del LLECE7.
7 Se tomaron como base los acuerdos de los coordinadores nacionales de la XVI Reunin (Managua, marzo de 2005), XVII Reunin (Brasilia, junio de 2005) y XVIII Reunin (Montevideo, marzo de 2006). Igualmente se consideraron los aportes de los coordinadores nacionales Beatriz Picaroni, Hctor Valds y lvaro Fortn, as como de los especialistas Santiago Cueto, Elena Martn y Tabar Fernndez, derivados de la reunin de discusin de cuestionarios de factores asociados (Cartagena de Indias, noviembre de 2005).
32
REPORTE TCNICO
I.2.1. ANTECEDENTES
Para establecer los referentes que permitieron estructurar el marco conceptual y luego disear los cuestionarios respectivos, se parti de los principales hallazgos del Primer Estudio Internacional Comparativo y sobre los cuales era necesario profundizar, para confirmar y conocer mejor los efectos ya observados. Igualmente, se revisaron los resultados reportados en otros estudios internacionales semejantes como los que realiza el Southern and Eastern Africa consortium for monitoring educational quality (SACMEQ8), el Programa PISA de la Organisation for economic co-operation and development (OECD9) y el estudio TIMSS de la International association for the evaluation of the educational achievement (IEA10). Por otra parte, fue central considerar la filosofa del Proyecto Regional de Educacin para Amrica Latina y el Caribe (PRELAC11), que pretende promover cambios para lograr que todos los pases de la regin logren los objetivos y la metas de Educacin para Todos (EPT12) al ao 2015, principalmente en lo que se refiere a la mejora de la calidad y equidad educativa.
PRIMER ESTUDIO INTERNACIONAL COMPARATIVO

Adems del Primer Informe dedicado a los resultados de rendimiento, el Primer Estudio Comparativo produjo el Segundo Informe, el Informe Tcnico y el Estudio Cualitativo (UNESCO, 2000, 2001 y 2002), donde se muestran los resultados agregados de factores asociados para el conjunto de pases, entre los que se destacan algunos factores modificables como el tamao de la biblioteca escolar (efecto positivo), que los maestros cuenten con otro trabajo (efecto negativo), percepcin de salario adecuado por parte de los docentes (efecto positivo), involucramiento de los padres o tutores en el aula o en la escuela (efecto positivo), agrupamiento de estudiantes de acuerdo con sus habilidades (efecto negativo) y, con mayor peso explicativo en el rendimiento que las anteriores, el clima de aula (efecto positivo). Todas estas variables estuvieron asociadas significativamente al rendimiento tanto en lenguaje como en matemtica, an despus de aplicar controles estadsticos mediante una serie de covariables. Desde luego, es importante sealar que las variables que resultaron significativas para el conjunto de pases no lo fueron para algunos en particular. Por ejemplo, si bien el clima de aula es altamente significativo para el conjunto de pases, al nivel nacional slo fue significativo en matemtica para Chile, Colombia y Cuba, y en lenguaje para Chile, Colombia, Cuba, Honduras y Dominicana, aunque en todos los dems pases el efecto es positivo pero no significativo. Por otra parte, el estudio cualitativo13 mostr la importancia de contar con escuelas que propician un clima favorable para el trabajo entre docentes y estudiantes (respeto, confianza, cordialidad y afecto), alto nivel de compromiso de los docentes, liderazgo con toma de decisiones participativas, y la activa inclusin de los padres y madres de familia en el quehacer escolar.
8 Ver http://www.sacmeq.org/. 9 Ver http://www.pisa.oecd.org/ 10 Ver http://timss.bc.edu 11 Ver http://www.unesco.cl/medios/biblioteca/documentos/prelac_proyecto_regional_educacion_esp.pdf 12 Ver http://www.unesco.cl/ept/metas.act 13 Este estudio se realiz en siete pases: Argentina, Bolivia, Chile, Colombia, Costa Rica, Cuba y Venezuela.
CAPTULO 1
33
OTROS ESTUDIOS INTERNACIONALES
stableciendo siempre la concordancia con el enfoque previsto, se revisaron los resultados alcanzados en otros estudios internacionales. Por ejemplo, derivado de los estudios realizados por SACMEQ, en Kenia se encontr un efecto positivo y significativo en el rendimiento cuando los docentes tienen una mayor formacin y cuando hacen comentarios a los estudiantes respecto de sus tareas, as como cuando se incrementa el nmero de materiales escolares con que cuenta el estudiante. Tambin se encontr que la inasistencia de los estudiantes produce un efecto negativo en el rendimiento (Onsomu et al, 2005).
y el currculo aprendido (el resultado en las pruebas de aprendizaje (Schmidt et al, 1996 y 2001). Las variables incluidas en el anlisis han sido entre otras la cobertura del currculo y el nivel de desempeo esperado de los estudiantes, referido al nivel de procesamiento intelectual o demanda cognoscitiva involucrado en la resolucin de un determinado problema o ejercicio. Por otra parte, los resultados sugieren que al menos al interior de los pases los niveles de cobertura del currculo explican el rendimiento en las pruebas (Baker y Le Tendre, 2005; Schmidt et al, 2001). De hecho, informes nacionales en Argentina (Cervini, 2001) y Per (Rodrguez y Vargas, 2002; Zambrano, 2004) han confirmado esta relacin entre cobertura de currculo y resultados en las pruebas. Adicionalmente, el nivel de demanda cognoscitiva ha sido estimado en otros estudios a partir de muestras de trabajo de los estudiantes. Estos estudios encuentran que a mayor nivel de demanda cognoscitiva, se logran mayores resultados de aprendizaje (Newmann et al, 2001). En lenguaje, Cueto et al (2006) encontraron una asociacin entre demanda cognoscitiva y retroalimentacin al estudiante con el incremento de puntajes de inicio a fin de ao escolar. El estudio de Cueto et al (2003) tambin encontr una asociacin entre retroalimentacin correcta del profesor a los ejercicios de los estudiantes y rendimiento para matemtica. Otro anlisis interesante realizado por el equipo de TIMSS est referido a los textos escolares. Valverde et al (2002) colectaron textos escolares de los pases participantes en el estudio para analizar cobertura curricular y niveles de demanda cognoscitiva.
En segundo lugar, el Programme for International Student Assessment (PISA) de la OECD14) ha generado un interesante reporte de factores asociados que ha puesto nfasis en los factores escolares de equidad y rendimiento en la prueba de comprensin de lectura (OECD, 2005). Es interesante notar que el clima escolar result una de las variables ms potentes para explicar el rendimiento escolar. La definicin de clima comprendi las opiniones del director, la disciplina y el sentido de pertenencia de los estudiantes a la escuela. PISA incluy adems una seccin de autonoma escolar con preguntas sobre decisiones acerca del personal de la escuela, finanzas, currculo y enseanza, y polticas respecto de los estudiantes. Se encontr una asociacin positiva entre autonoma y rendimiento. En tercer lugar, el Trends in International Mathematics and Science Studies (TIMSS15) incluye las oportunidades de aprendizaje como uno de sus componentes importantes. El modelo original distingue entre currculo intencional (referido a la norma o documento que debe guiar las prcticas escolares), el currculo implementado (lo que se ensea en las aulas de clase)
14 15
Ver http://www.pisa.oecd.org/ Ver http://nces.ed.gov/timss/
34
REPORTE TCNICO
Proyecto Regional para Amrica Latina y ElCaribe(PRELAC)
es un proyecto aprobado por los Ministros de Educacin de la regin en la reunin de la Habana el 200216. El objetivo es promover cambios que permitan que todos los pases de Amrica Latina logren los seis objetivos de Educacin para Todos (EPT) al 2015, principalmente en cuanto a la mejora de la calidad y equidad educativa17. Sin embargo, los objetivos de EPT rigen de manera general y amplia para el mundo y no especficamente para la regin. Por esta razn, en PRELAC se establecieron cinco focos estratgicos especficos:
PRELAC
Foco 1: En los contenidos y prcticas de la educacin para construir sentidos acerca de nosotros mismos, los dems y el mundo en el que vivimos. Foco 2: En los docentes y fortalecimiento de su protagonismo en el cambio educativo para que respondan a las necesidades de aprendizaje de los estudiantes. Foco 3: En la cultura de las escuelas para que stas se conviertan en comunidades de aprendizaje y participacin. Foco 4: En la gestin y flexibilizacin de los sistemas educativos para ofrecer oportunidades de aprendizaje efectivo a lo largo de la vida. Foco 5: En la responsabilidad social por la educacin para generar compromisos con su desarrollo y resulta18 dos. Estos focos, que constituyen una gua central para la definicin del marco conceptual, incluyen varios temas especficos, por ejemplo atencin a la diversidad social y cultural en la educacin, capacitacin docente, mtodos pedaggicos en el aula, autonoma escolar, participacin de las familias en la gestin de las escuelas, clima escolar, uso de computadoras y otras tecnologas.
16 17 18
Ver http://www.unesco.cl/medios/biblioteca/documentos/prelac_proyecto_regional_educacion_esp.pdf Ver http://www.unesco.cl/ept/metas.act Tomado de http://www.unesco.cl/ept/prelac/4.act
CAPTULO 1
35
I.2.2. MARCO CONCEPTUAL
l diseo previsto considera que la variabilidad en los niveles de logro acadmico de los estudiantes es el resultado de un anidamiento de condiciones que corresponden a diferentes niveles o planos de realidad. En los modelos ms usuales la variabilidad en el logro acadmico es vista como el resultado de condiciones que son propias del sujeto de la observacin (el estudiante como individuo) incluyendo variables de su hogar. Asimismo, dichos estudiantes muestran su desempeo en un contexto inmediato en el que no se encuentran aislados, sino que configuran un grupo con el que comparten algunos atributos, empezando por la propia dinmica del aula, las relaciones entre pares y fundamentalmente el accionar del docente como agente crucial en la estructuracin de las experiencias y prcticas del aula. Por otra parte, los grupos de estudiantes y docentes conforman una relacin, al nivel de aula y de escuela, que puede ser determinada por la infraestructura y los recursos pedaggicos disponibles, y caracterizada por las formas de administracin y financiamiento. Es necesario mencionar que la relacin referida tambin est influida por el rol de liderazgo del director, como elemento clave que marca la dinmica institucional tanto hacia el interior de la escuela como en relacin con su entorno ms prximo, es decir, respecto de los padres de familia y la comunidad local. Las instituciones educativas hacen parte de un sistema educativo nacional en el que las normas, polticas y esquemas de apoyo a la gestin escolar o de toma de decisiones, tienen un impacto sobre lo que la institucin hace, se espera que haga y puede hacer en su accionar cotidiano. Este accionar, finalmente, deriva o no en la satisfaccin de las necesidades y potencialidades de aprendizaje de los estudiantes. Estos elementos son considerados con frecuencia desde un esquema conceptual que concibe el logro acadmico
como el producto, en un smil de proceso productivo donde ciertos insumos (o recursos) y procesos verificados en un determinado contexto dan cuenta de dicho producto. El modelo, si bien ampliamente adoptado, contiene en s mismo limitaciones propias de su carcter instrumental. En efecto, son numerosos los esfuerzos de la teora social, desarrollada en especial en las ltimas cuatro dcadas, por promover una mirada ms comprensiva y compleja en trminos de interpretacin de fenmenos sociales. Esto implica prestar atencin a la multidimensionalidad del accionar humano y su carcter constitutivo de las estructuras sociales en las que se desarrolla, lo cual se vincula directamente a los principios y estrategias adoptados por el PRELAC. En los ltimos aos algunos autores han planteado modelos relevantes para el anlisis de factores asociados. Murillo (2003) presenta una serie de modelos tericos de la literatura internacional y balances de la investigacin sobre eficacia escolar en 12 pases de Amrica Latina y Espaa. En la misma obra, Martinic y Pardo (2003) resumen los factores de eficacia escolar de los estudios. El modelo incluye variables de contexto (especficamente marco regulatorio del sistema escolar y caractersticas de la escuela), de entrada (caractersticas del profesor y del estudiante y su familia) y de procesos (al nivel de cultura escolar, gestin de la escuela y aula), cuya interaccin debe explicar los productos educativos (principalmente rendimiento). La discrepancia principal del modelo propuesto aqu con el anterior, y con varios otros de la literatura internacional, es que los estudiantes y sus familias no se conciben como insumos para determinados logros acadmicos sino que los estudiantes son el foco principal de anlisis. Con base en los distintos elementos referidos, para el diseo de los cuestionarios de contexto se definieron tres ejes principales (caractersticas socioculturales, oportunidades y logros acadmicos) y la equidad educativa como una caracterstica transversal.
36
REPORTE TCNICO
CARACTERSTICAS SOCIOCULTURALES
El primer eje est referido a las caractersticas socioculturales de los estudiantes, tanto al nivel individual como de grupos de estudiantes en aulas y escuelas. Este eje considera variables del estudiante (sexo, edad, lengua materna y condicin de trabajador) y de sus familias (educacin de los padres, servicios disponibles y apoyo a la educacin de los hijos). El eje no supone solamente el control estadstico de variables para ajustar el rendimiento, sino que es un elemento clave para entender los logros acadmicos de los estudiantes. As, se coloca especial nfasis en identificar qu variables del eje tienen mayor correlacin con rendimiento, de modo que pueda generarse un ndice de nivel sociocultural. La correlacin de este ndice con los logros acadmicos (tercer eje) no es por s suficiente, pues debe describirse en detalle qu educacin estn recibiendo los estudiantes y si esta educacin se adapta a sus necesidades y potencialidades.
por variables con alta relevancia en la explicacin del rendimiento, de acuerdo con los hallazgos de la literatura internacional y con los resultados encontrados. El valor de este segundo eje consiste en engarzarlo a los otros dos: estudiantes de diversas caractersticas socioculturales asisten a escuelas que brindan mayores o menores niveles de oportunidades educativas, que se ajustan o no a sus necesidades y potencialidades, lo cual en conjunto permite explicar el rendimiento.
LOGROS ACADMICOS
Finalmente el tercer eje est referido a los logros acadmicos y est representado principalmente por los resultados que obtienen los estudiantes en las pruebas de rendimiento. Estos datos sin embargo deben complementarse con otros, principalmente con el ndice de cobertura educativa logrado en cada sistema educativo para cada uno de los grados evaluados. As, se espera presentar el rendimiento de los estudiantes que estn en la escuela con el porcentaje de estudiantes en edad de asistir a la escuela en los grados evaluados y que no estn asistiendo. El logro acadmico por s solo no es suficiente sino que es necesario presentarlo siempre en conjuncin con la situacin particular de los dos ejes anteriores.
OPORTUNIDADES EDUCATIVAS
El segundo eje est conformado por las oportunidades educativas e incluye tanto los insumos o recursos educativos (tiempo de aprendizaje, presencia de materiales educativos, existencia de biblioteca escolar, recursos financieros, infraestructura escolar y caractersticas del personal docente y directivo) como los procesos mediante los cuales los insumos se vuelven pedagoga (por ejemplo, cobertura del currculo, lengua de instruccin, autonoma educativa, uso de los materiales, tareas y clima escolar). El anlisis para este eje debe hacerse en algunos casos al nivel de aula, en otros al nivel de escuela y finalmente algunos al nivel de pas. Al igual que en el primer eje, se prev generar un ndice de oportunidades educativas, formado
CAPTULO 1
37
EQUIDAD EDUCATIVA
Una caracterstica que cruza todas las anteriores es la equidad educativa. La investigacin al respecto (al nivel internacional y de Amrica Latina) y los resultados del primer estudio en particular, muestran que existe gran variabilidad de logros acadmicos entre pases, y al interior de los pases entre estudiantes de diferentes escuelas. La discusin de equidad (o falta de equidad) en relacin con los tres ejes anteriores supone una serie de anlisis especficos. En primer lugar, es necesario estimar qu tan grande es la varianza en los logros acadmicos al interior de las aulas, las escuelas y los pases (a mayor varianza mayor inequidad). En segundo lugar, debe establecerse en qu medida los logros acadmicos se asocian con las caractersticas socioculturales de los estudiantes, tanto de manera individual como en grupos de aulas y escuelas (a mayor correlacin mayor inequidad). Luego, se procede a correlacionar las oportunidades educativas con las caractersticas de los estudiantes: si la correlacin entre las oportunidades y el nivel sociocultural de los estudiantes agrupados en aulas es positivo y alto, se tiene un indicativo de poca equidad. Estos anlisis pueden efectuarse a la luz de las condiciones entre estudiantes que asisten a distintos tipos de escuelas.
las flechas en dos sentidos indican que se exploran las interacciones entre los ejes en cuestin. Tambin el esquema refiere el anlisis de las interacciones entre insumos y recursos escolares (componente IIa) y procesos escolares (componente IIb), lo que supone estudiar si hay un uso intensivo de recursos en los procesos pedaggicos y adems valorar si procesos pedaggicos ms complejos son posibles solamente all donde hay mayores recursos. Las flechas en un solo sentido indican que se explora el poder explicativo de uno de los ejes sobre la varianza de los resultados, sin llegar desde luego a afirmaciones concluyentes sobre causalidad, dada la naturaleza compleja del proceso educativo y las caractersticas del estudio. Finalmente, es importante sealar que para complementar el anlisis tambin se considera necesario y valioso explorar las actitudes de los estudiantes, frente a las reas que son objeto de evaluacin.
Figura I.2.2.1. Niveles y ejes de anlisis del marco conceptual
Niveles de anlisis III. Logros educativos Estudiante Aula Escuela
Aula Escuela Pas IIb. Procesos escolares
En el esquema del marco conceptual (figura I.2.2.1),
38
REPORTE TCNICO
I.2.3. ETAPAS DEL DISEO DE LOS CUESTIONARIOS

Para llegar al diseo final de los cuestionarios, teniendo en cuenta los niveles y los ejes de anlisis del marco conceptual desarrollado, se elabor una propuesta de items que luego fue consultada con los coordinadores nacionales, para efectos de validar su pertinencia. Las observaciones de los coordinadores fueron analizadas e incorporadas en una versin piloto estndar que de nuevo fue enviada a consideracin de los pases, junto con un formato que debi llenarse cuando se requiri alguna adaptacin estructural o lingstica. Las adaptaciones de estructura corresponden a situaciones especficas de cada pas. Por ejemplo, en el cuestionario dirigido al docente se pregunta por su nivel educativo ms alto. En la versin para Colombia se prevn ocho categoras de respuesta: 1, primaria; 2, secundaria; 3, media; 4, normalista; 5, bachiller pedaggico; 6, licenciado; 7, profesional; y 8, posgrado. Por su parte, la versin para Nicaragua contempla siete categoras de respuesta: 1, primaria; 2, secundaria (media); 3, tcnica (no universitaria); 4, formacin docente / normalista; 5, universitaria; 6, postgrado; y 7, otro. Una vez conformadas las versiones nacionales, atendiendo las respectivas adaptaciones, y realizada la traduccin del castellano al portugus, se probaron estos cuestionarios durante la aplicacin piloto. Las observaciones resultantes, las inquietudes formuladas por quienes respondieron cada cuestionario y los indicadores estadsticos generados luego del procesamiento de los datos obtenidos, fueron objeto de estudio y anlisis, para establecer y ajustar las preguntas que finalmente aparecieron en la versin definitiva de los cuestionarios. Es importante sealar que tambin se incluyeron algunas preguntas ya utilizadas en el Primer Estudio Internacional (con fines de confirmacin y de comparacin) y en otros estudios internacionales, principalmente PISA y TIMSS, que han sido validadas en decenas de pases incluidos varios de la regin.
FACTORES Y VARIABLES
Para el diseo de los cuestionarios se procedi a definir los factores bsicos que permiten explicar las varianzas entre los logros acadmicos de los estudiantes, agrupados en distintos niveles, y las variables mediante las cuales es posible estimar un ndice que permita valorar cada factor.
CAPTULO 1
39
Cuadro I.2.3.1. Factores asociados con cada actor del proceso educativo Factor Variables Sexo, edad, lengua materna, educacin preescolar, edad de ingreso a la escuela, repeticin, trabajo infantil, hbitos de lectura, actitudes hacia las reas evaluadas y la escuela, y turno al que asisten19. Nivel educativo del padre y de la madre, si ambos padres viven (en el hogar), hacinamiento en el hogar, servicios en casa (luz, agua, desage, telfono, cable e internet), ndice de posesin de activos, material del piso de la vivienda, materiales educativos y nmero de libros en el hogar.
Sexo, edad, aos de experiencia, ubicacin del domicilio respecto de la escuela, formacin profesional y capacitacin en servicio, estabilidad en el trabajo, rea que ensea, forma de acceso al puesto, manejo de la lengua nativa de los estudiantes, percepcin del propio salario, incentivos para desarrollo profesional, satisfaccin con la escuela y deseo de ser reubicado, otros trabajos simultneos a docencia, nmero de libros en el hogar, distribucin del tiempo en la escuela y manejo de computadoras.
Cuestionario donde se refiere Cuestionarios a estudiantes, padres de familia y docentes.
Caractersticas de los estudiantes.
Caractersticas de la familia.
Cuestionarios a estudiantes y padres de familia.
Caractersticas del director y/o docente.
Cuestionarios a docentes y directores.
(19)
Los factores fueron agrupados y dispuestos en los distintos cuestionarios para explorar las caractersticas inherentes a cada actor del proceso educativo (cuadro I.2.3.1); del contexto de las escuelas, la autonoma del docente y de la escuela y la existencia y uso de materiales educativos (cuadro I.2.3.2); y de la naturaleza del proceso educativo mismo, incluyendo el clima del aula y la participacin de los padres de familia en la educacin de sus hijos (cuadro I.2.3.3).
19
La novedad principal en este grupo respecto del primer estudio fue el anlisis de lengua materna indgena y trabajo infantil.
40
REPORTE TCNICO
Cuadro I.2.3.2. Factores asociados con las escuelas Factor Variables Contexto (urbano o rural) en que se encuentra, nmero de docentes y estudiantes, nmero de repitentes y desertores, carcter multigrado o polidocente completo, grados que ofrece la escuela, bilinge (en lengua indgena o extranjera), servicios disponibles (luz, agua, desage y telfono) y condicin de la infraestructura, recursos pedaggicos de la escuela (computadoras, laboratorios y otros), servicio mdico o nutricional, lengua de la comunidad, biblioteca escolar y problemas en la escuela. Gestin pblica, privada o mixta, fuentes de financiamiento, nivel de autonoma para decisiones financieras, curriculares, de contratacin de personal, desarrollo profesional y polticas sobre los estudiantes, comunicacin entre el centro e instancia educativa superior (teniendo en cuenta visitas de supervisores) y presencia de consejo escolar que incluya al director, docentes, padres de familia y estudiantes. Cuestionario donde se refiere
Caractersticas de la escuela.
Ficha de empadronamiento y cuestionarios a estudiantes y directores.
Autonoma de la escuela y d el docente.
Cuestionarios a docentes, padres de familia y directores.
Existencia y uso de materiales educativos.
Materiales educativos disponibles para cada estudiante, frecuencia con la que utiliza los textos y recursos de la biblioteca escolar y del aula.
Cuestionarios a estudiantes, docentes y directores.
CAPTULO 1
41
Cuadro I.2.3.3. Factores asociados con el proceso educativo Factor Variables Nmero de semanas y das previstos en el ao escolar y en los que ha habido clases, duracin del da escolar, duracin de cada perodo escolar y nmero de horas por rea evaluada a la semana. Cuestionario donde se refiere Cuestionario a directores.
Tiempo de aprendizaje.
Lengua(s) en que ocurre parte o todo el aprendizaje, cobertura curricular, demanda cognoOportunidades de scitiva, tipo de textos y ejercicios que los estuaprendizaje. diantes suelen resolver, formas de evaluacin y tareas para la casa. Asignacin de estudiantes a grupos homogneos o heterogneos y redes o programas de Polticas respecto apoyo a estudiantes con necesidades espede estudiantes. ciales (sobre todo repetidores o potenciales desertores). Conflictos y disciplina en el aula, relaciones entre estudiantes, entre docentes, entre docentes y estudiantes, entre docentes y padres de familia, episodios de violencia, comunicacin entre el personal de la escuela, trabajo en equipo de docentes, colaboracin entre docentes y direccin y motivacin de los docentes.
Cuestionario 20 a docentes .
Clima escolar .
21
Participacin de los padres de familia en la educacin de sus hijos.
Participacin en reuniones escolares, de aula o en consejo escolar, conocimiento de los profeCuestionarios a padres sores, dedicacin al hijo en trminos de lectura de familia, docentes y y ayuda con las tareas, sentido de pertenencia directores. con la escuela, evaluacin del director y de la educacin que reciben los estudiantes.
(20 21)
20 21
Se definen cinco cuestionarios especficos de oportunidades de aprendizaje, a razn de uno para cada rea y grado evaluado. Se pretende ampliar y profundizar las dimensiones identificadas como significativas en el primer estudio, referidas el clima del aula.
42
REPORTE TCNICO
CUESTIONARIOS
Definidos los factores y las variables asociadas con cada factor, se procedi a ensamblar once cuestionarios encaminados a recabar la informacin necesaria para caracterizar el contexto donde tiene lugar el proceso educativo de los estudiantes. Diez cuestionarios fueron dirigidos a estudiantes, padres de familia, docentes y directores de escuela, mientras que un cuestionario oper como ficha de empadronamiento para reconocer la localizacin de la escuela, el origen de los recursos econmicos de funcionamiento y la disponibilidad de recursos educativos (cuadro I.2.3.4). Para el caso de los docentes, se opt por ensamblar dos cuestionarios. Un primer cuestionario general (QP), con nfasis en las caractersticas socioculturales, dedicacin a la escuela y distribucin de su tiempo en cada actividad, satisfaccin con distintos aspectos, percepcin de dificultades y temas donde se considera importante recibir apoyo tcnico. El segundo cuestionario tuvo el propsito especfico de indagar por las caractersticas de la enseanza en cada rea y en cada grado.
Cuadro I.2.3.4. Estructura de Cuestionarios Nombre QA3 QA6 QL3 QL6 QM3 QM6 QC6 QF
22
Poblacin que lo responde Estudiantes de tercer grado. Estudiantes de sexto grado. Docentes (sobre enseanza del lenguaje en tercer grado). Docentes (sobre enseanza del lenguaje en sexto grado). Docentes (sobre enseanza de la matemtica en tercer grado). Docentes (sobre enseanza de la matemtica en sexto grado). Docentes (sobre enseanza de las ciencias en sexto grado). Padres de familia o persona responsable del estudiante. Docentes de tercero y sexto grados. Director de escuela. Director de escuela.
Nmero de preguntas 20 40 13 13 12 12 13 20 25 31 16
(22)
QP QD FE
22
Se advierte que el cuestionario dirigido a los padres de familia (QF) no fue aplicado en Mxico por decisin autnoma del pas.
CAPTULO 1
43
CAPTULO
DISEO DE LA MUESTRA
En este captulo se explica el diseo muestral del Segundo Estudio Regional Comparativo y Explicativo (SERCE) que lleva adelante el Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin de UNESCO/ OREALC. En este captulo se abordan los siguientes temas:
1) Universos que son objeto del estudio. 2) Subuniversos del estudio. 3) Unidades de muestreo y marco muestral. 4) Mtodo de muestreo. 5) Muestra efectiva por pases. 6) Procedimientos para la seleccin de escuelas. 7) Estratos adicionales optativos para cada pas y tratamiento de las muestras para entidades subnacionales. 8) Elaboracin del marco muestral en cada pas 9) Mrgenes de error estimados para el diseo muestral. 10) Sistema de ponderaciones para la estimacin de resultados a nivel nacional y de subuniversos.
CAPTULO 2
DISEO DE LA MUESTRA
45
II.1. UNIVERSOS QUE SON OBJETO DE ESTUDIO
l SERCE estudia, en primer trmino, estudiar los logros educativos en Lenguaje, Matemtica y Ciencias de los alumnos matriculados en tercero o sexto grados del nivel primario al final del ao lectivo 20052006 (escuelas con calendario norte) o ao lectivo 2006 (escuelas con calendario sur), en instituciones educativas oficialmente reconocidas que otorgan una certificacin que habilita al nio a acceder al grado o nivel educativo siguiente. No se considera parte del universo a los alumnos matriculados en instituciones de educacin de adultos, en instituciones de educacin especial o en programas de educacin alternativa no formal o no presencial. En el caso de 3 no se incluir a las escuelas dirigidas a nios cuya lengua materna es indgena, dado que se considera que an no tienen suficiente dominio del lenguaje como para realizar una prueba escrita. En cambio, se considera que al final de la educacin primaria (6), todos los nios deberan haber alcanzado un nivel de dominio del lenguaje estndar que les permita realizar las pruebas. Tampoco forman parte del universo de estudio los alumnos con necesidades educativas especiales que estn integrados en escuelas comunes. En segundo trmino, el SERCE estudia los factores que tienen influencia y/o explican los logros educativos de los alumnos. Con este propsito son tambin universos objeto de estudio los siguientes:
los hogares de los alumnos de 3 y 6 grados; los padres o tutores de los alumnos de 3 y 6 grados; las secciones o aulas a las que pertenecen los alumnos de 3 y 6 grados; los maestros que ensean Lenguaje y Matemtica a los alumnos de 3 y 6 grados; las escuelas a las que asisten los alumnos de 3 y 6 grados; los directores de las escuelas a las que asisten los alumnos de 3 y 6 grados.
Los universos indicados en el apartado a) son estudiados a travs de la aplicacin de pruebas estandarizadas de Lenguaje, Matemtica y Ciencias, as como de Cuestionarios autoadministrados. Los universos indicados en el 23 apartado b) son estudiados a travs de la aplicacin de cuestionarios autoadministrados .
23 Dado que las escuelas sern seleccionadas por muestreo probabilstico, automticamente estn siendo seleccionados por el mismo procedimiento alumnos, maestros, padres y hogares, de 3 y 6. De modo que las inferencias sern vlidas para los diversos universos, si bien las estimaciones de error debern realizarse especficamente para cada universo.
46
REPORTE TCNICO
II.2. SUBUNIVERSOS DEL ESTUDIO
El estudio obtiene informacin a nivel regional, de cada pas y con desagregaciones dentro del pas al nivel de los siguientes subuniversos o dominios de escuelas y estudiantes: urbano pblico, urbano privado y rural. Salvo con la excepcin de Cuba, donde no existen escuelas privadas. En relacin a las escuelas rurales, dado que alrededor de la mitad de los pases carecen de informacin suficiente como para aplicar la definicin estndar que se intent utilizar en el Piloto (escuelas ubicadas en localidades con hasta 2500 habitantes), se decidi emplear la definicin de escuela rural vigente en cada pas. Obviamente esto conlleva limitaciones de comparabilidad, por lo que las comparaciones de escuelas rurales entre pases deben tomarse con cautela. Esto significa que en los informes regionales se caracteriza a las escuelas rurales de cada pas. El dominio urbano pblico ha sido en todos los pases lo suficientemente grande como para permitir una estratificacin sociocultural a posteriori, a partir de los datos recogidos en los cuestionarios de factores asociados. La estratificacin sociocultural no pudo realizarse en el diseo muestral, por falta de informacin sobre este aspecto. Sin embargo, en trminos del anlisis, se considera que es particularmente relevante distinguir entre distintos tipos de escuelas pblicas urbanas, principalmente en trminos de la composicin social de su alum24 nado . Para ello se han utilizado ndices y variables que permiten clasificar a estudiantes y escuelas por distintas caractersticas socioeconmicas. El subuniverso urbano privado ha sido en todos los pases lo suficientemente grande como para permitir estimaciones con niveles de precisin aceptables, que permiten hacer inferencias respecto de los resultados de aprendizaje de los estudiantes de estas escuelas en cada pas.
24
Este aspecto fue discutido por el Pleno de Coordinadores Nacionales en la reunin de Brasilia en junio de 2005.
CAPTULO 2
DISEO DE LA MUESTRA
47
II.3. UNIDADES DE MUESTREO Y MARCO MUESTRAL
Dado el tamao del universo de alumnos de 3 y 6 en la regin, alrededor de 20 millones de estudiantes, la recoleccin de datos se realiz a travs de muestras nacionales. Para garantizar precisin y confiabilidad, el muestreo tiene carcter probabilstico, a partir de marcos maestrales constituidos por las escuelas de cada pas que forman parte del universo definido. La unidad de muestreo es la escuela, es decir, un establecimiento escolar que tiene un responsable, su director, y que puede funcionar en un nico turno, en dos turnos o en jornada completa. El marco muestral de cada pas estuvo constituido por el listado de la totalidad de las escuelas que forman parte del universo definido.
25
II.3.1.EXCLUSIONES VLIDAS
De acuerdo a la definicin de universo dada, no forman parte del mismo las escuelas Especiales (dirigidas exclusivamente a alumnos con necesidades especiales), de educacin de Adultos y de educacin alternativa no formal o no presencial. Se excluyen del universo: - Las escuelas con menos de 6 alumnos matriculados en 3 y menos de 6 alumnos matriculados en 6 (por una razn de relacin costo / beneficio en la aplicacin). - Las secciones con menos de 6 alumnos matriculados en el grado (relacin costo / beneficio). - Los alumnos de 3 en escuelas bilinges con lengua indgena (se entiende que no estarn en condiciones de responder una prueba escrita en castellano o portugus). Se excluyen de la muestra: - Las secciones con 6 o ms alumnos matriculados y menos de 4 alumnos esperados en la fecha de las pruebas (relacin costo / beneficio).
25 La expresin establecimiento escolar denota un local fsico donde se desarrollan actividades de enseanza primaria a cargo de un responsable que es el director del establecimiento. En un mismo local fsico puede funcionar ms de un establecimiento escolar.
48
REPORTE TCNICO
- Los alumnos cuya lengua materna no es el castellano o portugus y que no han recibido al menos dos aos de enseanza en el lenguaje de la prueba (se entiende que no estarn en condiciones de responder una prueba escrita). - Los alumnos con necesidades especiales, cuya situacin les impide desempearse en una prueba escrita (por ejemplo, un nio ciego) (vase al respecto el Manual del Coordinador Nacional, Aplicacin Piloto, Anexo V, Estudiantes con Necesidades Educativas Especiales). Se excluyen del anlisis: - En los casos de escuelas en que realizaron la prueba menos del 50% de los alumnos de 3 alumnos que asisten efectivamente a clases, tanto la escuela como los alumnos fueron excluidos de todos los anlisis y estimaciones relativas a 3, incluso las nacionales (riesgo de seleccin intencional). - En los casos de escuelas en que realizaron la prueba menos del 50% de los alumnos de 6 alumnos que asisten efectivamente a clases, tanto la escuela como los alumnos fueron excluidos de todos los anlisis y estimaciones relativas a 6, incluso las nacionales (riesgo de seleccin intencional). Observaciones: Slo se excluyen del universo las escuelas pequeas en trminos del nmero de alumnos de 3 y de 6. No se excluyen del universo las escuelas que tienen al menos 6 alumnos en 3 al menos 6 alumnos en 6. Seleccionada una escuela en la muestra, se procedi a solicitar informacin a la Coordinacin Nacional del pas sobre el nmero efectivo de alumnos que concurran a clases. Si este nmero era inferior a 4 en 3 y en 6, entonces se procedi a sustituir esta escuela de la muestra por su reemplazo, y sortendose un nuevo reemplazo. Las exclusiones en la etapa del anlisis implicaron una reduccin del tamao efectivo de la muestra, lo que debe ser tenido en cuenta al ponderar o expandir los resultados.
CAPTULO 2
DISEO DE LA MUESTRA
49
II.4. MTODO DE MUESTREO
El mtodo de muestreo utilizado para el SERCE tiene las siguientes caractersticas:
- aleatorio - estratificado - de conglomerados - en una sola etapa de seleccin. La muestra se seleccion en cada pas mediante muestreo aleatorio (probabilstico) estratificado de conglomerados. Los criterios para la estratificacin a priori se comentan en la seccin siguiente. Los conglomerados son las escuelas del universo. En cada estrato se seleccion una muestra de escuelas, en una sola etapa de seleccin con probabilidades iguales para todas las escuelas del estrato. La muestra de alumnos en cada estrato se conform con todos los alumnos (salvo por las exclusiones vlidas) de las escuelas seleccionadas en cada estrato. Este procedimiento garantiza probabilidades iguales de seleccin para todos los alumnos de un estrato. Sin embargo, las probabilidades de seleccin de escuelas y alumnos no son iguales si las escuelas (o los alumnos) pertenecen a estratos diferentes, lo que conduce a muestras no autoponderadas de alumnos.
Observaciones - La probabilidad de un alumno de pertenecer a la muestra es igual a la probabilidad de que su escuela sea seleccionada, porque todos los alumnos de su grado pertenecen a la muestra (excepto por las exclusiones vlidas de la seccin 6). La probabilidad de que una escuela pertenezca a la muestra es igual al cociente nh / Nh, donde nh es el tamao de la muestra de escuelas en el estrato h y Nh es el tamao del universo de escuelas en el mismo estrato. Por ejemplo, si en un estrato (ver seccin 8) hay 150 escuelas y el tamao de muestra en dicho estrato es 12, entonces la probabilidad de seleccin de escuelas y alumnos en dicho estrato es 0,08 (12 / 150). Si en otro estrato para el mismo pas hay 6 escuelas y el tamao de la muestra es 3, entonces la probabilidad de seleccin de escuelas y alumnos en dicho estrato es 0,50.
50
REPORTE TCNICO
II.4.1. CRITERIOS DE ESTRATIFICACIN
26
PARA LA OPTIMIZACIN DEL MUESTREO
Se utilizaron tres criterios para la estratificacin a priori de las escuelas con el propsito de optimizar el muestreo y no para presentar resultados. Los resultados pueden presentarse de acuerdo a los subuniversos mencionados anteriormente. Los criterios son: o Tipo de gestin y rea geogrfica o Tamao o Relacin entre la matrcula de 6 y la matrcula de 3 El tipo de gestin, como variable de estratificacin, permite proporcionar informacin desagregada por subuniversos de estudio: las escuelas de gestin pblica y las de gestin privada. El tamao de la escuela se conoce que incide en los logros acadmicos de los alumnos, y la relacin matrcula de 6 / matrcula de 3 permite discriminar las escuelas con diferentes tasas de retencin, lo que tambin puede estar asociado al rendimiento escolar. Se reconoce que esta posible asociacin puede verse distorsionada por aquellas escuelas nuevas (que pueden tener una escasa o nula matrcula de 6) y tambin por los casos de pases donde el 3 y el 6 grados se dictan en diferentes escuelas. El criterio tipo de gestin y rea geogrfica determina tres categoras de escuelas, coincidentes con los subuniversos de estudio: URBANO PBLICO, URBANO PRIVADO y RURAL .
27
El criterio tamao de la escuela determina tres categoras de escuelas, para lo cual se recomienda utilizar las mismas definiciones para todos los pases:
- PEQUEA: escuela con una sola seccin en el grado
28
- MEDIANA: escuela con dos o tres secciones en el grado - GRANDE: escuela con cuatro o ms secciones en el grado.
26 En este documento el trmino estrato se emplea a los efectos del muestreo. No se trata de estratos para el reporte de resultados. Para la denominacin de los subconjuntos de escuelas sobre los cuales se espera reportar resultados se emplea el trmino subuniverso. Se considera que la escuela es rural segn la definicin propia de cada pas. 27 28 Si la escuela tiene alumnos de 3 y 6, el tamao estar dado por la cantidad de secciones en 3. Si la escuela slo tiene alumnos de 6, entonces el tamao estar dado por la cantidad de secciones de este grado.
CAPTULO 2
DISEO DE LA MUESTRA
51
La relacin entre la matrcula de 6 y la de 3 (R6/3) determina cuatro categoras de escuelas, con resultados bastante diferentes por pases. Las cuatro categoras son: - - - R6/3 0,8 0 R6/3 < 0,8 Matrcula de 3 = 0
El valor 0,8 es paramtrico. De hecho se han realizado pruebas con el valor 0,75 (ver ANEXO 2) y se encontr que en la mayora de los pases este valor de la variable determina tamaos desiguales para los estratos. Dicha desigualdad se reduce en parte aumentando el lmite de 0,75 a 0,8.
En el caso de las escuelas ubicadas en zonas rurales el escaso nmero de escuelas grandes justifica que se colapsen los tamaos GRANDE y MEDIANA en una sola categora.
Con las definiciones precedentes, las escuelas del universo en cada pas se clasifican en 32 estratos, como mximo. Esto se puede observar en la tabla 1. En algunos pases esta desagregacin origin estratos sin escuelas o con un nmero muy reducido de escuelas, por lo que se colapsaron estos casos en un nmero ms reducido de estratos finales. Por ejemplo, en aquellos pases donde las escuelas con matrcula nula en 3 representan menos del 5% de las escuelas, a los efectos de la seleccin de la muestra, todas las escuelas urbanas pblicas con matrcula nula en 3 podran conformar un nico estrato a priori, y lo mismo podra hacerse con las urbanas privadas y las rurales con matrcula nula en 3.
A los efectos de obtener estimaciones desagregadas de los subuniversos de estudio que determinan el tipo de gestin y el rea geogrfica, no se permiti colapsar estratos a priori que pertenecen a diferentes subuniversos de estudio.
52
REPORTE TCNICO
Tabla 1. Estratos a priori para la seleccin de la muestra
TIPO DE GESTIN, REA GEOGRFICA Y TAMAO RELACIN M6 / M3 URBANO PBLICO S.I. 1 12 23 PEQ. 2 13 24 MED. 3 14 25 GRA. 4 15 26 S.I. 5 16 27 URBANO PRIVADO PEQ. 6 17 28 MED. 7 18 29 GRA. 8 19 30 S.I. 9 20 31 RURAL PEQ. 10 21 32 M/G 11 22 33
R 0,8 0 R < 0,8 M3 = 0
La Tabla 1 indica los estratos en que se dividi la muestra en primera instancia, aunque despus se llevaron a cabo algunos colapsos de estratos. La muestra de 3 se seleccion en los estratos 1 a 22 y la muestra de 6 en los estratos 1 a 33, excepto por aquellos casos ya mencionados en las exclusiones vlidas. Si en un pas, la cantidad de escuelas en el marco sin informacin de matrcula resulta significativa, entonces se agregaron estratos que indicaban sin informacin (S.I.) y la muestra en este estrato ser proporcional a su importancia en el total de escuelas en el pas.
A partir del diseo anterior, se realizaron algunos colapsos de estratos, quedando la estratificacin por pas de la forma en que se describe en las siguientes tablas:
CAPTULO 2
DISEO DE LA MUESTRA
53
Tabla 2. Escuelas de la muestra para SERCE Argentina

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M 9 31 13 9 12 2 29 3 3 8 4 4 4 1 25 3 3 2 1 1 1 1 G Total 169
Tabla 3. Escuelas de la muestra para SERCE Brasil

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M 7 11 3 6 3 3 1 10 3 3 8 17 8 3 9 3 39 13 3 3 6 7 2 1 3 G Total 175
Tabla 4. Escuelas de la muestra para SERCE Chile

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M 22 30 3 23 17 2 43 3 1 1 1 6 4 1 14 3 3 3 G Total 180
Tabla 5. Escuelas de la muestra para SERCE Colombia
M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Rural Publico Urbano Privado Urbano Mi P M G Mi P M G Mi P M 5 4 1 8 2 1 13 3 22 16 5 20 3 71 3 3 5 8 3 2 1 3 2 G 1 Total 205
54
REPORTE TCNICO
Tabla 6. Escuelas de la muestra para SERCE Costa Rica

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M 17 12 13 6 3 36 9 10 7 3 4 3 37 5 2 1 2 G 1 Total 171
Tabla 7. Escuelas de la muestra para SERCE Cuba

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M 16 42 13 60 5 5 14 5 36 4 2 1 2 1 G Total 206
Tabla 8. Escuelas de la muestra para SERCE Republica Dominicana

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M 1 11 10 2 11 3 3 6 3 2 12 12 2 3 9 3 23 28 8 4 3 1 2 1 4 13 4 G Total 184
Tabla 9. Escuelas de la muestra para SERCE Ecuador

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M 20 18 6 12 3 2 41 3 9 6 3 12 3 1 42 4 2 3 3 G 1 Total 194
CAPTULO 2
DISEO DE LA MUESTRA
55
Tabla 10. Escuelas de la muestra para SERCE El Salvador

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M 9 20 6 5 3 27 3 8 12 4 8 2 1 55 8 3 3 3 G 1 1 Total 182
Tabla 11. Escuelas de la muestra para SERCE Guatemala

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M G 10 16 1 10 3 28 3 12 18 2 11 3 92 12 1 3 2 1 2 1 Total 231
Tabla 12. Escuelas de la muestra para SERCE Mxico

Tabla 13. Escuelas de la muestra para SERCE Mxico-Nuevo Len

56
REPORTE TCNICO
Tabla 14. Escuelas de la muestra para SERCE Nicaragua

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M 11 21 6 9 3 3 25 3 12 12 3 8 3 72 3 3 1 1 2 3 1 2 G 1 Total 208
Tabla 15. Escuelas de la muestra para SERCE Panam

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M 3 5 14 1 7 3 3 2 36 4 3 4 9 8 3 1 42 5 1 . 4 G 1 Total 159
Tabla 16. Escuelas de la muestra para SERCE Paraguay

Tabla 17. Escuelas de la muestra para SERCE Per

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Rural Mi P M G Mi P M G Mi P M 16 20 9 12 2 1 26 7 6 1 1 12 3 1 39 2 3 3 3 G 1 Total 168
CAPTULO 2
DISEO DE LA MUESTRA
57
Tabla 18. Escuelas de la muestra para SERCE Uruguay

M6/M3>=0.80 M6/M3>=0 & M6/M3 <0.80 M3=0 Total Publico Urbano Privado Urbano Mi P M G Mi P M G Mi 34 33 21 34 7 13 7 1 3 3 3 Rural P M 35 25 G Total 219
II.4.2. CANTIDAD MNIMA DE ESCUELAS POR ESTRATO EXPLCITO Y POR PAS

El diseo muestral recomend que el nmero de escuelas por pas fuera al menos 150, con un mnimo de 3 por estrato a priori. De esta manera, y con los ajustes que se indican en la seccin siguiente, se esperaba obtener en cada pas una muestra real no inferior a 4.000 alumnos en 3 y 3.500 en 6. Dado que el 3 y el 6 grado se ofrecen en instituciones educativas diferentes en Brasil y Colombia, las muestras de 6 grado se reducen considerablemente en estos pases. Sin embargo, como se observa abajo, se trata de escuelas densamente pobladas, lo que ayuda a completar la cuota esperada de alumnos en la muestra.
58
REPORTE TCNICO
II.5. MUESTRA EFECTIVA POR PASES
Despus de aplicar el diseo muestral y los distintos criterios de exclusin de se lleg a la muestra efectiva para cada pas. Las siguientes tablas presentan las muestras efectivas para cada pas por rea y grado.
Tabla 19 Tamao efectivo de las muestras para Lenguaje 3

Pas Argentina Brasil Colombia Costa Rica Cuba Chile Ecuador El Salvador Nuevo Len Guatemala Mxico Nicaragua Panam Paraguay Per R. Dominicana Uruguay Escuelas 146 136 181 145 186 150 172 175 157 212 148 178 145 193 154 139 207 Alumnos 5781 5388 5634 5025 5291 5791 4993 7302 5574 6677 4579 6211 6163 5066 4640 3947 6558
CAPTULO 2
DISEO DE LA MUESTRA
59
Tabla 20 Tamao efectivo de las muestras para Matemtica 3

Pas Escuelas Alumnos
Argentina Brasil Colombia Costa Rica Cuba Chile Ecuador El Salvador Nuevo Len Guatemala Mxico Nicaragua Panam Paraguay Per R. Dominicana Uruguay
151 136 183 144 186 151 178 175 157 213 149 175 145 194 154 145 207
6272 5534 5784 4714 5291 5880 5212 7399 5411 6881 4621 6384 6196 5110 4763 4374 6837
Tabla 21 Tamao efectivo de las muestras para Lenguaje 6

150 75 88 146 187 157 167 167 157 193 150 153 133 187 134 107
202
6069 5001 5851 4539 5883 6616 5096 6237 4998 5157 4723 6128 5003 4307 4504 4370
5989
60
REPORTE TCNICO
Tabla 22 Tamao efectivo de las muestras para Matemtica 6

149 77 87 122 187 156 172 167 154 193 150 155 139 189 134 108 203
6151 5201 5870 4008 5879 6648 5210 6270 4695 5249 4711 6468 5364 4362 4585 4502 6160
Tabla 23 Tamao efectivo de las muestras para Ciencias 6 Argentina Colombia Cuba El Salvador Nuevo Len Panam Paraguay Per R. Dominicana Uruguay Pas Escuelas 155 88 193 174 159 153 190 140 108 211 Alumnos 6039 5911 5897 6281 4711 5444 4466 4604 4473 6153
CAPTULO 2
DISEO DE LA MUESTRA
61
II.6. PROCEDIMIENTOS PARA LA SELECCIN DE ESCUELAS Y ALUMNOS.
SISTEMA DE REEMPLAZOS
Para la seleccin de las escuelas en cada pas se procede de la siguiente manera: a) En primer lugar las escuelas se clasifican por estrato a priori. b) Se analiza la conveniencia de colapsar algunos de los estratos. c) Se determina el tamao de la muestra en cada estrato. d) Se seleccionan las escuelas de cada estrato mediante muestreo aleatorio simple sin reposicin (probabilidades de seleccin iguales para todas las escuelas de un mismo estrato). e) Se seleccionan suplentes respectivas para cada unidad de la muestra, tambin por muestreo aleatorio simple sin reposicin. Cada escuela titular de la muestra tendr una escuela suplente. La escuela suplente se elige en el mismo estrato de la titular, y en caso de disponerse de la informacin en el marco, en la misma jurisdiccin de la titular.
Seleccionada una escuela en la muestra en los estratos 1 a 24, entonces todos los alumnos de 3 y de 6 pertenecen a la muestra de alumnos, salvo por lo mencionado en las exclusiones vlidas.
Seleccionada una escuela en la muestra en los estratos 25 a 32, entonces todos los alumnos de 6 pertenecen a la muestra de alumnos, salvo por lo mencionado en las exclusiones vlidas.
El proceso de seleccin de escuelas se realiz por la CT-LLECE. Cada pas recibi el listado de escuelas titulares con sus respectivas suplentes y con su cdigo LLECE asignado.
Los reemplazos de escuelas se realizaron mediante el sistema de suplentes respectivas. Los reemplazos, en todos los casos, fueron autorizados por el Coordinador Nacional. ste elabor un informe de los reemplazos autorizados, con la causal que los motiv y con las acciones que realiz para evitar el reemplazo.
62
REPORTE TCNICO
II.7. ESTRATOS ADICIONALES OPTATIVOS PARA CADA PAS Y TRATAMIENTO DE LAS MUESTRAS PARA ENTIDADES SUBNACIONALES (NUEVO LEN)
El diseo muestral seguido tiene, como una de sus caractersticas, la flexibilidad. Ello implica que se pueden definir criterios adicionales de estratificacin, se pueden variar los tamaos de muestra por estrato (a condicin de respetar los mnimos establecidos para el operativo nacional) y que la informacin que se recoja a nivel de las entidades subnacionales puede agregarse junto con la informacin del nivel nacional, adecuadamente ponderada. Se proporcionar a los pases un formulario para indicar sus opciones nacionales adicionales en materia de muestra. Para las muestras de Nuevo Len se siguieron los mismos criterios que para la determinacin de las muestras de los pases (estratificacin a priori, muestreo en conglomerados en una sola etapa de seleccin, probabilidades iguales para todas las escuelas de un mismo estrato mediante muestreo aleatorio simple sin reposicin) de manera de garantizar precisin y confiabilidad de los resultados a nivel regional. En el caso de Uruguay, se sobremuestrearon establecimientos en las reas urbanas considerando a las escuelas de tiempo completo, de contexto sociocultural crtico y aquellas que no tenan ningn programa. La tabla 24 da cuenta de la distribucin de escuelas por estrato de acuerdo a la clasificacin recin indicada.
Tabla 24. Escuelas de la muestra para SERCE Uruguay

M6/M3>=0.80 M6/M3>=0 & M6/ M3 <0.80 M3=0 Total Mi P TC CSC NP TC 22 12 3 3 9 6 8 7 Publico Urbano M CSC 5 17 NP TC 20 10 G CSC 1 3 NP 3 Privado Urbano Mi P M G M 13 7 1 3 3 Rural P M G Total 219
35 25
CAPTULO 2
DISEO DE LA MUESTRA
63
II.8. ELABORACIN DEL MARCO MUESTRAL EN CADA PAS
Cada pas elabor un marco muestral, que consisti en una matriz de datos que en cada fila presenta una escuela y la informacin de identificacin de cada centro escolar, y en cada columna una variable asociada a cada escuela. Las variables asociadas son: a) Nombre de la escuela b) Cdigo de identificacin nacional de la escuela (si existe) c) Mes de inicio de los cursos en la escuela d) Mes de finalizacin de los cursos en la escuela e) Ubicacin 1 - Direccin f) Ubicacin 2 - Localidad g) Cdigo de Ubicacin 2 h) Ubicacin 3 - Departamento, provincia o estado i) Cdigo de Ubicacin 3 j) Cantidad de alumnos en 1 en la escuela k) Cantidad de alumnos en 2 en la escuela l) Cantidad de alumnos en 3 en la escuela m) Cantidad de alumnos en 4 en la escuela n) Cantidad de alumnos en 5 en la escuela o) Cantidad de alumnos en 6 en la escuela p) Cantidad de alumnos en 7 en la escuela q) Cantidad de alumnos en 8 en la escuela r) Cantidad de alumnos en 9 en la escuela s) Cantidad de secciones de 3 (el dato ms actualizado)
64
REPORTE TCNICO
t) Cantidad de secciones de 6 (el dato ms actualizado) u) Turnos en que funciona la escuela (matutino tarde doble turno - jornada completa) v) rea (urbana o rural) (empleando la definicin de ruralidad propia del pas) w) Gestin (pblica o privada) (las escuelas de gestin privada que reciben subvencin estatal deben ser consideradas privadas, salvo que el pas desee establecer un subuniverso explcito que permita diferenciar ambos tipos de escuelas) x) Lengua en que se ensea en 3 y) Ao al que corresponden los datos de la base.
Uruguay solicit que las escuelas de Condicin Social Crtica fueran un subuniverso de su muestra, por lo cual identific a tales escuelas en el marco muestral.
II.8.1. CRITERIOS Y PROCEDIMIENTOS PARA EL CONTROL DE LOS MARCOS MUESTRALES POR PARTE DE LA COORDINACIN TCNICA
Las propiedades deseables de los marcos muestrales aplicables a este caso son: - Cobertura: todas las escuelas del universo investigado se encuentran en el marco (completitud) y cada unidad del universo a investigar figura una sola vez en el marco29. La identificacin y la ubicacin que figuran en el marco son suficientes para direccionar al personal de campo en caso que la escuela sea sorteada en la muestra. Actualizacin: las variables de estratificacin en el marco corresponden al dato ms actual posible. Calidad: las variables del marco no contienen errores (no contienen errores de importancia).
- -
A los efectos de lograr estimaciones precisas, confiables y no sesgadas de los parmetros a investigar, la Coordinacin Tcnica control que los marcos muestrales cumplan satisfactoriamente con las propiedades deseables arriba enumeradas.
29
Se recomiend tener un cuidado especial con los locales que albergan dos escuelas, una en el turno de la maana y otra en el turno vespertino.
CAPTULO 2
DISEO DE LA MUESTRA
65
En particular, para controlar la completitud se utiliz la variable Cantidad de alumnos en la escuela, porque la suma de dicha variable a travs de todas las escuelas del marco debe coincidir razonablemente con la matrcula de la educacin primaria del pas. Para controlar la calidad y actualizacin del marco, una vez seleccionada la muestra, se solicit a la Coordinacin Nacional que contacte a las escuelas y actualice la informacin sobre cantidades de secciones y alumnos de 3 y 6. Esta informacin actualizada permiti ajustar la asignacin de cuadernillos a los alumnos y se emple a posteriori por la Coordinacin Tcnica para realizar un anlisis de la calidad de la informacin empleada para sortear la muestra.
II.8.2. REQUISITOS MNIMOS DE COBERTURA QUE DEBEN SER ALCANZADOS POR CADA PAS PARA QUE LOS DATOS SEAN CONSIDERADOS CONFIABLES
Dado que slo se admitir una escuela suplente por cada escuela titular, es posible que el tamao de muestra efectivamente alcanzado en el operativo resulte algo inferior al tamao originalmente planeado. Se considerar que la muestra de un pas es suficiente para realizar estimaciones confiables si se cumplen a la vez las tres condiciones siguientes: a) El tamao de muestra efectivo de escuelas es por lo menos el 80% de las escuelas esperadas en cada grado y rea. b) El tamao de muestra efectivo incluye al menos el 70% de escuelas titulares. c) El tamao de muestra efectivo alcanza por lo menos al 80% de los alumnos que concurren efectivamente a clases.
Tabla 25 Tasa de respuesta (en %) en la muestra de escuelas

100 90 80 70 60 50 40 30 20 10 10 20 ACEPTABLE 30 40 50 60 70 80 90 100 ANTES DE LOS REEMPLAZOS DESPUS DE LOS REEMPLAZOS
66
REPORTE TCNICO
Las tablas siguientes (26 a la 34) indican los tamaos efectivos y los porcentajes de cumplimiento para las muestras de alumnos y escuelas en cada pas, por rea y grado evaluados.
Tabla 26. Comparacin de escuelas esperadas versus escuelas efectivas en la muestra final para Lectura 3 Escuelas esperadas 165 152 195 162 200 167 193 176 159 229 172 195 157 207 164 160 218 3071 Escuelas efectivas 146 136 181 145 186 150 172 175 157 212 148 178 145 193 154 139 207 2824 Porcentaje de escuelas esperadas en la muestra final 88,5% 89,5% 92,8% 89,5% 93,0% 89,8% 89,1% 99,4% 98,7% 92,6% 86,0% 91,3% 92,4% 93,2% 93,9% 86,9% 95,0% 92,0%
Pas Argentina Brasil Colombia Costa Rica Cuba Chile Ecuador El Salvador Nuevo Len Guatemala Mxico Nicaragua Panam Paraguay Per R. Dominicana Uruguay Total general
CAPTULO 2
DISEO DE LA MUESTRA
67
Tabla 27. Comparacin de alumnos esperados versus alumnos efectivos en la muestra final para Lectura 3 Alumnos esperados 7444 6502 6945 5550 5332 6826 5878 7714 6592 7950 5221 8000 7161 6403 5879 5490 7974 112861 Alumnos efectivos 5781 5388 5634 5025 5291 5791 4993 7302 5574 6677 4579 6211 6163 5066 4640 3947 6558 94620 Porcentaje de alumnos esperados en la muestra final 77,7% 82,9% 81,1% 90,5% 99,2% 84,8% 84,9% 94,7% 84,6% 84,0% 87,7% 77,6% 86,1% 79,1% 78,9% 71,9% 82,2% 83,8%
68
REPORTE TCNICO
Tabla 28. Comparacin de escuelas esperadas versus escuelas efectivas en la muestra final para Lectura 6 Escuelas esperadas 168 84 90 167 195 169 192 175 161 223 174 169 156 205 147 112 218 2805 Escuelas efectivas 150 75 88 146 187 157 167 167 157 193 150 153 133 187 134 107 202 2553 Porcentaje de escuelas esperadas en la muestra final 89,3% 89,3% 97,8% 87,4% 95,9% 92,9% 87,0% 95,4% 97,5% 86,5% 86,2% 90,5% 85,3% 91,2% 91,2% 95,5% 92,7% 91,0%
CAPTULO 2
DISEO DE LA MUESTRA
69
Tabla 29. Comparacin de alumnos esperados versus alumnos efectivos en la muestra final para Lectura 6 Alumnos esperados 7236 6391 6823 4982 5930 7565 5697 6510 5627 5757 5143 7385 5935 5401 5532 5114 6959 103987 Alumnos efectivos 6069 5001 5851 4539 5883 6616 5096 6237 4998 5157 4723 6128 5003 4307 4504 4370 5989 90471 Porcentaje de alumnos esperados en la muestra final 83,9% 78,3% 85,8% 91,1% 99,2% 87,5% 89,5% 95,8% 88,8% 89,6% 91,8% 83,0% 84,3% 79,7% 81,4% 85,5% 86,1% 87,0%
70
REPORTE TCNICO
Tabla 30. Comparacin de escuelas esperadas versus escuelas efectivas en la muestra final para Matemtica 3 Escuelas esperadas 165 152 195 162 200 167 193 176 159 229 172 195 157 207 164 160 218 3071 Escuelas efectivas 151 136 183 144 186 151 178 175 157 213 149 175 145 194 154 145 207 2843 Porcentaje de escuelas esperadas en la muestra final 91,5% 89,5% 93,8% 88,9% 93,0% 90,4% 92,2% 99,4% 98,7% 93,0% 86,6% 89,7% 92,4% 93,7% 93,9% 90,6% 95,0% 92,6%
CAPTULO 2
DISEO DE LA MUESTRA
71
Tabla 31. Comparacin de alumnos esperados versus alumnos efectivos en la muestra final para Matemtica 3 Alumnos esperados 7444 6502 6945 5550 5332 6826 5878 7714 6592 7950 5221 8000 7161 6403 5879 5490 7974 112861 Alumnos efectivos 6272 5534 5784 4714 5291 5880 5212 7399 5411 6881 4621 6384 6196 5110 4763 4374 6837 96663 Porcentaje de alumnos esperados en la muestra final 84,3% 85,1% 83,3% 84,9% 99,2% 86,1% 88,7% 95,9% 82,1% 86,6% 88,5% 79,8% 86,5% 79,8% 81,0% 79,7% 85,7% 85,6%
72
REPORTE TCNICO
Tabla 32. Comparacin de escuelas esperadas versus escuelas efectivas en la muestra final para Matemtica 6 Escuelas esperadas 168 84 90 167 195 169 192 175 161 223 174 169 156 205 147 112 218 2805 Escuelas efectivas 149 77 87 122 187 156 172 167 154 193 150 155 139 189 134 108 203 2542 Porcentaje de escuelas esperadas en la muestra final 88,7% 91,7% 96,7% 73,1% 95,9% 92,3% 89,6% 95,4% 95,7% 86,5% 86,2% 91,7% 89,1% 92,2% 91,2% 96,4% 93,1% 90,6%
CAPTULO 2
DISEO DE LA MUESTRA
73
Tabla 33. Comparacin de alumnos esperados versus alumnos efectivos en la muestra final para Matemtica 6 Alumnos esperados 7236 6391 6823 4982 5930 7565 5697 6510 5627 5757 5143 7385 5935 5401 5532 5114 6959 103987 Alumnos efectivos 6151 5201 5870 4008 5879 6648 5210 6270 4695 5249 4711 6468 5364 4362 4585 4502 6160 91333 Porcentaje de alumnos esperados en la muestra final 85,0% 81,4% 86,0% 80,4% 99,1% 87,9% 91,5% 96,3% 83,4% 91,2% 91,6% 87,6% 90,4% 80,8% 82,9% 88,0% 88,5% 87,8%
74
REPORTE TCNICO
Tabla 34. Comparacin de escuelas esperadas versus escuelas efectivas en la muestra final para Ciencias 6 Escuelas esperadas 168 90 195 175 161 156 205 147 112 218 1627 Escuelas efectivas 155 88 193 174 159 153 190 140 108 211 1571 Porcentaje de escuelas esperadas en la muestra final 92,3% 97,8% 99,0% 99,4% 98,8% 98,1% 92,7% 95,2% 96,4% 96,8% 96,6%
Pas Argentina Colombia Cuba El Salvador Nuevo Len Panam Paraguay Per R. Dominicana Uruguay Total general
CAPTULO 2
DISEO DE LA MUESTRA
75
Tabla 35. Comparacin de alumnos esperados versus alumnos efectivos en la muestra final para Ciencias 6 Alumnos esperados 7236 6823 5930 6510 5627 5935 5401 5532 5114 6959 61067 Alumnos efectivos 6039 5911 5897 6281 4711 5444 4466 4604 4473 6153 53979 Porcentaje de alumnos esperados en la muestra final 83,5% 86,6% 99,4% 96,5% 83,7% 91,7% 82,7% 83,2% 87,5% 88,4% 88,4%
Pas Argentina Colombia Cuba El Salvador Nuevo Len Panam Paraguay Per R. Dominicana Uruguay Total general
76
REPORTE TCNICO
II.8.3. CRITERIOS Y PROCEDIMIENTOS PARA EL CONTROL DE LAS MUESTRAS REALMENTE OBTENIDAS UNA VEZ CULMINADA LA APLICACIN
Una vez culminado el operativo se verific: a) que el tamao de la muestra en cada estrato fuera de al menos dos escuelas;
b) que se dispona del nmero de alumnos que asisten regularmente a clase por seccin de la muestra para comparar con el nmero de alumnos que hicieron las pruebas (criterio de exclusin para el anlisis);
c) cul fue la proporcin de alumnos participantes en cada escuela y seccin;
d) que el tamao de la muestra efectiva de escuelas fuera al menos el 80% de la muestra planeada;
e) que el tamao de la muestra efectiva de escuelas titulares fuera al menos el 70% de la muestra planeada;
f) que las escuelas de la muestra fueron efectivamente las sorteadas como titulares o, en su defecto, las suplentes respectivas;
g) que todas las secciones de la escuela en 3 y en 6 fueron incluidas en el operativo o, en su defecto, que las secciones omitidas han sido bien excluidas en virtud de su tamao;
h) que se lograra la participacin en las pruebas del 80% de los alumnos de cada grado que concurren efectivamente a clases; i) que todas las pruebas y cuestionarios contenan la identificacin precisa del alumno, la seccin, la escuela y del estrato al que pertenece la escuela.
CAPTULO 2
DISEO DE LA MUESTRA
77
II.9. MRGENES DE ERROR ESTIMADOS PARA EL DISEO MUESTRAL, A NIVEL INTERNACIONAL, NACIONAL Y DE ESTRATO
La simulacin realizada con los datos de dos pases del Primer Estudio Internacional Comparativo, con los tamaos de muestra propuestos, permite afirmar que para un nivel de confianza del 95% el error de muestreo en las pruebas de Lengua y Matemtica ser: - - - inferior al 1% para el conjunto de todos los pases; del orden del 4,5% a nivel nacional; del orden del 10% para los dominios de estudio con una participacin del 40% o ms en la muestra total.
El diseo muestral permita reducir los niveles de error, pero ello requera incrementar la cantidad de escuelas en la muestra. A los efectos de que los Coordinadores Nacionales tengan una idea aproximada, se estim para un pas (Argentina), a partir de los datos del Primer Estudio (Matemtica), los tamaos de muestra necesarios para lograr diferentes niveles de error a nivel nacional (ver Tabla 36). Esta informacin se proporcion ante la eventualidad de alguno o todos los pases consideraran necesario alcanzar menores niveles de error, para que se puedan estimar los costos involucrados.
Tabla 36 Tamaos mustrales para distintos niveles de error

Cantidad de Escuelas Error a nivel nacional Error en el estrato urbano pblico Error en el estrato rural
118 160 230 358 633
5% 4% 3,5 % 3% 2%
7% 6% 5% 4% 3%
7% 6% 5% 4% 3%
Ningn pas increment su tamao de muestra con el propsito de mejorar la precisin de sus estimaciones. En el caso de Uruguay el tamao de la muestra aument a fin de obtener precisiones razonables para grupos de escuelas de inters particular como las de contexto sociocultural crtico y tiempo completo. En las tablas siguientes (37 a 41) se especifica la media y el error de estimacin relativo a la estimacin puntual en cada rea y grado evaluados.
78
REPORTE TCNICO
Tabla 37. Media y error de precisin relativo de la estimacin puntual para Lectura de 3er grado por pas Pas Argentina Brasil Colombia Costa Rica Cuba Chile Ecuador El Salvador Nuevo Len Guatemala Mxico Nicaragua Panam Paraguay Per R. Dominicana Uruguay Total ALyC rea L3 L3 L3 L3 L3 L3 L3 L3 L3 L3 L3 L3 L3 L3 L3 L3 L3 L3 Media 510,04 503,57 510,58 562,69 626,89 562,03 452,41 496,23 557,80 446,95 530,44 469,80 467,21 469,09 473,98 395,44 522,65 505,13 Error relativo 1,56% 1,89% 2,04% 1,20% 2,28% 1,44% 1,90% 1,55% 1,09% 1,50% 1,52% 0,94% 1,37% 1,94% 1,75% 1,81% 1,34% 0,85%
Fuente:Bases de datos SERCE
Tabla 38. Media y error de precisin relativo de la estimacin puntual para Lectura de 6to grado por pas Pas Argentina Brasil Colombia Costa Rica Cuba Chile Ecuador El Salvador Nuevo Len Guatemala Mxico Nicaragua Panam Paraguay Per R. Dominicana Uruguay Total ALyC rea L6 L6 L6 L6 L6 L6 L6 L6 L6 L6 L6 L6 L6 L6 L6 L6 L6 L6 Media 506,45 520,32 514,94 563,19 595,92 546,07 447,44 484,16 542,35 451,46 529,92 472,92 472,05 455,24 476,29 421,47 542,15 513,02 Error relativo 1,89% 2,19% 2,12% 1,10% 2,18% 1,54% 2,05% 1,61% 1,22% 1,45% 1,76% 1,11% 1,53% 1,91% 1,73% 1,52% 1,32% 1,01%
CAPTULO 2
DISEO DE LA MUESTRA
79
Tabla 39. Media y error de precisin relativo de la estimacin puntual para Matemtica de 3er grado por pas Error Pas rea Media relativo M3 505,36 1,62% Argentina M3 505,03 2,19% Brasil M3 499,35 1,88% Colombia M3 538,32 1,11% Costa Rica M3 647,93 2,80% Cuba M3 529,46 1,55% Chile M3 473,07 1,58% Ecuador M3 482,75 1,38% El Salvador M3 562,80 1,07% Nuevo Len M3 457,10 1,43% Guatemala M3 532,10 1,45% Mxico M3 472,78 1,08% Nicaragua M3 463,04 1,36% Panam M3 485,60 2,15% Paraguay M3 473,94 1,49% Per M3 395,65 1,80% R. Dominicana M3 538,53 1,39% Uruguay Total ALyC M3 505,11 0,93%
Tabla 40. Media y error de precisin relativo de la estimacin puntual para Matemtica de 6to grado por pas Error Pas rea Media relativo M6 513,02 1,50% Argentina M6 499,42 2,31% Brasil M6 492,71 1,90% Colombia M6 549,33 1,34% Costa Rica M6 637,46 3,40% Cuba M6 517,30 1,56% Chile M6 459,50 2,15% Ecuador M6 471,93 1,56% El Salvador M6 553,94 1,34% Nuevo Len M6 455,80 1,25% Guatemala M6 541,60 1,89% Mxico M6 457,93 1,09% Nicaragua M6 451,59 1,39% Panam M6 468,31 1,79% Paraguay M6 489,97 2,17% Per M6 415,63 0,95% R. Dominicana M6 578,42 1,37% Uruguay M6 506,69 1,05% Fuente:Bases de datos SERCE Total ALyC
80
REPORTE TCNICO
Tabla 41. Media y error de precisin relativo de la estimacin puntual para Ciencias de 6to grado por pas Pas Argentina Colombia Cuba El Salvador Nuevo Len Panam Paraguay Per R. Dominicana Uruguay Total ALyC
rea C6 C6 C6 C6 C6 C6 C6 C6 C6 C6 C6
Media 488,71 504,31 661,73 479,10 510,68 472,51 469,26 464,89 426,31 533,13 491,56
Error relativo 1,41% 1,73% 3,69% 1,38% 1,17% 1,33% 1,37% 1,41% 1,11% 1,29% 0,80%
CAPTULO 2
DISEO DE LA MUESTRA
81
II.10. SISTEMA DE PONDERACIONES PARA LA ESTIMACIN DE RESULTADOS A NIVEL NACIONAL Y DE SUBUNIVERSOS

Dado que la muestra no es autoponderada, es necesario utilizar ponderadores para representar adecuadamente a la poblacin. La metodologa planteada en el Manual de muestreo para la aplicacin definitiva sobre el clculo de los estimadores de las medias as como de sus errores estndar es tericamente correcta, pero tiene algunos inconvenientes importantes que hacen que su uso sea restringido. Entre los ms importantes estn:
Es muy difcil derivar las frmulas a emplear para una gran cantidad de estadsticos, por ejemplo los cuantiles.
En la construccin de estimadores se van arrastrando sesgos de forma considerable cuando los estratos muestrales tienen menos de 20 elementos.
Se dificulta la repeticin de los anlisis debido a que se requiere programarlos cada vez.
Por lo anterior, se decidi generar los ponderadores al nivel alumno y utilizarlos para estimar todos los estadsticos necesarios. Para llegar a los ponderadores por alumno fue necesario ajustar la concepcin del diseo muestral utilizado. El diseo original plantea que en cada escuela se iban a evaluar a todos los alumnos. Esto implica que el ponderador del alumno deba ser igual al de su escuela. Es decir la probabilidad de seleccionar a un alumno en particular iba a ser la misma de la probabilidad de seleccionar a su escuela. Sin embargo, por diversas razones, esto no necesariamente ocurri as. En casos donde, por ejemplo, en cada escuela solamente se evalu al 85% de los alumnos en promedio, no sera correcto asignar a los estudiantes la probabilidad de seleccin de la escuela.
Para superar este obstculo en el clculo de estimadores puntuales y sus correspondientes errores se consider el tipo de muestreo como uno bitpico en vez de un unietpico. En este muestreo bietpico, la primera etapa corresponde a la seleccin de las escuelas mediante un muestreo aleatorio simple y, la segunda etapa, a la seleccin de alumnos igualmente como un muestreo aleatorio simple. Esto asumiendo que los estudiantes que no fueron evaluados se distribuyen aleatoriamente.
82
REPORTE TCNICO
Los pesos fueron calculados como factores de expansin, es decir, como el inverso de la probabilidad de seleccin, en correspondencia con este diseo muestral. En el caso de los estudiantes, por ejemplo, el peso o factor de expansin puede interpretarse como el nmero de estudiantes de su estrato que un alumno representa. En trminos tcnicos se us la siguiente lgica para calcular los ponderadores al nivel del alumno:
whij= Nni Nhi nhl nni Nhl = Cantidad de escuelas en el estrato h Nhi = Cantidad de alumnos en la escuela i del estrato h nhI = Cantidad de escuelas en muestra del estrato h nhi = Cantidad de alumnos en muestra de la escuela i en el estrato h
Para que los estimadores describan de mejor manera a las caractersticas de las poblaciones estudiadas, es necesario hacer un ajuste a los ponderadores que considere la cantidad de poblacin de los estratos en los que se dividi la muestra. A continuacin se presentan las frmulas correspondientes.
w*hij = whij Nh
h = sh whij Nh = Cantidad de alumnos matriculados en el estrato h h = Estimado de la cantidad de alumnos matriculados en el estrato h
Un procedimiento similar se utiliz para calcular los factores de expansin a nivel de escuela, realizando un ajuste para asegurarse que los ponderadores representen al total de la poblacin de escuelas. Los factores de expansin para las variables de docentes se calcularon considerando el nmero de aulas como el nmero total de docentes en la escuela, dado que se careca de informacin sobre el nmero total real de docentes en cada estrato y dominio. Por lo tanto, este mtodo debe tomarse con las reservas del caso, ya que en contextos donde hay ms de un docente por aula pueden sesgarse las caractersticas de los profesores. Los factores de expansin de las bases de logro son distintos a los factores de las bases de alumnos y familias. Dado que todos los estudiantes en las bases de resultados de aprendizaje tienen una puntuacin estimada, se opt por calcular el factor de expansin en funcin al nmero de estudiantes en cada una de las bases, para salvaguardar que se hiciera una estimacin adecuada del logro de la poblacin en cada pas. Por ello pueden existir algunas mnimas diferencias entre los pesos de las bases de resultados del mismo grado pero distinta rea. En cuanto a las bases de alumnos y familias, los factores de expansin se calcularon independientemente para cada grado. Se tom como base el nmero total de estudiantes que tuvo puntajes vlidos en al menos una de las pruebas. Los factores de expansin de alumnos y familias de un mismo grado son iguales, dado que se calcularon sobre el mismo nmero de estudiantes.
CAPTULO 2
DISEO DE LA MUESTRA
83
SINTAXIS PARA LA GENERACION DE PESOS.

COMPUTE schwgt = Nh/nhesperado . EXECUTE . COMPUTE schwadj = nhesperado/nhefectivo . EXECUTE . AGGREGATE /OUTFILE=* MODE=ADDVARIABLES /BREAK=LlavePaisCentro /nstud = SUM(Muestra01). COMPUTE studadj = M3hj / nstud . EXECUTE . COMPUTE totwgt = schwgt * schwadj * studadj . EXECUTE . AGGREGATE /OUTFILE=* MODE=ADDVARIABLES /BREAK=PAIS ESTRATOA3ORIGINALR /ESTRAT = SUM(totwgt). COMPUTE totwgt_adj = totwgt * M3h/ESTRAT . EXECUTE . WEIGHT BY totwgt . FREQUENCIES VARIABLES=PAIS /ORDER= ANALYSIS . WEIGHT BY totwgt_adj . FREQUENCIES VARIABLES=PAIS /ORDER= ANALYSIS .
84
REPORTE TCNICO
Utilizando pesos es fcil estimar las medias y totales de la poblacin. Usando la tcnica de los pesos la estimacin de las varianzas es ms compleja pues tanto el numero de etapas, la estratificacin posterior y los ajustes por no respuesta afectan la varianza. Unido a lo anterior hay que agregar el hecho de que se puede requerir varianzas de estadsticas no lineales como la razn o la proporcin para lo cual no resulta trivial obtener estimaciones insesgadas. Estos hechos han llevado al desarrollo de tcnicas ms sencillas de estimacin de varianzas, aunque resulten menos precisas. Estas tcnicas se dividen en dos familias. Por un lado, las tcnicas de replicacin, entre las que se cuentan el mtodo de grupos aleatorios, el de semimuestras reiteradas, el mtodo de Jacknife o de los estimadores herramentales y el bootstrap o de autogeneracin. Por otro lado, estn los mtodos de linearizacin (como el de las series de Taylor). Las estimaciones de varianza en el SERCE se realizaron utilizando el mtodo de linearizacin de Taylor. El propsito del procedimiento de linearizacin con series de Taylor es la aproximacin a la estimacin de inters por medio de un estimador lineal. La varianza de esta aproximacin lineal es entonces estimada usando los mtodos estndar de estimacin de varianza disponibles para estimadores lineales.
CAPTULO 2
DISEO DE LA MUESTRA
85
CAPTULO
a aplicacin de los instrumentos del SERCE, para efectos de levantar los datos requeridos en el estudio, 30 fue realizada directamente por las coordinaciones nacionales de los pases participantes , con la direccin y el apoyo de la coordinacin tcnica del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (LLECE-CT), en concordancia con el diseo establecido en el Plan de Trabajo (UNESCO, 2005) y asegurando el cumplimiento de los Criterios y procedimientos definidos (UNESCO, 2006a). Los coordinadores nacionales, que participaron activa y permanentemente en todas las etapas del estudio, tuvieron un papel esencial en los operativos en campo, donde fue necesario implementar cada uno de los procedimientos debidamente probados en la aplicacin piloto y previamente estandarizados en diversos manuales e instructivos. De esta forma, fueron los responsables de estructurar y organizar la red de aplicacin, convocar y capacitar a los aplicadores, reproducir y organizar el material, contactar a las escuelas participantes y asegurar que las condiciones de aplicacin estuvieran de acuerdo con los procedimientos establecidos. Despus de administrados los instrumentos, fue necesario recuperar todo el material, organizarlo, codificar las respuestas de los estudiantes a las preguntas abiertas, evaluar las pruebas de escritura y capturar toda la informacin mediante interfases que permitieron la consolidacin de bases de datos que luego fueron remitidas al LLECE-CT.
30 pas.
Cada coordinacin nacional cont con un equipo de trabajo y un responsable, denominado coordinador nacional y designado por el respectivo
CAPTULO 3
87
III.1. Responsabilidades y roles

En seguida se describe el papel que desempearon tanto los coordinadores nacionales como los aplicadores encargados del operativo de campo directamente en cada aula de clase.
III.1.1. Coordinador Nacional
Los coordinadores nacionales fueron los principales responsables de la implementacin del proyecto en sus respectivos pases. Para ello debieron leer y estudiar todos los manuales e instructivos elaborados, principalmente el manual del coordinador nacional (UNESCO, 2006b), asistir a las reuniones y jornadas de capacitacin que se efectuaron para asegurar la correcta ejecucin de cada tarea, organizar e implementar cada aspecto previsto y delegar en representantes de sus equipos algunas de sus funciones. Otra responsabilidad importante consisti en mantener interlocucin permanente con el LLECE-CT, indicando los requerimientos nacionales de adaptacin de los procesos establecidos en los manuales y de los propios instrumentos. Las actividades ejecutadas por los coordinadores nacionales, antes, durante y despus de la aplicacin, fueron las siguientes (UNESCO, 2006b):
a) Antes de la aplicacin
Constituir un equipo tcnico y administrativo con el cual pudieron conducir los diferentes procesos requeridos; establecer un sistema que permiti velar por la seguridad del estudio y la confidencialidad de los instrumentos; aprobar las versiones de los manuales e instrumentos adaptados a su pas; definir fechas de aplicacin de los instrumentos en las escuelas, dentro del perodo de las ocho semanas anteriores a la terminacin del ao escolar;
88
REPORTE TCNICO
conformar el marco muestral del pas; recibir la muestra nacional y verificar que las cantidades de estudiantes matriculados y asistentes a la escuelas en los grados tercero y sexto correspondieron con la informacin proporcionada en el marco muestral; interactuar con el LLECE-CT para efectuar los ajustes pertinentes en la muestra; establecer contacto con los centros educativos de la muestra, informarlos de la evaluacin y solicitar su cooperacin; reproducir los instrumentos y materiales para la aplicacin; convocar, seleccionar y capacitar a los aplicadores; organizar la revisin y entrega de los materiales a los aplicadores.
b) Durante la aplicacin Implementar un sistema interno de apoyo a la aplicacin; informar al LLECE-CT las contingencias que tuvieron lugar en el periodo de aplicacin; colaborar con el Observador Internacional en su labor de implementar un sistema de supervisin de calidad del estudio.
c) Despus de la aplicacin Organizar la verificacin y recepcin de los materiales de la aplicacin; dirigir los procesos de correccin y codificacin de las respuestas a las preguntas abiertas y de evaluacin de la prueba de escritura; organizar la captura de las respuestas a los instrumentos a travs de interfases personalizadas para cada pas; remitir al LLECE-CT un informe de aplicacin junto con la documentacin de soporte requerida, las bases consolidadas de datos y una submuestra de cuadernillos para el control de calidad de la codificacin de las respuestas de los estudiantes a las preguntas abiertas.
CAPTULO 3
89
III.1.2. Director de escuela

Los directores tuvieron una funcin de enlace y de canal de comunicacin dentro de las escuelas, para efectos de sensibilizar a la comunidad educativa acerca del estudio, transmitir el principio de confidencialidad de la informacin recabada, coordinar las actividades requeridas y disponer los elementos de logstica necesarios para el operativo de aplicacin, siguiendo las instrucciones del Documento Informativo para el Director (UNESCO, 2006c). En especial llevaron a cabo las siguientes tareas:
Informar a docentes, estudiantes y padres de familia sobre la participacin de la escuela en el SERCE; prever los aspectos organizativos necesarios para aplicar los instrumentos: disponibilidad de salones, presencia de docentes y estudiantes en las fechas de aplicacin y forma de administrar el cuestionario para las familias; familiarizacin de los estudiantes con el tipo de prueba, empleando el cuadernillo de ejemplo del anexo del Documento Informativo (UNESCO, 2006d); apoyar a los aplicadores durante los das del operativo facilitando los medios que fueron necesarios; resguardar el contenido de las pruebas con absoluta confidencialidad.
90
REPORTE TCNICO
III.1.3. Aplicador de instrumentos
Los aplicadores fueron los responsables finales de administrar los instrumentos en cada escuela seleccionada en la muestra. Para ello debieron observar rigurosamente todos los procedimientos establecidos en el manual del aplicador y en el documento sobre pautas para la aplicacin de los cuestionarios (UNESCO, 2006d, 2006e), y seguir las indicaciones recibidas en el proceso de capacitacin. Sus tareas fueron:
establecer contacto con la escuela y coordinar con sus autoridades todos los aspectos que garantizaron que la evaluacin se realiz con las mejores condiciones posibles; asegurase de recibir el material de evaluacin y cuidar su confidencialidad e integridad; llenar los datos en las cartulas de los instrumentos de acuerdo con los cdigos asignados a cada estudiante31, aula y escuela;
aplicar los instrumentos a los estudiantes siguiendo estrictamente las pautas de aplicacin previstas; administrar los cuestionarios de familia, del director y de los docentes; llevar registro de la asistencia de los estudiantes a las sesiones de evaluacin, de los incidentes presentados y de las condiciones de evaluacin, completando los formularios respectivos; consolidar todo el material y devolverlo ordenadamente a la dependencia que estableci la coordinacin nacional.
31 Cada estudiante fue identificado con un cdigo de diez dgitos: los dos primeros para denotar el pas; el tercero, cuarto y quinto dgitos para la escuela, el sexto dgito para el grado; el sptimo y octavo dgitos para el aula; y el noveno y dcimo dgitos para el consecutivo del estudiante dentro del aula.
CAPTULO 3
91
III.2. Operaciones en campo

A continuacin se describen las principales operaciones en campo que fueron realizadas en la fase de implementacin del proyecto, desde la adaptacin de las versiones de instrumentos y manuales estandarizados para su aplicacin en cada pas, hasta el envo de las bases de datos y del informe de aplicacin.
III.2.1. Reproduccin, embalaje y distribucin del material
Aprobada la versin nacional de las pruebas de cada pas, se procedi a su diagramacin y envo en archivo digital en formato .pdf al respectivo coordinador nacional, quien efectu una ltima revisin y aprobacin de esta versin. Luego, cada pas reprodujo la cantidad exacta necesaria de cuadernillos para evaluar a los estudiantes de su muestra, evitando, por razones de seguridad, la reproduccin de ejemplares adicionales, y manteniendo intacto (sin nuevas modificaciones) el contenido del archivo con la versin nacional. En el caso de los cuestionarios, las coordinaciones nacionales recibieron los archivos en versin digital en formato .doc; luego, tras la aprobacin de sus pedidos de adaptacin, fueron facultadas para introducir los cambios respectivos. Para la impresin de las pruebas y los cuestionarios, los pases siguieron las pautas proporcionadas: papel de 80 gramos/m2 o superior, color blanco (con 90% de blancura como mnimo), formato cuadernillo deseablemente abrochado con dos ganchos o grapas e impresin en blanco y negro. Las pruebas de lectura, matemtica y ciencias tuvieron seis tipos distintos de cuadernillos cada una, mientras que la de escritura tuvo dos. La forma de distribucin de los cuadernillos entre los estudiantes fue en espiral, para asegurar una cantidad similar de cuadernillos aplicados de cada tipo al nivel de aula, escuela y pas. La distribucin de cuadernillos y cuestionarios, indicando los instrumentos asignados a cada estudiante, de acuerdo 32 con la muestra a evaluar, fue colocada en el formulario de registro de asistencia F2 .
Los sistemas de embalaje y distribucin de materiales variaron segn los pases, pero aseguraron en todos los casos que los aplicadores llevaron consigo la cantidad de cuadernillos y cuestionarios establecida en el mencionado formulario F2.
32
Para cada aula se dise un formulario F2 cuyo formato se dispuso en el anexo 2 del manual del aplicador.
92
REPORTE TCNICO
III.2.2. Convocatoria y capacitacin de aplicadores

Los coordinadores nacionales convocaron personas con el perfil apropiado y luego los capacitaron para realizar la aplicacin de forma apropiada. En especial se tuvo en consideracin que los candidatos cumplieran las siguientes condiciones: profesional con experiencia docente en educacin bsica o estudiante de educacin prximo a egresar con experiencia de prcticas profesionales en aula. Tambin se admitieron estudiantes de los ltimos dos aos de psicologa o profesionales con experiencia en reas afines a evaluacin de grupos o enseanza; con habilidades para la conduccin de grupos de nios, manejo fluido de la lengua materna del lugar donde se encuentran las escuelas y buen nivel de diccin, para la lectura apropiada de instrucciones; con buen nivel de comprensin lectora, para el seguimiento de instrucciones y pautas dadas en los manuales; digno de confianza y sin vnculo laboral con las escuelas que formaron parte de la muestra; asertivo y seguro de s mismo a la vez que flexible para adaptarse rpidamente y dar respuesta eficiente a situaciones imprevistas.
Luego de la convocatoria y seleccin del grupo de aplicadores, se organiz la capacitacin respectiva con el apoyo de la pauta ofrecida en el anexo 2 del manual del coordinador nacional (UNESCO, 2006b). Fue necesario capacitar cerca de un 10% ms de candidatos a aplicadores que los requeridos para el operativo, con el fin de poder efectuar reemplazos en los casos de ausencia de los aplicadores seleccionados. Cada aplicador recibi el manual del aplicador (UNESCO, 2006d) con una semana de anticipacin a la capacitacin, para su estudio y apropiacin de las estrictas medidas de confidencialidad en la administracin del material. Igualmente, los aplicadores recibieron ejemplares de los cuestionarios para conocer su contenido y poder responder preguntas alusivas a la forma como debieron llenarse. La capacitacin de los aplicadores tuvo una duracin mnima de seis horas, adems del tiempo destinado a asuntos administrativos como asignacin de aulas, entrega de materiales y explicacin de rutas de acceso. Los aplicadores ya capacitados fueron certificados por el coordinador nacional, quien les expidi la identificacin requerida para establecer contacto con las escuelas, antes de la fecha prevista para la aplicacin, con el propsito de confirmar los planes del operativo y la asistencia de los estudiantes y docentes en los das previstos para llevar a cabo esta aplicacin. Por otra parte, los aplicadores, cuando recibieron el respectivo material, llenaron y firmaron el formulario F1 y un Acuerdo donde asumieron el compromiso de:
33
33
Para cada aplicador se dise un formulario F1 cuyo formato se dispuso en el anexo 1 del manual del aplicador.
CAPTULO 3
93
guardar confidencialidad de todos los materiales relacionados con la evaluacin; no conservar ni dejar en las escuelas ningn ejemplar o copia de de ninguna prueba o temes de pruebas o borradores de dichos materiales, ni permitir copia de los mismos; no divulgar por ningn medio a personas no autorizadas el contenido de los materiales antes mencionados.
III.2.3. Aplicacin de los instrumentos
En la fecha prevista de aplicacin (cuadro III.2.3.1), los aplicadores se hicieron presentes en la escuela respectiva, presentaron su identificacin y localizaron el aula asignada, tomaron registro de asistencia de los estudiantes y llenaron las cartulas de los instrumentos segn los cdigos indicados para cada estudiante en el formulario F2. Luego, los aplicadores cumplieron con los siguientes estndares de aplicacin: respetar el cronograma, es decir, la secuencia de las evaluaciones y los tiempos de pausa entre ellas; respetar el tiempo de evaluacin dentro de cada sesin e informar oportunamente a los estudiantes sobre la duracin, inicio, prrroga y trmino del mismo; cuidar que no ingresaran docentes u otras personas ajenas al proceso de evaluacin a las sesiones de aplicacin de las pruebas a estudiantes; asegurar que los estudiantes contaran con los materiales necesarios para responder la prueba y que no emplearan materiales no permitidos como calculadoras, telfonos celulares u otros; leer en voz alta y junto con el grupo las cartulas e instrucciones de cada prueba, asegurando que los estudiantes comprendieron cmo marcar o escribir sus respuestas; mantener una actitud de apoyo durante la evaluacin para sostener un clima apropiado de trabajo, supervisando que los estudiantes comprendieron las instrucciones; evitar ofrecer cualquier tipo de informacin no prevista en el manual que pudiera traducirse en ayuda para responder, como por ejemplo explicar el significado de palabras o dar cualquier tipo de orientacin sobre el contenido de la prueba; recoger los cuadernillos y contarlos para asegurarse de tener el material completo, una vez que la sesin concluy.
94
REPORTE TCNICO
Adems de la aplicacin de pruebas, los aplicadores administraron los cuestionarios a los propios estudiantes, a sus padres, a docentes y a directores, brindando apoyo a los actores encuestados para que entendieran los diferentes formatos de los cuestionarios, dando orientaciones para favorecer una mejor comprensin de los contenidos de algunas preguntas. Finalmente, los aplicadores llenaron el formulario F3 , organizaron todo el material y luego lo retornaron a la coordinacin nacional. El formulario F3 permiti registrar los incidentes presentados, al momento de responder los instrumentos, as como la solucin ofrecida por el aplicador.
34
Cuadro III.2.3.1. Fechas de aplicacin de los instrumentos
Pas Argentina Brasil Chile Colombia Calendario norte Colombia Calendario sur Costa Rica Cuba Dominicana Ecuador Calendario norte Ecuador Calendario sur El Salvador Guatemala Mxico Nicaragua Nuevo Len Panam Paraguay Per Uruguay
Fechas de Aplicacin 30 octubre 10 de noviembre 2006 20 24 noviembre 2006 16 20 octubre 2006 01 02 junio 2006 25 28 septiembre 2006 15 16 noviembre 2006 01 02 junio 2006 29 mayo 9 junio 2006 21 22 junio 2006 14 22 noviembre 2006 18 25 septiembre 2006 15 22 septiembre 2006 24 25 mayo 2006 16 31 octubre 2006 20 23 junio 2006 04 05 octubre 2006 30 octubre 11 noviembre 2006 28 noviembre 8 diciembre 2006 24 octubre 10 noviembre 2006
34
Para cada aplicador se dise un formulario F3 cuyo formato se dispuso en el anexo 4 del manual del aplicador.
CAPTULO 3
95
III.2.4. Retorno del material

El retorno del material se organiz de diferente manera segn los mecanismos solicitados y aprobados para cada pas. En todos los casos, se requiri a los aplicadores un conteo final de los instrumentos y su registro en el formulario F1, para verificar la devolucin de todo el material. El registro incluy una columna con el conteo inicial del material entregado al aplicador y otra con el conteo final del material devuelto, tanto respondido por estudiantes, padres de familia, docentes o directores, como en blanco, en caso de no haber sido utilizado. Las coordinaciones nacionales aprovecharon esta instancia de conteo para corregir los errores detectados en la informacin registrada en las cartulas. Luego, organizaron los cuadernillos de las pruebas y los cuestionarios, para adelantar los procesos de codificacin de respuestas abiertas de matemtica y ciencias y de evaluacin de la prueba de escritura, as como el de captura de datos. Despus, debieron almacenar el material en un lugar seguro por un plazo no menor de seis meses y en seguida procedieron a destruir todo este material.
III.2.5. Codificacin de respuestas abiertas
Para asegurar la misma metodologa en la codificacin de las respuestas abiertas de las pruebas de matemtica y ciencias, se establecieron manuales e instructivos que debieron seguirse cabalmente, se brindaron talleres de capacitacin y se mantuvo un apoyo permanente en lnea a los equipos nacionales responsables de esta tarea. La prueba de ciencias se dise con seis tems abiertos, mientras que la de matemtica con seis tems abiertos en tercer grado y con nueve tems abiertos en sexto grado. Para codificar las respuestas se siguieron las pautas indicadas en los instructivos para organizar los procesos de codificacin (UNESCO, 2006j, 2006k) y los criterios sealados en los manuales para la codificacin (UNESCO, 2006m, 2006n). Para la codificacin se emple el modelo de crdito parcial con un cdigo de dos dgitos, donde el primero indica el crdito otorgado (nulo, parcial o total) y el segundo permite identificar el tipo de proceso seguido por el estudiante. El primer dgito correspondi a crdito total, cuando la respuesta fue correcta; crdito parcial, si la respuesta mostr que el estudiante maneja parte de los procesos que evala el tem pero con algunos errores en el procedimiento, es decir si la respuesta fue parcialmente correcta; y crdito nulo cuando la respuesta fue incorrecta. El segundo dgito recogi el proceso empleado por el estudiante para responder el tem, en el caso de crdito total o parcial, o el tipo de error cometido en el caso de crdito nulo. Adicionalmente se consideraron cdigos especiales para situaciones de ausencia de respuesta o para tem no administrado (por ejemplo por problema de impresin en el cuadernillo o falta de pgina con el tem).
96
REPORTE TCNICO
Para llevar a cabo adecuadamente el proceso de codificacin, los coordinadores nacionales realizaron las siguientes actividades:
revisar los manuales y los instructivos, proponer los ajustes respectivos y luego aprobarlos; enviar un representante con conocimiento en cada rea al taller de capacitacin en el uso del manual y en la implementacin del proceso; convocar entre tres y cinco codificadores por prueba y grado que cumplieran con el perfil adecuado para hacer el trabajo; ubicar un espacio adecuado para realizar el trabajo que, adems, debi cumplir con las condiciones necesarias para el resguardo seguro de los cuadernillos; proporcionar el material necesario para la codificacin y asegurar la adecuada distribucin de los cuadernillos entre los codificadores; enviar al LLECE-CT la submuestra de 30 cuadernillos por cada codificador (por rea y grado), una vez que las bases de datos del pas remitidas fueron aprobadas.
a) Taller de capacitacin Para garantizar la unicidad en la implementacin de los procedimientos de codificacin, se ofreci un taller internacional de capacitacin en la sede de OREALC/UNESCO en Santiago del Chile, con la participacin de los representantes de los pases, quienes tenan experiencia en la enseanza de ciencias y matemtica, buen manejo de la disciplina, experiencia en la conduccin de procesos de correccin similares y adems haban recibido oportunamente las versiones piloto de los manuales e instructivos del proceso. Cada representante fue responsable de replicar la capacitacin con los codificadores de su pas, de supervisar la adecuada implementacin de todas las etapas del proceso, de codificar el grupo de respuestas que le correspondi y adems actu como punto de enlace para consultar y resolver las dudas que surgieron durante la codificacin. Durante el taller, que fue dirigido por los coordinadores de los paneles de expertos de cada rea, los participantes codificaron decenas de ejemplos reales, seleccionados de las aplicaciones realizadas hasta entonces en los pases de calendario norte. Estos ejemplos fueron ilustrativos del uso de los diferentes cdigos y representativos de respuestas inesperadas o difciles de calificar. Concluido el taller, se recogieron por consenso las sugerencias de mejoras en cada descripcin para luego precisar la redaccin de los criterios que conformaron el respectivo manual en la versin definitiva. Dos semanas despus del taller, cada pas recibi todo el material necesario para iniciar la codificacin de manera descentralizada.
CAPTULO 3
97
b) Implementacin de la codificacin De acuerdo con lo dispuesto en los manuales e instructivos, el pas trabaj con un mximo de cinco codificadores 35 por rea y grado , incluyendo al representante que asisti al taller de capacitacin. Antes de iniciar el trabajo, el material fue organizado para distribuir las respuestas de los estudiantes de una misma aula entre los diferentes codificadores, minimizando as el sesgo al interior de un aula, se verific la informacin de las cartulas de los cuadernillos seleccionados y se separaron en un grupo los correspondientes a los estudiantes presentes y en otro grupo los que quedaron en blanco. Con los cuadernillos respondidos se formaron tres pilas, cada una con los mismos tems abiertos: la primera pila, con los cuadernillos uno y cuatro; la segunda, con los cuadernillos dos y cinco; y la tercera, con los cuadernillos tres y seis. Luego se orden cada pila en forma ascendente, segn el cdigo del cuadernillo, y finalmente se distribuyeron alternadamente los cuadernillos entre los codificadores responsables del grado y rea, de forma que cada grupo de aula qued repartido en partes iguales entre todos ellos. Los codificadores debieron sujetar estrictamente sus valoraciones a los criterios indicados en el manual, para cuyo empleo fueron capacitados y evaluados por el representante que asisti al taller internacional. La capacitacin fue una rplica del taller realizado en Santiago de Chile, pero los pases pudieron incluir mayor nmero de ejemplos locales a fin de facilitar la comprensin de los criterios. Durante la codificacin, en jornadas de menos de cinco horas, para evitar el efecto del cansancio, el representante actu como supervisor de todo el proceso y debi resolver las dudas presentadas o tramitarlas con el coordinador del panel de expertos.
35 Si bien originalmente el nmero de codificadores establecido por rea y grado fue tres, ste se ampli hasta cinco en respuesta al pedido de varios pases participantes.
98
REPORTE TCNICO
III.2.6. Evaluacin de la prueba de escritura
De manera anloga a la codificacin de las respuestas abiertas de matemtica y ciencias, los pases evaluaron en forma descentralizada las pruebas de escritura, teniendo en cuenta que el proceso fue ms complejo y requiri mayores controles, debido a la naturaleza y objetivos de esta prueba, que comprendieron la valoracin de 19 aspectos en tercero y 22 aspectos en sexto grado. Adems, aunque el estudiante debi sujetarse a una consigna, previamente probada y ajustada de acuerdo con los resultados de la aplicacin piloto, la naturaleza del estmulo gener diversos tipos de respuestas.
a) Talleres de capacitacin Se organizaron dos talleres dirigidos a capacitar a los representantes de los pases, quienes luego tuvieron a su cargo la capacitacin del grupo de correctores de su pas y la supervisin del proceso. El primer taller fue atendido por todos los pases de manera obligatoria, mientras que el segundo fue optativo y busc reforzar a aquellos con menos experiencia en el tema. Debido al carcter pionero de esta evaluacin, el manual para la evaluacin de las pruebas de escritura (UNESCO, 2006o), utilizado cono referente conceptual y metodolgico para llevar a cabo el proceso, present el marco terico adoptado de manera extensa, incluyendo un glosario terminolgico y los criterios para valorar cada aspecto considerado. Los participantes recibieron con dos semanas de anticipacin a la fecha de realizacin de cada taller toda la documentacin requerida, de manera que pudieron estudiarla y llegar al taller con sus consultas y dudas por escrito. Los talleres fueron adems el espacio de discusin y de construccin de consensos, acerca de la forma de organizar el proceso con varios correctores, emplear los criterios acordados para interpretar distintos tipos de textos, utilizar las planillas diseadas para valorar cada aspecto de la escritura, afinar el respectivo manual y constituir una red de correctores en la regin, para intercambiar distintas inquietudes y lograr los acuerdos respectivos.
b) Implementacin de la correccin Siguiendo las indicaciones del instructivo para organizar los procesos de evaluacin (UNESCO, 2006l), se utiliz solo una muestra de los instrumentos aplicados, debido a que el nmero de cuadernillos fue solo dos y no seis como en las dems reas. Este diseo redujo significativamente el tamao requerido de muestra, para inferir los resultados con un nivel de precisin estadstica de 95% de confianza al interior de los pases. Pese a ello, la decisin de aplicar la prueba de escritura a todos los estudiantes del grupo presentes en el da de la evaluacin, respondi a facilitar la logstica, pues de lo contrario hubiera sido necesario retirar estudiantes de las aulas, lo que podra generar desorden en la escuela y eventualmente sesgo por una escogencia no aleatoria de los estudiantes.
CAPTULO 3
99
Sobre la base de los registros de asistencia a la prueba de escritura, se seleccion en forma aleatoria una muestra con al menos cuatro cuadernillos por cada aula (dos de cada tipo), buscando un nmero total de cuadernillos mayor o igual que 600, para cada grado. Enseguida, a partir de esta muestra, se seleccion una submuestra de 70 cuadernillos por grado (35 de cada tipo) que se denomin grupo A o submuestra de recorreccin. Luego se organizaron los cuadernillos en siete grupos ordenados segn el cdigo asignado a cada estudiante (grupos A, B, C, D, E, F y G) y se estableci el siguiente sistema de doble codificacin para la muestra completa, empleando cuatro correctores (con cdigos 01, 02, 03 y 04):
Los cuatro correctores corrigen el Grupo A, sin apoyo del supervisor; correctores 01 y 02 corrigen el Grupo B; correctores 03 y 04 corrigen el Grupo C; correctores 01 y 03 corrigen el Grupo D; correctores 02 y 04 corrigen el Grupo E; correctores 01 y 04 corrigen el Grupo F; correctores 02 y 03 corrigen el Grupo G.
As se logr que cada cuadernillo fuera corregido por dos personas distintas y pudieron enlazarse las correcciones de todos los correctores con un nmero similar de cuadernillos en comn en cada pareja posible.
100
REPORTE TCNICO
III.2.7. Captura de datos

Previo al proceso de captura, se ofreci un taller de capacitacin en el manejo de la interfase diseada para la captura de los datos, dirigido a los representantes de los pases que estuvieron a cargo de este proceso. Los participantes, quienes debieron en lo posible dominar el manejo de bases de datos, recibieron antes del taller los documentos de referencia, conformados por la versin piloto del software desarrollado, el manual de captura de datos y el manual de usuario. Durante el taller, donde cada participante llev una muestra de cuadernillos de su pas, para efectos de probar el uso de cada una de las utilidades del software, se revisaron y precisaron por consenso todos los procedimientos previstos. Tras el taller y luego de los ajustes pertinentes, los pases recibieron la versin definitiva del manual de captura de datos (UNESCO, 2006p) y el manual del usuario Software de captura de datos (UNESCO, 2006q). Ms adelante, se dispuso la versin estndar 3.2 del software desarrollado, con todas las utilidades implementadas, para iniciar el proceso de captura en los pases con calendario norte. Despus, se hicieron actualizaciones y afinamientos al software, corrigiendo algunas novedades detectadas, y finalmente se liber la versin 3.4, con una interfase (esquema III.2.7.1) que incorpor nuevos requerimientos.
As, el software comprendi las siguientes utilidades :
36
importacin y actualizacin de datos relacionados con escuelas, estudiantes, profesores, codificadores de respuestas abiertas y correctores de la prueba de escritura; captura de respuestas de cuadernillos y de cuestionarios; generacin de listados de escuelas, aulas por escuela y estudiantes por aula y escuela; generacin de reportes de estado de la digitacin y listados de instrumentos pendientes de digitar; validacin de la asignacin de cuadernillos, cuadernillos digitados de estudiantes ausentes, longitud de registro de cuadernillos y doble captura.
36 El software fue desarrollado por un equipo tcnico de tres ingenieros de sistemas del Instituto Colombiano para el Fomento de la Educacin Superior (ICFES), con base en los lineamientos de diseo del LLECE-CT.
CAPTULO 3
101
Esquema III.2.7.1. Interfase del software de captura de datos versin 3.4.
Microsoft Access - (Panel Principal V Def. 3.4)
SERCE 2006 - Menu de Opciones

Captura de Datos
Importar Datos Actualizar Centros Educativos Generar estudiantes y asignar cuadernillos Actualizar Estudiantes Actualizar Profesores Actualizar Codificadores
Reportes
(Formulario 2) Listado de Centros Educativos Listado aulas por Centro Educativo
Cuestionarios de familia ingresados:

Total General de registros ingresados por grado Cantidad de registros capturados por cuestionario Cuestionarios por digitar
19 Per
Cuadernillos ingresados:
Total General de registros ingresados Cantidad de registros ingresados por area y grado Cantidad de registros capturados por Area, Centro, Grado y aula Cuadernillos por digitar
Validaciones
Asignacin de Cuadernillos Cuadernillos digitados de ausentes Asignacin de Cuadernillos vs. capturados Longitud de registro de cuadernillos Doble Captura
Cuestionarios de Estudiante ingresados:

Total General de registros ingresados por grado Cantidad de registros capturados por cuestionario Cuestionarios por digitar
Capturar respuestas de cuadernillos
Capturar respuestas de cuestionarios
Salir de Microsoft Access Soportado por: ICFES - Grupo de Informatica Bogot D.C. , Colombia. e- mail: sercesoporte@hotmail.com jquiroga@icfes.gov.co Telfono: (057) 13346269 , (057) 1 3387338) ext. 310 V Def. 3,4, Octubre 24 de 2006
Durante las doce semanas siguientes a la fecha de aplicacin, los pases organizaron sus equipos de digitacin, realizaron la captura de los datos y consolidaron y remitieron las bases al LLECE-CT, donde se inici un proceso de depuracin interactivo con los mismos pases, hasta aprobar dichas bases cuando se cumpli con las condiciones requeridas. Para acompaar el trabajo de los pases, se dispuso un sistema de consultas sobre el uso del software y de solucin de dudas que oper de manera permanente, apoyando distintas tareas, desde la personalizacin del software y la importacin de datos hasta la generacin de tablas especficas con la identificacin de los registros duplicados, registros incompletos o campos con valores fuera del rango vlido. Es importante sealar que por regla general, los mismos pases fueron los responsables de corregir todas las novedades encontradas hasta lograr una base depurada.
102
REPORTE TCNICO
III.2.8. Informe final de aplicacin

Los coordinadores nacionales elaboraron y remitieron al LLECE-CT un informe de aplicacin nacional, de acuerdo con un formato diseado para el efecto y entregado dentro de las dos semanas posteriores al envo de las bases de datos, con el fin de recabar datos ciertos acerca de la calidad del operativo. El informe incorpor una relacin de las dificultades encontradas y valor las principales operaciones: adecuacin de los instrumentos, seleccin de la muestra, constitucin de la red de aplicacin (convocatoria, seleccin y capacitacin de aplicadores), supervisin del trabajo de los aplicadores, codificacin y captura de datos. Adems, refiri aspectos sobre los mecanismos de confidencialidad empleados, la calidad y fluidez de las comunicaciones con el LLECE-CT y los posibles errores o sesgos detectados en las pruebas a partir de su aplicacin en campo (UNESCO, 2006r). En todo caso, se emple como referente de aplicacin de calidad aquella que se realiza organizadamente, con procedimientos estandarizados en todas las escuelas participantes, con personal formalmente capacitado, con respeto a los estudiantes evaluados y a la organizacin escolar, con informacin oportuna a todos los actores involucrados, con medidas de seguridad para resguardar la integridad y confidencialidad del material, con una mnima proporcin de instrumentos no contestados y con bajos ndices de incidencias durante la aplicacin.
El coordinador nacional, adjunto al envo fsico de un ejemplar del informe aplicacin nacional firmado por l, remiti los siguientes documentos de respaldo:
un ejemplar impreso de cada una de las pruebas y de los cuestionarios; fotocopia de todos los formularios F2, con el registro de asistencia de los estudiantes; fotocopia de todos los formularios F3, con el registro de los incidentes de las sesiones de evaluacin.
CAPTULO 3
103
III.2.9. Muestras de recorreccin

Una vez aprobada la primera versin de la base de datos, se seleccionaron 30 cuadernillos por cada persona responsable de codificar las respuestas a los tems abiertos de matemtica y de ciencias, tanto para tercero como para sexto grado. La seleccin se realiz ordenando todos los cuadernillos segn el cdigo de codificador, manteniendo el orden original de los registros en la base recibida, y tomando luego los primeros 30 cuadernillos de cada grupo con cdigo consecutivo de aula igual a 09. Cuando el nmero de cuadernillos no lleg a 30, para un determinado codificador, se utilizaron cuadernillos de los estudiantes 08, 07, y as sucesivamente, hasta completar la cantidad requerida. El criterio del cdigo consecutivo igual a 09 fue emprico, pues con un menor valor se concentraba la muestra en las escuelas ms pequeas y con un mayor valor la concentracin se localizaba en las escuelas ms grandes. Los coordinadores nacionales ubicaron y remitieron al LLECE-CT estos cuadernillos fsicos y luego se procedi a su recorreccin centralizada, por parte de los coordinadores de los paneles de expertos. Adicionalmente, adjuntaron los cuadernillos de escritura del Grupo A mencionado en el apartado III.2.6, que tambin fueron luego corregidos por parte de la coordinadora y un experto del panel respectivo.
III.3. Sistema de supervisin externa

Con el propsito de asegurar de calidad del estudio, se implement un mecanismo de supervisin externa que permiti, de una parte, incentivar a todos los actores involucrados en la fase de aplicacin a ajustarse a los procedimientos establecidos, en la medida en que cualquiera poda ser objeto de observacin, y de otra parte, valorar la medida en que estos procedimientos fueron observados y atendidos por los pases. Para ello, se conformaron equipos de monitores externos en cada pas que fueron liderados por un observador internacional, nominado por otro pas y seleccionado por el LLECE-CT, teniendo en cuenta su perfil y disponibilidad de tiempo para ejercer las funciones previstas en el respectivo instructivo (UNESCO, 2006f).
104
REPORTE TCNICO
III.3.1. Seleccin de los observadores internacionales

La funcin del observador internacional fue garantizar que en cada pas existiera un registro externo de las condiciones de aplicacin, que sirvi posteriormente para analizar si el modo en que se organiz e implement la aplicacin de las pruebas y dems instrumentos se ajust suficientemente a lo estipulado. Para la seleccin de los observadores internacionales se solicit a los coordinadores nacionales la nominacin de dos a tres personas con disposicin a realizar esta funcin. Los nominados deban pertenecer al equipo de la coordinacin nacional y tener experiencia en la supervisin o conduccin de grandes operativos de evaluacin, nacionales o internacionales. Los propios coordinadores nacionales pudieron nominarse como candidatos a observadores. Junto con los nombres propuestos por cada pas, se solicit indicara las fechas en que cada persona dispona de cinco das tiles corridos para viajar a otro pas a realizar este trabajo. Luego, se seleccionaron las personas que cumplieron con el perfil mencionado y que tuvieron disposicin para viajar al pas asignado, en las fechas de aplicacin definidas, desde los dos das tiles anteriores al primer da de aplicacin hasta por lo menos dos das despus de iniciada esta aplicacin, procurando involucrar representantes de la mayor cantidad posible de pases. Para el caso del observador internacional que supervis la aplicacin en Brasil, fue necesario, adems, considerar el manejo fluido de la lengua portuguesa. En los pases donde no fue posible conseguir un observador nominado por otro pas, se contrat a una consultora externa para cumplir con esta funcin. Es importante sealar que integrantes del LLECE-CT visitaron algunos pases para valorar el funcionamiento de los instrumentos y procesos en campo e incluso visitaron escuelas en calidad de monitores externos, pero en ningn caso fungieron como observadores internacionales. Las principales tareas encargadas al observador internacional, debidamente detalladas en el respectivo instructivo fueron (UNESCO, 2006f):
estudiar detenidamente los manuales del coordinador nacional, del aplicador y del monitor externo, as como los documentos sobre criterios y procedimientos para el aseguramiento de la calidad en el SERCE y pautas para la aplicacin de los cuestionarios sobre factores asociados; llegar al pas asignado con antelacin al inicio de la aplicacin, visitar el centro nacional y entrevistarse con el coordinador nacional y otros integrantes del equipo, siguiendo una pauta de trabajo; realizar el entrenamiento de los monitores externos y hacer los arreglos administrativos requeridos para su labor y la distribucin de recursos necesarios para su trabajo; seleccionar las escuelas que fueron visitadas y asignarlas a los monitores externos, cuidando que la coordinacin nacional no conociera el resultado de la asignacin;
CAPTULO 3
105
visitar al menos tres escuelas en la capital del pas, durante los dos primeros das de aplicacin; recibir los informes de los monitores externos y elaborar el Reporte de Aplicacin, de acuerdo con el formato establecido para el efecto.
III.3.2. Seleccin de los monitores externos

El principal papel del monitor externo fue observar sesiones de evaluacin en las escuelas participantes y registrar, utilizando un formulario especfico, todo aquello que en mayor o menor grado se apart de los procedimientos estipulados en el manual del aplicador. Para su seleccin se solicit previamente a las coordinaciones nacionales la nominacin de diez candidatos a monitores externos, que debieron cumplir con los siguientes requisitos (UNESCO, 2006g):
tener experiencia en educacin, conocimiento del sistema educativo y del funcionamiento de las escuelas primarias y ser capaz de relacionarse positivamente con docentes y estudiantes; no tener relacin funcional ni familiar con los integrantes de la coordinacin nacional ni con las reas centrales del Ministerio de Educacin (condicin excluyente) y tener preferiblemente experiencia previa en operativos nacionales de evaluacin; ser capaz de representar positivamente a la UNESCO ante las escuelas, de conducir su trabajo con autonoma e independencia de la coordinacin nacional y de comunicarse efectivamente con el LLECE-CT a travs de correo electrnico; firmar un compromiso de confidencialidad respecto a todos los materiales con los que tuvo contacto, especialmente los cuadernillos de las pruebas (UNESCO, 2006h).
Entre los candidatos nominados por los propios pases, se seleccionaron tantos monitores externos como fue necesario, para asegurar la visita a un nmero mnimo de 20 escuelas en cada pas y con registro de al menos dos sesiones en cada escuela, considerando aspectos como fechas de la aplicacin y localizacin geogrfica de las escuelas.
106
REPORTE TCNICO
III.3.3. Capacitacin de los monitores externos

Para garantizar unicidad en la supervisin de las aplicaciones, los observadores internacionales capacitaron a los monitores externos, siguiendo las indicaciones del instructivo (UNESCO, 2006f). Para ello, se concert una sesin de trabajo de al menos cuatro horas de duracin con los monitores ya seleccionados, quienes previamente recibieron y estudiaron la documentacin requerida, en especial el manual del monitor externo (UNESCO, 2006g).
En esta sesin, el observador internacional explic los objetivos de la supervisin externa y la forma de realizar cada actividad, despej las dudas que surgieron, resolvi los temas administrativos asociados con los traslados de los monitores, defini las escuelas que cada monitor debi visitar y pidi completar los formularios de observacin por escrito, en el momento de las visitas a las escuelas. Los formularios de observacin se realizaron a razn de uno por cada escuela visitada y se remitieron al observador internacional en un plazo no mayor de diez das luego de la fecha de realizacin de las visitas.
III.3.4. Escuelas visitadas por los monitores externos

Cada observador internacional recibi un listado con cerca de 60 escuelas del pas asignado, que fueron preseleccionadas como candidatas a ser visitadas, teniendo en cuenta el criterio de diversidad, en trminos de localizacin geogrfica, tamao y cantidad de aulas y estratos de ruralidad (urbano y rural) y de sector (pblico, privado y privado subsidiado). A partir del listado, el observador internacional seleccion las escuelas que fueron visitadas, de acuerdo con los siguientes criterios:
cumplir con la cuota mnima de 20 escuelas observadas en cada pas37; abarcar distintas regiones del pas (entre dos y cuatro), siempre y cuando fueran accesibles a los monitores;
37 En Ecuador y Colombia, que tuvieron dos perodos de aplicacin diferentes, uno para cada uno de los dos calendarios oficiales, debieron observarse al menos ocho escuelas en el calendario norte (mayo-junio) y 12 en el calendario sur (segundo semestre de 2006).
CAPTULO 3
107
tiempos de desplazamiento apropiados, que permitieron al monitor estar en la escuela desde la primera hora de aplicacin; economa de desplazamientos, asignando a un monitor escuelas localizadas en la misma regin;
variedad de tipos de escuela, asegurando observar un mnimo de cuatro escuelas de cada una de tres categoras propuestas: urbana grande, urbana mediana o pequea, y rural. Adems, debieron incluirse escuelas ubicadas en estratos socioeconmicos diferentes y en sectores distintos (pblico, privado y privado subvencionado).
III.3.5. Visita al centro nacional

El observador internacional, adems de organizar al equipo de monitores y visitar personalmente al menos tres escuelas, realiz una visita al centro nacional con el propsito principal de revisar el modo como fueron desarrollados cada uno de los procesos previstos. El observador internacional se entrevist con el coordinador nacional para apreciar directamente la estructura disponible y recoger informacin sobre los siguientes aspectos: constitucin e integrantes del equipo nacional responsable de la implementacin, tareas que se realizaron directamente y aquellas que fueron contratadas con terceros; comunicacin con las escuelas y adecuacin del modo de implementacin del estudio a los procedimientos estndar estipulados en los manuales e instructivos; procesos seguidos para la seleccin, capacitacin y supervisin de los aplicadores, para la impresin de los instrumentos y su asignacin a estudiantes y docentes, armado de cajas y distribucin a las escuelas, incluyendo medidas de seguridad, confidencialidad y control de la salida y retorno de los materiales; organizacin prevista para la codificacin de preguntas abiertas, la correccin de la prueba de escritura y la captura de datos; principales dificultades y problemas encontrados, grado de satisfaccin con la organizacin del SERCE y el apoyo recibido desde el LLECE-CT.
108
REPORTE TCNICO
III.3.6. Visitas de monitoreo externo a las escuelas

Los monitores externos y el propio observador internacional debieron llegar a las escuelas, con al menos 45 minutos de anticipacin al inicio de la aplicacin, y presentarse ante el director en nombre de la UNESCO, con una carta acreditacin. En seguida, llevaron a cabo las siguientes tareas:
informar brevemente al director y al aplicador acerca del sentido de su presencia en la escuela, para monitorear el desarrollo de la aplicacin, con el fin de identificar si las pruebas fueron aplicadas de manera similar en todos los pases participantes; observar y registrar las actividades segn lo pautado en el formulario respectivo, incluyendo el modo como los materiales llegaron a la escuela, condiciones del lugar donde se desarroll la prueba, horarios de llegada del aplicador, inicio y fin de cada parte de las sesiones, asistencia de los estudiantes y distribucin de las pruebas, presencia de otras personas dentro del aula, instrucciones dadas por el aplicador y el modo como sigui el guin, comportamiento de los estudiantes durante la prueba e incidentes importantes, modo como el aplicador recogi y contabiliz los cuadernillos de prueba y los cuestionarios, modo como se empacaron los materiales y como se hizo el protocolo de cierre de aplicacin con el director de la escuela; completar un formulario de observacin externa por cada escuela visitada.
CAPTULO 3
109
III.3.7. Informe de supervisin

A partir de los datos colectados durante la visita al centro nacional y de la informacin recabada en los formularios de observacin externa, cada observador internacional elabor un reporte final, siguiendo el formato definido para este efecto (UNESCO, 2006i). El reporte final, que tuvo como insumos los formularios de observacin externa, la pauta completada durante la entrevista con el equipo de la coordinacin nacional y un resumen de las impresiones logradas sobre las aplicaciones supervisadas, se estructur con los siguientes elementos:
descripcin de actividades realizadas durante la visita al pas y resumen de estadsticas generales de las sesiones observadas; descripcin de hechos relevantes y relacin de sesiones que no pudieron iniciarse en forma puntual, formularios F2 que no fueron llenados previamente a la aplicacin, cartulas de instrumentos que no fueron llenadas de acuerdo con el formulario F2, sesiones donde el espacio de aplicacin no fue apropiado o estudiantes que emplearon materiales no autorizados; relacin de sesiones en las que se modific el orden de aplicacin establecido, se detectaron errores de impresin en los instrumentos, se produjeron desvos relevantes respecto del guin indicado, estudiantes salieron y entraron al aula durante la aplicacin, adultos ajenos al operativo estuvieron presentes, aplicadores ayudaron a los estudiantes a responder o estudiantes copiaron de sus compaeros; actitud de los estudiantes para mantenerse en orden, cooperar con la aplicacin, mostrar inters y motivacin, procurar su mayor esfuerzo por responder lo mejor posible cada instrumento o mostrar seales de cansancio.
Las caractersticas del operativo de levantamiento de los datos qued reflejado en distintos ndices que aparecen en las secciones 2, 3 y 4, y en los apndices B y C, del reporte sobre control de calidad (UNESCO, 2007).
110
REPORTE TCNICO
CAPTULO
ste informe presenta los resultados de los procedimientos de aseguramiento de calidad aplicados durante el Segundo Estudio Regional Comparativo y Explicativo (SERCE). Estos procedimientos han sido componentes integrales de las etapas de diseo e implementacin del estudio. Las conclusiones presentadas en este informe tienen por finalidad aportar a la aceptabilidad y validez de dichos resultados. El estudio cont con la participacin de 16 pases (Argentina, Brasil, Chile, Colombia, Costa Rica, Cuba, Ecuador, El Salvador, Guatemala, Mxico, Nicaragua, Panam, Paraguay, Per, Repblica Dominicana y Uruguay) y una entidad nacional (Nuevo Len, Mxico). La evidencia presentada en este trabajo se deriva de una serie de documentos preparados por la Coordinacin Tcnica del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin (CT-LLECE), las Coordinaciones Nacionales y el aporte de especialistas. El propsito de este documento es el de resumir y combinar los resultados obtenidos, y dentro de lo posible, relacionarlos con criterios especificados en el documento Criterios y Procedimientos para el Aseguramiento de la Calidad en el SERCE (ver anexo D). Este informe abarca las cuatro principales reas de monitoreo de la calidad: muestreo, procedimientos de implementacin, acopio de datos, y calificacin de los items de respuesta abierta. En conclusin, el documento ofrece una visin general sobre la calidad de los resultados obtenidos.
IV.1 Muestreo
Esta seccin del informe cubre la calidad global del muestreo (Criterio II.6) y las tasas de respuesta (Criterio II.7). La poblacin objetivo del SERCE se ha definido de la siguiente manera:
SERCE
fue diseado para estudiar el rendimiento escolar de estudiantes de tercer grado en lenguaje y matemticas y de estudiantes de sexto grado en lenguaje, matemticas y ciencia. El universo de este estudio incluye a estudiantes de tercer y sexto grado que cursaban el nivel primario de educacin a fines del perodo escolar 2005-2006 (calendario del hemisferio norte) 2006 (calendario del hemisferio sur). En el caso de establecimientos educacionales oficialmente reconocidos y que otorgan certificados que habiliten a los nios para avanzar al siguiente nivel educativo, estos estudiantes tambin deben asistir a clases durante las fechas de evaluacin. Por su parte, los estudiantes matriculados en instituciones de educacin de adultos o educacin especial, o en programas de educacin no formales o educacin especial no forman parte de este universo. En el caso de los estudiantes de tercer grado, no se incluirn las escuelas que atienden a nios cuya lengua maternal es indgena, ya que se considera que estos estudiantes an no han adquirido las destrezas lingsticas requeridas para participar en una evaluacin escrita. Sin embargo, se estima que al concluir la educacin primaria (sexto grado) la totalidad de los nios debera haber alcanzado el nivel de competencias lingsticas necesario para completar la evaluacin. Los estudiantes con necesidades especiales que han sido integrados a escuelas regulares tambin forman parte de este universo.
112
REPORTE TCNICO
Tasa de participacin de las escuelas

El Criterio II.7 establece que los pases deben alcanzar una tasa final de participacin no menor al 80% de sus escuelas, incluyendo las escuelas de reemplazo. La Tabla 1.1 del Anexo A muestra la tasa global y nacional de participacin. Un total de 3.133 escuelas participaron en el estudio cifra que representa una tasa global de participacin del 97,7%. La totalidad de los pases cumpli la requerida tasa de participacin del 80%, obteniendo porcentajes que oscilaron entre el 89,7% (Brasil) y el 100% (Costa Rica, Cuba, El Salvador y Guatemala). En particular, el tercer grado estuvo representado por 3.021 escuelas (tasa de participacin del 98,4%) y el sexto grado por 2.763 escuelas (tasa de participacin del 98,5%). Un estndar adicional, incluido en el Criterio II.7, es que el 70% de la tasa de participacin corresponda a las escuelas originalmente muestreadas. Esta tasa de participacin tambin fue alcanzada por todos los pases. Entre los pases que mostraron las tasas ms bajas de participacin de escuelas originalmente muestreadas (es decir, previo al reemplazo) se encuentran: Brasil (tasa de participacin del 78,9% con 19 escuelas de reemplazo), Colombia (tasa de participacin del 86,3% con 26 escuelas de reemplazo) y Ecuador (tasa de participacin del 87,11% con 23 escuelas de reemplazo). Si bien la tasa de participacin de escuelas fue aceptable en todos los pases, 74 de las escuelas originalmente muestreadas no participaron en la evaluacin. Este nmero vari significativamente entre los pases participantes siendo particularmente alto en tres de ellos: Brasil, Chile y Mxico. Brasil, no cont con la participacin de 18 de estas escuelas (denominadas escuelas perdidas), principalmente debido a su remota ubicacin o a su bajo nmero de estudiantes. En Chile esta cifra fue de 15 escuelas. Se reportaron 7 escuelas con menos de 4 estudiantes y 8 escuelas que no contaban con los cuadernillos requeridos. Finalmente en el
caso de Mxico no participaron 16 escuelas. De ellas, 15 fueron escuelas perdidas en el estado de Oaxaca, que viva conflictos polticos durante el perodo de administracin de la evaluacin.
Tasa de participacin de los estudiantes

Adems de cumplir con tasas mnimas de participacin de sus escuelas, los pases tambin debieron lograr una tasa de participacin de estudiantes no menor al 80%. Las Tablas 1.2 y 1.3 en el Anexo A muestran las tasa de participacin de estudiantes de tercero y sexto grado, por asignatura.
La tasa de participacin de los estudiantes de 3 de Primaria fue la siguiente en cada rea:
Lenguaje: 94.620 estudiantes de tercer grado participaron en la evaluacin de lenguaje, cifra que representa una tasa general de participacin del 83,8%. Los siguientes pases no alcanzaron el requerido porcentaje mnimo de participacin: Argentina (77,7%), la Repblica Dominicana (71,9%), Nicaragua (77,6%), Paraguay (79,1%) y Per (78,9%). Matemticas: 96.663 estudiantes de tercer grado participaron en la evaluacin de matemticas, cifra que representa una tasa general de participacin del 85,7%. Los siguientes pases no alcanzaron el requerido porcentaje mnimo de participacin: la Repblica Dominicana (79,7%), Nicaragua (79,8%) y Paraguay (79,8%).
CAPTULO 4
113
En 6 de Primaria la tasa de participacin por rea alcanz las cifras mostradas a continuacin:
Lenguaje: 90.471 estudiantes de sexto grado participaron en la evaluacin de lenguaje, cifra que representa una tasa general de participacin del 87,0%. Brasil y Paraguay no alcanzaron el requerido porcentaje mnimo de participacin con 78,3% y 79,7%, respectivamente. Matemticas: 91.333 estudiantes de sexto grado participaron en la evaluacin de matemticas, cifra que representa una tasa general de participacin del 87,8%. La totalidad de los pases cumpli el porcentaje mnimo (80%) de participacin de estudiantes. Ciencia: Diez pases y 53.979 estudiantes de sexto grado participaron en la evaluacin de ciencia, cifra que representa una tasa general de participacin del 88,4%. La totalidad de los pases cumpli el porcentaje mnimo (80%) de participacin de estudiantes.
114
REPORTE TCNICO
IV.2. procedimientos de implementacin del estudio principal
Esta seccin del informe cubre los procedimientos de implementacin asociados con el acopio de datos 38 para la aplicacin definitiva. El monitoreo de calidad durante la aplicacin definitiva resulta esencial para garantizar la validez de los resultados (Criterio II.3). Los procedimientos de implementacin se detallan en manuales y la informacin proporcionada se ha reforzado a travs de reuniones tcnicas y talleres de capacitacin. Esta seccin trata los aspectos externos del monitoreo de calidad (Criterio II.4) que se realizara en dos niveles durante la administracin de la prueba: i) a nivel internacional a travs de observadores internacionales responsables de capacitar a los monitores externos y visitar entre el 5 y el 10% de las administraciones; y ii) a nivel nacional a travs de monitores externos que fueran nombrados por los respectivos centros nacionales, contratados por la CT-LLECE y capacitados por los observadores internacionales.
La siguiente informacin se deriva de dos fuentes principales:
38 El Criterio II.2 establece que la participacin en la prueba piloto constituye un prerrequisito para participacin en la aplicacin definitiva. La prueba piloto persigue un doble objetivo. Primero, tiene como finalidad probar en terreno las caractersticas del instrumento permitiendo de esa forma incorporar las modificaciones necesarias antes de la aplicacin definitiva y, segundo, probar la capacidad operacional de los pases participantes en trminos de seguir pautas especificadas. Los pases que no administren una prueba piloto no podrn participar en la aplicacin definitiva como se estipula en el documento Criterios y procedimientos para el aseguramiento de la calidad en el SERCE. Sin embargo, se dieron algunas excepciones: a) Costa Rica, si bien implement la prueba piloto, no examin los resultados obtenidos en tanto que el personal que efectivamente implement la aplicacin definitiva no fue el mismo que implementara la prueba piloto; b) Brasil no administr una prueba piloto como pas, basndose en la prueba piloto realizada en el estado de Gois para este fin (es decir, Gois habra participado como una entidad separada, pero decidi retirarse del estudio antes de la aplicacin definitiva); y c) Ecuador no implement la prueba piloto.
CAPTULO 4
115
Aplicadores
A objeto de garantizar la estandardizacin de la aplicacin en las diferentes aulas y pases, los administradores de las pruebas se responsabilizaron de adherirse estrictamente a procedimientos internacionales. Como forma de garantizar que los administradores de las pruebas fueran conscientes de sus tareas y responsabilidades, se elabor un Manual del Aplicador y se organizaron varios talleres de capacitacin. El informe evacuado por observadores internacionales y monitores externos revela que en ms del 90% de las sesiones observadas los administradores de las pruebas demostraron poseer un nivel bueno o aceptable de conocimiento de los procedimientos, y en cerca del 95% de las sesiones, un nivel bueno o aceptable de manejo de los formularios y materiales de la prueba. En unos pocos casos se detectaron problemas durante la aplicacin de la prueba, principalmente relacionados con la falta de capacitacin a los capacitadores para desarrollar los procedimientos. Lo anterior se detect especficamente en Ecuador, aunque tambin se observ en menor grado en Mxico y Per. En acuerdo con los coordinadores nacionales, la capacitacin de administradores de pruebas se ci a directrices proporcionadas en el Manual del Coordinador Nacional, documento que recomendaba un mnimo de seis horas de capacitacin, excluyendo el tiempo destinado a organizar y distribuir el material. No obstante, algunos pases manifestaron que el tiempo asignado era insuficiente para capacitar a los administradores en todos los aspectos del estudio. Esto se mencion especficamente en los informes finales (aplicacin definitiva) elaborados por Chile, Ecuador y Panam. Algunos pases tomaron la decisin de extender la capacitacin algunas horas o bien dividirla en dos secciones. Los monitores externos y observadores internacionales tambin evaluaron el grado de precisin con que, en su criterio, los aplicadores se cieron a los procedimientos contenidos en el manual. En trminos generales, los monitores y observadores juzgaron este aspecto
como muy bueno o bueno en todos los pases, con la excepcin de Costa Rica que fue catalogada como regular. Sin embargo, en aproximadamente el 16% de las sesiones observadas se identificaron divergencias respecto de las directrices. stas incluyeron: i) alteracin del texto introductorio, en ocasiones modificado a travs de parafraseo, la omisin de pasajes o interpretaciones personales (problema en la mayora de los pases); ii) deficiente manejo de los tiempos, incluyendo casos de estudiantes que no fueron informados sobre la cantidad de tiempo disponible para realizar la prueba o el tiempo restante para concluirla (Brasil, Chile, Ecuador y Uruguay); iii) el aporte de ejemplos que no aparecan descritos en el manual (Repblica Dominicana) y v) dificultad para entender los procedimientos (Brasil). Adicionalmente, la falta de instrucciones claras al inicio de la evaluacin motiv que muchos estudiantes formularan preguntas, provocando interrupciones durante la prueba. Con relacin al manejo de otros materiales de la prueba, los observadores informaron que, en lneas generales, los aplicadores realizaron un buen control de todos los materiales, reportndose excepciones en slo el 5% de las sesiones. Por ejemplo, en el informe final elaborado por Costa Rica se destaca que algunos aplicadores parecan no comprender los procedimientos, hecho que provoc que se alejaran de los procedimientos establecidos. En algunos casos, incluso la distribucin de cuadernillos de prueba se realiz en forma distinta a la descrita en los manuales. La frecuencia con que se dieron estas irregularidades constituye otro componente de importancia. Tanto los observadores como los monitores informaron que dichas irregularidades ocurrieron ocasionalmente en 13 pases pero frecuentemente en Colombia, Costa Rica y Repblica Dominicana. Algunos ejemplos de estas irregularidades detectadas en el recinto de la prueba incluyen la constante entrada y salida de estudiantes, la presencia de otros adultos y ayuda adicional prestada a algunos estudiantes. El Manual del Aplicador especifica claramente que durante la evaluacin los estudiantes podrn entrar o salir del recinto de la prueba slo en casos de emergencia. A pesar de esta recomen-
116
REPORTE TCNICO
dacin los observadores y monitores informaron que en el 17% de las sesiones se detect la entrada y salida de estudiantes motivada principalmente por la necesidad de utilizar los servicios higinicos (motivo comn en prcticamente todos los pases), enfermedad, (Argentina, Colombia, Cuba, Ecuador, Nuevo Len, Paraguay y Repblica Dominicana) o atraso por parte de los estudiantes (Argentina, Chile, Colombia, Costa Rica, Cuba, Nuevo Len, Paraguay y Uruguay). Asimismo, los aplicadores recibieron instrucciones de no permitir la presencia de otros adultos durante la sesin de prueba hecho que, en trminos generales, ocurri en el 10% de las sesiones observadas, aunque en porcentajes bastante ms altos en Argentina (27%), Colombia (31%), Costa Rica (21%), Repblica Dominicana (25%), Mxico (27%) y Panam (23%). Finalmente, las directrices tambin instruan a los aplicadores en el sentido de no prestar asistencia a los estudiantes, a pesar de lo cual este hecho fue detectado en el 12% de las sesiones observadas. En algunos pases, sin embargo, se constataron porcentajes bastante ms altos: Colombia (38%); Costa Rica (25%); Guatemala (33%); y Panam (26%). Especficamente, los monitores destacan que, por lo general, la asistencia prestada por los aplicadores consista en aclarar instrucciones ambiguas o el significado de ciertas palabras. En Colombia se observaron algunos casos de asistencia considerados de mayor gra39 vedad motivando una rigurosa investigacin . Durante la evaluacin tambin se monitore el comportamiento de los estudiantes. En general, se concluy que los estudiantes se mostraron dispuestos a cooperar. En el 75% de las sesiones observadas, los monitores destacaron que los estudiantes se comportaban en forma ordenada y cooperaban con la evaluacin.
Asimismo, los monitores observaron que el tiempo asignado a completar la prueba exceda el tiempo efectivamente utilizado por la mayora de los estudiantes. Por consiguiente, la mayora de los problemas de comportamiento solan presentarse al final de la sesin cuando se solicitaba a todos los estudiantes permanecer en el aula hasta el final de la evaluacin. Otros problemas relacionados con el comportamiento tuvieron su origen en la falta de experiencia demostrada por los aplicadores en el manejo de grandes grupos de estudiantes. Los monitores informaron que en el 7% de las sesiones observadas los aplicadores mostraron escaso control de grupo, adems de detectar un problema puntual en Brasil, Chile, Colombia y Ecuador. Sin embargo, cuando se pregunt a las Coordinaciones Nacionales en qu medida estaban los aplicadores capacitados para cumplir con el criterio habilidad para manejar un gran nmero de estudiantes, 10 pases reportaron que al menos un 80% de sus aplicadores estaban en condiciones de hacerlo. Argentina, Ecuador, Guatemala, Mxico y Nicaragua, por su parte, reportaron que entre el 30 y 80% de sus aplicadores cumplan este criterio. Adicionalmente, los monitores informaron haber detectado alguna evidencia de comunicacin/intercambio de informacin entre estudiantes en aproximadamente el 12% de las sesiones.
39 Estos tres casos fueron los siguientes: i) La Escuela 044 donde un administrador le explic a un estudiante cmo realizar ciertas operaciones de matemticas y en una segunda ocasin, cuando un administrador proporcionara a los estudiantes un sinnimo y parafraseara la pregunta con el fin de asegurar que fuera comprendida; ii) La Escuela 045 donde un administrador proporcion asistencia para responder una pregunta que los estudiantes no entendan y al finalizar la evaluacin, el coordinador del grupo se sent junto a cada estudiante que no haba finalizado la prueba con el fin de ayudar a responder las preguntas no completadas; y iii) La Escuela 037 donde un administrador respondi las preguntas de los estudiantes mediante el uso de un sinnimo.
CAPTULO 4
117
Adhesin a los procedimientos

En general, todos los pases participantes se rigieron por el calendario de actividades preestablecido. De 768 sesiones observadas, los monitores destacaron que en menos del 3% los instrumentos no estaban siendo administrados en el orden preestablecido y en el 16% se detectaron divergencias respecto de las directrices. En general, los estudiantes no portaban material no aprobado y en las pocas oportunidades que ello ocurri, ste consista en tablas de multiplicacin (una sesin en Argentina) y un telfono celular (Brasil). Otra fuente de aseguramiento de la calidad de vital importancia es el Formulario de Asistencia de Estudiantes (F2), un formulario relacionado con actividades de muestreo que garantiza que cada estudiante muestreado reciba el instrumento asignado. Adicionalmente se utiliza para registrar exclusiones, necesidades especiales, y sucesos imprevistos que han tenido lugar durante la sesin de evaluacin. Parte de su contenido se reproduce en la cubierta de los instrumentos y es particularmente importante para asegurar que el muestreo se implemente adecuadamente en el terreno. Este formulario debe ser completado por la Coordinacin Nacional o por el aplicador antes del inicio de la sesin. Segn los informes, en la mayora de las sesiones estos formularios fueron llenados de acuerdo a esta instruccin. En solamente el 12% de las sesiones observadas, el Formulario F2 no haba sido completado al momento de iniciar la evaluacin (si bien en Costa Rica el porcentaje asciende al 61% y en Colombia al 26%) aunque la cubierta haba sido correctamente completada en el 76% de las sesiones observadas. Otro aspecto integral de la estandardizacin es la puntualidad con que se llevan acabo las actividades planificadas, ya que sta incide importantemente en lo que el estudiante es capaz de hacer y tiene, a su vez, el potencial de alterar la organizacin de la sesin de evaluacin dentro del horario escolar. El 26% de las
sesiones observadas no comenzaron a la hora indicada, en tanto que este porcentaje ascendi a ms del 40% en Colombia, Repblica Dominicana, Costa Rica y Paraguay. Las causas de atraso ms comunes informadas fueron las siguientes: problemas organizativos (Argentina, Chile, Costa Rica, Mxico, Nuevo Len, Paraguay, Per, Repblica Dominicana y Uruguay); ubicacin geogrfica de las escuelas (Brasil y Ecuador); atraso por parte de los estudiantes y/o aplicadores (Argentina, Chile, Colombia, Costa Rica, Cuba, Mxico, Paraguay, Per, Repblica Dominicana y Uruguay); temas relacionados con el comportamiento de estudiantes (Chile, Colombia y Mxico). El Manual del Aplicador establece que los estudiantes deben permanecer en el aula hasta el final de la sesin. Las observaciones realizadas revelan que, en la mayora de las sesiones, el tiempo asignado para completar la prueba fue muy adecuado y en slo el 4% de ellas, algunos estudiantes no tuvieron el tiempo necesario para finalizar la prueba. En general, no se observaron estudiantes afectados por fatiga.
Aspectos escolares
La organizacin, preparacin y entorno de las escuelas son esenciales para administrar una prueba en forma exitosa. El observador internacional y los monitores externos informaron que las escuelas se encontraban bastante bien preparadas para la tarea de implementar la evaluacin. En menos del 3% de las escuelas se detect alguna indicacin de insatisfaccin asociada con el estudio o con las tareas involucradas que pudiesen amenazar el carcter confidencial de los materiales. Por otra parte, las observaciones tambin dan cuenta que el 7% de las escuelas no fueron informadas de la evaluacin y que el 4% de ellas estaban conscientes que seran monitoreadas.
118
REPORTE TCNICO
Instrumentos
El hecho de contar con instrumentos de alta calidad, libres de error y bien impresos es una condicin esencial para una prueba exitosa. Sin embargo, esto requiere la continua cooperacin de todas las personas involucradas. A pesar de todos los esfuerzos realizados, los instrumentos suelen presentar errores de traduccin, diseo, calidad de los grficos o impresin. En el SERCE, se documentaron errores tanto en los informes finales (aplicacin definitiva) como en los informes de observacin. La identificacin de estos errores asegura que los resultados tendrn el manejo adecuado. Segn informes de observadores nacionales y monitores externos, se detectaron errores en los instrumentos en menos del 3% de las sesiones. En aproximadamente la mitad de los pases, estos errores fueron descritos como aislados. Tambin se detectaron problemas con etiquetado y empaque de los instrumentos en Colombia (un nmero bastante alto de problemas que afectaron sesiones completas). Otros ejemplos incluyen instrumentos en blanco (Argentina y Ecuador), una cubierta que contena el instrumento equivocado (Chile), pginas duplicadas (Costa Rica y Nuevo Len), erratas distribuidas junto con los instrumentos (Cuba) y errores en la documentacin de un estudiante (Panam). A pesar de haber proporcionado directrices para la impresin y organizacin de los cuadernillos, los observadores internacionales informaron que en Ecuador y Paraguay los cuadernillos, por el hecho de estar impresos en papel demasiado delgado y dbilmente engrampados, no cumplan con dichos estndares.
las entidades nacionales, movilizar la cooperacin nacional y coordinar la implementacin del estudio. Adicionalmente, el personal nacional deber contar con experiencia en este campo y tener la autonoma necesaria para subcontratar de ser ello necesario. Especficamente, la Coordinacin Nacional es responsable de proporcionar informacin sobre cobertura de la muestra, dirigir el procesamiento de datos, el desarrollo y anlisis de datos, organizar la implementacin, la elaboracin de informes nacionales y la organizacin de actividades de difusin. En general, los monitores consideraron la estructura de las Coordinaciones Nacionales de todos los pases como buena o muy buena. Los factores asociados con el entorno tambin pueden tener un impacto positivo en el desempeo afectando el nivel de concentracin y esfuerzo que el estudiante debe destinar a la prueba. Durante la implementacin del SERCE, los monitores y observadores concluyeron que, en general, el espacio, la iluminacin, el entorno y la temperatura eran apropiados para administrar el examen.
Espacio: en un 11% de las sesiones observadas (27% en el caso de la Repblica Dominicana) se constataron situaciones respecto del espacio disponible para el nmero de estudiantes participantes, algo distantes de lo ideal. Iluminacin: en un 9% de las sesiones observadas (30% en el caso de Repblica Dominicana y 26% en el caso de Guatemala) los monitores y observadores informaron problemas de iluminacin. Entorno: en un 20% de las sesiones observadas (ms del 30% en los casos de Colombia, Mxico, Repblica Dominicana y Uruguay), los observadores informaron que el entorno de la prueba no reuna las condiciones de calma y silencio necesarias. El problema ms comn reportado por los pases era el ruido procedente de los
Otros aspectos
La estructura y capacidad de las Coordinaciones Nacionales (Criterio II.1) desempean una importante funcin en el xito del estudio. El personal nacional es responsable de seguir procedimientos estandardizados, mantener vnculos de comunicacin con la CTLLECE y
CAPTULO 4
119
patios durante los perodos de recreo. Temperatura: en un 12% de las sesiones observadas (ms del 40% en los casos de Panam y Repblica Dominicana) se constataron temperaturas algo distantes de lo ideal, principalmente por el hecho de ser muy altas. Entre otros sucesos inesperados que podran haber interferido con la implementacin de la aplicacin definitiva se pueden mencionar los siguientes: i) elecciones en Nuevo Len, que segn los coordinadores nacionales interfirieron con el proceso de seleccin de aplicadores ya que a la mayora de ellos se les solicit trabajar en actividades relacionadas con dichas elecciones; ii) las lluvias en El Salvador provocaron problemas en el desplazamiento de vehculos hecho que afect la distribucin de documentos; iii) huelgas en Argentina y Mxico previo a la administracin de la evaluacin; y iv) influencia de otras evaluaciones nacionales en Mxico y Nuevo Len que trajo por resultado dificultades logsticas adicionales.
En trminos generales, la evidencia proporcionada por las Coordinaciones Nacionales, los observadores internacionales y los monitores externos, seala que en la mayora de los pases la implementacin del estudio fue exitosa. La labor de los monitores externos muestra que los problemas se concentraron en unos pocos pases, en particular, Colombia, Costa Rica y Repblica Dominicana. Si bien en este captulo se sealan divergencias o problemas que posteriormente se sintetizan en la Seccin II de los resmenes internacionales y nacionales presentados en los Anexos B y C, respectivamente, es muy difcil estimar en qu medida estas observaciones pueden afectar la calidad de los resultados del estudio. En general, la mayora de los problemas reportados en esta seccin guardan relacin con aspectos organizativos y el grado de preparacin de los administradores de pruebas en relacin con temas de disciplina y puntualidad. Los informes de los monitores externos pueden solicitarse a la CT-LLECE. Futuros estudios deberan contemplar una capacitacin ms profunda de los aplicadores, a pesar que en la opinin de los pases el Manual del Aplicador es adecuado. Es bastante probable que una capacitacin ms extensa lleve a una minimizacin de los problemas de implementacin, en particular aquellos asociados con divergencias de las pautas o de los procedimientos estandardizados.
Comentarios generales sobre la implementacin

Las conclusiones presentadas en esta seccin del informe deben ser interpretadas en asociacin con otros dos documentos: i) el Informe de la Aplicacin Definitiva, preparado por las Coordinaciones Nacionales; y ii) el Reporte Final del Observador Internacional, preparado por dicho profesional. En estos documentos se presenta informacin cualitativa detallada sobre la aplicacin de las pruebas. Para los propsitos de este captulo, los informes de la aplicacin definitiva preparados por las Coordinaciones Nacionales no fueron de gran utilidad ya que en ellos se destaca una marcada tendencia hacia privilegiar lo positivo, caracterizando las actividades realizadas como perfectamente coordinadas, sin mayores problemas y estrictamente sujetas a las directrices. Sin embargo, dentro de lo posible, se incluyeron en este documento con el objeto de proporcionar una mejor comprensin de los procedimientos.
IV.3. Acopio de datos

Presentacin de datos a la CT-LLECE
El Criterio II.5 est referido al grado de cumplimiento observado por los pases participantes con el calendario del estudio, en particular respecto de la implementacin de la aplicacin definitiva. Las demoras en la presentacin de documentos, informes y bases de datos, provoca demoras en otros aspectos del estudio, tales como verificaciones, anlisis e interpretacin de los resultados. Por otra parte, las demoras tambin
120
REPORTE TCNICO
aumentan el riesgo de cometer errores producto de versiones mltiples o incompletas. La puntualidad en la presentacin de bases de datos a la CT-LLECE para su revisin y procesamiento es particularmente importante, habida cuenta que numerosos aspectos de los anlisis y elaboracin de informes requieren el uso de una base de datos combinada (por ej., el escalamiento). Con relacin a la base de datos, se estableci un perodo de 12 semanas dentro del cual los pases deberan ingresar y verificar los datos obtenidos en la aplicacin definitiva. Durante este tiempo los items de respuesta abierta se corregiran y enviaran a la CT-LLECE para su procesamiento. Los pases se dividieron en tres grupos de acuerdo a la fecha de presentacin de datos: (i) pases contemplados dentro del horizonte de 12 semanas: Brasil, Chile, Panam, Paraguay, Per, Uruguay y Colombia; (ii) pases con hasta 12 semanas de demora: Argentina, Costa Rica, Ecuador, El Salvador, Guatemala, Mxico y Nuevo Len; y (iii) pases con ms de 12 semanas de demora: Costa Rica, Repblica Dominicana y Nicaragua.
de captura de datos (13 y 14 de julio de 2006) en Bogot, Colombia para los pases participantes que cont con la asistencia de la totalidad de los pases con la excepcin de Costa Rica y Nicaragua. En consecuencia, estos pases registraron demoras en la presentacin de las bases de datos la CT-LLECE, entidad responsable de su procesamiento. Se solicit a los pases participantes que en sus informes finales (aplicacin definitiva) juzgaran la utilidad e idoneidad de los manuales y software de captura de datos. En general, los pases se mostraron satisfechos con el manual. De los 16 pases para los cuales se dispone de informacin, cinco catalogaron el manual de captura de datos como muy bueno; nueve como bueno y dos como regular. La mayora de las dificultades guardaban relacin con aspectos de capacitacin, inconsistencias entre el manual y el software y problemas originados por la existencia de versiones mltiples del software. La utilidad e idoneidad del software de captura de datos fue catalogada como muy buena por cuatro pases, como buena por seis pases, como regular por cuatro pases y como deficiente por un pas. La mayora de los problemas estaban asociados a versiones mltiples del software, prdida de datos, la falta de correspondencia entre el software y las categoras utilizadas en los instrumentos nacionales y las fechas de los talleres de capacitacin algunos de los cuales se realizaron despus que algunos pases ya haban comenzado el proceso. Otros problemas reportados fueron la disponibilidad de redes, la consistencia entre la informacin derivada de distintas fuentes, la baja velocidad de procesamiento y la falta de asistencia tcnica dentro de los pases. Independientemente de estos comentarios, en trminos generales el proceso de captura de datos fue considerado positivo. Mientras que un pas inform que, al momento de redactar sus informes, el proceso de captura de datos an no se haba completado, cinco pases catalogaron el proceso como muy bueno, siete como bueno y dos como regular.
Captura de datos y estructura de la base de datos

La precisin del proceso de captura de datos afecta la validez y confiabilidad de los resultados. Por consiguiente, es responsabilidad de las Coordinaciones Nacionales producir bases de datos limpias, precisas y coherentes con las especificaciones proporcionadas por la CT-LLECE (Criterio II.9). Los aspectos relacionados con la base de datos y la captura de datos se consideran esenciales para lograr un alto nivel de calidad. Con la finalidad de ayudar a los pases participantes y garantizar la calidad de sus datos finales, se elabor el Manual de Captura de Datos junto con un programa computacional (software) de captura de datos. Este manual describe dicho software y proporciona directrices sobre su instalacin, junto con ofrecer una serie de informes sobre los instrumentos (cuadernillos, cuestionario del estudiante y cuestionario familiar), e implementa una serie de verificaciones de validez. Se organiz un Taller
CAPTULO 4
121
En un intento por verificar la precisin del proceso de captura de datos, se realiz una doble captura de datos en un porcentaje de los cuadernillos; una realizada por cada pas y una realizada por la CT-LLECE. El nmero de discrepancias entre las capturas se muestra por pas en la Figura 3.2, pudiendo constatarse que existe una gran variabilidad entre ellos. El nmero de discrepancias fue particularmente alto en Repblica Dominicana (163) y Ecuador (245). Figura 3.2.Nmero de diferencias entre la captura de datos nacionales y la captura de datos internacionales
300
Nmero de diferencias
250 200 150 100 30 0

Cub a El Sal vad or Nu evo Le n M xic o Pan am Arg ent ina Do mi nic ana Ecu ado r Rep b lica Gu ate ma la Col om bia Par agu ay Cos ta Ric a y ara gua Bra sil Uru gua Chi Per le
122
REPORTE TCNICO
Nic
Naturaleza confidencial IV.4. Calificacin de los instrumentos y codificacin

Las Coordinaciones Nacionales son responsables de garantizar la confidencialidad de todos los materiales e instrumentos (Criterio II.10) sobre los cuales se reportara en el informe final (aplicacin definitiva). Adicionalmente, las Coordinaciones Nacionales asumen la responsabilidad de garantizar la confidencialidad de los resultados preliminares (Criterio II.11). Con este fin, los pases suscribieron un acuerdo de confidencialidad que fue firmado por todas las personas que tuvieron contacto directo o indirecto con materiales de ndole confidencial, en particular, con los instrumentos. En algunos pases, los procedimientos para garantizar confidencialidad eran idnticos a los utilizados en sus propias evaluaciones nacionales, lo cual constituye un hecho positivo. Asimismo, los pases incluyeron procedimientos adicionales sobre materias de seguridad y restriccin del acceso. No se detect evidencia alguna de amenazas que pudieran arriesgar el carcter confidencial de los documentos. Por su parte, los observadores internacionales y monitores externos informaron que dichas medidas podan calificarse como muy buenas o buenas en prcticamente todos los pases. Hubo consenso entre los monitores en el sentido que las Coordinaciones Nacionales y los aplicadores estaban muy conscientes de la necesidad de proteger el carcter confidencial de los materiales y que haban tomado las medidas necesarias. Los procedimientos implementados en Colombia fueron catalogados como regular y se recomend que los materiales fueran sellados ya que los propios administradores son los encargados de transportar el material a la escuela. En todos los dems aspectos las medidas de proteccin de la confidencialidad adoptadas por este pas se consideraron apropiadas. Esta seccin del informe se centra en la calidad global de las calificaciones de items de respuesta abierta, segn se describen en el Criterio II.8. Estos procedimientos se detallan en el documento Manual de Codificacin de Preguntas de Respuesta Abierta. En forma adicional, los pases participaron en talleres de capacitacin donde los representantes nacionales reciban tanto la formacin como los materiales que les permitiran replicar el proceso de capacitacin en sus respectivos pases. Los instrumentos del SERCE contemplan dos tipos de items: items de opcin mltiple e items de respuesta abierta. Los items de opcin mltiple se refieren a objetos precisos, son codificados en forma objetiva y son dicotmicos (es decir, slo existen dos categoras de respuesta: correcta o incorrecta). Se presentan mediante un enunciado seguido de cuatro alternativas donde slo una es la correcta. Para responder a los items de opcin mltiple, los estudiantes deben seleccionar la alternativa correcta, siendo la respuesta correcta el principal punto de concentracin. Por otra parte, los items de respuesta abierta requieren que el estudiante construya su propia respuesta, son codificados en forma subjetiva (es decir, implican el uso de criterio) y son politmicos (ms de una categora de respuesta: correcta, parcialmente correcta o incorrecta). Estos items se presentan mediante un enunciado que describe la pregunta, proporcionan un espacio para que el estudiante resuelva el problema y un segundo espacio para que el estudiante marque su respuesta final. Al responder la pregunta el estudiante debe concentrarse tanto en la respuesta correcta (crdito) como en el proceso que lo llev a resolver el problema. Estos dos aspectoscrdito y procesose capturaron utilizando un sistema de codificacin de doble dgito. El primer dgito representa el crdito asignado a la respuesta (por ej., 0 = sin crdito; 1 = crdito parcial; 2 = crdito total en items de respuesta corta, y 0 a 4 en
CAPTULO 4
123
items de respuesta extensa). En aquellos casos que la respuesta recibiera crdito (por ejemplo, 1 2 en items de respuesta corta) el crdito va acompaado de un segundo dgito que representa el tipo de estrategia utilizado para resolver el problema. Por ejemplo, el cdigo 21 asignado a un tem de respuesta corta significa que el estudiante obtuvo crdito total en este tem (2) y utiliz una estrategia determinada (1) para resolverlo. Por lo tanto, en el SERCE los items de respuesta abierta agregan subjetividad al proceso de calificacin, entregando al monitoreo la importante funcin de garantizar la confiabilidad del proceso entre los pases participantes. El SERCE, adems de implementar un proceso de validacin a travs de la recalificacin internacional de los cuadernillos, ha desarrollado manuales detallados y ofrecido capacitacin a los pases. La CT-LLECE muestre un conjunto de cuadernillos (es decir, entre 5 y 10 respuestas) que los pases presentaron le enviaron. Estos items fueron recalificados por calificadores internacionales con dominio del lenguaje de la evaluacin, conocedores de temas educativos y capacitados en el uso de las mismas directrices utilizadas en el estudio. Posteriormente, este conjunto internacional de calificaciones se compar al conjunto nacional de calificaciones. Para cada tem, el nivel de correspondencia entre estos dos conjuntos de calificaciones representa el ndice de confiabilidad entre calificadores. El SERCE incluye 21 items de respuesta abierta distribuidos en los dos grados y en las diferentes asignaturas: 6 items de Matemtica de tercer grado; 9 items de Matemtica de sexto grado; y 6 items de Ciencias de sexto grado. En general, el proceso cont con la aprobacin de los participantes (todos los pases catalogaron los procesos y manuales como buenos o muy buenos) en tanto que algunos pases adems sealaron que los manuales eran precisos, claros y detallados. Algunas dificultades se produjeron cuando las respuestas de los estudiantes parecan no calzar con ninguna de las categoras de respuesta. Estos casos fueron verificados por la CT-LLECE o dejados en manos de expertos que se responsabilizaron por su calificacin. Esta seccin
del informa describe los items de respuesta abierta de todos los pases. La tasa de consistencia del 85% entre la calificacin nacional e internacional de los items de respuesta abierta fue utilizada como primer criterio (Criterio II.8). El uso de tablas de mltiple entrada entre las calificaciones nacionales e internacionales, demostr que este criterio global fue superado por todos los items. La Tabla 4.1 en el Anexo A muestra la tasa de consistencia de items de Matemtica en tercer y sexto grado y de items de Ciencias en sexto grado. El nivel ms bajo de correspondencia se detect en el tem DC6B6IT15 y fue del 89,3%. Todos los items de Matemtica mostraron tasas de consistencia superiores al 96%. Igualmente importante fue examinar la direccin que seguan las diferencias entre estos dos calificadores que permitieran deducir si las calificaciones nacionales eran menos o ms rigurosas que las calificaciones internacionales. Ambos porcentajes se muestran en las dos ltimas columnas de la Tabla 4.1. En general, las diferencias presentaban una distribucin aleatoria que no sugera una direccin determinada. Un procedimiento formal denominado ndice Kappa de Cohen, cuantifica la confiabilidad entre calificadores 40 nacionales e internacionales para items de respuesta abierta. El ndice Kappa proporciona el nivel al cual dos jueces, el calificador nacional y el calificador internacional, concuerdan respecto de clasificar los items en dos categoras mutuamente excluyentes (en este caso, las categoras de respuesta).
40 El ndice Kappa de Cohen oscila en un rango de 0,000 a 1,000, donde los valores ms altos son indicativos de una mayor confiabilidad. En trminos generales, un valor Kappa superior a .7000 se considera satisfactorio.
124
REPORTE TCNICO
La Figura 4.1 muestra el resultado de los seis items de Matemtica correspondientes a tercer grado, a nivel internacional y por pas (los datos han sido incluidos en la Tabla 4.2, Anexo A). El eje y del grfico identifica el umbral 0,700 como el nivel aceptable de confiabilidad. Cada smbolo representa ya bien un pas o un valor global. El grfico no identifica pases individuales ya que su propsito es mostrar variabilidad o posibles patrones. La figura muestra que, si bien existe variabilidad entre los ndices Kappa, todos los valores caen dentro del rango aceptablesuperior a 0,700. En trminos de los diversos items, el tem DM3B6IT11 mostr la menor variabilidad en tanto que en el tem DM3B2IT11 se apreci la mayor variabilidad. En la Repblica Dominicana este conjunto de ndices Kappa fluctu entre 0,733 (tem DM3B2IT11) y 1,000 (todos los dems items).
Figura 4.1. ndice Kappa de confiabilidad entre calificadores para items de matemtica de tercer grado
1.000 0.900 0.800 0.700 0.600 0.500
Kappa Index
0.300 0.200 0.100 0.000
0.400
DM3B2IT11
DM3B2IT12
DM3B4IT11
DM3B4IT12
o.
DM3B6IT11
DM3B6IT12
Item - Matemtica 3 3 Item - Mathematics G rade
CAPTULO 4
125
En forma similar, la Figura 4.2 muestra los resultados de nueve items de Matemtica de sexto grado, a nivel internacional y por pas. En comparacin con los resultados observados para los tems de Matemtica de tercer grado, los resultados del tem de Matemtica de sexto grado mostraron mayores niveles de variabilidad entre los pases. En tres casos, los ndices Kappa fueron inferiores al umbral de 0,700: i) DM6B2IT16 en Nuevo Len (ndice Kappa 0,566), ii) DM6B4IT16 en Per (ndice Kappa 0,618), y iii) DM6B4IT14 en Costa Rica (ndice Kappa 0,659). Estos casos deben ser cuidadosamente analizados con el objeto de, posiblemente, recomendar su eliminacin.
Figura 4.2. ndice Kappa de confiabilidad entre calificadores para items de matemtica de sexto grado
1.000 0.900 0.800 0.700 0.600 0.500 0.400 Kappa Index 0.300 0.200 0.100 0.000 DM6B2IT14 DM6B2IT15 DM6B2IT16 DM6B4IT14 DM6B4IT15 DM6B4IT16 DM6B6IT14 DM6B6IT15 DM6B6IT16 Ite m - -Ma th e m a tics G ra6 do. e 6 Item Matemtica
126
REPORTE TCNICO
La Figura 4.3 muestra los ndices Kappa para items de Ciencias de sexto grado. Estos resultados no son tan positivos como los correspondientes a items de Matemtica de tercer y sexto grado (Figuras 4.1 y 4.2). La variacin de estos items de Ciencias es bastante mayor y, de hecho, en algunos casos los ndices Kappa se sitan a niveles inferiores al aceptable. Sin embargo, un examen ms riguroso de esta figura y de la Tabla 4.2 revela que la mayor variacin mostrada por estos items tuvo su origen en los niveles no aceptables de ndices Kappa obtenidos en Repblica Dominicana. Los ndices Kappa de los dems pases se sitan en niveles aceptables de confiabilidad. En consecuencia, estos seis items de ciencia de Repblica Dominicana deben ser cuidadosamente analizados con el objeto de, posiblemente, recomendar su eliminacin. Dado que este problema afecta a los seis items, los resultados obtenidos en Repblica Dominicana en esta asignatura no debieran ser publicados.
Figura 4.3. ndice Kappa de confiabilidad entre calificadores para items de ciencia de sexto grado
1.000 0.900 0.800 0.700 0.600 0.500 0.400 Kappa Index 0.300 0.200 0.100 0.000 DC6.B1.IT 15 DC6.B2.IT 15 DC6.B3.IT 15 DC6.B4.IT 15
o. G ra d e
DC6.B5.IT 15
DC6.B6.IT 15
Ite m --SCiencia cie n ce Item 6
CAPTULO 4
127
Otra forma de evaluar confiabilidad consiste en realizar comparaciones entre los calificadores de un pas. La Figura 4.4. muestra ndices Kappa por pas participante. En trminos generales todos los pases (con excepcin de los seis items de ciencia de sexto grado en Repblica Dominicana) excedieron el umbral de 0,700 en todas las asignaturas y grados. Los problemas asociados con estos items se mencionaron con anterioridad (vase la Figura 4.3).
Figura 4.4. ndice Kappa de confiabilidad entre calificadores entre los pases
Matemtica Grad e 3 3 Math
Matemtica 6 Grad e 6 Math
Ciencias Gard e6 6
Science
1.000 0.900 0.800 0.700 0.600 0.500 0.400 0.300 0.200 0.100 0.000
ndice Kappa
128
REPORTE TCNICO
ana Ecu ado r El Sal vad or Nu evo Le n Gu ate ma la M xic o Nic ara gua Pan am Par agu ay Per Uru gua y
ina
bia
sil
le
a Ric ta
Bra
Arg ent
om
Cub
Chi
a Do
Col
Cos
mi
nic
IV.5. ndice de cumplimiento de las pautas de calidad del SERCE.

En la presente seccin se presenta el ICUPAC (ndice de Cumplimiento de las Pautas de Calidad del SERCE).
Este ndice es una medida resumen del grado en que los pases siguieron las pautas de calidad en la aplicacin del SERCE. El ndice se construy a partir de las siguientes variables referentes al cumplimiento de las pautas de la aplicacin: I1: Porcentaje de escuelas de la muestra seleccionada inicialmente por la Coordinacin del LLECE, que finalmente participaron en el estudio (sin reemplazo). I2: Porcentaje de alumnos de tercer grado que participaron en las pruebas de Lenguaje. I3: Porcentaje de alumnos de tercer grado que participaron en las pruebas de Matemtica. I4: Porcentaje de alumnos de sexto grado que participaron en las pruebas de Lenguaje. I5: Porcentaje de alumnos de sexto grado que participaron en las pruebas de Matemtica. I6:Porcentaje de sesiones visitadas que empezaron en tiempo las pruebas. I7: Porcentaje de los modelos F2 correctamente llenados. I8: Porcentaje de pruebas y cuestionarios llenados en correspondencia con el F2. I9: Porcentaje de sesiones donde no tuvo lugar el uso de instrumentos inapropiados en las pruebas. I10: Aplicacin de las pruebas y cuestionarios acorde al cronograma de aplicacin. I11: Porcentaje de sesiones visitadas donde no hubo desviaciones por el aplicador del Manual para la aplicacin de los instrumentos. I12: Porcentaje de sesiones donde no hubo estudiantes que salieran y entraran de las aulas durante la aplicacin de los instrumentos. I13: Porcentaje de sesiones donde hubo la presencia de otro adulto durante la aplicacin de las pruebas. I14: Porcentaje de las sesiones visitadas donde no se produjeron interrupciones durante la aplicacin de las pruebas. I15: Porcentaje de sesiones donde no se produjo ayuda a los estudiantes por parte del aplicador. I16: Porcentaje de escuelas donde no hubo evidencias de aviso previo a la visita de los observadores externos. I17: Concordancia entre correctores Matemticas 3ero. I18: Concordancia entre correctores Matemticas 6to.
CAPTULO 4
129
El mtodo seguido para calcular el ICUPAC implic la construccin de nuevas variables que fueran una combinacin de los 18 indicadores bsicos sealados anteriormente. Las nuevas variables se construyeron agrupando los indicadores que tuvieran mayor correlacin entre s, y procurando que las nuevas variables fueran independientes entre ellas. Una vez construidas las nuevas variables, se consideraron solamente aquellas responsables de la mayor parte de la variabilidad total de los indicadores bsicos. Cada una de estas variables compuestas recibi una etiqueta relativa al proceso de evaluacin que representa. Despus de seleccionar las variables de resumen, a cada una de ellas se le asign un peso, utilizando criterios educmtricos que dieran cuenta del impacto relativo de cada una de estas variables podra tener en los resultados de logro. Sumando estas variables ponderadas se construy el ICUPAC.
Para la construccin del ICUPAC se utiliz la tcnica de anlisis multivariante conocida como Anlisis de Componentes Principales, cuyo propsito es transformar un conjunto de variables correlacionadas en otro menor no correlacionado, a costa de una mnima prdida de informacin, entendida esta ltima como la varianza de los datos originales. Adems se sigui la lgica de un modelo compensatorio, donde se combinan los datos en un algoritmo, comnmente aditivo, que permite que las bajas puntuaciones en unas variables se vean compensadas por las altas puntuaciones en otras.(Valds, H. Desempeo del Maestro y su evaluacin. Editorial Pueblo y Educacin. La Habana, Cuba, 2004, pg. 124).
A partir del anlisis, se obtuvieron las siguientes componentes o variables resumen:

Adecuada cobertura de escuelas y estudiantes (C1): o o o I6:Porcentaje de sesiones visitadas que empezaron en tiempo las pruebas. I2: Porcentaje de alumnos de tercer grado que participaron en las pruebas de Lenguaje. I13: Porcentaje de sesiones donde hubo la presencia de otro adulto durante la aplicacin de las pruebas. I14: Porcentaje de las sesiones visitadas donde no se produjeron interrupciones durante la aplicacin de las pruebas. I15: Porcentaje de sesiones donde no se produjo ayuda a los estudiantes por parte del aplicador. I16: Porcentaje de escuelas donde no hubo evidencias de aviso previo a la visita de los observadores externos.
130
REPORTE TCNICO
Adecuada cobertura de la prueba (C2): o o o o I2: Porcentaje de alumnos de tercer grado que participaron en las pruebas de Lenguaje. I3: Porcentaje de alumnos de tercer grado que participaron en las pruebas de Matemtica. I4: Porcentaje de alumnos de sexto grado que participaron en las pruebas de Lenguaje. I5: Porcentaje de alumnos de sexto grado que participaron en las pruebas de Matemtica.
Llenado conforme de los instrumentos (C3): o o o o I7: Porcentaje de los modelos F2 correctamente llenados. I8: Porcentaje de pruebas y cuestionarios llenados en correspondencia con el F2. I17: Concordancia entre correctores Matemticas 3ero. I18: Concordancia entre correctores Matemticas 6to.
Administracin de pruebas segn manual (C4): o o I10: Aplicacin de las pruebas y cuestionarios acorde al cronograma de aplicacin. I11: Porcentaje de sesiones visitadas donde no hubo desviaciones por el aplicador del Manual para la aplicacin de los instrumentos.
Componente no etiquetada al no parecer consistente su agrupamiento por lo que no se considero para el ndice sinttico:
I1: Porcentaje de escuelas de la muestra seleccionada inicialmente por la Coordinacin del LLECE, que finalmente participaron en el estudio (sin reemplazo). I9: Porcentaje de sesiones donde no tuvo lugar el uso de instrumentos inapropiados en las pruebas.
CAPTULO 4
131
La informacin en trminos de variabilidad total explicada por las componentes en funcin de las cuales se construy el ndice sinttico es del 71.93%, esto se detalla en la siguiente tabla.
Tabla 5.1 Anlisis de componentes principales, varianza y varianza acumulada Componente Adecuada cobertura de escuelas y estudiantes Adecuada cobertura de la prueba Llenado conforme de los instrumentos Administracin de pruebas segn manual % de Varianza 21.919 20.472 18.173 11.373 % Varianza Acumulada 21.919 42.391 60.565 71.938
Cada una de las componentes anteriormente descritas recibi una ponderacin relativa al grado de influencia que cada una de ellas podra tener en el sesgo de los resultados de las pruebas. Las ponderaciones que recibieron fueron las siguientes: Adecuada cobertura de la prueba 40% Adecuada cobertura de escuelas y estudiantes 30% Llenado conforme de los estudiantes 15% Aplicacin de pruebas segn el manual 15%
Las razones para dar tal ponderacin a cada una de las componentes se explican enseguida:
Adecuada cobertura de la prueba 40% (C1). La razn de asignarle el mayor peso relativo a esta
categora es la de considerar que una falta de cobertura puede sesgar fuertemente la medicin de el logro, dado que permite suponer que se ha hecho una seleccin de los mejores alumnos, independientemente de que tan bueno sea el estado de las otras componentes.
Adecuada cobertura de escuelas y estudiantes 30% (C2). La razn de esta ponderacin en

relacin a las otras tres es que la precisin de los estimadores es sensible a la prdida de escuelas de la muestra y en consecuencia de alumnos, corriendo el peligro de tener intervalos de confianza muy anchos o poca representatividad de la muestra, an a pesar de que se llenasen de manera conforme los instrumentos y los aplicadores hubieren aplicado las pruebas segn el manual. Sin embargo, no se espera que el comportamiento de esta falta de cobertura sea con sesgo intencional de seleccin sino por razones justificadas, por lo que se ponder con peso relativo importante pero menor al de la anterior componente.
132
REPORTE TCNICO
Llenado conforme de los instrumentos 15% (C3). Esta ponderacin es inferior a las anteriores,
porque la componente puede introducir un sesgo pero se supone con un impacto en menor escala que las componentes anteriores.
Administracin de pruebas segn manual 15% (C4). Esta ponderacin es inferior a las dos
primeras componentes, porque esta puede introducir un sesgo pero se supone con un impacto en menor escala que las ellas e similar a la anterior.
El ndice de cumplimiento de las pautas de calidad del SERCE se define entonces de la siguiente manera:
ICUPAC= (30/100)*C1+(40/100)*C2+(15/100)*C3+(15/100)*C4
Los resultados del ICUPAC muestran que los pases se agrupan en cuatro conjuntos que son muy parecidos al interior de los mismos y muy diferentes entre ellos. La tcnica utilizada para esta clasificacin es el algoritmo de k medias del anlisis de cluster, la cual se caracteriza por generar grupos con mxima varianza entre ellos y mnima a su interior. A continuacin se presenta un grafico que ilustra tal agrupamiento.
Como se puede ver en el grfico (5.1), los pases se agrupan de la siguiente forma: Con menor ndice de cumplimiento estn Colombia, Costa Rica, Repblica Dominicana y Paraguay. Con un nivel intermedio-bajo de cumplimiento se encuentran Panam, Per, Brasil, Argentina, Guatemala, Chile, Mxico y Nicaragua. Con un nivel intermedio-alto de cumplimiento estn Uruguay, Nuevo Len, Ecuador y El Salvador. Con un nivel alto de cumplimiento est Cuba.
CAPTULO 4
133
Figura 5.1. Anlisis de cluster de los pases de acuerdo a su puntuacin en el ICUPAC

Indice del cumplimiento de las pautas de calidad del SERCE 1.50
Cuba
1.00
El Salvador
0.50
Nuevo Len Nicaragua Mxico Guatemala Per Panam
Ecuador Uruguay
0.00
Paraguay
Chile Argentina Brasil
-0.50
Dominicana Costa Rica Colombia
-1.00 1
1.5
2.5
3.5
Nmero de caso del conglomerado
Enseguida se muestran los valores que obtuvo cada pas en el ICUPAC (tabla 5.2). Cabe sealar que los pases estn ordenados de forma ascendente, lo que indica que los primeros pases tuvieron un menor ndice de cumplimiento con las pautas y los pases del final de la tabla un mayor cumplimiento.
Pas Colombia Costa Rica R. Dominicana Paraguay Panam Per Argentina Brasil Guatemala Chile Mxico Nicaragua Uruguay Nuevo Len Ecuador El Salvador Cuba
ICUPAC -.96 -.55 -.53 -.53 -.27 -.26 -.11 -.10 -.03 .06 .14 .16 .22 .28 .36 .74 1.38
Tabla 5.2 Puntuacin de los pases el ICUPAC en orden ascendente
134
REPORTE TCNICO
IV.6. Resultados generales asociados con la calidad

En secciones anteriores de este informe, se presentaron ejemplos de muestreo, aspectos relacionados con el proceso de implementacin, la captura de datos y la calificacin de items de respuesta abierta. Todos estos aspectos son considerados fundamentales en trminos de garantizar la comparabilidad y validez de los resultados.
Muestreo
En general, los pases cumplieron los requerimientos esenciales de muestreo (Criterio II.7). El estudio inclua la participacin de 3.133 escuelas y una tasa mnima de participacin del 80%, requerimiento que fue cumplido por todos los pases participantes. En cuanto a la tasa de participacin de las escuelas originalmente muestreadas (70%), la mayora de los pases, con la excepcin de Brasil, Colombia y Ecuador, logr este objetivo. La requerida tasa de participacin de estudiantes80% de los estudiantes muestreadosse resume a continuacin por grado y asignatura:
Lenguaje - tercer grado: criterio cumplido por la mayora de los pases con la excepcin de Argentina, Nicaragua, Paraguay, Per y Repblica Dominicana.
Lenguaje - sexto grado: criterio cumplido por la mayora de los pases con la excepcin de Brasil y Paraguay.
Matemticas - tercer grado: criterio cumplido por la mayora de los pases con la excepcin de Repblica Dominicana, Nicaragua y Paraguay.
Matemticas - sexto grado: criterio cumplido por la totalidad de los pases participantes.
Ciencia - sexto grado: criterio cumplido por la totalidad de los pases participantes.
CAPTULO 4
135
Aspectos asociados con la implementacin y administracin de datos

El proceso de implementacin estuvo slidamente documentado por informes nacionales (aplicacin definitiva) y por informes de monitoreo de la calidad elaborados por monitores externos y observadores internacionales. Durante el proceso de implementacin se identificaron problemas menores aunque se estima que, a futuro, slo ser necesario implementar algunos pasos adicionales para minimizarlos. 1. Implementacin de la prueba piloto. Es importante cumplir el Criterio II.2 que requiere que cada pas participe en una prueba piloto. Esto permite mejorar los procedimientos y afinar el cronograma de trabajo. Adicionalmente, es fundamental que los pases puedan planificar su estrategia de muestreo en forma previa a la implementacin del estudio y ceirse estrictamente a ella. Por ejemplo, Nicaragua se bas en conocimientos previos derivados de estudios censales y, por lo tanto, no dio la suficiente atencin a aspectos del muestreo, hecho que trajo por resultados diversos problemas en los procesos finales. 2. Cronograma de actividades y horizonte temporal. Aparentemente, este tema estuvo presente durante todo el estudio. De hecho, los problemas de esta ndole solan mencionarse en los informes nacionales bajo la categora dificultades. Dichos problemas persistieron durante la presentacin de datos y el anlisis de los resultados. En un estudio internacional de esta magnitud, el horizonte temporal adquiere una importancia vital y si las demoras no son aceptadas por todos los participantes, los pases que s la cumplen no tendran por qu ser castigados por la demora de unos pocos. Es imprescindible establecer y hacer cumplir un horizonte temporal realista. 3. Capacitacin de aplicadores. La duracin de la capacitacin entregada a los aplicadores debe ser extendida y hacer hincapi en la importancia de cumplir
con directrices y procedimientos tales como la puntualidad y la adhesin a instrucciones. El reforzamiento de la habilidad del aplicador para controlar a grandes grupos de estudiantes debera en consecuencia mejorar sustancialmente el futuro comportamiento de los estudiantes durante la evaluacin. En trminos generales, el proceso de administracin de datos fue considerado positivo, si bien no estuvo exento de problemas. La mayora de las dificultades identificadas estaban asociadas a versiones mltiples de manuales y software, categoras de respuesta no consideradas en el software, y problemas tcnicos relacionados con el uso del software (es decir, baja velocidad de procesamiento, trabajo en redes, prdida de datos, etc.). En prcticamente todos los pases se produjeron problemas o divergencias. Algunos de estos problemas podran estar asociados a diferencias inherentes a los sistemas educativos, tales como las fechas de actividad escolar y temas de comportamiento. Sin embargo, la mayora de los problemas parecen estar concentrados en unos pocos pases. Los datos provenientes de Colombia revelan una baja preparacin de los aplicadores demostrada por su escaso conocimiento de los procedimientos. Sobre la base de las observaciones se puede concluir que: en el 38% de las sesiones se proporcion asistencia indebida a estudiantes; en el 57% de las sesiones ocurrieron incidentes o interrupciones; en el 48% de las sesiones se detect comunicacin/intercambio de informacin entre los estudiantes; y el 55% de las sesiones no comenz a la hora programada. Los datos provenientes de Costa Rica tambin revelan una baja preparacin de los aplicadores. Sobre la base de las observaciones se puede concluir lo siguiente: en el 41% de la sesiones se detectaron divergencias con las directrices; en slo el 39% de las sesiones la cubierta de los instrumentos haba sido completada segn se instruye en las directrices; y el
136
REPORTE TCNICO
41% de las sesiones no comenz a la hora programada. Tambin se registraron demoras en la presentacin de la base de datos a la CT-LLECE. Finalmente, cabe destacar que Costa Rica no cont con los datos que una prueba piloto podra haber aportado. Las observaciones realizadas en Repblica Dominicana revelaron que: el 47% de las sesiones se caracteriz por problemas de puntualidad; en slo el 55% de las sesiones las cubiertas de los instrumentos haban sido correctamente completadas; en un alto porcentaje de las sesiones las caractersticas del entorno de la prueba (espacio, iluminacin, temperatura ambiente) fueron descritas como no apropiadas. Adicionalmente, la verificacin del proceso de captura de datos en el pas arroj la segunda diferencia ms alta entre la verificacin nacional e internacional (163 diferencias). Finalmente, la base de datos fue presentada a la CT-LLECE con ms de 12 semanas de atraso. Los datos correspondientes a Ecuador revelan el nmero ms alto de diferencias entre la verificacin nacional e internacional de captura de datos (245 casos), y destacan que los aplicadores no estaban lo suficientemente familiarizados con los procedimientos. Adicionalmente, cabe mencionar que Ecuador no particip en la prueba piloto. Por otra parte, la razn que Nicaragua se menciona en este documento se debe a la ausencia de problemas durante la etapa de implementacin en muchos casos los datos demostraron ser demasiado perfectos. El observador internacional confirm que sus observaciones coincidan con las realizadas por los monitores externos. Sin embargo, los datos de Nicaragua fueron entregados con ms de 12 semanas de retraso, posiblemente, debido a problemas durante el proceso de captura de datos, ya que el representante del pas no asisti al taller organizado sobre este tema. Asimismo, se detectaron algunos problemas, debido a que originalmente en Nicaragua se planific el estudio bajo la idea de que se hara un censo de todas las escuelas del pas.
Calificacin de Items de respuesta abierta

La evidencia presentada en este informe revela que los manuales, las guas de calificacin y los talleres de capacitacin, fueron efectivos en trminos de garantizar un alto nivel de consistencia durante el proceso de calificacin de los items de respuesta abierta. Adicionalmente, todos los pases catalogaron este proceso como muy positivo y destacaron la naturaleza integral de los manuales. En general, los niveles de correspondencia y confiabilidad entre los calificadores se situaron en niveles aceptables en la totalidad de los items. Entre las excepciones se incluyen: (i) todos los items de Ciencias de sexto grado de Repblica Dominicana y (ii) tres casos de items de Matemticas de sexto grado: DM6B2IT16 de Nuevo Len, DM6B4IT16 de Per y DM6B4IT14 de Costa Rica. Dado que los problemas de calificacin tienen un impacto directo sobre el desempeo de los estudiantes, los datos que presenten problemas (por ej., los items de Ciencias de sexto grado de Repblica Dominicana) deberan ser especialmente destacados e incluso sera recomendable considerar su exclusin de los informes.
CAPTULO 4
137
Comentario final
El Anexo B contiene un resumen internacional de las conclusiones relacionadas con el proceso de muestreo (IV.1), informacin sobre la aplicacin de las pruebas (IV.2) y sobre la calificacin de los items de respuesta abierta (IV.3). El Anexo C presenta informes paralelos para cada pas participante. Estos ltimos tienen la finalidad de servir como una rpida gua de referencia para cada pas ya que ofrecen un listado de recomendaciones sobre el manejo de datos. Una limitacin de estos informes es el hecho que fueron sintetizados para permitir la presentacin cuantitativa de resultados. Para descripciones pormenorizadas y anlisis caso a caso de cada uno de estos temas, srvase consultar los informes elaborados por los monitores, documentos disponibles en la CT-LLECE. Se hace extremadamente difcil juzgar el impacto que las conclusiones presentadas en este informe podran tener a nivel individual o grupal. Por consiguiente, es recomendable interpretar estas conclusiones en conjuncin con otros informes, tales como: i) el Reporte Final del Observador Internacional; ii) el Informe de la aplicacin definitiva; iii) el Reporte Final de Cobertura de Escuelas y Alumnos); y iv) los reportes finales de calificacin. Al combinar informacin de las distintas reas muestreo, implementacin de la prueba, administracin de datos, y calificacin de tems de respuesta abiertase aprecia que, en trminos generales, las divergencias o problemas se distribuyen en forma aleatoria entre los pases. Sin embargo, de acuerdo al ICUPAC se detect una concentracin de problemas en Colombia, Costa Rica, Repblica Dominicana y Paraguay. Esto sugiere que la aplicacin en tales naciones identifica problemas en todas las reas. La evidencia presentada en este informe identifica problemas en las tasas de participacin de los estudiantes, el proceso de implementacin, la confiabilidad de las calificaciones y la presentacin oportuna de las bases de datos. La CT-LLECE dispone de informacin bastante ms completa que la presentada
en este informe que puede incluir aspectos relacionados con la comunicacin, la participacin en reuniones y los tiempos involucrados, datos que tambin deberan tenerse en cuenta. La combinacin de todos estos factores podra impactar la calidad de los datos de Colombia, Costa Rica, Repblica Dominicana y Paraguay, por lo que se sugiere interpretar cuidadosamente los resultados de estos pases. En trminos generales, las conclusiones presentadas en este informe demuestran que el SERCE fue rigurosamente implementado y con estricta adhesin a procedimientos diseados para garantizar resultados de alta calidad. Este estudio proporcion herramientas de gran utilidad para guiar a los pases, entre ellas, documentos impresos y manuales detallados, reuniones y talleres de capacitacin. Con las excepciones que se mencionan en cada seccin, estos resultados tienen el potencial de contribuir a una mejor comprensin de los resultados de la educacin en Amrica Latina, e identificar importantes caractersticas de los sistemas educativos que pueden hacer valiosos aportes a una educacin de calidad.
138
REPORTE TCNICO
CAPTULO
l presente captulo describe el procesamiento de datos del SERCE. La lgica de presentacin divide el procesamiento en dos etapas. La primera de ellas consiste en los procedimientos de control de calidad de los datos y depuracin de los datos. La segunda etapa del procesamiento se refiere a los procesos para la generacin de informacin. En cada una de estas etapas se explica, por separado, los procesos relativos a los datos de logro y los que se refieren a los cuestionarios de contexto. Esto porque hay diferencias importantes en el procesamiento de datos, especialmente en la etapa de generacin de informacin. En este captulo se presentan las principales procedimientos y resultados relativos a la depuracin de datos, la estimacin de parmetros y escalamiento de tems, las escalas de habilidades, los niveles de desempeo, el ndice de estatus socioeconmico de los estudiantes y la estructura de la base de datos regional.
V.1. ESTRUCTURA DE LA BASE DE DATOS REGIONAL Y PROCEDIMIENTOS PARA SU DEPURACIN

V.1.1. Estructura de la base de datos regional
El objetivo de este documento es describir brevemente las bases de datos del SERCE que se envan a los pases bajo embargo para que, aquellos que lo deseen, puedan realizar los reportes nacionales del SERCE. En total el SERCE ha producido 18 bases de datos, que se clasifican de la siguiente forma:
Cinco bases de resultados de los estudiantes Cuatro bases con datos de estudiantes y sus familias Siete bases de profesores Dos bases de escuelas y directores
Bases de resultados de aprendizaje

Las bases de desempeo de los estudiantes son las siguientes: C6: Ciencias 6 L3: Lectura 3 L6: Lectura 6 M3: Matemtica 3 M6: Matemtica 6
140
REPORTE TCNICO
Las bases de resultados tienen identificadores por pas, centro educativo, grado, aula y estudiante. Adems de identificadores compuestos para distinguir a los estudiantes considerando cada una de las variables mencionadas. Los resultados de aprendizaje resumidos aparecen en tres variables distintas: LOGIT_PUNTAJE: es la estimacin de habilidad en logits PUNTAJE_ESTANDAR_FINAL: corresponde al puntaje asignado a cada estudiante de acuerdo a la escala del SERCE, donde el promedio de las medias nacionales es igual a 500 y la desviacin estndar es 100. Nivel: que corresponde al nivel de desempeo en el que se ubican los estudiantes, y estn identifica dos por letras y una leyenda respectiva. Enseguida se describe el significado de cada letra correspondi ente a los niveles: o o o o o A: corresponde a los estudiantes por Debajo del Nivel I de desempeo. B: Nivel I de desempeo. C: Nivel II de desempeo. D: Nivel III de desempeo. E: Nivel IV de desempeo.
Adems de los resultados en resumen, al final de cada base de aprendizaje se incluyen las respuestas que dieron los estudiantes a cada uno de los tems de la prueba.
Bases de estudiantes y familias

Las bases de datos de estudiantes y sus familias son: Cuestionario QA3: cuestionario de alumnos de 3. Cuestionario QA6: cuestionario de alumnos de 6. Cuestionario QF3: cuestionario de familia de los estudiantes de 3. Cuestionario QF6: cuestionario de familia de los estudiantes de 6. Cada una de las bases de datos tiene la clave del cuestionario y nmero de tem en los nombres de las variables, adems de estar debidamente etiquetada con el texto del tem y las opciones de respuesta en todas las preguntas de opcin mltiple. Es preciso sealar que estas bases se construyeron a partir del nmero total de estudiantes que tuvo informacin vlida para, al menos, una de las pruebas del SERCE. Por lo tanto, el nmero total de estudiantes en las bases de alumnos y familias es levemente superior al nmero de estudiantes en cada una de las bases de resultados de aprendizaje. Tambin cabe aclarar que se separaron los datos del cuestionario de familia en una base para cada grado evaluado, esto para facilitar el anlisis por grado.
CAPTULO 5
141
Bases de profesores
Como se mencion anteriormente, hay siete bases de datos de profesores: Cuestionario QP3: Cuestionario para el docente 3. Cuestionario QL3: Cuestionario sobre la enseanza de lenguaje 3. Cuestionario QM3: Cuestionario sobre la enseanza de matemtica 3. Cuestionario QP6: Cuestionario para el docente 6. Cuestionario QC6: Cuestionario sobre la enseanza de ciencias 6. Cuestionario QL6: Cuestionario sobre la enseanza de lenguaje 6. Cuestionario QM6: Cuestionario sobre la enseanza de matemtica 6. En las bases de docentes las variables de nombran con el cuestionario y el nmero de tem, y llevan las respectivas etiquetas y opciones de respuesta.
Bases de escuelas y directores

Dos son las bases con datos a nivel escuela: Cuestionario FE: Ficha de empadronamiento de la escuela. Cuestionario QD: Cuestionario para el director. Las bases estn debidamente etiquetadas y el nombre de las variables permite identificarlas en los cuestionarios. Al final de la ficha de empadronamiento se incluyen una serie de variables auxiliares para identificar los grados que ofrecan las escuelas y las reas y el grado en las que hubo estudiantes con puntajes vlidos en cada escuela.
Notas adicionales
La variable ESTRATOA3ORIGINALR_TCCSC corresponde a la estratificacin del Uruguay, donde se considero una sobremuestra de escuelas de condicin social crtica.
V.1.2. Procedimientos de depuracin de los datos

La etapa de depuracin de los datos consisti en la aplicacin de procesos de verificacin de consistencia de la informacin recolectada. Para los resultados de las pruebas de Lectura y Matemtica en 3 y 6, los de Ciencias de la Naturaleza en 6 y la informacin recolectada mediante 11 cuestionarios de contexto, se llev a cabo un proceso recursivo de verificacin y retroalimentacin a los pases para el ajuste de la informacin en caso de existir inconsistencias. La Coordinacin Tcnica del LLECE (CT-LLECE) llev a cabo una serie de pruebas de control de calidad de los datos y, en caso de existir inconsistencias, se peda a los pases verificarlas. Despus del control de calidad se depuraron los datos de acuerdo a los criterios para exclusin estipulados en el diseo muestral. En esta seccin del captulo se describen los procesos de control de calidad y de depuracin de los datos de logro y de contexto, respectivamente.
142
REPORTE TCNICO
Depuracin de los datos de logro

Una vez recolectados y capturados, los datos de logro siguieron un proceso de depuracin para verificar su consistencia. El procedimiento seguido consisti en disear e implementar un sistema de consultas en ambiente Access, para verificar la estructura y el contenido de cada campo en cada tabla de datos. Una vez recibidas las bases de datos, se ejecutaron las consultas y se gener un reporte de novedades (el 12 de marzo 2007) que fue enviado a los pases con la solicitud de verificacin y correccin. En el caso de Repblica Dominicana y Per se generaron reportes independientes. En el caso de Nicaragua y Costa Rica, no se gener un reporte especfico sino que se mantuvo comunicacin en lnea para acompaar el proceso de depuracin en el respectivo pas. Cada vez que se reciba una nueva versin de cada base de datos, se ejecutaban de nuevo las consultas mencionadas y se generaban nuevos reportes si continuaban apareciendo algunas novedades. En el caso de Cuba y Repblica Dominicana se generaron tres reportes. Finalmente, concluidos los plazos para que cada pas depurara su base de datos, se procedi a realizar los ajustes respectivos, a consolidar la base de datos, y a generar la documentacin (16 junio 2007) y el reporte de imputaciones (22 junio 2007). Los reportes de novedades generados fueron los siguientes: 1. Reporte de novedades de las bases de datos (12 marzo 2007), con indicaciones de las novedades encontra das en las bases de datos recibidas. Se exceptuaron las bases de Repblica Dominicana, Per, Nicaragua y Costa Rica porque en la fecha de realizacin del reporte (12 de marzo 2007) an no se haban recibido las respectivas bases. Primer reporte de novedades de la base de Repblica Dominicana (15 marzo 2007).
2.
3. Segundo reporte de novedades de la base de Repblica Dominicana (16 abril 2007). 4. Tercer reporte de novedades de la base de Repblica Dominicana (2 mayo 2007).
5. Reporte de novedades de la base de Per (16 marzo 2007). 6. Reporte de novedades de la base de Argentina (1 abril 2007). 7. Tercer reporte de novedades de la base de Cuba (4 abril 2007).
Cada uno de los reportes mencionados consisti de 47 tablas. Cinco de estas tablas indicaban la existencia de campos vacos en las pruebas para cada una de las reas y grados evaluados. Las restantes 42 tablas indicaban la existencia de valores no vlidos en los tems abiertos de las pruebas de Matemtica y Ciencias. Enseguida se presenta una tabla que indica las tablas que se generaron en los reportes de novedades.
CAPTULO 5
143
CUADRO 5.1. TABLAS PRODUCIDAS PARA EL CONTROL DE CALIDAD DE LOS DATOS DE LOGRO
Tablas producidas para el control de calidad de los datos de logro Tabla 1. Registros con campos vacos en la prueba de lectura para 3. Tabla 2. Registros con campos vacos en la prueba de lectura para 6. Tabla 3. Registros con campos vacos en la prueba de matemtica para 3. Tabla 4. Registros con campos vacos en la prueba de matemtica para 6. Tabla 5. Registros con campos vacos en la prueba de ciencias para 6. Tabla 6. Registros con valores no vlidos en el tem 23 del cuadernillo C1 de la prueba de matemtica para 3. Tabla 7. Registros con valores no vlidos en el tem 24 del cuadernillo C1 de la prueba de matemtica para 3. Tabla 8. Registros con valores no vlidos en el tem 23 del cuadernillo C2 de la prueba de matemtica para 3. Tabla 9. Registros con valores no vlidos en el tem 24 del cuadernillo C2 de la prueba de matemtica para 3. Tabla 10. Registros con valores no vlidos en el tem 23 del cuadernillo C3 de la prueba de matemtica para 3. Tabla 11. Registros con valores no vlidos en el tem 24 del cuadernillo C3 de la prueba de matemtica para 3. Tabla 12. Registros con valores no vlidos en el tem 11 del cuadernillo C4 de la prueba de matemtica para 3. Tabla 13. Registros con valores no vlidos en el tem 12 del cuadernillo C4 de la prueba de matemtica para 3. Tabla 14. Registros con valores no vlidos en el tem 11 del cuadernillo C5 de la prueba de matemtica para 3. Tabla 15. Registros con valores no vlidos en el tem 12 del cuadernillo C5 de la prueba de matemtica para 3. Tabla 16. Registros con valores no vlidos en el tem 11 del cuadernillo C6 de la prueba de matemtica para 3. Tabla 17. Registros con valores no vlidos en el tem 12 del cuadernillo C6 de la prueba de matemtica para 3. Tabla 18. Registros con valores no vlidos en el tem 30 del cuadernillo C1 de la prueba de matemtica para 6. Tabla 19. Registros con valores no vlidos en el tem 31 del cuadernillo C1 de la prueba de matemtica para 6. Tabla 20. Registros con valores no vlidos en el tem 32 del cuadernillo C1 de la prueba de matemtica para 6. Tabla 21. Registros con valores no vlidos en el tem 30 del cuadernillo C2 de la prueba de matemtica para 6. Tabla 22. Registros con valores no vlidos en el tem 31 del cuadernillo C2 de la prueba de matemtica para 6. Tabla 23. Registros con valores no vlidos en el tem 32 del cuadernillo C2 de la prueba de matemtica para 6. Tabla 24. Registros con valores no vlidos en el tem 30 del cuadernillo C3 de la prueba de matemtica para 6. Tabla 25. Registros con valores no vlidos en el tem 31 del cuadernillo C3 de la prueba de matemtica para 6. Tabla 26. Registros con valores no vlidos en el tem 32 del cuadernillo C3 de la prueba de matemtica para 6. Tabla 27. Registros con valores no vlidos en el tem 14 del cuadernillo C4 de la prueba de matemtica para 6. Tabla 28. Registros con valores no vlidos en el tem 15 del cuadernillo C4 de la prueba de matemtica para 6. Tabla 29. Registros con valores no vlidos en el tem 16 del cuadernillo C4 de la prueba de matemtica para 6. Tabla 30. Registros con valores no vlidos en el tem 14 del cuadernillo C5 de la prueba de matemtica para 6. Tabla 31. Registros con valores no vlidos en el tem 15 del cuadernillo C5 de la prueba de matemtica para 6. Tabla 32. Registros con valores no vlidos en el tem 16 del cuadernillo C5 de la prueba de matemtica para 6. Tabla 33. Registros con valores no vlidos en el tem 14 del cuadernillo C6 de la prueba de matemtica para 6. Tabla 34. Registros con valores no vlidos en el tem 15 del cuadernillo C6 de la prueba de matemtica para 6. Tabla 35. Registros con valores no vlidos en el tem 16 del cuadernillo C6 de la prueba de matemtica para 6. Tabla 36. Registros con valores no vlidos en el tem 15 del cuadernillo C1 de la prueba de ciencias para 6. Tabla 37. Registros con valores no vlidos en el tem 30 del cuadernillo C1 de la prueba de ciencias para 6. Tabla 38. Registros con valores no vlidos en el tem 15 del cuadernillo C2 de la prueba de ciencias para 6. Tabla 39. Registros con valores no vlidos en el tem 30 del cuadernillo C2 de la prueba de ciencias para 6.
144
REPORTE TCNICO
Tabla 40. Registros con valores no vlidos en el tem 15 del cuadernillo C3 de la prueba de ciencias para 6. Tabla 41. Registros con valores no vlidos en el tem 30 del cuadernillo C3 de la prueba de ciencias para 6. Tabla 42. Registros con valores no vlidos en el tem 15 del cuadernillo C4 de la prueba de ciencias para 6. Tabla 43. Registros con valores no vlidos en el tem 30 del cuadernillo C4 de la prueba de ciencias para 6. Tabla 44. Registros con valores no vlidos en el tem 15 del cuadernillo C5 de la prueba de ciencias para 6. Tabla 45. Registros con valores no vlidos en el tem 30 del cuadernillo C5 de la prueba de ciencias para 6. Tabla 46. Registros con valores no vlidos en el tem 15 del cuadernillo C6 de la prueba de ciencias para 6. Tabla 47. Registros con valores no vlidos en el tem 30 del cuadernillo C6 de la prueba de ciencias para 6. Una vez finalizado el proceso de control de calidad de las bases de datos se gener el Reporte de imputaciones en la base de datos del SERCE (22 junio 2007), el cual se explica a continuacin.
Imputaciones de las bases de datos de logro

Despus del proceso recursivo de revisin y correccin de las bases de datos de logro fue necesario suprimir algunos de los registros o imputar algn valor como medio para preparar los datos para su procesamiento. La presente seccin muestra las imputaciones realizadas a las bases de datos remitidas por los pases participantes en la aplicacin definitiva del SERCE, referidas a las respuestas a los cuadernillos de las pruebas de Lectura, Matemtica y Ciencias. Los cuadros 5.2 a 5.8 presentan los registros que han sido suprimidos y aquellos que han sido modificados, junto con el valor imputado, as como las modificaciones generales a los datos de Brasil, Cuba y Panam, a los cdigos de aula y de crdito parcial y los casos de las bases de Costa Rica, Repblica Dominicana y Brasil que se recibieron en forma extempornea. El reporte de imputaciones tambin da cuenta en los cuadros 5.9 a 5.13 del nmero de registros que han sido suprimidos para el procesamiento de los datos, en las pruebas L3, L6, M3, M6 y C6, para cada pas, por no cumplir con los criterios de universo o muestra y porque corresponden a estudiantes que no respondieron la prueba, es decir, aquellos registros donde todos los campos estn digitados como X, Y o Z. De acuerdo con el procedimiento previsto, estos estudiantes no tuvieron un valor estimado para su habilidad. En los cuadros 5.14 a 5.18 se reporta el nmero de registros por cada tipo de cuadernillo y para cada pas, en las pruebas L3, L6, M3, M6 y C6, que conforman la base de datos y que sern utilizados para la calibracin de tems y para la estimacin de habilidades. Los significados de los cdigos utilizados representan una pieza clave de informacin para comprender el alcance de las imputaciones realizadas, por lo que se describen los cdigos y sus significados enseguida: El cdigo Y de crdito parcial se reemplaza por W, para mantener como nica significacin del cdigo Y el caso de multimarca en los tems cerrados. Significado del cdigo utilizado para las respuestas de los tems cerrados en la base de datos: o o 1: Opcin A. Punta con 1 si es la clave y con 0 de otra forma. 2: Opcin B. Punta con 1 si es la clave y con 0 de otra forma.
CAPTULO 5
145
o 3: Opcin C. Punta con 1 si es la clave y con 0 de otra forma. o 4: Opcin D. Punta con 1 si es la clave y con 0 de otra forma. o X: tem no administrado. No punta. o Y: Ms de una respuesta (multimarca). Punta con 0. o Z: No respuesta (omisin). Punta con 0. Significado del cdigo utilizado para las respuestas de los tems abiertos en la base de datos o 1: Crdito nulo. Punta con 0. o 2: Crdito parcial o total, segn cada caso. Punta con 1. o 3: Crdito parcial o total, segn cada caso. Punta con 2. o 4: Crdito total en tem abierto, segn cada caso. Punta con 3. o W: tem mal impreso. No punta. o X: tem no administrado. No punta. o Z: No respuesta (omisin). Punta con 0. Abajo se presentan las tablas que dan cuenta de los registros eliminados y modificados. Despus se explican algunas situaciones especficas que se dieron en el control de calidad de las bases de algunos pases. La siguiente parte del documento resume los nmeros de registros suprimidos y los registros utilizados para el procesamiento. CUADRO 5.2. REGISTROS SUPRIMIDOS POR ESTAR VACOS Centro Pas Educativo Grado Aula rea 05 Costa Rica 18 Paraguay 18 Paraguay 18 Paraguay 123 152 155 168 3 3 6 3 1 4 2 3 M L L M
Estudiante 18 12 23 10
Cuadernillo C4 C4 C3 C3
CUADRO 5.3. CAMPOS DE TEMS CERRADOS LLENADOS CON EL VALOR Z PORQUE SE ENCUENTRAN VACOS Centro Pas Educativo Grado Aula rea Estudiante Cuadernillo 06 Cuba 029 3 2 L 01 C4 06 Cuba 043 3 1 L 02 C5 Campo vaco tem 2 tem 6
146
REPORTE TCNICO
CUADRO 5.4. CAMPOS DE TEMS CERRADOS LLENADOS CON EL VALOR Z PORQUE TIENEN UN VALOR NO VLIDO
Centro Pas Educativo Grado Aula rea Estudiante Cuadernillo Campo 07 Chile 030 3 1 M 08 C1 Item 11 07 Chile 030 3 1 M 08 C1 Item 12
valor no vlido 0 0
CUADRO 5.5. CAMPOS PARES DE TEMS CERRADOS LLENADOS CON EL VALOR NULO PORQUE TIENEN UN VALOR NO VLIDO
Pas
Centro Educativo Grado Aula rea Estudiante Cuadernillo Campo 070 070 083 083 131 131 131 131 131 131 030 030 3 3 3 3 6 6 6 6 6 6 3 3 1 1 1 1 1 1 1 3 3 3 1 1 M M M M M M M M M M M M 21 21 18 18 25 25 25 29 29 29 08 08 C1 C1 C6 C6 C2 C2 C2 C2 C2 C2 C1 C1 Item 11 Item 12 Item 23 Item 24 Item 14 Item 15 Item 16 Item 14 Item 15 Item 16 Item 12 Item 12
valor no vlido 11 31 22 42 22 ZZ 12 31 32 31 ZZ ZZ
05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 07 Chile 07 Chile
CAPTULO 5
147
CUADRO 5.6. CAMPOS IMPARES DE TEMS ABIERTOS LLENADOS CON EL VALOR 0 PORQUE TIENEN OTRO VALOR
Pas 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 05 Costa Rica 07 Chile 07 Chile 11 Nuevo Len
Centro Educativo Grado Aula rea Estudiante Cuadernillo Campo 070 070 083 083 131 131 131 131 131 131 030 030 153 3 3 3 3 6 6 6 6 6 6 3 3 6 1 1 1 1 1 1 1 3 3 3 1 1 1 M M M M M M M M M M M M C 21 21 18 18 25 25 25 29 29 29 08 08 16 C1 C1 C6 C6 C2 C2 C2 C2 C2 C2 C1 C1 C5
valor no vlido
Item 23 4 Item 24 3 Item 11 4 Item 12 4 Item 30 4 Item 31 3 Item 32 3 Item 30 4 Item 31 3 Item 32 2 Item 23 Z Item 24 Z Item 30
CUADRO 5.7. CAMPOS DE TEMS ABIERTOS LLENADOS CON EL VALOR ZZ PORQUE SE ENCUENTRAN VACOS Pas 11 Nuevo Len 20 Dominicana 20 Dominicana 20 Dominicana 20 Dominicana Centro Educativo Grado Aula rea Estudiante 142 157 060 179 114 6 1 6 2 6 1 6 2 6 1 C C C C C 07 10 10 02 36 Cuadernillo C6 C6 C6 C3 C6
Campo
Item 30 Item 30 Item 30 Item 30 Item 30
CUADRO 5.8. CAMPOS DE TEMS ABIERTOS LLENADOS CON EL VALOR XX PORQUE TIENEN UN VALOR NO VLIDO
Pas
Centro Educativo Grado Aula rea Estudiante Cuadernillo Campo 6 M 1 C 3 C 10 03 20 C3 C3 C5
valor no vlido
05 Costa Rica 001 3 20 Dominicana 023 6 20 Dominicana 079 6
tem 23 34 Item 15 17 Item 30 17
148
REPORTE TCNICO
Adems de las modificaciones sealadas, los cdigos de aula originalmente marcados como 1, 2, 3, 4, 5, 6, 7, 8 y 9 se reemplazan por 01, 02, 03, 04, 05, 06, 07, 08 y 09, respectivamente. Por distintas situaciones fue necesario realizar ajustes a las bases de datos de cinco pases, a saber: Para Brasil se llevaron a cabo las siguientes modificaciones: o Se recibi una base de datos el da 11 de junio, despus de vencido el plazo fijado en 7 de junio. Aunque ya se haba depurado la ltima base de datos recibida el 28 de febrero de 2007, se depur nuevamente esta base remitida el 11 de junio y en consecuencia el archivo final contempla los ajustes realizados por Brasil en las codificaciones a las respuestas de los tems abiertos 23 y 24 de los cuader nillos C1, C2 y C3 de la prueba de matemtica de tercer grado. o El campo par de los tems 11 y 12, de los cuadernillos C1, C2 y C2 de la prueba de Matemtica para tercer grado, estn con -1 y se reemplazan por nulo. o El campo par de los tems 23 y 24, de los cuadernillos C4, C5 y C6 de la prueba de Matemtica para tercer grado, estn con -1 y se reemplazan por nulo. o El campo par de los tems abiertos 14, 15 y 16, de los cuadernillos C1, C2 y C3 de la prueba de Matemtica para sexto grado, estn con -1 y se reemplazan por nulo. o El campo par de los tems abiertos 30, 31 y 32, de los cuadernillos C4, C5 y C6 de la prueba de Matemtica para sexto grado, estn con -1 y se reemplazan por nulo.
En el caso de Costa Rica se recibi una base de datos el da 8 de junio, despus de vencido el plazo fijado en 7 de junio. Aunque ya se haba depurado la ltima base de datos recibida el 30 de mayo de 2007, se depur nuevamente esta base remitida el 8 de junio y en consecuencia el archivo final contempla el nico ajuste realizado por Costa Rica al registro 05001306M10C3, donde el tem 23 estaba con el valor 34 y se modific por el valor 12. Para Cuba se los registros de las aulas 1 a 7 del Centro Educativo 207 se reemplazaron por registros de las aulas 11 a 17, respectivamente, del Centro educativo 187. Los datos de Panam sufrieron las siguientes modificaciones: o Los registros del Centro Educativo 103 A se reemplazaron por registros del Centro Educativo 103. o Los registros del aula 1 del Centro Educativo 103B se reemplazaron por registros del aula 11 del Centro Educativo 103. o Los registros del Centro Educativo 116 A se reemplazaron por registros del Centro Educativo 116.
CAPTULO 5
149
o Los registros del aula 1 del Centro Educativo 116B se reemplazaron por registros del aula 11 del Centro Educativo 116. Repblica Dominicana envi una base de datos el da 8 de junio, despus de vencido el plazo fijado en 7 de junio. Aunque ya se haba depurado la ltima base de datos recibida el 2 de mayo de 2007, se depur nuevamente esta base remitida el 8 de junio y en consecuencia el archivo final contempla algunos ajustes realizados por Repblica Dominicana.
Los cuadros subsiguientes (5.9 al 5.13) informan sobre el nmero de registros suprimidos en cada una de las pruebas por no corresponder al universo o muestra, o bien por ser de estudiantes que no respondieron la prueba.
CUADRO 5.9. NMERO DE REGISTROS SUPRIMIDOS EN LA PRUEBA L3

Pas 01 Argentina 03 Brasil
Nmero de registros suprimidos

Por razn de universo o muestra 161 6 Por corresponder a estudiantes que no respondieron la prueba 52 21 14 7 2 26 134 8 6 78 8 14 83 33 24 276 41
04 Colombia 05 Costa Rica 06 Cuba 07 Chile 08 Ecuador 11 Nuevo Len 12 Guatemala 14 Mxico 16 Nicaragua 17 Panam 18 Paraguay 20 Dominicana
92 48 32 172 52 47 322 61 89 119 137 107
09 El Salvador
19 Per 21 Uruguay
72 187
TOTAL
1708
827
150
REPORTE TCNICO
CUADRO 5.10. NMERO DE REGISTROS SUPRIMIDOS EN LA PRUEBA L6

Pas 01 Argentina 03 Brasil 04 Colombia 06 Cuba 07 Chile 08 Ecuador 09 El Salvador 12 Guatemala 14 Mxico 16 Nicaragua 17 Panam 18 Paraguay

Por razn de universo o muestra 130 80 6 21 111 51 21 181 34 161 86 92 Por corresponder a estudiantes que no respondieron la prueba 8 2 0 10 0 34 31 3 5 3 0 1 4 6 0 15 4
05 Costa Rica
48
11 Nuevo Len
40
19 Per 20 Dominicana 21 Uruguay
55 47 153
TOTAL
1317
126
CAPTULO 5
151
CUADRO 5.11. NMERO DE REGISTROS SUPRIMIDOS EN LA PRUEBA M3

Pas 01 Argentina 03 Brasil 05 Costa Rica 06 Cuba 07 Chile 04 Colombia

Por razn de universo o muestra 149 6 22 32 168 90 Por corresponder a estudiantes que no respondieron la prueba 17 5 5 3 0 36 2 0 1 5 0 2 3 6 1 53 12
08 Ecuador 09 El Salvador 11 Nuevo Len 12 Guatemala 16 Nicaragua 17 Panam 18 Paraguay 20 Dominicana 21 Uruguay 14 Mxico
47 4 48 322 217 108 128 67 183 57
19 Per
75
TOTAL
1723
151
152
REPORTE TCNICO
CUADRO 5.12. NMERO DE REGISTROS SUPRIMIDOS EN LA PRUEBA M6

Pas 01 Argentina 03 Brasil 04 Colombia 05 Costa Rica 06 Cuba 07 Chile 08 Ecuador 09 El Salvador 11 Nuevo Len 12 Guatemala 14 Mxico 16 Nicaragua 17 Panam

Por razn de universo o muestra 127 28 8 100 21 114 42 19 60 190 33 49 65 Por corresponder a estudiantes que no respondieron la prueba 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
18 Paraguay 19 Per 20 Dominicana 21 Uruguay
89 57 15 145
TOTAL
1162
CAPTULO 5
153
CUADRO 5.13. NMERO DE REGISTROS SUPRIMIDOS EN LA PRUEBA C6

Pas 01 Argentina 06 Cuba 11 Nuevo Len 17 Panam 19 Per 20 Dominicana 21 Uruguay TOTAL

Por razn de universo o muestra 112 4 34 34 Por corresponder a estudiantes que no respondieron la prueba 3 0 0 5 2 0 2 2 0 10 24
04 Colombia 09 El Salvador
8 1
18 Paraguay
89 40 22 125 469
Despus de los procesos de depuracin y las imputaciones y ajustes correspondientes, las bases de datos de logro se constituyeron de los registros que se describen en los cuadros 5.14 a 5.18, y que se desglosan por cuadernillos.
154
REPORTE TCNICO
CUADRO 5.14. NMERO DE REGISTROS UTILIZADOS PARA EL PROCESAMIENTO DE LA PRUEBA L3
Tipo de Cuadernillo Pas

01 Argentina 03 Brasil 04 Colombia 05 Costa Rica 06 Cuba 07 Chile 08 Ecuador 09 El Salvador 11 Nuevo Len 12 Guatemala 14 Mxico 16 Nicaragua 17 Panam 18 Paraguay 19 Per 20 Dominicana 21 Uruguay TOTAL
C1
898 920 947 818 877 965 847 1214 937 1118 780 1040 1032 856 779 656 1093 15777
C2
989 883 947 798 882 965 838 1223 941 1095 693 1017 1020 846 779 669 1070 15655
C3
999 904 913 771 875 964 832 1222 943 1121 782 1029 1020 839 768 675 1109 15766
C4
890 899 933 928 881 963 837 1211 936 1118 778 1042 1030 850 778 648 1108 15830
C5
1000 890 946 896 886 977 821 1221 952 1121 776 1049 1027 848 770 641 1082 15903
C6
1005 892 948 814 890 957 818 1211 865 1104 770 1034 1034 827 766 658 1096 15689
TOTAL
5781 5388 5634 5025 5291 5791 4993 7302 5574 6677 4579 6211 6163 5066 4640 3947 6558 94620
CAPTULO 5
155
CUADRO 5.15. NMERO DE REGISTROS UTILIZADOS PARA EL PROCESAMIENTO DE LA PRUEBA L6

C1
1019 835 984 783 983 1105 836 1040 831 843 789 1037 857 694 753 742 995 15126
C2
1030 836 969 743 987 1118 865 1043 834 866 796 1025 841 732 740 724 996 15145
C3
1011 852 970 710 984 1097 852 1038 831 866 783 1016 833 725 755 728 1009 15060
C4
1014 826 984 750 976 1113 842 1042 841 871 770 1008 881 720 761 725 995 15119
C5
1001 844 978 803 971 1093 856 1036 828 864 786 1022 872 723 759 732 997 15165
C6
994 808 966 750 982 1090 845 1038 833 847 799 1020 719 713 736 719 997 14856
TOTAL
6069 5001 5851 4539 5883 6616 5096 6237 4998 5157 4723 6128 5003 4307 4504 4370 5989 90471
156
REPORTE TCNICO
CUADRO 5.16. NMERO DE REGISTROS UTILIZADOS PARA EL PROCESAMIENTO DE LA PRUEBA M3

C1
1047 928 987 783 877 977 880 1231 903 1166 783 1068 1023 857 794 723 1132 16159
C2
1045 917 969 752 881 979 874 1238 896 1128 760 1058 1036 863 796 714 1130 16036
C3
1055 920 946 736 877 964 856 1232 902 1152 774 1067 1038 848 786 727 1138 16018
C4
1048 924 957 855 880 984 874 1230 909 1141 770 1052 1032 849 801 731 1151 16188
C5
1046 917 951 796 886 994 869 1240 901 1150 765 1073 1037 858 796 731 1144 16154
C6
1031 928 974 792 890 982 859 1228 900 1144 769 1066 1030 835 790 748 1142 16108
TOTAL
6272 5534 5784 4714 5291 5880 5212 7399 5411 6881 4621 6384 6196 5110 4763 4374 6837 96663
CAPTULO 5
157
CUADRO 5.17. NMERO DE REGISTROS UTILIZADOS PARA EL PROCESAMIENTO DE LA PRUEBA M6

C1
1019 870 984 687 981 1099 871 1042 794 868 787 1079 899 722 769 751 1037 15259
C2
1023 860 977 650 983 1111 872 1050 786 887 795 1079 879 732 755 756 1029 15224
C3
1028 879 973 620 985 1122 872 1048 778 873 782 1072 899 731 762 755 1021 15200
C4
1036 871 984 700 974 1106 865 1043 799 888 765 1080 919 724 772 743 1018 15287
C5
1037 874 972 689 974 1117 867 1038 780 864 782 1085 865 731 771 765 1028 15239
C6
1008 847 980 662 982 1093 863 1049 758 869 800 1073 903 722 756 732 1027 15124
TOTAL
6151 5201 5870 4008 5879 6648 5210 6270 4695 5249 4711 6468 5364 4362 4585 4502 6160 91333
158
REPORTE TCNICO
CUADRO 5.18. NMERO DE REGISTROS UTILIZADOS PARA EL PROCESAMIENTO DE LA PRUEBA C6

01 Argentina 04 Colombia 06 Cuba 09 El Salvador 11 Nuevo Len 17 Panam 18 Paraguay 19 Per 20 Dominicana 21 Uruguay TOTAL
C1
974 990 984 1043 814 903 739 773 752 1038 9010
C2
1015 979 994 1046 779 904 752 763 750 1028 9010
C3
1029 980 990 1050 794 909 756 763 746 1018 9035
C4
1041 992 979 1049 764 922 745 773 736 1020 9021
C5
1033 981 969 1039 785 908 741 776 758 1021 9011
C6
947 989 981 1054 775 898 733 756 731 1028 8892
TOTAL
6039 5911 5897 6281 4711 5444 4466 4604 4473 615 53979
Depuracin de los datos de cuestionarios de contexto Los datos provenientes de cuestionarios de contexto, al igual que los de logro, cumplieron con un proceso recursivo de control de calidad. Este proceso consisti en la verificacin de la consistencia de las bases de datos a travs de una serie de reportes que se explican a continuacin. Dichos reportes se enviaron a los pases para que revisaran y corrigieran las inconsistencias. Entre los meses de julio a septiembre de 2007 se desarroll esta etapa. Enseguida se explican los pasos que se tomaron para cumplir con ella. El proceso de depuracin de las bases de datos de los cuestionarios de contexto se llev a cabo mediante tres rondas en las cuales se generaron 4 reportes de control de calidad para cada uno de los siguientes cuestionarios: 1. QF: Cuestionario de Familia. 2. FE: Ficha de Empadronamiento. 3. QD: Cuestionario del director. 4. QP: Cuestionario del docente. 5. QA3: Cuestionarios del alumno de 3 de primaria. 6. QA6: Cuestionarios del alumno de 6 de primaria. 7. QL3: Cuestionario sobre la enseanza del Lenguaje de 3 de primaria. 8. QL6: Cuestionario sobre la enseanza del Lenguaje de 6 de primaria. 9. QM3: Cuestionario sobre la enseanza de Matemtica de 3 de primaria. 10. QM6: Cuestionario sobre la enseanza de Matemtica de 6 de primaria. 11. QC6: Cuestionario sobre la enseanza de Ciencias de 6 de primaria.
CAPTULO 5
159
El Reporte 1, en cada una de sus rondas, consisti en un conjunto de tablas que identifican las principales dificultades halladas en las bases de datos remitidas por los pases, y que se detallan enseguida: La tabla 0 reporta el nmero total de casos registrado para el cuestionarios. Las tablas iniciales reportan si existen - los casos en que los cdigos de identificacin del cuestionario (pas, grado, centro escolar) se consideran errneos. Posteriormente se presenta una tabla por cada una de las preguntas simples (por ej. QA3 p.4) o una tabla por cada uno de los sub-items de cada una de las preguntas de estructura compleja (por ej. QA6 p.32), siguiendo la misma estructura de la interfase de captura. En estas tablas se reportan los casos considerados invlidos debido a que la respuesta digitada se encuentra fuera del rango de respuestas establecido segn la tabla de cdigos incluida en la propia interfase de captura. Por ejemplo se detecta con frecuencia que los valores numricos estn precedidos por un 0 y esto se reporta como valor invlido; (por ej.: QA6 p.5.1 respuesta vlida: 2, respuesta invlida 02). En casos excepcionales, an cuando las respuestas excedan el rango establecido en la interfase, pueden ser correctas, no obstante lo cual se registran en este reporte y se solicita la verificacin de los valores. Cada una de las tablas incluye para cada caso invlido toda la informacin que permite identificarlo dentro de la base de datos. En la ltima columna de cada tabla se consigna la informacin errnea tal cual fue ingresada y sobre la que se solicita una revisin, rectificacin o ratificacin y reenvo de la misma.
El grupo de Reportes 2 presenta para cada pas la distribucin de frecuencia de la totalidad de las preguntas de cada uno de los 11 cuestionarios. El propsito de este reporte fue identificar casos de valores atpicos o posibles anomalas en los datos de modo tal de poder verificarlos y garantizar el control de los mismos. La serie de Reportes 3 verific que los tems cuya respuesta implicar una distribucin porcentual el total de dicha distribucin sumara cien por ciento. Los tems de este tipo son los siguientes: Ficha de Empadronamiento FE - tems 2.1 a 2.5 Enseanza de la Ciencia QC6 tems 5.1 a 5.5 Enseanza del Lenguaje QL3 y QL6 tems 5.1 a 5.7 Enseanza de la Matemtica QM3 y QM6 tems 4.1. a 4.5
160
REPORTE TCNICO
El control de las distribuciones porcentuales se realiz mediante cuatro tablas que agrupan la totalidad de las inconsistencias encontradas en los cuestionarios citados y que se describen enseguida: Tabla 1: incluye casos que presentan una combinacin vlida, con valores dentro del rango pero cuya suma no corresponde a 100. Tabla 2: muestra casos perdidos, y se solicita verificar si efectivamente se trata de casos de no-respuesta. Tabla 3: casos de combinaciones invlidas dado que se combinan respuesta dentro de rango 0-100 y respuesta 999. En estos casos se solicita la verificacin de los valores, es decir comprobar si las respuestas registradas como omitidas (999) efectivamente corresponden a respuesta en blanco y no a respuesta con valor 0 (cero). Tabla 4: casos en los que se registra al menos un valor fuera de rango. La serie de Reportes 4 se orient a la identificacin de registros duplicados. Los cuestionarios que presentaron estos casos son: QP: Cuestionario para el docente QF: Cuestionario para la familia QL3 y QL6: Cuestionarios de Enseanza del Lenguaje QM3 y QM6: Cuestionarios de Enseanza de la Matemtica Las diversas versiones de los reportes 1 a 4 tenan por objetivo que los pases verificaran, confirmaran o corrigieran los problemas de captura detectados en los reportes de control de calidad y actualizaran las tablas correspondientes a cada instrumento en el interfase de captura de Access. En funcin de lo anterior se solicito que una vez realizada la revisin y correccin o confirmacin de la informacin esta fuese remitida nuevamente a la CT-LLECE para poder disponer de las bases de datos en condiciones para iniciar las tareas de anlisis. A partir de las actualizaciones que los pases enviaron se realiz una tercera y ltima ronda de estos reportes a manera de garantizar que ya no existieran datos inconsistentes. Una vez concluida la fase de depuracin recursiva, se realiz la consolidacin de las bases de datos de contexto con las de logro. Con estrategias diferenciadas por actor escolar. Las bases de datos de alumnos y familias se consolidaron de acuerdo al siguiente procedimiento: Las bases de datos de resultados de los estudiantes se depuraron para asegurarse que se cumplan con los criterios del diseo muestral.
CAPTULO 5
161
Por cada grado se cre una base de Lectura y una de Matemtica, adems de una base de Ciencias para sexto grado en los pases que aplicaron la prueba de Ciencias. Para consolidar QA y QF se cre una base de datos que contena a todos los alumnos de cada grado que al menos hubieran rendido un examen. Tomando como base la lista de alumnos que al menos rindieron un examen, se aadieron a esa lista los datos de QA y QF disponibles para cada grado. Se crearon las bases de datos QA3, QA6, QF3 y QF6, de forma tal de separar las caractersticas de los estudiantes de 3 y 6 para posteriores anlisis. Finalmente, cabe mencionar que dado el proceso de construccin de una base nica de estudiantes por grado lleva a que el total de estudiantes en estas bases sea mayor que los estudiantes en evaluados en cada rea y grado. Tambin es posible encontrar casos en blanco en las bases de datos. Esto se debe a estudiantes que al menos rindieron una prueba, pero que no llenaron el cuestionario de alumnos o que su familia no llen el cuestionario correspondiente.
Las bases de datos de docentes se consolidaron con un proceso similar que a continuacin se describe: Se cre una lista de aulas o secciones por grado a partir de las bases de datos nica de estudiantes que al menos haban rendido una pruebapreviamente depurada por criterios de muestreo. Esto se hizo agregando los datos de los estudiantes al nivel de aula. Tal procedimiento asegur que se incluyeran en la base de datos solamente las aulas con estudiantes que cumplan con los criterios de muestreo. A cada una de las listas de aulas o secciones se les unieron los datos de los cuestionarios QP (Cues- tionario del docente), y los correspondientes cuestionarios sobre enseanza (QC, QL y QM) segn correspondiera el grado.
Las bases de datos de escuelas tambin se crearon a travs de un procedimiento equiparable al de las otras bases, tal como se indica enseguida: Se cre una lista de escuelas a partir de las bases de datos nica de estudiantes que al menos haban rendido una pruebapreviamente depurada por criterios de muestreo. Esto se hizo agregando los datos de los estudiantes al nivel de escuela. Tal procedimiento asegur que se incluyeran en la base de datos solamente las escuelas con estudiantes que cumplan con los criterios de muestreo. A cada una de las listas de escuelas se les unieron los datos de los cuestionarios QD (Cuestionario del director) y FE (Ficha de empadronamiento).
162
REPORTE TCNICO
V.2. PROCEDIMIENTOS PARA LA ESTIMACIN DE PARMETROS Y ESCALAMIENTO DE LOS TEMS

n esta seccin se presentan los resultados para la estimacin de parmetros y escalamiento de los tems. Para ello se inicia con los tems de Ciencias, para despus continuar con los de Lectura de 3 y 6, finalizando con los tems de Matemtica de 3 y 6.
V.2.1. tems de Ciencias

Aqu se presentan los resultados del procesamiento de datos para anlisis de tems del Estudio Principal del Segundo Estudio Regional Comparativo y Explicativo SERCE, el cual incluy la aplicacin de pruebas de Lectura (grados tercero y sexto), Matemtica (grados tercero y sexto) y Ciencias (grado sexto); la aplicacin de la prueba de Ciencias se realiz en aquellos pases que voluntariamente optaron por incluirla. El procesamiento de datos se realiz de acuerdo con lo planteado en el Documento Tcnico del Procesamiento de datos para el Anlisis de tems y la Produccin de Resultados del SERCE, en el cual se propuso la Teora de Respuesta a tem como modelo de anlisis y una serie de indicadores estadsticos para evaluar el comportamiento de tems y de grupos de tems; en dicho documento se hicieron explcitos los criterios de anlisis para cada indicador durante el anlisis de tems. Es de anotar que el anlisis de tems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los tems de un instrumento, en relacin con los propsitos para los cuales fueron elaborados. Su realizacin exige armonizar el conocimiento profundo del objeto de evaluacin, la poblacin evaluada y los propsitos de la evaluacin con la capacidad para interpretar adecuadamente los indicadores estadsticos disponibles. El proceso de anlisis de tems del Estudio Principal conducir a la toma de decisiones en relacin con la inclusin o exclusin de tems para la fase de calificacin y produccin de resultados del Estudio. Los indicadores reportados en este documento sern objeto de anlisis por parte de los expertos en psicometra y en cada disciplina a fin de asegurar que la produccin de los resultados finales del SERCE utilice la informacin de mayor calidad.
Depuracin de la informacin
El Laboratorio Latinoamericano para la Evaluacin de la Calidad de la Educacin, LLECE, envi las bases de datos con las respuestas de los estudiantes evaluados en el Estudio Principal del SERCE, a partir de las cuales se producirn resultados. Esta base de datos ya haba sido depurada de acuerdo con criterios preestablecidos. En concordancia con el procedimiento planteado en el documento tcnico para el Procesamiento de Datos para el anlisis de tem y la Produccin de Resultados del Estudio Principal del SERCE, se realizaron dos procedimientos de depuracin de las bases de datos recibidas para obtener los diferentes indicadores de los tems, de los bloques y de la prueba. En este caso no se excluye la informacin del Estado de Nuevo Len. Dadas las caractersticas de la prueba de ciencias y la participacin del Estado de Nuevo Len (Mxico), en este caso NO se elimina la informacin de este Estado al estimar los indicadores para realizar el anlisis de tem. En Ciencias participaron 4711 estudiantes de este estado.
CAPTULO 5
163
Procedimiento 1. Depuracin por preguntas no alcanzadas: Se eliminan los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos ltimos tems del bloque que ocupe la segunda posicin en su cuadernillo. Esta eliminacin de registros se realiza antes de procesar los datos. La base de datos que resulta despus de este proceso es la que se utiliza para la estimacin de los valores de ajuste de los estudiantes. Procedimiento 2. Depuracin por desajuste de estudiantes evaluados: Se eliminan los registros de aquellos estudiantes evaluados cuyo valor de ajuste prximo o lejano sea inferior a 0.7 o superior a 1.3. Este proceso se lleva a cabo slo con los estudiantes que respondieron por lo menos un tem de la prueba y las dos ltimas preguntas del cuadernillo asignado. El resultado es una nueva base de datos slo con los registros de los estudiantes que se utilizan para la estimacin de los parmetros de los tems, bloques y pruebas. El proceso de depuracin se observa en la tabla 1, con informacin por pas. Tabla 1. CIENCIAS 6. Nmero de estudiantes, por pas, segn proceso de depuracin.
DEPURACIN Pas
Argentina Colombia Cuba El Salvador Nuevo Len Panam Paraguay Per Dominicana Uruguay TOTAL
N Inicial
6039 5911 5897 6281 4711 5444 4466 4604 4473 6153 53979
N No Alcanzadas
177 19 2 33 26 87 176 76 99 112 807
N Desajuste
1237 798 1491 822 683 920 1035 780 1170 1020 9956
N Final
4625 5094 4404 5426 4002 4437 3255 3748 3204 5021 43216
%
76,6 86,2 74,7 86,4 85,0 81,5 72,9 81,4 71,6 81,6 80,1
Todos los pases y el Estado de Nuevo Len tienen un porcentaje de participacin, en la estimacin de los indicadores de los tems, superior al 70%. Del total de 10 entidades con informacin para la estimacin de indicadores, 6 participan con ms del 80% de sus estudiantes evaluados. Paraguay (3.9%), Argentina (2.93%), y Panam (1.6%) son los pases con ms prdida de registros de informacin por no alcanzar los 2 ltimos tems.
164
REPORTE TCNICO
Repblica Dominicana (26.7%), Cuba (25.3%), Paraguay (24.1%) y Argentina (21.1%) son los pases con una prdida mayor al 20% de sus registros por desajuste, a partir de los datos de poblacin luego de la primera depuracin. Luego de la depuracin realizada, el nmero de estudiantes por bloque y por cuadernillo cuya informacin se utiliza para la estimacin de indicadores se encuentra en las tablas 2 y 3.
Tabla 2. CIENCIAS 6. Nmero de estudiantes por bloque.
Bloque
1 2 3 4 5 6
N
14700 14207 13583 14113 14933 14896
Tabla 3. CIENCIAS 6. Nmero de estudiantes por cuadernillo.
Cuadernillo
1 2 3 4 5 6
N
7345 6721 7541 6862 7392 7355
CAPTULO 5
165
Anlisis de datos
A continuacin se presentan los indicadores para realizar el anlisis de tem, de bloque y de prueba. Las tablas presentan informacin separada por bloques para facilitar los procesos de anlisis por parte del equipo de expertos; no obstante, el procesamiento de datos se realiz para la prueba como una totalidad.
INDICADORES POR TEM
Tabla 4a. CIENCIAS 6. Indicadores por tem. Bloque 1.

tem DC6B1IT01 DC6B1IT02 DC6B1IT03 DC6B1IT04 DC6B1IT05 DC6B1IT06 DC6B1IT07 DC6B1IT08 DC6B1IT09 DC6B1IT10 DC6B1IT11 DC6B1IT12 DC6B1IT13 DC6B1IT14 DC6B1IT15 Formato SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP Dificultad -0.121 -0.339 0.838 -0.664 -0.084 0.382 0.512 -1.231 1.357 0.411 0.483 -0.055 0.618 0.509 1.047 Error de Medicin 0.018 0.018 0.019 0.018 0.018 0.018 0.018 0.02 0.021 0.018 0.018 0.018 0.018 0.018 0.013 Discrim. 0.94 0.6 0.96 1.17 0.72 0.87 1.04 1.03 1 0.89 1.37 1.28 0.97 1.21 1.11 Correlacin punto-medida 0.52 0.57 0.32 0.64 0.52 0.42 0.39 0.75 0.24 0.41 0.39 0.51 0.37 0.39 0.45 Ajuste Prximo Ajuste Lejano (Infit) 1.01 1.09 1.02 0.95 1.06 1.03 0.99 0.98 0.99 1.03 0.88 0.94 1.01 0.93 0.84 (Outfit) 1.01 1.14 1.02 0.92 1.08 1.05 0.99 0.97 1.02 1.04 0.86 0.92 1.02 0.92 0.7 N 14638 14638 14638 14638 14638 14638 14638 14638 14638 14638 14638 14638 14638 14638 14633
166
REPORTE TCNICO
Tabla 4b. CIENCIAS 6. Indicadores por tem. Bloque 2.

tem DC6B2IT01 DC6B2IT02 DC6B2IT03 DC6B2IT04 DC6B2IT05 DC6B2IT06 DC6B2IT07 DC6B2IT08 DC6B2IT09 DC6B2IT10 DC6B2IT11 DC6B2IT12 DC6B2IT13 DC6B2IT14 DC6B2IT15 Formato SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP Dificultad -0.703 0.894 1.141 -1.181 -0.648 0.175 0.933 0.615 1.482 0.607 0.17 -0.459 2.091 1.252 1.676 Error de Medicin 0.019 0.019 0.02 0.02 0.019 0.018 0.019 0.019 0.022 0.019 0.018 0.018 0.026 0.021 0.023 Discrim. 1.31 0.52 0.92 1.19 1.13 0.66 0.98 0.84 1.13 1.23 0.94 1.3 1.02 0.8 1.13 Correlacin punto-medida 0.66 0.32 0.28 0.75 0.65 0.47 0.31 0.38 0.22 0.38 0.47 0.61 0.14 0.26 0.19 Ajuste Prximo Ajuste Lejano (Infit) 0.9 1.2 1.04 0.9 0.96 1.08 1.01 1.05 0.9 0.92 1.01 0.92 0.97 1.11 0.89 (Outfit) 0.84 1.3 1.06 0.82 0.93 1.1 1.01 1.07 0.85 0.91 1.01 0.89 0.98 1.22 0.81 N 14181 14181 14181 14181 14181 14181 14181 14181 14181 14181 14181 14181 14181 14181 14163
Tabla 4c. CIENCIAS 6. Indicadores por tem. Bloque 3.

tem DC6B3IT01 DC6B3IT02 DC6B3IT03 DC6B3IT04 DC6B3IT05 DC6B3IT06 DC6B3IT07 DC6B3IT08 DC6B3IT09 DC6B3IT10 DC6B3IT11 DC6B3IT12 DC6B3IT13 DC6B3IT14 DC6B3IT15 Formato SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP Dificultad -0.511 0.797 1.397 -0.195 1.153 1.397 -1.052 -0.577 0.401 1.759 0.773 -0.127 -0.306 1.773 1.201 Error de Medicin 0.019 0.019 0.022 0.018 0.02 0.022 0.02 0.019 0.018 0.024 0.019 0.018 0.018 0.024 0.014 Discrim. 1.41 0.65 1.02 1.43 0.69 0.98 0.89 1.02 0.97 0.86 0.71 1.14 1.27 0.98 1.07 Correlacin punto-medida 0.62 0.33 0.23 0.55 0.27 0.23 0.73 0.63 0.42 0.17 0.34 0.53 0.57 0.17 0.41 Ajuste Prximo Ajuste Lejano (Infit) 0.9 1.13 0.98 0.91 1.17 1.02 1.05 1 1.01 1.09 1.1 0.97 0.94 1.02 0.92 (Outfit) 0.86 1.18 0.99 0.9 1.23 1.01 1.07 0.99 1.03 1.35 1.15 0.97 0.92 1.02 0.82 N 13583 13583 13583 13583 13583 13583 13583 13583 13583 13583 13583 13583 13583 13583 13582
CAPTULO 5
167
Tabla 4d. CIENCIAS 6. Indicadores por tem. Bloque 4.

tem DC6B4IT01 DC6B4IT02 DC6B4IT03 DC6B4IT04 DC6B4IT05 DC6B4IT06 DC6B4IT07 DC6B4IT08 DC6B4IT09 DC6B4IT10 DC6B4IT11 DC6B4IT12 DC6B4IT13 DC6B4IT14 DC6B4IT15 Formato SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP Dificultad -0.368 1.218 0.11 -1.514 0.423 -0.544 0.276 1.567 0.006 0.068 1.131 -0.248 1.566 -0.244 0.9 Error de Medicin 0.018 0.021 0.018 0.022 0.018 0.018 0.018 0.022 0.018 0.018 0.02 0.018 0.022 0.018 0.015 Discrim. 0.31 0.88 0.63 1 1.22 1.13 1.05 1.05 1.49 0.86 0.83 1.03 1.08 0.95 1.13 Correlacin punto-medida 0.58 0.25 0.47 0.8 0.4 0.61 0.43 0.19 0.49 0.48 0.26 0.55 0.19 0.55 0.71 Ajuste Prximo Ajuste Lejano (Infit) 1.14 1.08 1.07 1 0.94 0.97 0.99 0.96 0.91 1.02 1.1 0.99 0.93 1 0.91 (Outfit) 1.17 1.11 1.09 0.99 0.93 0.96 0.99 0.94 0.89 1.04 1.14 1.01 0.9 1.03 0.91 N 14107 14107 14107 14107 14107 14107 14107 14107 14107 14107 14107 14107 14107 14107 14097
Tabla 4e. CIENCIAS 6. Indicadores por tem. Bloque 5.

tem DC6B5IT01 DC6B5IT02 DC6B5IT03 DC6B5IT04 DC6B5IT05 DC6B5IT06 DC6B5IT07 DC6B5IT08 DC6B5IT09 DC6B5IT10 DC6B5IT11 DC6B5IT12 DC6B5IT13 DC6B5IT14 DC6B5IT15 Formato SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP Dificultad 0.411 0.112 0.837 -0.494 -0.854 0.535 0.871 -0.334 1.107 0.779 0.959 0.766 -0.158 0.785 2.424 Error de Medicin 0.018 0.017 0.019 0.018 0.018 0.018 0.019 0.017 0.02 0.019 0.019 0.019 0.017 0.019 0.024 Discrim. 0.78 0.68 0.98 1.35 1.3 0.51 0.77 1 1.12 1.04 0.91 0.98 1.5 1.08 1.07 Correlacin punto-medida 0.4 0.46 0.31 0.6 0.67 0.37 0.31 0.56 0.26 0.32 0.29 0.33 0.52 0.32 0.12 Ajuste Prximo Ajuste Lejano (Infit) 1.06 1.06 1.01 0.92 0.9 1.15 1.1 1 0.92 0.98 1.05 1.01 0.9 0.96 0.87 (Outfit) 1.07 1.11 1.02 0.89 0.84 1.22 1.16 0.99 0.93 0.98 1.06 1.01 0.89 0.96 0.59 N 14918 14918 14918 14918 14918 14918 14918 14918 14918 14918 14918 14918 14918 14918 14916
168
REPORTE TCNICO
Tabla 4f. CIENCIAS 6. Indicadores por tem. Bloque 6.

tem DC6B6IT01 DC6B6IT02 DC6B6IT03 DC6B6IT04 DC6B6IT05 DC6B6IT06 DC6B6IT07 DC6B6IT08 DC6B6IT09 DC6B6IT10 DC6B6IT11 DC6B6IT12 DC6B6IT13 DC6B6IT14 DC6B6IT15 Formato SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP Dificultad 1.138 1.526 1.697 0.167 1.168 -0.418 -0.153 0.734 -0.034 -0.001 -0.038 0.143 0.237 0.39 1.085 Error de Medicin 0.02 0.022 0.023 0.018 0.02 0.018 0.018 0.019 0.018 0.018 0.018 0.018 0.018 0.018 0.011 Discrim. 0.86 1.13 1.02 0.56 0.62 0.89 1.32 1.02 0.58 1.36 0.75 1.25 0.55 1.34 1.18 Correlacin punto-medida 0.26 0.2 0.18 0.45 0.26 0.58 0.52 0.34 0.5 0.49 0.5 0.46 0.44 0.4 0.71 Ajuste Prximo Ajuste Lejano (Infit) 1.09 0.9 0.98 1.1 1.23 1.03 0.94 0.99 1.09 0.92 1.05 0.94 1.11 0.9 0.78 (Outfit) 1.11 0.83 0.97 1.14 1.37 1.02 0.91 0.99 1.11 0.91 1.07 0.93 1.14 0.88 0.71 N 14851 14851 14851 14851 14851 14851 14851 14851 14851 14851 14851 14851 14851 14851 14846
CAPTULO 5
169
INDICADORES POR OPCIN Tabla 5a. CIENCIAS 6. Indicadores por opcin. Bloque 1.
tem Opcin Opciones de correcta respuesta Promedio Error de de Medicin habilidad Ajuste Correlacin N de Respuesta (Outfit)
DC6B1IT01
DC6B1IT02
DC6B1IT03
DC6B1IT04
1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin
0.32 -0.14 -0.6 -0.45 -0.79 -0.49 0.21 -0.16 -0.35 -0.45 -0.7 -0.6 -0.29 -0.12 -0.23 0.49 -0.55 -0.34 -0.32 -0.5 0.28 -0.61 -0.77 -0.55
0.01 0.01 0.02 0.01 0.14 0.06 0.01 0.01 0.03 0.03 0.21 0.07 0.01 0.01 0.01 0.02 0.12 0.05 0.01 0.01 0.01 0.04 0.06 0.06
1 1.23 0.69 0.84 0.66 0.8 1.07 1.26 1.11 0.93 0.93 0.72 0.89 1.16 0.98 1.02 0.78 1.04 1.04 0.82 0.95 0.82 0.65 0.82
0.34 -0.1 -0.15 -0.23 -0.05 -0.05 0.24 -0.13 -0.09 -0.13 -0.04 -0.05 -0.15 -0.1 -0.14 0.35 -0.04 -0.05 -0.16 -0.25 0.38 -0.12 -0.08 -0.06
7697 3700 683 2438 45 137 8388 4608 754 829 32 89 2378 4366 2862 4772 54 268 2310 2338 9390 406 137 119
170
REPORTE TCNICO
DC6B1IT05
DC6B1IT06
DC6B1IT07
DC6B1IT08
DC6B1IT09
1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin
0.27 -0.22 -0.3 -0.23 -0.76 -0.29 0.38 -0.26 -0.24 -0.17 -0.55 -0.51 -0.31 -0.3 -0.09 0.46 -0.57 -0.37 0.19 -0.69 -0.62 -0.3 -1.44 -0.56 -0.11 -0.09 0.62 -0.42 -0.48 -0.38
0.01 0.02 0.02 0.01 0.16 0.09 0.01 0.01 0.01 0.01 0.11 0.06 0.01 0.02 0.01 0.01 0.13 0.06 0.01 0.03 0.02 0.02 0.25 0.06 0.01 0.01 0.02 0.02 0.16 0.05
1.06 1.16 1.07 1.08 0.72 1.16 1.05 1.01 1.07 1.09 0.89 0.76 0.87 0.95 1.19 1 0.9 0.89 0.98 0.71 0.78 1.14 0.47 0.81 1.04 1.01 1.03 0.73 0.9 0.81
0.28 -0.1 -0.12 -0.16 -0.04 -0.03 0.33 -0.15 -0.14 -0.1 -0.05 -0.06 -0.23 -0.15 -0.06 0.38 -0.04 -0.04 0.3 -0.16 -0.19 -0.14 -0.06 -0.05 -0.07 -0.1 0.36 -0.19 -0.03 -0.06
7579 1830 1495 3648 36 112 6110 2709 2962 2697 77 145 4051 2233 2465 5716 71 164 10964 594 966 2048 20 108 2906 6055 3456 1999 55 229
CAPTULO 5
171
tem
Opcin Opciones de correcta respuesta
Promedio Error de de Medicin habilidad
Ajuste Correlacin N de Respuesta (Outfit)
DC6B1IT10
DC6B1IT11
DC6B1IT12
DC6B1IT13
DC6B1IT14
-0.25 -0.26 0.39 -0.16 -1.18 -0.38 -0.29 0.57 -0.4 -0.49 -1.05 -0.46 0.4 -0.33 -0.35 -0.45 -1.68 -0.34 -0.29 -0.17 -0.2 0.45 -1.01 -0.56 -0.25 -0.35 0.52 -0.29 -1.2 -0.53
0.01 0.02 0.01 0.01 0.16 0.04 0.01 0.01 0.02 0.02 0.16 0.06 0.01 0.01 0.02 0.01 0.24 0.05 0.01 0.01 0.01 0.01 0.2 0.06 0.02 0.01 0.01 0.01 0.17 0.09
0.98 1 1.06 1.09 0.42 0.86 0.9 0.86 0.8 0.76 0.43 0.73 0.94 0.93 0.91 0.79 0.28 1 0.94 1.01 1.08 1.03 0.51 0.74 0.99 0.86 0.91 0.92 0.43 0.89
-0.15 -0.13 0.33 -0.1 -0.06 -0.06 -0.29 0.49 -0.13 -0.18 -0.05 -0.05 0.42 -0.23 -0.13 -0.19 -0.06 -0.05 -0.17 -0.11 -0.12 0.36 -0.05 -0.07 -0.12 -0.16 0.44 -0.24 -0.06 -0.05
3109 2283 6021 2946 35 306 6232 5803 1089 1423 25 128 7486 3856 1362 1732 16 248 2973 3223 2887 5401 27 189 1995 1997 5725 4862 32 89
172
REPORTE TCNICO
tem
1 1 crdito 2 nulo, 2 3 crdito DC6B1IT15 parcial, 4 3 crdito Multimarca total Omisin
-0.26 0.3 1.23 0 0 -0.47
0.01 0.02 0.02 0 0 0.01
0.92 0.86 0.57 0 0 0.59
-0.35 0.12 0.57 0 0 -0.21
8424 1875 2345 0 0 2051
Tabla 5b. CIENCIAS 6. Indicadores por opcin. Bloque 2.

tem Opcin Opciones de correcta respuesta Promedio Error de Ajuste de Correlacin N de Respuesta Medicin (Outfit) habilidad
DC6B2IT01
DC6B2IT02
DC6B2IT03
1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin
-0.28 -0.5 0.33 -0.49 -0.47 -0.61 0.15 0.21 -0.12 -0.27 -0.43 -0.45 -0.01 0.48 -0.43 0.09 -0.71 -0.6
0.02 0.01 0.01 0.02 0.11 0.06 0.01 0.01 0.02 0.01 0.09 0.04 0.01 0.02 0.01 0.02 0.18 0.09
0.98 0.74 0.92 0.79 0.91 0.74 1.5 1.32 1.03 0.85 0.77 0.68 1.1 1.07 0.69 1.2 0.7 0.63
-0.11 -0.32 0.43 -0.16 -0.04 -0.08 0.09 0.12 -0.06 -0.18 -0.05 -0.08 -0.07 0.3 -0.26 0.01 -0.04 -0.06
1036 2763 9342 855 61 150 5691 4561 1036 2597 98 224 5657 3920 2469 2035 35 91
CAPTULO 5
173
tem
DC6B2IT04
DC6B2IT05
DC6B2IT06
DC6B2IT07
DC6B2IT08
0.26 -0.56 -0.53 -0.47 -1.01 -0.53 -0.29 -0.6 0.29 -0.49 -0.75 -0.65 -0.51 0.3 -0.1 0.02 -0.84 -0.49 -0.44 0.05 -0.35 0.5 -0.85 -0.41 0.39 -0.17 0.19 -0.25 -0.94 -0.37
0.01 0.02 0.01 0.03 0.15 0.06 0.01 0.02 0.01 0.02 0.12 0.08 0.02 0.01 0.01 0.02 0.15 0.06 0.02 0.01 0.01 0.01 0.12 0.06 0.01 0.02 0.02 0.01 0.26 0.06
0.93 0.75 0.77 0.9 0.57 0.88 0.97 0.7 0.97 0.77 0.7 0.73 0.69 1.08 1.16 1.38 0.62 0.78 0.71 1.25 0.76 1 0.6 0.77 1.08 0.98 1.54 0.87 0.71 0.83
0.4 -0.24 -0.23 -0.12 -0.07 -0.07 -0.24 -0.16 0.36 -0.13 -0.07 -0.07 -0.22 0.26 -0.11 -0.02 -0.06 -0.07 -0.21 -0.01 -0.21 0.34 -0.07 -0.06 0.29 -0.1 0.06 -0.25 -0.05 -0.06
10610 1374 1487 543 41 152 3651 619 9185 590 71 91 1385 6672 3759 2174 46 171 1596 5494 2434 4456 70 157 5345 1906 1966 4770 25 195
174
REPORTE TCNICO
tem
DC6B2IT09
DC6B2IT10
DC6B2IT11
DC6B2IT12
DC6B2IT13
0.78 -0.05 -0.15 -0.17 -1.34 -0.22 -0.34 0.54 -0.29 -0.1 -0.8 -0.4 -0.07 -0.3 0.36 -0.32 -0.68 -0.47 -0.43 0.35 -0.27 -0.43 -1.18 -0.06 -0.28 0.78 0.19 -0.91 -0.59
0.02 0.02 0.01 0.02 0.31 0.06 0.01 0.01 0.01 0.01 0.17 0.07 0.01 0.02 0.01 0.01 0.12 0.07 0.01 0.01 0.02 0.02 0.19 0.01 0.01 0.03 0.02 0.15 0.1
0.84 1.04 0.86 0.98 0.42 0.88 0.78 0.92 0.85 1.04 0.63 0.82 1.13 0.9 1.03 0.87 0.66 0.81 0.81 0.92 1 0.84 0.56 0.94 0.74 0.99 1.24 0.46 0.66
0.45 -0.04 -0.29 -0.09 -0.05 -0.04 -0.21 0.44 -0.2 -0.11 -0.05 -0.05 -0.09 -0.14 0.33 -0.2 -0.06 -0.06 -0.28 0.42 -0.13 -0.16 -0.07 -0.15 -0.17 0.34 0.07 -0.06 -0.06
3130 1175 8276 1418 16 192 2363 5368 2890 3409 41 136 3379 1518 6689 2440 61 120 2702 8626 1533 991 33 7547 2251 2014 2254 46 95
CAPTULO 5
175
tem
1 2 3 DC6B2IT14 1 4 Multimarca Omisin 1 2 1 crdito 3 nulo, 2 DC6B2IT15 crdito 4 total Multimarca Omisin
0.37 -0.08 -0.1 0.04 -0.67 -0.47 -0.14 0.87 0 0 0 -0.12
0.02 0.02 0.01 0.01 0.1 0.07 0.01 0.02 0 0 0 0.02
1.27 1.15 0.95 1.15 0.68 0.73 0.9 0.79 0 0 0 0.89
0.21 -0.07 -0.11 -0.02 -0.07 -0.06 -0.38 0.46 0 0 0 -0.05
3651 2020 3716 4581 91 148 10537 2730 0 0 0 922
176
REPORTE TCNICO
Tabla 5c. CIENCIAS 6. Indicadores por opcin. Bloque 3.

tem Opcin correcta Opciones de respuesta Promedio de habilidad Error de Medicin Ajuste (Outfit) Correlacin N de Respuesta
DC6B3IT01
DC6B3IT02
DC6B3IT03
DC6B3IT04
DC6B3IT05
-0.5 -0.32 -0.31 0.3 -1.04 -0.33 -0.11 0.2 -0.04 0.03 -0.62 -0.26 -0.14 0.05 -0.18 0.48 -0.51 -0.26 -0.34 -0.52 -0.25 0.33 -0.92 -0.37 -0.28 0.22 0.15 -0.18 -1.28 -0.18
0.01 0.01 0.01 0.01 0.63 0.06 0.01 0.01 0.02 0.01 0.13 0.06 0.01 0.01 0.01 0.02 0.16 0.05 0.01 0.03 0.01 0.01 0.22 0.09 0.01 0.01 0.01 0.02 0.65 0.04
0.73 0.89 0.89 0.91 1.34 0.85 1.04 1.2 1.09 1.24 0.67 0.87 0.89 1.13 0.87 0.99 0.81 0.78 0.85 0.71 0.94 0.91 0.57 0.96 0.8 1.68 1.22 0.93 0.48 0.9
-0.29 -0.18 -0.17 0.44 -0.03 -0.04 -0.11 0.15 -0.04 -0.01 -0.05 -0.04 -0.12 0.01 -0.19 0.32 -0.04 -0.04 -0.27 -0.12 -0.19 0.43 -0.05 -0.04 -0.23 0.19 0.09 -0.1 -0.04 -0.04
1932 1613 1537 8405 8 88 3196 4547 1885 3780 46 129 2653 3706 3972 3080 38 134 3139 350 2521 7469 22 82 3163 5156 3637 1391 6 230
CAPTULO 5
177
tem
Opcin correcta
Opciones de respuesta
Promedio de habilidad
Error de Medicin
Ajuste (Outfit)
Correlacin
N de Respuesta
DC6B3IT06
DC6B3IT07
DC6B3IT08
DC6B3IT09
DC6B3IT10
-0.11 0.43 0.15 -0.04 -0.46 -0.43 0.13 -0.11 -0.28 -0.51 -0.57 -0.27 -0.45 0.22 -0.24 -0.11 -0.79 -0.35 -0.14 -0.1 0.32 -0.37 -0.29 -0.33 -0.5 0.23 -0.24 0.09 -1.4 -0.39
0.01 0.01 0.04 0.01 0.11 0.09 0.01 0.01 0.02 0.03 0.19 0.05 0.02 0.01 0.02 0.01 0.19 0.08 0.01 0.01 0.01 0.02 0.2 0.05 0.02 0.02 0.02 0.01 0.44 0.07
0.97 1.01 1.73 1.01 0.75 0.77 1.04 1.19 0.97 0.79 0.99 1.03 0.84 1 1 1.12 0.64 0.9 1.16 1.09 1 0.78 1.04 0.86 0.59 1.41 0.82 1.11 0.4 0.68
-0.18 0.28 0.03 -0.06 -0.05 -0.05 0.21 -0.09 -0.1 -0.15 -0.04 -0.05 -0.24 0.31 -0.12 -0.08 -0.05 -0.04 -0.11 -0.12 0.31 -0.16 -0.02 -0.07 -0.18 0.12 -0.13 0.09 -0.05 -0.05
6228 3080 700 3423 68 84 9864 2267 718 537 34 163 1691 8594 1299 1892 25 82 2497 4002 5670 1142 27 245 778 2369 1399 8928 9 100
178
REPORTE TCNICO
tem
Opcin correcta
Error de Medicin
Ajuste (Outfit)
Correlacin
N de Respuesta
DC6B3IT11
DC6B3IT12
DC6B3IT13
DC6B3IT14
DC6B3IT15
1 2 3 1 4 Multimarca Omisin 1 2 3 4 4 Multimarca Omisin 1 2 3 2 4 Multimarca Omisin 1 2 3 4 4 Multimarca Omisin 1 1 crdito 2 nulo, 2 3 crdito parcial, 4 3 crdito Multimarca total Omisin
0.23 -0.22 -0.01 -0.3 -1.08 -0.35 -0.26 -0.14 -0.36 0.29 -1.39 -0.27 -0.28 0.29 -0.3 -0.33 -0.67 -0.37 -0.22 -0.41 0.25 0.47 -0.56 -0.2 -0.16 0.33 0.95 0 0 -0.34
0.01 0.02 0.01 0.03 0.33 0.06 0.01 0.01 0.01 0.01 0.26 0.04 0.01 0.01 0.02 0.02 0.25 0.08 0.01 0.01 0.01 0.02 0.14 0.04 0.01 0.01 0.02 0 0 0.02
1.18 0.94 1.12 0.88 0.52 0.78 0.96 1.12 0.82 0.97 0.35 0.93 0.91 0.95 0.9 0.87 0.79 0.88 0.78 0.64 1.34 1.02 0.69 0.82 0.98 0.87 0.72 0 0 0.71
0.18 -0.11 -0.06 -0.09 -0.05 -0.05 -0.18 -0.1 -0.19 0.35 -0.06 -0.06 -0.24 0.39 -0.14 -0.17 -0.04 -0.04 -0.23 -0.24 0.2 0.26 -0.05 -0.05 -0.34 0.19 0.44 0 0 -0.16
4610 1280 7071 483 14 125 2364 2173 1519 7262 14 251 3185 7800 1120 1387 20 71 4271 1814 4812 2344 46 296 8338 2508 1557 0 0 1179
CAPTULO 5
179
Tabla 5d. CIENCIAS 6. Indicadores por opcin. Bloque 4.

tem Opcin Opciones de correcta respuesta Promedio Error de Ajuste de Correlacin Medicin (Outfit) habilidad N de Respuesta
DC6B4IT01
DC6B4IT02
DC6B4IT03
DC6B4IT04
DC6B4IT05
-0.76 -0.05 0.06 -0.15 -0.43 -0.48 0.03 -0.31 0.25 -0.21 -0.24 -0.31 -0.12 -0.12 -0.64 0.16 -0.26 -0.31 0.08 -0.39 -0.43 -0.34 -0.68 -0.7 -0.49 -0.47 0.34 -0.18 -0.73 -0.5
0.03 0.01 0.01 0.03 0.08 0.07 0.01 0.02 0.01 0.01 0.07 0.06 0.01 0.01 0.02 0.01 0.12 0.05 0.01 0.02 0.03 0.02 0.11 0.08 0.02 0.02 0.01 0.01 0.11 0.05
0.6 1.26 1.13 1.19 0.93 0.82 1.25 0.84 1.12 0.91 0.94 0.82 1.15 1.16 0.66 1.07 1.24 0.93 0.99 0.98 0.93 1.03 0.8 0.66 0.71 0.76 0.94 0.98 0.61 0.74
-0.16 -0.04 0.12 -0.03 -0.05 -0.05 0.04 -0.13 0.2 -0.16 -0.03 -0.04 -0.1 -0.06 -0.18 0.22 -0.02 -0.04 0.25 -0.13 -0.11 -0.14 -0.05 -0.05 -0.18 -0.15 0.39 -0.2 -0.06 -0.06
350 4963 8127 493 91 89 5504 1298 3476 3582 132 121 4345 2269 640 6622 64 173 11220 863 538 1401 50 41 1016 854 5650 6406 52 135
180
REPORTE TCNICO
tem
Promedio Error de Ajuste de Correlacin Medicin (Outfit) habilidad
N de Respuesta
DC6B4IT06
DC6B4IT07
DC6B4IT08
DC6B4IT09
DC6B4IT10
-0.41 -0.38 -0.28 0.19 -0.7 -0.3 -0.39 -0.05 -0.53 0.27 -0.68 -0.58 -0.26 -0.06 0.51 -0.29 -0.76 -0.23 0.31 -0.32 -0.31 -0.36 -0.97 -0.48 -0.23 0.21 -0.15 -0.24 -1.01 -0.41
0.02 0.01 0.01 0.01 0.14 0.09 0.01 0.01 0.02 0.01 0.06 0.05 0.01 0.01 0.02 0.02 0.16 0.03 0.01 0.01 0.01 0.02 0.19 0.04 0.01 0.01 0.01 0.02 0.21 0.04
0.9 0.9 1.02 0.97 0.74 1.04 0.79 1.17 0.68 1 0.61 0.71 0.87 1.03 0.93 0.79 0.65 0.9 0.91 0.86 0.9 0.83 0.53 0.78 1 1.04 1.12 1.02 0.57 0.82
-0.13 -0.19 -0.17 0.34 -0.05 -0.03 -0.24 -0.03 -0.17 0.33 -0.08 -0.08 -0.18 -0.06 0.35 -0.1 -0.05 -0.05 0.44 -0.27 -0.14 -0.13 -0.05 -0.1 -0.17 0.28 -0.08 -0.09 -0.05 -0.08
779 1942 2617 8668 41 66 2639 4273 838 6103 102 158 3099 6979 2716 891 35 393 6949 4198 1650 963 21 332 3649 6752 2167 1223 22 300
CAPTULO 5
181
tem
Promedio Error de Ajuste de Correlacin Medicin (Outfit) habilidad
N de Respuesta
DC6B4IT11
DC6B4IT12
DC6B4IT13
DC6B4IT14
1 crdito nulo, 2 crdito DC6B4IT15 parcial, 3 crdito total
-0.04 0.01 -0.19 0.21 -0.45 -0.27 -0.48 -0.36 0.2 -0.14 -0.65 -0.46 -0.14 -0.22 -0.05 0.56 -0.93 -0.38 -0.18 -0.3 -0.29 0.19 -0.67 -0.48 -0.37 0.13 0.84 0 0 -0.62
0.01 0.01 0.01 0.01 0.12 0.04 0.02 0.02 0.01 0.01 0.14 0.03 0.01 0.01 0.02 0.02 0.2 0.05 0.01 0.02 0.01 0.01 0.13 0.05 0.01 0.01 0.03 0 0 0.02
1.14 1.23 0.97 1.15 0.79 0.98 0.79 0.89 0.98 1.22 0.8 0.83 0.93 0.88 1.02 0.89 0.52 0.74 1.12 1 1.05 1 0.77 0.83 0.95 0.88 0.92 0 0 0.77
-0.02 0.01 -0.15 0.18 -0.03 -0.05 -0.21 -0.13 0.32 -0.09 -0.05 -0.11 -0.2 -0.11 -0.02 0.38 -0.05 -0.06 -0.1 -0.12 -0.18 0.3 -0.05 -0.07 -0.32 0.22 0.33 0 0 -0.21
3428 2738 3922 3687 43 295 1375 1040 7754 3424 46 474 8179 1912 1096 2719 24 183 2251 1233 2678 7740 49 162 4269 7900 1078 0 0 856
182
REPORTE TCNICO
Tabla 5e. LECTURA 3. Indicadores por opcin. Bloque 5.

DC6B5IT01
DC6B5IT02
DC6B5IT03
DC6B5IT04
DC6B5IT05
-0.34 -0.16 -0.09 0.23 -0.54 -0.46 -0.36 0.19 -0.35 -0.06 -0.3 -0.58 -0.39 -0.22 0.03 0.36 -0.78 -0.68 -0.47 -0.38 0.24 -0.38 -0.68 -0.41 -0.59 -0.45 0.21 -0.57 -0.71 -0.49
0.01 0.02 0.01 0.01 0.13 0.05 0.01 0.01 0.02 0.01 0.09 0.05 0.02 0.01 0.03 0.01 0.12 0.1 0.01 0.01 0.01 0.02 0.11 0.04 0.02 0.01 0.01 0.02 0.14 0.06
0.92 1.09 1.18 1.08 0.81 0.82 0.9 1.05 0.91 1.48 1.06 0.7 0.79 1.01 1.6 1 0.54 0.67 0.81 0.9 0.93 0.96 0.75 0.88 0.75 0.86 0.91 0.76 0.71 0.81
-0.2 -0.06 -0.05 0.27 -0.03 -0.06 -0.2 0.25 -0.1 -0.02 -0.03 -0.08 -0.1 -0.27 0.02 0.33 -0.04 -0.05 -0.29 -0.15 0.41 -0.11 -0.04 -0.06 -0.21 -0.24 0.42 -0.17 -0.04 -0.04
3262 1656 3858 5939 39 179 3066 6905 911 3784 88 179 705 8468 1021 4660 24 55 3318 1578 8899 866 45 227 1310 2571 10022 929 26 75
CAPTULO 5
183
tem
Opcin correcta
Error de Medicin
Ajuste (Outfit)
Correlacin
N de Respuesta
DC6B5IT06
DC6B5IT07
DC6B5IT08
DC6B5IT09
DC6B5IT10
0.13 -0.13 -0.4 0.04 -0.29 -0.42 -0.18 -0.19 -0.04 0.23 -0.51 -0.39 0.2 -0.35 -0.42 -0.3 -0.63 -0.49 -0.24 0.54 -0.26 -0.2 -0.42 -0.39 -0.16 0.39 -0.48 -0.29 -0.68 -0.61
0.01 0.01 0.01 0.01 0.12 0.03 0.01 0.01 0.01 0.01 0.16 0.05 0.01 0.02 0.02 0.01 0.12 0.06 0.01 0.02 0.02 0.01 0.17 0.04 0.01 0.01 0.02 0.01 0.14 0.06
1.2 1.16 0.83 1.58 1 0.83 1.03 1.02 1.22 1.19 0.75 0.81 1.01 0.98 0.89 0.98 0.8 0.83 0.88 0.94 0.9 0.92 0.84 0.85 1.01 1 0.73 0.91 0.6 0.68
0.15 -0.06 -0.17 0.05 -0.02 -0.08 -0.11 -0.1 0 0.21 -0.03 -0.05 0.32 -0.1 -0.1 -0.23 -0.04 -0.05 -0.22 0.42 -0.08 -0.11 -0.02 -0.06 -0.15 0.36 -0.15 -0.13 -0.03 -0.07
5554 3165 1823 3962 40 389 4120 2929 3076 4566 28 214 8379 887 607 4892 42 126 6456 3935 1046 3177 25 294 6697 4827 1086 2155 22 146
184
REPORTE TCNICO
tem
Opcin correcta
Error de Medicin
Ajuste (Outfit)
Correlacin
N de Respuesta
DC6B5IT11
DC6B5IT12
DC6B5IT13
DC6B5IT14
DC6B5IT15
1 2 3 3 4 Multimarca Omisin 1 2 3 3 4 Multimarca Omisin 1 2 3 2 4 Multimarca Omisin 1 2 3 3 4 Multimarca Omisin 1 1 crdito 2 nulo, 2 3 crdito parcial, 4 3 crdito Multimarca total Omisin
-0.28 -0.19 0.33 -0.02 -0.88 -0.36 -0.32 -0.38 0.35 -0.07 -0.58 -0.42 -0.45 0.31 -0.39 -0.31 -0.65 -0.53 -0.27 -0.16 0.42 -0.36 -0.32 -0.32 -0.12 0.84 2.01 0 0 -0.31
0.01 0.01 0.01 0.01 0.15 0.05 0.01 0.02 0.01 0.01 0.13 0.05 0.01 0.01 0.01 0.01 0.16 0.06 0.01 0.01 0.01 0.02 0.17 0.05 0.01 0.03 0.06 0 0 0.01
0.88 1.07 1.06 1.31 0.46 0.87 0.89 0.82 1.01 1.14 0.66 0.82 0.81 0.9 0.9 0.99 0.73 0.82 0.9 1.03 0.97 0.9 0.82 0.95 0.94 0.6 0.49 0 0 0.71
-0.19 -0.1 0.28 0 -0.04 -0.05 -0.21 -0.14 0.33 -0.04 -0.03 -0.06 -0.29 0.44 -0.16 -0.13 -0.03 -0.06 -0.22 -0.09 0.38 -0.11 -0.01 -0.04 -0.2 0.3 0.4 0 0 -0.15
4006 3086 4325 3286 18 212 3716 1322 4863 4805 29 198 3488 7798 1744 1743 24 136 5339 3605 4808 957 14 210 11206 1083 364 0 0 2278
CAPTULO 5
185
Tabla 5f. CIENCIAS 6. Indicadores por opcin. Bloque 6.

DC6B6IT01
DC6B6IT02
DC6B6IT03
DC6B6IT04
DC6B6IT05
-0.21 -0.32 0.37 -0.06 -0.68 -0.34 -0.33 0.02 0.79 -0.22 -0.49 -0.56 -0.14 -0.11 -0.19 0.68 -0.48 -0.27 -0.25 0.21 -0.04 -0.4 -0.68 -0.55 0.14 -0.05 -0.11 0.02 -0.75 -0.51
0.01 0.02 0.02 0.01 0.16 0.05 0.01 0.01 0.02 0.01 0.09 0.06 0.02 0.01 0.01 0.02 0.15 0.06 0.01 0.01 0.01 0.02 0.13 0.06 0.02 0.02 0.01 0.01 0.17 0.06
1.07 0.84 1.12 1.2 0.58 0.98 0.77 1.22 0.82 0.89 0.69 0.64 1.01 1.04 0.91 0.97 0.75 0.93 1.17 1.09 1.37 0.92 0.64 0.83 1.41 1.27 1.22 1.27 0.62 0.77
-0.13 -0.12 0.26 -0.03 -0.03 -0.05 -0.26 0.02 0.46 -0.14 -0.04 -0.06 -0.06 -0.06 -0.18 0.37 -0.02 -0.04 -0.16 0.24 -0.02 -0.12 -0.03 -0.07 0.1 -0.02 -0.08 0.02 -0.04 -0.07
3651 1581 3910 5490 21 243 5277 2529 3019 3855 71 145 2300 3055 6612 2678 30 221 3992 6738 2896 1059 28 183 3837 2809 4672 3335 27 216
186
REPORTE TCNICO
tem
Opcin correcta
Error de Medicin
Ajuste (Outfit)
Correlacin
N de Respuesta
DC6B6IT06
DC6B6IT07
DC6B6IT08
DC6B6IT09
DC6B6IT10
0.21 -0.24 -0.45 -0.25 -0.62 -0.68 -0.4 0.33 -0.38 -0.39 -0.9 -0.45 -0.41 0.44 -0.32 -0.16 -0.46 -0.47 -0.28 0.2 -0.18 -0.19 -0.51 -0.47 -0.42 -0.4 -0.29 0.37 -0.56 -0.6
0.01 0.01 0.01 0.02 0.16 0.08 0.01 0.01 0.01 0.02 0.12 0.05 0.01 0.01 0.02 0.01 0.12 0.05 0.01 0.01 0.01 0.02 0.13 0.06 0.01 0.02 0.01 0.01 0.18 0.08
1.03 1.12 0.85 1.08 0.94 0.72 0.89 0.94 0.88 0.93 0.53 0.85 0.78 0.99 0.92 1.07 0.8 0.77 1.03 1.09 1.19 1.22 0.93 0.9 0.86 0.89 1.01 0.91 0.98 0.86
0.3 -0.12 -0.2 -0.09 -0.03 -0.06 -0.21 0.41 -0.19 -0.14 -0.05 -0.06 -0.2 0.37 -0.09 -0.14 -0.03 -0.06 -0.15 0.25 -0.08 -0.08 -0.03 -0.06 -0.28 -0.14 -0.13 0.43 -0.03 -0.06
8636 2525 2129 1486 32 88 2801 7777 2589 1477 35 217 2502 4997 828 6320 39 210 2903 7389 2438 1935 43 188 4024 1423 2020 7283 29 117
CAPTULO 5
187
tem
Opcin correcta
Error de Medicin
Ajuste (Outfit)
Correlacin
N de Respuesta
DC6B6IT11
DC6B6IT12
DC6B6IT13
DC6B6IT14
1 crdito nulo, 2 crdito parcial, DC6B6IT15 3 crdito parcial, 4 crdito total
-0.26 0.24 -0.27 -0.22 -0.6 -0.4 -0.4 -0.31 -0.32 0.38 -0.61 -0.33 0.21 -0.12 -0.24 -0.22 -0.49 -0.41 -0.38 0.48 -0.3 -0.31 -0.64 -0.35 -0.42 0.11 0.64 1.76 0 -0.5
0.01 0.01 0.01 0.02 0.18 0.04 0.01 0.01 0.01 0.01 0.19 0.04 0.01 0.01 0.01 0.01 0.1 0.09 0.01 0.01 0.02 0.01 0.33 0.09 0.01 0.01 0.01 0.04 0 0.01
1.12 1.05 1.05 1.18 0.97 0.9 0.85 0.99 0.97 0.94 1 0.99 1.17 1.18 1.02 1.07 0.94 1 0.83 0.89 0.93 0.93 1.12 0.97 0.85 0.77 0.67 0.54 0 0.71
-0.14 0.28 -0.14 -0.08 -0.03 -0.06 -0.22 -0.15 -0.15 0.41 -0.03 -0.06 0.23 -0.06 -0.12 -0.1 -0.04 -0.04 -0.32 0.46 -0.09 -0.14 -0.02 -0.03 -0.42 0.07 0.32 0.53 0 -0.2
2892 7402 2738 1554 34 276 2911 2592 2209 6817 29 338 6514 3238 2652 2322 73 97 5566 6030 1005 2199 12 84 6824 3047 2327 968 0 1725
188
REPORTE TCNICO
MAPA DE DISTRIBUCIN DE HABILIDADES Y DIFICULTADES Tabla 6. CIENCIAS 6. Mapa de distribucin de habilidades y dificultades. Estudiantes MAP OF Items <more>|<rare> 5 . + . | . | . | . | | 4 . + . | . | . | . | DM6B2IT16 . | DM6B6IT15 3 . + . |T . | DM6B2IT15 . | . | DM6B4IT03 DM6B4IT05 . | DM6B6IT03 2 . + .# T| DM6B3IT08 DM6B6IT11 .# |S DM6B1IT11 DM6B2IT09 DM6B4IT04 DM6B4IT14 DM6B6IT08 .## | DM6B1IT07 DM6B4IT16 DM6B5IT07 .### | DM6B1IT10 DM6B3IT06 .### | DM6B1IT15 DM6B3IT12 DM6B3IT13 DM6B4IT09 DM6B4IT13 DM6B4IT15 DM6B5IT16 DM6B6IT04 DM6B6IT09 DM6B6IT14 1 .#### + DM6B1IT08 DM6B1IT13 DM6B3IT09 DM6B4IT07 DM6B4IT12 DM6B5IT12 DM6B6IT13 DM6B6IT16 .##### S| DM6B1IT03 DM6B1IT12 DM6B2IT04 DM6B2IT14 DM6B3IT14 DM6B6IT05 .###### | DM6B1IT16 DM6B3IT04 DM6B6IT10 DM6B6IT12 .###### | DM6B2IT05 DM6B2IT13 DM6B3IT10 DM6B3IT16 DM6B6IT02 DM6B6IT06 .########### |M DM6B1IT09 DM6B1IT14 DM6B2IT11 DM6B2IT12 DM6B4IT10 .######### | DM6B3IT07 DM6B5IT02 DM6B6IT07 0 .########## M+ DM6B1IT06 DM6B2IT02 DM6B5IT04
CAPTULO 5
189
.############ | DM6B2IT03 DM6B3IT11 DM6B3IT15 DM6B5IT14 .########### | DM6B1IT05 DM6B4IT11 .######### | DM6B2IT07 DM6B3IT03 DM6B3IT05 .######## | DM6B1IT02 DM6B2IT10 DM6B5IT03 DM6B5IT06 DM6B5IT08 DM6B5IT13 .####### S|S DM6B5IT10 DM6B5IT11 -1 .####### + DM6B2IT06 DM6B3IT02 DM6B4IT02 DM6B5IT01 DM6B6IT01 .### | DM6B1IT04 DM6B4IT08 .### | DM6B5IT05 DM6B5IT15 .# | .# | DM6B1IT01 DM6B5IT09 . T| -2 . + DM6B2IT01 DM6B4IT01 . |T . | DM6B2IT08 . | . | . | DM6B4IT06 -3 . + . | DM6B3IT01 . | | . | | -4 . + <less>|<frequ> Cada smbolo # equivale a 363 estudiantes. El punto (.) indica que hay entre 1 y 362 estudiantes.
190
REPORTE TCNICO
PROMEDIO, DESVIACIN ESTNDAR Y VALORES MXIMO Y MNIMO DE DIFICULTADES DE TEMS Grfico 1. CIENCIAS 6. Promedio, desviacin estndar y valores mximo y mnimo de dificultades de tems, por bloque.
1.60
1.50
1.40
1.30
1.20
B1 B2 B3 B4 B5 B6
1.10
1.00
0.90
Desviacin estndar dificultad items

0.80
0.70
0.60 -4.00 -3.00 -2.00 -1.00 0.00 1.00 2.00 3.00 4.00
P r o me d io d e d ific u lta d ite ms
CAPTULO 5
191
FUNCIN DE INFORMACIN DE LA PRUEBA
Grfico 2. CIENCIAS 6. Funcin de informacin.
Funcin de informacin de la prueba
Informacin
Medida
192
REPORTE TCNICO
VALOR DE DIFICULTAD DE TEMS POR PAS
Tabla 7a. CIENCIAS 6. Valor de dificultad de cada tem por pas. Bloque 1.
Colombia -0.223 -0.426 0.596 -0.862 0.137 0.28 0.383 -0.799 1.306 0.362 0.981 -0.306 0.549 0.46 1.126 -0.015 1.256 -0.649 0.843 -0.113 0.757 0.583 0.248 0.913 -1.625 0.161 -1.514 -1.801 1.39 0.476 -0.98 0.498 0.718 0.715 0.474 -0.155 0.867 1.06 1.328 -0.068 1.856 1.309 1.866 -2.059 -1.163 -1.024 -1.255 -0.552 0.339 0.632 0.62 -0.182 0.423 0.604 0.273 0.73 0.602 -1.272 1.703 0.725 1.117 0.872 0.632 0.996 1.383 -1 -0.013 0.278 0.427 0.394 -2.029 -0.253 -0.687 -0.448 -0.472 -0.21 0.838 1.417 0.775 1.211 1.036 -0.703 0.709 0.903 0.907 -0.972 1.168 0.923 1.561 0.915 1.062 0.911 1.291 -0.592 0.187 -0.485 -0.086 -1.047 0.015 -0.272 -0.393 -0.789 -0.402 -0.164 -0.119 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana 0.432 -0.238 1.432 0.468 -0.499 0.787 1.409 -0.399 2.165 0.876 2.094 0.726 1.532 1.432 2.271 Uruguay 0.557 -0.631 0.71 -0.873 -0.711 0.111 0.508 -1.741 1.38 0.286 -0.968 0.337 0.198 -0.207 0.686
tem
Argentina
DC6B1IT01
0.37
DC6B1IT02
-0.139
DC6B1IT03
1.046
DC6B1IT04
-0.706
DC6B1IT05
-0.317
CAPTULO 5
DC6B1IT06
0.308
DC6B1IT07
0.721
DC6B1IT08
-1.497
DC6B1IT09
1.327
DC6B1IT10
0.271
DC6B1IT11
0.416
DC6B1IT12
0.171
DC6B1IT13
0.568
DC6B1IT14
0.577
DC6B1IT15
1.135
193
194
REPORTE TCNICO
Tabla 7b. CIENCIAS 6. Valor de dificultad de cada tem por pas. Bloque 2.
Colombia -0.852 1.199 1.265 -1.315 -0.871 0.294 0.955 1.487 1.749 0.585 0.403 -0.584 2.218 1.607 2.248 -0.208 2.324 1.925 0.234 1.55 1.366 0.833 2.568 1.988 -1.064 -0.781 0.328 -0.397 0.195 0.273 0.384 -0.579 2.43 1.311 2.382 -0.74 0.886 0.457 0.837 -0.081 2.299 1.126 1.873 -0.754 1.328 0.74 0.917 0.331 1.668 0.921 0.34 -0.365 2.338 1.269 1.528 0.079 0.747 0.914 1.156 0.824 -0.097 -0.372 0.229 0.094 0.303 -1.853 -0.372 -0.638 -0.449 -0.529 -2.94 -1.377 -0.914 -0.766 -0.743 -0.783 -0.232 0.571 0.946 0.371 1.845 1.057 0.054 -0.726 2.39 1.65 3.628 0.118 1.208 1.348 1.522 1.324 1.159 0.387 0.708 0.777 1.095 0.636 0.448 -2.624 -0.317 -0.873 0.091 -0.428 -0.261 0.346 0.699 1.651 -0.084 0.19 0.557 2.32 0.908 2.15 1.394 0.975 0.752 2.67 1.023 2.626 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana Uruguay -1.29 1.52 0.958 -1.635 -0.882 0.1 1.041 0.248 1.152 0.428 -0.338 -0.713 1.797 1.091 1.015
tem
Argentina
DC6B2IT01
-1.018
DC6B2IT02
1.218
DC6B2IT03
1.096
DC6B2IT04
-1.259
DC6B2IT05
-0.643
DC6B2IT06
0.409
DC6B2IT07
0.969
DC6B2IT08
0.531
DC6B2IT09
1.72
DC6B2IT10
0.637
DC6B2IT11
0.152
DC6B2IT12
-0.307
DC6B2IT13
2.253
DC6B2IT14
1.343
DC6B2IT15
1.551
Tabla 7c. CIENCIAS 6. Valor de dificultad de cada tem por pas. Bloque 3.
Colombia -1.003 0.958 1.77 -0.668 1.096 1.313 -1.337 -0.613 0.387 2.082 0.912 -0.228 -0.447 1.483 1.125 0.31 1.621 1.126 1.768 1.704 1.074 -2.387 0.064 -0.864 -0.883 -0.144 0.166 0.197 0.439 0.84 0.504 1.891 2.361 1.634 0.613 0.126 0.375 1.895 1.372 -0.259 0.385 0.228 0.675 -1.072 -0.726 -1.242 -0.566 -1.972 -0.965 -0.877 -1.191 1.058 1.257 1.07 1.501 1.571 -1.074 -0.469 0.766 1.89 1.344 -0.092 0.152 1.829 1.435 1.38 0.902 1.084 1.109 0.994 -1.685 0.46 -0.46 0.435 0.569 0.344 1.627 1.559 1.451 1.814 2.229 0.153 0.847 1.808 -0.897 -0.232 0.535 1.762 0.809 0.168 0.161 1.904 1.407 0.494 0.735 0.552 0.557 1.066 0.898 -1.763 -0.354 -0.311 -0.442 -0.492 0.116 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana 0.908 0.886 1.873 0.145 1.439 2.19 -0.787 0.281 1.17 1.237 0.51 0.514 0.481 2.5 2.517 Uruguay -0.656 0.933 0.829 -0.619 1.325 1.243 -0.832 -0.51 0.188 2.252 0.869 -0.452 -0.495 1.722 1.065
tem
Argentina
DC6B3IT01
-0.698
DC6B3IT02
0.844
DC6B3IT03
1.216
DC6B3IT04
-0.22
DC6B3IT05
1.243
CAPTULO 5
DC6B3IT06
1.313
DC6B3IT07
-0.613
DC6B3IT08
-0.408
DC6B3IT09
0.309
DC6B3IT10
2.132
DC6B3IT11
1.281
DC6B3IT12
-0.13
DC6B3IT13
-0.311
DC6B3IT14
2.034
DC6B3IT15
1.076
195
196
REPORTE TCNICO
Tabla 7d. CIENCIAS 6. Valor de dificultad de cada tem por pas. Bloque 4.
Colombia -0.134 0.459 -0.401 -1.483 0.427 -0.514 0.267 1.815 0.236 0.327 0.898 -0.17 2.089 -0.33 0.682 -1.325 0.668 -0.201 -0.723 -0.611 -0.83 -0.678 0.684 -1.504 -0.958 0.573 -1.29 -1.384 -0.295 -0.63 -0.79 1.538 -0.424 -2.062 1.068 -0.595 0.327 1.693 0.545 0.654 1.473 -0.053 2.252 -0.447 2.05 0.064 1.026 -0.124 -2.401 0.044 -0.747 0.434 1.101 -0.492 -0.04 1.489 -0.238 2.292 -0.423 1.844 -0.44 1.588 0.175 -1.725 0.891 -1.17 0.595 1.389 0.354 0.008 1.455 -0.097 1.912 -0.229 0.199 -0.565 1.161 0.204 -0.822 0.751 -0.185 0.251 1.872 0.418 0.106 0.904 0.068 1.904 -0.016 1.301 -0.268 1.357 0.95 -0.775 0.6 -0.433 0.301 2.075 0.28 0.297 1.377 -0.089 2.353 0.174 1.733 Cuba El Salvador Nuevo Len Panam Paraguay Per
tem
Argentina
DC6B4IT01 DC6B4IT02 DC6B4IT03 DC6B4IT04 DC6B4IT05 DC6B4IT06 DC6B4IT07 DC6B4IT08 DC6B4IT09 DC6B4IT10 DC6B4IT11 DC6B4IT12 DC6B4IT13 DC6B4IT14 DC6B4IT15
0.234 1.523 0.675 -1.924 0.081 -0.428 0.205 1.629 -0.099 0.15 1.271 -0.296 2.299 -0.24 1.204
Repblica Uruguay Dominicana -0.506 -0.064 1.007 2.037 0.009 0.598 -1.312 -1.852 0.978 0.206 0.652 -0.703 1.204 0.15 2.351 1.517 0.769 -0.412 0.229 -0.187 1.374 0.682 0.63 -0.674 2.492 1.129 0.437 -0.543 2.769 0.935
Tabla 7e. CIENCIAS 6. Valor de dificultad de cada tem por pas. Bloque 5.
Colombia 1.203 -0.348 0.961 -0.778 -1.149 0.483 0.976 -0.451 0.987 0.85 0.896 0.488 -0.321 0.747 2.692 1.201 3.381 -0.239 1.053 0.632 2.112 -1.264 0.207 -0.266 -0.613 0.961 0.992 0.217 1.033 0.628 -0.747 0.998 0.563 2.029 1.208 1.185 0.158 1.072 2.229 -0.35 1.503 1.078 1.617 -1.313 -0.239 -0.434 -0.27 -0.125 0.947 1.319 1.328 0.858 0.181 1.402 0.741 1.262 0.891 0.063 0.971 3.164 0.534 0.614 0.611 0.479 0.701 -1.986 -0.576 -1.191 -0.823 -0.475 -1.956 -0.211 -0.428 -0.063 -0.027 -0.495 1.202 0.923 1.757 1.24 1.515 0.11 -0.497 0.455 0.948 0.083 1.812 0.964 1.127 0.888 0.113 1.144 3.106 -0.354 0.566 0.339 0.485 0.551 0.093 -0.717 -0.959 0.496 -0.51 0.91 1.144 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana 0.864 0.705 1.785 0.491 0.361 0.441 0.8 0.263 1.537 1.771 1.347 1.249 0.717 1.573 4.982 Uruguay 1.449 -0.221 -0.366 -1.137 -1.067 0.54 0.842 -0.596 0.9 0.46 1.06 0.694 -0.574 0.446 2.009
tem
Argentina
DC6B5IT01
0.984
DC6B5IT02
-0.26
DC6B5IT03
0.79
DC6B5IT04
-0.774
DC6B5IT05
-0.949
DC6B5IT06
0.605
CAPTULO 5
DC6B5IT07
0.838
DC6B5IT08
-0.246
DC6B5IT09
1.014
DC6B5IT10
0.71
DC6B5IT11
0.97
DC6B5IT12
1.121
DC6B5IT13
-0.188
DC6B5IT14
0.797
DC6B5IT15
3.233
197
198
REPORTE TCNICO
Tabla 7f. CIENCIAS 6. Valor de dificultad de cada tem por pas. Bloque 6.
Colombia 0.993 1.369 2.104 0.007 1.325 -0.203 -0.36 0.745 -0.119 0.014 -0.054 -0.183 0.394 0.99 1.345 0.32 0.47 0.209 -0.3 1.437 -2.362 -1.194 -0.006 -0.474 -0.883 -0.408 -0.883 -1.141 -0.648 -0.413 1.204 1.881 1.899 0.262 1.222 -0.775 0.177 0.966 -0.332 0.321 0.133 0.331 0.591 0.606 1.838 1.267 1.272 1.776 0.363 0.977 0.826 -0.215 0.496 0.044 -0.52 -0.063 0.155 0.489 -0.342 1.318 1.31 1.749 2.144 -0.004 1.001 -0.04 0.12 0.986 -0.099 0.36 0.052 0.646 0.531 1.352 1.207 1.038 1.942 1.579 0.391 1.449 -0.524 -0.272 0.816 -0.165 0.098 0.153 0.225 0.126 0.753 1.643 1.104 2.074 2.263 0.286 1.166 -0.643 -0.09 0.667 -0.055 0.435 -0.055 0.175 0.618 0.733 1.218 Cuba El Salvador Nuevo Len Panam Paraguay Per
tem
Argentina
1.317 1.513 1.577 0.25 1.161 -0.475 -0.305 0.441 0.218 -0.36 -0.04 0.307 0.333 0.004 1.198
Repblica Uruguay Dominicana 1.608 1.269 2.443 1.216 2.378 1.607 0.444 0.202 0.733 1.117 0.157 -0.348 0.77 -0.048 1.608 0.833 0.612 0.309 0.959 -0.182 0.26 -0.155 1.202 -0.176 0.179 0.12 1.749 -0.548 2.059 0.841
VALOR DE AJUSTE DE TEMS POR PAS
Tabla 8a. CIENCIAS 6. Valor de ajuste de cada tem por pas. Bloque 1.
Colombia 0.88 1 1.01 0.98 1.03 1.03 0.97 1.01 1.07 1.08 0.95 0.91 1.06 0.94 0.7 0.95 0.67 0.93 0.98 0.92 0.73 1.04 1 0.91 0.76 0.9 0.85 0.9 0.86 0.93 1.02 1.09 1.19 1.1 0.93 0.91 1.08 0.98 0.72 0.87 1.09 1.08 1.01 0.8 1 0.94 1.01 1.02 0.97 0.98 0.99 0.98 1.05 1.07 0.98 0.93 0.94 1.04 0.94 0.69 1.01 1.04 1.01 1 1.01 1.01 1.06 1.09 1.08 1.07 0.92 0.99 0.96 0.92 0.94 1.2 0.96 1.02 0.97 1.08 0.99 0.94 1.06 1.04 1.03 1 1.08 1.08 0.86 0.94 1.06 0.94 0.58 1.02 1.12 1.17 1.05 1.11 1.11 0.86 0.93 0.96 0.95 0.97 0.9 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana 0.95 1.01 1 0.92 1.01 1.03 1.09 0.93 1.08 1.03 0.96 0.95 1.07 0.94 0.77 Uruguay 1.07 1.14 1.07 0.93 1.14 1.05 1 0.98 1.08 1.04 0.83 0.99 0.97 0.88 0.74
tem
Argentina
DC6B1IT01
0.97
DC6B1IT02
1.19
DC6B1IT03
0.97
DC6B1IT04
0.93
DC6B1IT05
1.14
CAPTULO 5
DC6B1IT06
1.06
DC6B1IT07
0.98
DC6B1IT08
0.95
DC6B1IT09
1.02
DC6B1IT10
0.94
DC6B1IT11
0.92
DC6B1IT12
0.97
DC6B1IT13
1.02
DC6B1IT14
0.96
DC6B1IT15
0.73
199
200
REPORTE TCNICO
Tabla 8b. CIENCIAS 6. Valor de ajuste de cada tem por pas. Bloque 2.
Colombia 0.87 1.24 1.03 0.87 0.98 1.06 1.05 1.11 0.89 0.9 1.04 0.89 1.02 1.27 0.81 0.93 0.8 0.87 0.98 1.24 1.2 0.91 1.02 1.03 0.8 0.85 0.9 0.93 1.02 1 1.04 0.9 1.17 1.32 0.78 0.89 0.94 0.89 0.99 0.91 0.93 0.93 0.81 0.93 1.06 1.07 1.08 1.1 0.91 0.98 0.98 0.9 1.09 1.12 0.86 1.04 0.98 1.01 1.02 0.97 1.07 1.01 1.09 1.06 1.04 0.8 0.99 0.91 0.96 0.98 0.64 0.85 0.87 0.85 0.9 0.88 1.01 0.99 0.99 1.09 0.89 0.93 1.12 0.87 0.96 1.23 0.92 0.96 1.1 1.24 1.04 1.04 1.03 1.35 1.23 1.25 1.22 1.16 1.18 0.67 0.9 0.82 0.92 0.94 0.91 0.99 1.07 1.02 0.92 1 1.03 0.95 1.05 0.93 1 0.99 0.94 1.03 1.08 1.06 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana Uruguay 0.85 1.33 1.07 0.83 0.91 1.08 1.01 1.15 0.84 0.89 0.92 0.81 0.97 1.22 0.9
tem
Argentina
DC6B2IT01
0.84
DC6B2IT02
1.22
DC6B2IT03
1.09
DC6B2IT04
0.85
DC6B2IT05
0.91
DC6B2IT06
1.1
DC6B2IT07
DC6B2IT08
1.09
DC6B2IT09
0.83
DC6B2IT10
0.96
DC6B2IT11
0.96
DC6B2IT12
0.88
DC6B2IT13
1.06
DC6B2IT14
1.31
DC6B2IT15
0.9
Tabla 8c. CIENCIAS 6. Valor de ajuste de cada tem por pas. Bloque 3.
Colombia 0.89 1.12 1.08 0.9 1.12 0.92 1.04 1.06 0.96 1.58 1.11 0.94 0.95 1.04 0.8 1 0.79 0.81 1.03 1.03 1.01 0.84 0.96 0.93 1.08 1 0.92 1.01 1.12 1.14 1.1 0.94 0.95 1.03 0.8 0.97 1.42 1.6 1.46 1.19 0.95 1.05 0.99 0.92 0.96 0.99 0.92 1.01 1.05 1.35 1.12 0.92 0.94 0.96 0.85 0.92 1.02 1.07 1.11 1.05 1.18 1.02 0.97 0.95 0.99 1.79 1.03 1.15 1.03 1.09 0.86 0.92 0.85 0.91 0.95 0.89 1.07 0.97 1.11 1 0.96 1.41 1.05 0.96 0.99 0.98 0.75 0.92 1.05 0.96 1 1.01 1.06 1.16 1.17 1.15 1.1 1.13 1.13 0.78 0.88 0.91 0.85 0.9 0.89 0.93 1.06 0.94 0.98 1.05 0.97 1.07 1.02 1.01 1.1 1.1 0.96 1 1.06 0.68 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana Uruguay 0.88 1.14 1.06 0.92 1.21 1 1.06 0.97 1.06 1.28 1.14 0.97 0.98 1 0.77
tem
Argentina
DC6B3IT01
0.87
DC6B3IT02
1.17
DC6B3IT03
0.96
DC6B3IT04
0.92
DC6B3IT05
1.19
DC6B3IT06
1.01
CAPTULO 5
DC6B3IT07
1.15
DC6B3IT08
0.98
DC6B3IT09
0.97
DC6B3IT10
1.32
DC6B3IT11
1.2
DC6B3IT12
0.96
DC6B3IT13
0.99
DC6B3IT14
0.96
DC6B3IT15
0.91
201
202
REPORTE TCNICO
Tabla 8d. CIENCIAS 6. Valor de ajuste de cada tem por pas. Bloque 4.
Colombia 1.17 1.02 1.03 0.91 0.94 0.95 1.01 1 0.94 1.02 1.14 0.98 1 0.95 0.95 1.03 0.96 0.94 1.07 0.98 0.95 0.85 1.03 1.16 1.37 0.99 0.99 1.13 1.13 1.21 1.18 1.02 1.1 0.96 0.97 1.07 1.05 1.04 1 0.74 0.91 0.87 0.97 0.95 0.87 0.98 0.91 0.97 0.91 1.07 1.12 1.01 0.93 1 0.95 0.93 0.99 1.01 0.99 0.98 0.88 0.97 0.91 1.02 0.94 0.86 0.93 0.92 0.97 0.98 0.83 0.88 0.8 0.88 0.92 0.94 0.98 0.95 1.05 1.06 0.9 1.05 1.08 0.96 0.95 1 0.9 1.14 1.01 1 1.02 1.04 1.09 1.06 1.13 1.09 1.06 1.03 1.09 1.02 1.16 1.13 1.12 1.17 1.21 1.05 0.94 0.99 0.96 1 0.92 1.03 1 1.03 1.03 1.04 0.92 0.95 0.97 1 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana Uruguay 1.23 1.16 1.07 0.88 0.95 0.92 0.98 0.89 0.86 1 1.13 1.02 0.93 1.03 0.9
tem
Argentina
DC6B4IT01
1.18
DC6B4IT02
1.14
DC6B4IT03
1.07
DC6B4IT04
0.86
DC6B4IT05
0.89
DC6B4IT06
0.97
DC6B4IT07
0.98
DC6B4IT08
0.87
DC6B4IT09
0.92
DC6B4IT10
1.03
DC6B4IT11
1.1
DC6B4IT12
1.04
DC6B4IT13
0.99
DC6B4IT14
1.03
DC6B4IT15
0.92
Tabla 8e. CIENCIAS 6. Valor de ajuste de cada tem por pas. Bloque 5.
Colombia Cuba El Salvador Nuevo Len Panam Paraguay Per
tem
Argentina
CAPTULO 5
1.05 1.08 1.04 0.88 0.84 1.14 1.06 1.02 0.9 1.05 1.07 1.02 0.89 0.96 0.8
1.06 1.05 1.05 0.91 0.86 1.1 1.23 1 0.92 1.05 1.03 1.04 0.9 1 0.6
0.97 1.34 1.42 0.83 0.72 1.26 1.04 0.84 0.77 0.88 1.11 1 1 0.9 0.85
1 1.03 1.04 0.95 0.88 1.15 1.19 1 0.99 1 1.01 1.01 0.88 1 0.55
1.04 1.17 0.95 0.94 0.81 1.17 1.14 1.01 1.02 1.04 1.06 1.04 0.91 0.99 0.67
1 1 1.06 0.95 0.88 1.12 1.2 1.02 1 1.14 1.07 0.97 0.85 1 0.54
1.03 1.01 0.99 0.94 0.94 1.14 1.14 1.03 0.99 0.97 1.09 1.01 0.9 0.96 0.64
0.98 1.04 1.02 0.9 0.88 1.08 1.16 0.98 1.03 1.06 1.02 1.02 0.88 0.95 0.49
Repblica Uruguay Dominicana 1.02 1.1 1 1.07 1 1.08 0.94 0.89 0.93 0.83 1.09 1.14 1.06 1.14 1.03 1.01 1.04 0.95 1.15 0.96 1 1.03 1 1.11 0.96 0.86 0.99 0.95 0.63 0.76
203
204
REPORTE TCNICO
Tabla 8f. CIENCIAS 6. Valor de ajuste de cada tem por pas. Bloque 6.
Colombia 1.04 0.86 1.1 1.1 1.31 1.07 0.91 1.02 1.07 0.92 1.02 0.94 1.14 0.89 0.75 1.25 0.84 0.93 1.16 1.45 0.75 0.86 0.94 1.02 0.89 1.07 1.01 1.01 0.81 0.92 1.05 0.88 1.03 1.12 1.27 1.04 0.94 0.95 1.09 0.9 1.06 0.95 1.14 0.88 0.72 1.09 0.87 0.97 1.13 1.2 1.01 0.93 0.97 1.07 0.91 1 0.96 1.11 0.88 0.87 1.05 0.85 0.96 1.13 1.31 1.09 0.92 0.98 1.08 0.9 1.03 0.9 1.21 0.96 0.71 1.15 0.85 0.98 1.06 1.18 1.03 0.9 0.95 1.04 0.94 1.05 0.93 1.21 0.92 0.75 1.09 0.92 1.21 0.99 1.24 1.07 0.92 0.98 1.14 0.94 1.04 0.94 1.15 0.93 0.7 Cuba El Salvador Nuevo Len Panam Paraguay Per
tem
Argentina
1.08 0.77 0.98 1.1 1.24 1.02 0.87 0.97 1.08 0.9 1.03 0.94 1.19 0.92 0.75
Repblica Uruguay Dominicana 1.05 1.13 0.93 0.82 0.99 1.03 0.98 1.18 1.11 1.2 1.02 1.04 0.99 0.93 1.04 0.98 1.02 1.08 0.92 0.91 1.02 1 0.96 0.92 1.12 1.15 0.97 0.87 0.65 0.77
VALOR DE DISCRIMINACIN DE TEMS POR PAS
Tabla 9a. CIENCIAS 6. Valor de discriminacin de cada tem por pas. Bloque 1.
tem
Argentina
CAPTULO 5
1.09 0.29 1.07 1.17 0.56 0.82 1.11 1.05 0.98 1.21 1.22 1.12 0.96 1.1 1.09
1.45 1.07 0.99 1.04 0.86 0.92 1.1 0.99 0.94 0.72 1.08 1.33 0.85 1.15 1.13
1.28 0.9 0.58 0.99 0.98 0.98 0.99 1.05 1.28 0.98 1.12 1.15 0.93 1.17 1.04
1.22 0.51 1.08 1.06 0.77 0.85 1.13 1.02 0.98 0.72 1.14 1.44 0.98 1.05 1.12
1.06 0.59 1.02 1.09 0.7 0.98 1.06 1.09 0.94 0.6 1.23 1.09 1.26 1.3 1.12
1.15 0.82 1.04 1.29 0.74 1.02 1.03 1 0.99 0.78 1.28 1.37 0.89 1.03 1.11
1.08 0.91 0.91 1.16 0.75 0.98 1.05 0.95 0.96 1.04 1.1 1.14 0.89 1.09 1.07
1.43 0.48 1.01 1.18 0.89 0.95 0.91 1.01 0.91 0.87 1.1 1.12 0.93 1.09 1.12
Repblica Uruguay Dominicana 1.19 0.84 0.97 0.67 1.02 0.86 1.28 1.11 0.98 0.79 0.96 0.81 0.92 1.02 1.3 1.01 0.96 0.92 0.95 0.86 1.03 1.25 1.13 1.02 0.97 1.11 1.06 1.49 1.04 1.14
205
206
REPORTE TCNICO
Tabla 9b. CIENCIAS 6. Valor de discriminacin de cada tem por pas. Bloque 2.
Colombia 1.22 0.72 0.96 1.12 1.03 0.74 0.92 0.91 1.07 1.32 0.84 1.29 0.99 0.85 1.07 1.15 1.07 1.06 1.03 0.83 0.81 1.15 1 0.98 1.2 1.29 1.44 1.12 0.9 0.98 0.87 1.28 0.96 0.73 1.06 1.18 1.12 1.4 1.07 1.15 1.03 1.11 1.11 1.13 0.92 0.82 0.85 0.63 1.05 1.07 1.06 1.39 0.97 0.87 1.11 0.95 1.04 0.98 0.99 1.03 0.8 1 0.63 0.71 0.92 1.07 1.03 1.17 1.11 1.06 1.07 1.12 1.18 1.33 1.22 1.24 0.95 1.03 1.01 0.67 1.07 1.12 0.35 1.28 1.01 0.85 1.01 1.07 0.87 0.77 0.97 0.96 0.95 0.36 0.42 0.4 0.7 0.59 0.34 1.08 1.37 1.28 1.35 1.18 1.36 1.05 0.8 0.99 1.54 0.99 0.89 1.01 0.9 1.02 1 1 1.15 0.99 0.85 0.99 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana Uruguay 1.13 0.79 0.86 1.09 1.15 0.67 1.01 0.43 1.19 1.38 1.26 1.41 1.02 0.69 1.16
tem
Argentina
DC6B2IT01
1.22
DC6B2IT02
0.73
DC6B2IT03
0.85
DC6B2IT04
1.13
DC6B2IT05
1.17
DC6B2IT06
0.65
DC6B2IT07
DC6B2IT08
0.77
DC6B2IT09
1.11
DC6B2IT10
1.13
DC6B2IT11
1.2
DC6B2IT12
1.44
DC6B2IT13
0.99
DC6B2IT14
0.72
DC6B2IT15
1.09
Tabla 9c. CIENCIAS 6. Valor de discriminacin de cada tem por pas. Bloque 3.
tem
Argentina
CAPTULO 5
1.27 0.65 1.05 1.34 0.76 1 0.62 1.08 1.15 0.89 0.81 1.18 1.04 1.02 1.08
1.14 0.81 0.96 1.28 0.81 1.09 0.97 0.84 1.15 0.84 0.8 1.26 1.19 0.97 1.08
1.12 0.71 1.2 1.09 0.4 0.79 0.99 1.09 0.72 1.1 0.94 0.88 1.04 1.01 0.95
1.52 0.58 0.96 1.35 0.93 1 0.97 1.08 1.2 0.82 0.52 0.97 1.22 0.98 1.07
1.38 0.55 1.04 1.49 0.78 1.06 0.87 1.01 0.77 0.87 0.72 1.38 1.14 0.99 1.12
1.52 0.64 1 1.33 0.95 1.03 0.9 1.21 1.01 0.72 0.71 1.31 1.22 0.99 1.08
1.27 0.81 0.99 1.18 0.83 1.02 0.95 0.95 0.91 0.83 0.9 1.4 1.32 1 1.07
1.63 0.74 0.99 1.66 0.82 1.01 0.82 1 1.16 0.8 0.87 1.21 1.05 1 1.13
Repblica Uruguay Dominicana 1.14 1.29 0.86 0.77 1.02 0.87 1.14 1.23 0.97 0.79 1 1.01 0.88 0.86 0.88 1.06 0.98 0.74 0.86 0.95 0.58 0.78 1.16 1.11 1.06 1.06 0.98 0.99 1.03 1.06
207
208
REPORTE TCNICO
Tabla 9d. CIENCIAS 6. Valor de discriminacin de cada tem por pas. Bloque 4.
Colombia 0.03 0.9 0.85 1.06 1.25 1.17 0.95 1 1.34 0.91 0.73 1.07 1 1.24 1.06 0.91 0.9 0.62 1.25 1.29 1.22 1.13 1.13 1.23 0.94 0.8 0.74 1.12 0.82 0.96 0.66 0.92 0.94 1.03 1.09 1.09 1.03 1.08 1.27 0.87 0.9 1.06 0.98 1.07 1.09 0.38 0.87 0.96 1.05 1.39 1.2 0.99 1.04 1.46 0.76 0.84 1.07 0.95 1.26 1.11 0.51 0.94 0.9 1.05 1.07 0.98 1.02 1.09 1.14 1.03 0.86 0.91 0.96 1.2 1.05 0.58 0.95 0.8 1.13 1.03 1.32 1.1 1.01 1.41 0.57 0.76 0.95 1.03 1.02 1.07 -0.02 0.9 0.88 1.11 1.07 1.18 0.85 0.99 1.51 0.77 0.93 1.21 1.01 1 1.16 Cuba El Salvador Nuevo Len Panam Paraguay Per
tem
Argentina
0.2 0.89 0.83 1.07 1.5 1.07 1.08 1.08 1.38 0.88 0.86 0.89 1.01 0.9 1.11
Repblica Uruguay Dominicana 0.86 -0.09 1.1 0.94 1.04 0.8 1.04 1.04 1.02 1.27 1.28 1.16 0.97 1.11 1 1.08 0.93 1.48 0.83 1.01 0.95 0.64 1.25 0.97 1 1.06 1.17 0.93 0.99 1.13
Tabla 9e. CIENCIAS 6. Valor de discriminacin de cada tem por pas. Bloque 5.
Colombia 0.92 0.81 0.93 1.18 1.17 0.69 0.66 1 1.15 0.88 0.95 0.88 1.44 1.03 1.03 1.09 1.05 1.22 1 1.04 1.06 1.06 1.57 1.41 0.96 0.99 0.95 0.78 0.98 0.88 1.16 1.02 0.88 0.95 0.92 1.03 1.76 1.01 1.07 1.47 1.03 1.01 1.04 1.1 0.97 0.94 0.9 0.88 0.72 0.88 0.8 0.74 0.83 1.02 1.05 0.9 0.95 1.5 1.07 1.05 0.6 0.64 0.58 0.62 0.72 1.11 1.41 1.23 1.25 1.19 1.09 1.25 1.22 1.28 1.35 0.33 0.95 1.1 0.95 1 0.99 1.52 1.48 0.72 0.73 1.13 1 0.93 0.98 0.96 1.68 1.06 1.06 0.36 0.91 0.42 0.96 0.97 0.77 0.99 1.01 0.85 1.02 0.97 1.02 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana 0.96 1.01 1 1.22 1.35 0.6 0.87 0.84 0.99 0.94 0.99 1.01 1.14 1.01 1.02 Uruguay 0.93 0.7 0.7 1.12 1.24 0.67 0.75 0.95 1.11 1.14 0.95 0.74 1.4 1.16 1.05
tem
Argentina
DC6B5IT01
0.94
DC6B5IT02
0.68
DC6B5IT03
0.93
DC6B5IT04
1.26
DC6B5IT05
1.25
DC6B5IT06
0.63
CAPTULO 5
DC6B5IT07
0.9
DC6B5IT08
0.86
DC6B5IT09
1.18
DC6B5IT10
0.9
DC6B5IT11
0.89
DC6B5IT12
0.96
DC6B5IT13
1.43
DC6B5IT14
1.1
DC6B5IT15
1.03
209
210
REPORTE TCNICO
Tabla 9f. CIENCIAS 6. Valor de discriminacin de cada tem por pas. Bloque 6.
Colombia 0.92 1.13 0.97 0.56 0.76 0.69 1.35 0.98 0.66 1.39 0.91 1.27 0.61 1.18 1.13 1.1 1.1 1.14 1.34 1.32 1.48 0.94 0.62 0.72 0.98 1.21 1.18 0.86 0.72 0.98 0.83 1.25 0.39 1.06 1.22 1.18 1.39 1.29 1.35 0.93 0.64 0.67 0.61 1.12 1.07 1.06 1.02 1.1 0.82 1.28 0.79 1.34 0.05 1.2 1.19 1.17 1.28 1.29 1.35 1.44 1.07 0.94 1 0.6 0.91 0.75 0.71 0.7 0.55 0.88 0.64 0.51 0.57 0.67 0.79 1.01 0.76 0.79 1.45 1.07 0.26 1.22 0.76 1.32 0.59 1.19 1.13 1.13 0.98 1 1.01 0.99 0.95 1.3 1.07 1.15 1.09 1.08 1.04 0.49 0.91 0.9 0.93 0.8 0.89 0.98 1.02 1 1.05 0.72 0.9 1.02 0.98 0.93 1.14 0.85 1.04 0.24 1.02 1.05 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana Uruguay 0.86 1.2 0.96 0.35 0.77 0.84 1.26 1.05 0.71 1.38 0.99 1.32 0.42 1.37 1.26
tem
Argentina
DC6B6IT01
0.93
DC6B6IT02
1.16
DC6B6IT03
DC6B6IT04
0.65
DC6B6IT05
0.76
DC6B6IT06
0.95
DC6B6IT07
1.46
DC6B6IT08
1.09
DC6B6IT09
0.7
DC6B6IT10
1.38
DC6B6IT11
0.86
DC6B6IT12
1.22
DC6B6IT13
0.38
DC6B6IT14
1.33
DC6B6IT15
1.15
PROPORCIN DE RESPUESTAS CORRECTAS DE CADA TEM POR PAS
Tabla 10a. CIENCIAS 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 1.
Colombia 0.55 0.59 0.37 0.68 0.47 0.44 0.41 0.67 0.24 0.42 0.29 0.57 0.38 0.4 0.4 1.03 0.36 0.64 0.33 0.45 0.5 0.54 0.34 0.38 0.8 0.47 0.8 0.82 0.23 0.4 0.7 0.4 0.35 0.34 0.39 0.53 0.31 0.28 0.35 0.53 0.16 0.24 0.15 0.85 0.75 0.72 0.75 0.62 0.43 0.37 0.36 0.36 0.75 0.17 0.34 0.26 0.31 0.35 0.28 0.28 0.55 0.41 0.37 0.43 0.33 0.7 0.51 0.44 0.4 0.4 0.85 0.56 0.65 0.59 0.6 0.56 0.33 0.22 0.33 0.25 0.28 0.66 0.35 0.31 0.31 0.71 0.26 0.31 0.2 0.31 0.28 0.31 0.32 0.63 0.47 0.61 0.51 0.71 0.5 0.57 0.59 0.67 0.58 0.53 0.53 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana 0.4 0.55 0.21 0.39 0.61 0.32 0.21 0.59 0.11 0.3 0.12 0.34 0.19 0.21 0.1 Uruguay 0.38 0.64 0.35 0.69 0.66 0.48 0.39 0.83 0.23 0.44 0.71 0.43 0.46 0.55 0.6
tem
Argentina
DC6B1IT01
0.41
DC6B1IT02
0.53
DC6B1IT03
0.28
DC6B1IT04
0.65
DC6B1IT05
0.57
CAPTULO 5
DC6B1IT06
0.43
DC6B1IT07
0.34
DC6B1IT08
0.79
DC6B1IT09
0.23
DC6B1IT10
0.43
DC6B1IT11
0.4
DC6B1IT12
0.46
DC6B1IT13
0.37
DC6B1IT14
0.37
DC6B1IT15
0.38
211
212
REPORTE TCNICO
Tabla 10b. CIENCIAS 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 2.
Colombia 0.7 0.26 0.25 0.78 0.7 0.45 0.31 0.22 0.18 0.38 0.42 0.64 0.12 0.2 0.12 0.55 0.11 0.16 0.46 0.2 0.24 0.35 0.09 0.15 0.71 0.68 0.44 0.59 0.47 0.46 0.42 0.63 0.1 0.24 0.1 0.66 0.32 0.42 0.32 0.53 0.11 0.28 0.15 0.66 0.24 0.36 0.31 0.43 0.18 0.31 0.43 0.58 0.11 0.24 0.2 0.5 0.35 0.32 0.26 0.33 0.53 0.59 0.47 0.48 0.44 0.83 0.59 0.66 0.6 0.62 0.93 0.79 0.71 0.67 0.66 0.68 0.56 0.38 0.3 0.42 0.16 0.28 0.5 0.67 0.1 0.18 0.03 0.49 0.26 0.24 0.2 0.23 0.26 0.43 0.35 0.35 0.27 0.36 0.41 0.91 0.58 0.7 0.48 0.6 0.57 0.43 0.35 0.18 0.53 0.47 0.38 0.1 0.31 0.12 0.22 0.3 0.34 0.08 0.29 0.08 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana Uruguay 0.77 0.21 0.3 0.82 0.69 0.48 0.29 0.45 0.27 0.41 0.58 0.66 0.17 0.28 0.29
tem
Argentina
DC6B2IT01
0.72
DC6B2IT02
0.26
DC6B2IT03
0.28
DC6B2IT04
0.76
DC6B2IT05
0.65
DC6B2IT06
0.42
DC6B2IT07
0.3
DC6B2IT08
0.39
DC6B2IT09
0.18
DC6B2IT10
0.37
DC6B2IT11
0.47
DC6B2IT12
0.58
DC6B2IT13
0.12
DC6B2IT14
0.24
DC6B2IT15
0.2
Tabla 10c. CIENCIAS 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 3. Cuba Panam Paraguay Per El Salvador Nuevo Len
tem
Argentina Colombia
CAPTULO 5
0.66 0.33 0.26 0.56 0.25 0.24 0.65 0.6 0.44 0.13 0.25 0.54 0.58 0.14 0.54
0.72 0.3 0.17 0.66 0.27 0.23 0.78 0.65 0.42 0.13 0.31 0.56 0.61 0.21 0.4
0.81 0.39 0.42 0.8 0.23 0.28 0.84 0.7 0.54 0.39 0.45 0.67 0.89 0.27 0.81
0.58 0.34 0.18 0.4 0.31 0.24 0.71 0.67 0.42 0.15 0.4 0.54 0.49 0.16 0.27
0.58 0.38 0.2 0.61 0.28 0.28 0.69 0.76 0.45 0.1 0.32 0.47 0.69 0.18 0.46
0.61 0.38 0.21 0.41 0.27 0.21 0.76 0.64 0.36 0.19 0.37 0.48 0.42 0.15 0.34
0.63 0.29 0.17 0.39 0.3 0.2 0.74 0.62 0.35 0.16 0.24 0.54 0.48 0.17 0.37
0.48 0.31 0.11 0.47 0.32 0.16 0.7 0.56 0.38 0.17 0.33 0.47 0.47 0.15 0.35
Repblica Domini- Uruguay cana 0.31 0.65 0.31 0.31 0.15 0.33 0.47 0.64 0.21 0.24 0.11 0.25 0.68 0.68 0.44 0.62 0.26 0.46 0.24 0.11 0.39 0.32 0.39 0.6 0.4 0.61 0.09 0.18 0.08 0.39
213
214
REPORTE TCNICO
Tabla 10d. CIENCIAS 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 4.
tem
Argentina
DC6B4IT01
0.45
DC6B4IT02
0.2
DC6B4IT03
0.36
DC6B4IT04
0.86
DC6B4IT05
0.49
DC6B4IT06
0.6
DC6B4IT07
0.46
DC6B4IT08
0.19
DC6B4IT09
0.53
DC6B4IT10
0.47
DC6B4IT11
0.24
DC6B4IT12
0.57
DC6B4IT13
0.11
DC6B4IT14
0.56
DC6B4IT15
0.7
Tabla 10e. CIENCIAS 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 5.
Colombia 0.24 0.57 0.29 0.67 0.74 0.39 0.28 0.6 0.28 0.31 0.3 0.38 0.57 0.33 0.05 0.53 0.03 0.55 0.26 0.35 0.14 0.74 0.44 0.55 0.63 0.28 0.28 0.46 0.27 0.35 0.65 0.27 0.36 0.13 0.24 0.25 0.46 0.27 0.11 0.58 0.19 0.26 0.18 0.75 0.54 0.58 0.56 0.53 0.28 0.22 0.22 0.3 0.45 0.21 0.33 0.23 0.3 0.47 0.28 0.06 0.4 0.35 0.35 0.39 0.33 0.84 0.62 0.74 0.68 0.6 0.84 0.53 0.58 0.51 0.5 0.6 0.24 0.29 0.16 0.23 0.19 0.46 0.6 0.39 0.28 0.47 0.15 0.28 0.25 0.3 0.46 0.25 0.05 0.58 0.36 0.41 0.38 0.37 0.47 0.65 0.7 0.38 0.61 0.29 0.25 Cuba El Salvador Nuevo Len Panam Paraguay Per Repblica Dominicana 0.3 0.34 0.15 0.38 0.41 0.39 0.32 0.44 0.19 0.16 0.22 0.23 0.33 0.18 0.01 Uruguay 0.2 0.54 0.57 0.73 0.72 0.37 0.31 0.62 0.3 0.39 0.27 0.34 0.62 0.39 0.18
tem
Argentina
DC6B5IT01
0.29
DC6B5IT02
0.55
DC6B5IT03
0.32
DC6B5IT04
0.66
DC6B5IT05
0.69
DC6B5IT06
0.36
CAPTULO 5
DC6B5IT07
0.31
DC6B5IT08
0.55
DC6B5IT09
0.28
DC6B5IT10
0.34
DC6B5IT11
0.29
DC6B5IT12
0.26
DC6B5IT13
0.53
DC6B5IT14
0.32
DC6B5IT15
0.07
215
216
REPORTE TCNICO
Tabla 10f. CIENCIAS 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 6.
tem
Argentina
DC6B6IT01
0.23
DC6B6IT02
0.2
DC6B6IT03
0.19
DC6B6IT04
0.43
DC6B6IT05
0.25
DC6B6IT06
0.59
DC6B6IT07
0.55
DC6B6IT08
0.39
DC6B6IT09
0.44
DC6B6IT10
0.57
DC6B6IT11
0.49
DC6B6IT12
0.42
DC6B6IT13
0.41
DC6B6IT14
0.48
DC6B6IT15
0.66
V.2.2. tems de Lectura 3

Esta seccin contiene los resultados del procesamiento de datos para anlisis de tems del Estudio Principal del Segundo Estudio Regional Comparativo y Explicativo SERCE, el cual incluy la aplicacin de pruebas de Lectura (grados tercero y sexto), Matemtica (grados tercero y sexto) y Ciencias (grado sexto); la aplicacin de la prueba de Ciencias se realiz en aquellos pases que voluntariamente optaron por incluirla. El procesamiento de datos se realiz de acuerdo con lo planteado en el Documento Tcnico del Procesamiento de datos para el Anlisis de tems y la Produccin de Resultados del SERCE, en el cual se propuso la Teora de Respuesta a tem como modelo de anlisis y una serie de indicadores estadsticos para evaluar el comportamiento de tems y de grupos de tems; en dicho documento se hicieron explcitos los criterios de anlisis para cada indicador durante el anlisis de tems. Es de anotar que el anlisis de tems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los tems de un instrumento, en relacin con los propsitos para los cuales fueron elaborados. Su realizacin exige armonizar el conocimiento profundo del objeto de evaluacin, la poblacin evaluada y los propsitos de la evaluacin con la capacidad para interpretar adecuadamente los indicadores estadsticos disponibles. El proceso de anlisis de tems del Estudio Principal conducir a la toma de decisiones en relacin con la inclusin o exclusin de tems para la fase de calificacin y produccin de resultados del Estudio. Los indicadores reportados en este documento sern objeto de anlisis por parte de los expertos en psicometra y en cada disciplina a fin de asegurar que la produccin de los resultados finales del SERCE utilice la informacin de mayor calidad. Resultados sobresalientes La prueba result ajustada, en su dificultad, al conjunto de estudiantes con los que se estimaron los indicadores. Para la muestra utilizada en el anlisis, el Bloque 1 result ser el ms fcil y el Bloque 2 el ms difcil; la diferencia entre los dos es de 1.42 logits. De acuerdo con los resultados de ajuste, se deben eliminar, para la calificacin final los tems: DL3B1IT06, DL3B3IT04, DL3B4IT08 y DL3B6IT03. No obstante, se recomienda que el grupo de expertos analice con cuidado estos tems ya que algunos se encuentran muy cerca del criterio de eliminacin. Se recomienda revisar los procesos de aplicacin de las pruebas en Repblica Dominicana ya que es alto el porcentaje de casos eliminados por los criterios establecidos en el documento tcnico de procesamiento.
Depuracin de la informacin recibida El Laboratorio Latinoamericano para la Evaluacin de la Calidad de la Educacin, LLECE, envi las bases de datos con las respuestas de los estudiantes evaluados en el Estudio Principal del SERCE, a partir de las cuales se producirn resultados. Esta base de datos ya haba sido depurada de acuerdo con criterios preestablecidos. En concordancia con el procedimiento planteado en el documento tcnico para el Procesamiento de Datos para el anlisis de tem y la Produccin de Resultados del Estudio Principal del SERCE, se realizaron dos procedimientos de depuracin de las bases de datos recibidas para obtener los diferentes indicadores de los tems, de los bloques y de la prueba, luego de excluir la informacin del Estado de Nuevo Len. Dadas las caractersticas de la participacin del Estado de Nuevo Len (Mxico), se debe eliminar su informacin al estimar los indicadores para
CAPTULO 5
217
realizar el anlisis de tem. En Lectura de grado tercero participaron 5574 estudiantes de este estado. Procedimiento 1. Depuracin por preguntas no alcanzadas: Se eliminan los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos ltimos tems del bloque que ocupe la segunda posicin en su cuadernillo. Esta eliminacin de registros se realiza antes de procesar los datos. La base de datos que resulta despus de este proceso es la que se utiliza para la estimacin de los valores de ajuste de los estudiantes. Procedimiento 2. Depuracin por desajuste de estudiantes evaluados: Se eliminan los registros de aquellos estudiantes evaluados cuyo valor de ajuste prximo o lejano sea inferior a 0.7 o superior a 1.3. Este proceso se lleva a cabo slo con los estudiantes que respondieron por lo menos un tem de la prueba y las dos ltimas preguntas del cuadernillo asignado. El resultado es una nueva base de datos slo con los registros de los estudiantes que se utilizan para la estimacin de los parmetros de los tems, bloques y pruebas. El proceso de depuracin se observa en la tabla 1, con informacin por pas. DEPURACIN Pas Argentina Brasil Chile Colombia Costa Rica Cuba Ecuador El Salvador Estado Nuevo Len Guatemala Mxico Nicaragua Panam Paraguay Per Rep. Dominicana Uruguay TOTAL N Inicial 5781 5388 5791 5634 5025 5291 4993 7302 5574 6677 4579 6211 6163 5066 4640 3947 6558 94620 284 95 97 128 383 111 430 382 2888 1861 1214 1468 1654 1484 1215 1497 1614 24222 4532 3270 4646 4381 3199 3314 2020 4562 61936 67,9 71,4 74,8 71,1 63,1 71,4 51,2 69,6 65,5 N No Alcanzadas 291 117 124 92 48 6 227 73 N Desajuste 1506 1383 1565 1406 1328 1771 1378 1878 N Final 3984 3888 4102 4136 3649 3514 3388 5351 % 68,9 72,2 70,8 73,4 72,6 66,4 67,9 73,3
218
REPORTE TCNICO
La columna identificada con %, indica el porcentaje de estudiantes que quedan luego de los procesos de depuracin, para la estimacin de indicadores. Con excepcin de Repblica Dominicana, todos los pases tienen un porcentaje de participacin, en la estimacin de los indicadores de los tems, superior al 60%. Del total de 16 pases con informacin para la estimacin de indicadores, 9 participan con ms del 70% de sus estudiantes evaluados. Es importante revisar el proceso de aplicacin de pruebas en Repblica Dominicana de tal manera que se pudiera explicar una prdida tan grande. Repblica Dominicana (10.9%), Paraguay (7.56%), Uruguay (5.8%), Argentina (5%), Ecuador (4.5) y Guatemala (4.3%) son los pases con ms prdida de registros de informacin por no alcanzar los 2 ltimos tems. Repblica Dominicana (42.5% ), Cuba (33.5% ) y Paraguay (31.7% ) son los pases con una prdida mayor al 30% de sus registros por desajuste, a partir de los datos de poblacin luego de la primera depuracin. Luego de la depuracin realizada, el nmero de estudiantes por bloque y por cuadernillo cuya informacin se utiliza para la estimacin de indicadores se encuentra en las tablas 2 y 3.
Tabla 2. LECTURA 3. Nmero de estudiantes por bloque.
Bloque
1 2 3 4 5 6
N
18615 20628 20768 21023 22553 20285
Tabla 3. LECTURA 3. Nmero de estudiantes por cuadernillo.
Cuadernillo
1 2 3 4 5 6
N
9663 9803 11333 10965 11220 8952
CAPTULO 5
219
Anlisis de datos
A continuacin se presentan los indicadores para realizar el anlisis de tem, de bloque y de prueba. Las tablas presentan informacin separada por bloques para facilitar los procesos de anlisis por parte del equipo de expertos; no obstante, el procesamiento de datos se realiz para la prueba como una totalidad. INDICADORES POR TEM Tabla 4a LECTURA 30. Indicadores por tem Bloque 1
Error de Correlacin Discrimin. Medicin punto-medida 0.017 0.02 0.016 0.016 0.016 0.033 0.017 0.016 0.025 0.016 0.017 1.07 1.06 1.4 1.25 0.85 1.06 1.27 0.96 1.04 1.05 1.09 0.4 0.38 0.5 0.46 0.35 0.34 0.48 0.38 0.34 0.4 0.41 Ajuste Prximo (Infit) 0.97 0.97 0.87 0.92 1.04 0.93 0.89 1.01 0.97 0.98 0.96 Ajuste Lejano (Outfit) 0.95 0.87 0.85 0.91 1.06 0.6 0.82 1.03 0.82 1 0.96
tem DL3B1IT01 DL3B1IT02 DL3B1IT03 DL3B1IT04 DL3B1IT05 DL3B1IT06 DL3B1IT07 DL3B1IT08 DL3B1IT09 DL3B1IT10 DL3B1IT11
Formato SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR
Dificultad -0.968 -1.644 0.397 0.391 0.007 -3.237 -0.911 -0.22 -2.425 0.327 -0.913
N 18467 18467 18467 18467 18467 18467 18467 18467 18467 18467 18467
220
REPORTE TCNICO
Tabla 4b. LECTURA 3. Indicadores por tem. Bloque 2.

Error de Medicin 0.016 0.016 0.015 0.015 0.016 0.016 0.016 0.016 0.016 0.016 0.018 Correlacin punto-medida 0.32 0.38 0.28 0.37 0.23 0.25 0.33 0.37 0.4 0.38 0.49 Ajuste Prximo (Infit) 1.05 1 1.12 1.03 1.17 1.16 1.08 1.03 0.99 1.01 0.87 Ajuste Lejano (Outfit) 1.09 1.05 1.17 1.04 1.26 1.22 1.09 1.05 0.96 1.03 0.78
Dificultad -0.687 0.684 0.053 0.443 0.632 0.745 0.671 0.773 0.895 0.717 1.43
Discrimin. 0.85 0.97 0.55 0.9 0.5 0.59 0.8 0.93 1.03 0.96 1.19
N 20420 20420 20420 20420 20420 20420 20420 20420 20420 20420 20420
Tabla 4c. LECTURA 3. Indicadores por tem. Bloque 3.

Error de Medicin 0.015 0.02 0.02 0.02 0.016 0.016 0.016 0.016 0.017 0.016 0.016 Correlacin punto-medida 0.41 0.4 0.4 0.47 0.46 0.4 0.44 0.38 0.44 0.5 0.44 Ajuste Prximo (Infit) 1.02 0.94 0.95 0.85 0.97 1.04 0.98 1.04 0.99 0.89 0.97 Ajuste Lejano (Outfit) 1.05 0.82 0.8 0.67 0.96 1.07 0.99 1.1 0.99 0.85 0.96
Dificultad -0.118 -1.818 -1.864 -1.848 0.564 0.626 0.168 -0.417 1.012 -0.349 -0.436
Discrimin. 0.92 1.08 1.08 1.18 1.09 0.88 1.06 0.85 1.01 1.33 1.09
N 20371 20371 20371 20371 20371 20371 20371 20371 20371 20371 20371
CAPTULO 5
221
Tabla 4d. LECTURA 3. Indicadores por tem. Bloque 4.

Error de Medicin 0.016 0.017 0.017 0.019 0.016 0.016 0.016 0.016 0.018 0.016 0.017 Correlacin Discrimin. punto-medida 1.26 1.24 1.14 1.17 0.7 0.96 1.29 0.26 1.05 0.72 1.09 0.52 0.5 0.46 0.47 0.38 0.44 0.52 0.26 0.48 0.36 0.49 Ajuste Prximo (Infit) 0.9 0.86 0.92 0.87 1.1 1.01 0.89 1.26 0.97 1.1 0.95 Ajuste Lejano (Outfit) 0.88 0.76 0.82 0.74 1.16 1.03 0.85 1.39 0.88 1.17 0.9
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR -0.21 -1.312 -1.333 -1.727 -0.17 -0.155 -0.542 -0.363 1.402 -0.628 1.044
N 20530 20530 20530 20530 20530 20530 20530 20530 20530 20530 20530
Tabla 4e. LECTURA 3. Indicadores por tem. Bloque 5.

Error de Medicin 0.015 0.015 0.015 0.017 0.016 0.015 0.015 0.016 0.015 0.015 0.015 Correlacin punto-medida 0.35 0.49 0.46 0.45 0.41 0.29 0.45 0.51 0.36 0.52 0.38 Ajuste Prximo (Infit) 1.08 0.91 0.95 0.95 0.99 1.15 0.96 0.89 1.07 0.86 1.04 Ajuste Lejano (Outfit) 1.12 0.87 0.96 0.87 0.98 1.2 0.93 0.83 1.1 0.79 1.08
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR -0.386 -0.415 0.288 1.406 -0.798 -0.467 -0.507 1 0.744 -0.747 -0.463
Discrimin. 0.77 1.27 1.13 1.09 1.03 0.59 1.12 1.23 0.83 1.33 0.87
N 22284 22284 22284 22284 22284 22284 22284 22284 22284 22284 22284
222
REPORTE TCNICO
Tabla 4f. LECTURA 3. Indicadores por tem. Bloque 6.

Error de Medicin 0.015 0.017 0.016 0.016 0.017 0.015 0.015 0.015 0.017 0.016 0.017 Correlacin Discrimin. punto-medida 0.94 1.06 0.1 1.23 1.01 0.76 1.14 1.05 1.05 0.49 1.07 0.38 0.4 -0.01 0.47 0.38 0.33 0.43 0.41 0.39 0.24 0.4 Ajuste Prximo (Infit) 1.02 0.96 1.41 0.91 1 1.07 0.96 0.98 0.97 1.16 0.96 Ajuste Lejano (Outfit) 1.02 0.95 1.59 0.89 0.97 1.09 0.95 0.99 0.94 1.22 0.93
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR 0.126 1.282 0.91 0.707 1.138 0.209 -0.248 0.131 1.226 0.37 -1.224
N 20172 20172 20172 20172 20172 20172 20172 20172 20172 20172 20172
CAPTULO 5
223
INDICADORES POR OPCIN Tabla 5a. LECTURA 3. Indicadores por opcin. Bloque 1.
tem Opcin Opciones de correcta respuesta 1 2 DL3B1IT01 4 3 4 Multimarca Omisin 1 2 DL3B1IT02 2 3 4 Multimarca Omisin 1 2 DL3B1IT03 4 3 4 Multimarca Omisin 1 2 DL3B1IT04 3 3 4 Multimarca Omisin 1 2 DL3B1IT05 1 3 4 Multimarca Omisin Promedio de Error de Ajuste N Correlacin habilidad Medicin (Outfit) de Respuesta -0.5 -0.9 -0.64 0.26 -3.17 -0.54 -0.8 0.18 -0.66 -0.69 -3.06 -0.79 -0.49 -0.51 -0.28 0.6 -2.69 -0.99 -0.27 -0.48 0.54 -0.35 -2.98 -0.39 0.35 -0.51 -0.08 -0.45 -2.76 -0.26 0.01 0.03 0.03 0.01 0.2 0.04 0.02 0.01 0.03 0.02 0.2 0.12 0.01 0.01 0.01 0.01 0.22 0.11 0.01 0.01 0.01 0.02 0.22 0.05 0.01 0.01 0.02 0.01 0.19 0.04 1 0.68 0.87 0.97 0.46 1.09 0.77 0.98 0.91 0.85 0.61 1.01 0.8 0.8 1.02 0.83 0.64 0.6 1.03 0.8 0.92 0.93 0.63 1.03 1.08 0.85 1.38 0.87 0.5 1.23 -0.22 -0.19 -0.13 0.4 -0.23 -0.1 -0.23 0.38 -0.14 -0.16 -0.23 -0.06 -0.23 -0.22 -0.12 0.5 -0.2 -0.08 -0.11 -0.27 0.46 -0.11 -0.22 -0.06 0.35 -0.21 -0.02 -0.17 -0.22 -0.04 3341 910 782 12810 105 667 1514 14851 962 1054 115 119 3881 3277 3551 7658 111 137 3055 5089 7681 2148 109 533 9160 3176 2824 2740 132 583
224
REPORTE TCNICO
tem
Opcin Opciones de correcta respuesta 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin
Promedio de Error de Ajuste N Correlacin habilidad Medicin (Outfit) de Respuesta 0.07 -1.36 -0.93 -1.18 -2.89 -2.01 -0.75 0.32 -0.65 -0.65 -2.51 -0.98 -0.41 -0.21 0.34 -0.65 -2.91 -0.79 0.1 -1.1 -0.47 -1.15 -4 -1.23 -0.48 -0.14 -0.8 0.46 -2.88 -0.9 -0.79 -0.76 0.27 -0.3 -2.89 -0.81 0.01 0.04 0.04 0.06 0.17 0.21 0.02 0.01 0.02 0.01 0.16 0.11 0.01 0.02 0.01 0.03 0.19 0.1 0.01 0.03 0.03 0.03 0.2 0.13 0.01 0.01 0.02 0.01 0.2 0.08 0.02 0.02 0.01 0.02 0.17 0.1 0.95 0.51 0.72 0.58 0.53 0.41 0.72 0.92 0.82 0.78 0.54 0.87 0.99 1.36 1 0.88 0.46 1.06 0.97 0.62 1.11 0.57 0.5 0.69 0.84 1.14 0.58 1.02 0.53 0.68 0.7 0.76 0.97 1.26 0.48 0.82 0.34 -0.19 -0.12 -0.1 -0.25 -0.1 -0.23 0.48 -0.18 -0.23 -0.23 -0.09 -0.25 -0.06 0.38 -0.15 -0.23 -0.08 0.34 -0.19 -0.09 -0.18 -0.26 -0.09 -0.19 -0.08 -0.22 0.4 -0.23 -0.09 -0.22 -0.24 0.41 -0.11 -0.25 -0.06 17531 410 318 160 149 47 1713 12612 1550 2414 161 165 5579 1673 10046 996 128 193 16510 610 794 515 87 99 3021 5829 1484 7922 132 227 1450 1858 12619 2431 145 112
DL3B1IT06
DL3B1IT07
DL3B1IT08
DL3B1IT09
DL3B1IT10
DL3B1IT11
CAPTULO 5
225
Tabla 5b. LECTURA 3. Indicadores por opcin. Bloque 2.

tem Opcin correcta Opciones de respuesta 1 2 DL3B2IT01 4 3 4 Multimarca Omisin 1 2 DL3B2IT02 2 3 4 Multimarca Omisin 1 2 DL3B2IT03 3 3 4 Multimarca Omisin 1 2 DL3B2IT04 4 3 4 Multimarca Omisin 1 2 DL3B2IT05 1 3 4 Multimarca Omisin Promedio de habilidad -0.22 -0.73 -0.53 0.31 -2.13 -0.98 -0.15 0.59 -0.16 -0.5 -2.39 -0.81 -0.58 0 0.36 -0.28 -2.29 -0.65 -0.16 -0.53 -0.11 0.52 -2.27 -0.59 0.37 0.04 -0.14 -0.2 -2.36 -0.73 Error de Ajuste N Correlacin Medicin (Outfit) de Respuesta 0.01 0.02 0.03 0.01 0.13 0.1 0.01 0.01 0.02 0.02 0.17 0.05 0.02 0.01 0.01 0.02 0.19 0.09 0.01 0.02 0.02 0.01 0.14 0.06 0.01 0.01 0.01 0.02 0.14 0.04 1.28 0.73 0.9 1.04 0.5 0.64 1.03 1.09 1.19 0.72 0.46 0.61 0.76 1.51 1.14 1.11 0.67 0.89 1.06 0.75 1.2 1.06 0.41 0.86 1.29 1.44 1.08 1.07 0.38 0.73 -0.15 -0.19 -0.11 0.32 -0.2 -0.07 -0.15 0.38 -0.08 -0.18 -0.19 -0.12 -0.19 -0.03 0.28 -0.14 -0.17 -0.06 -0.12 -0.21 -0.07 0.37 -0.2 -0.08 0.23 -0.01 -0.09 -0.09 -0.2 -0.14 4822 1290 851 13364 192 109 7678 7600 2595 2210 134 411 1938 4561 10253 3586 118 172 5423 2706 3360 8590 171 378 7810 5384 4253 2279 162 740
226
REPORTE TCNICO
tem
Opcin correcta
Opciones de respuesta 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin
Promedio de habilidad 0.41 0.07 -0.22 -0.24 -1.83 -0.47 -0.14 -0.46 -0.05 0.51 -2.74 -0.35 -0.26 -0.3 0.58 -0.06 -2.54 -0.52 -0.06 -0.78 -0.54 0.66 -1.98 -1.21 0.59 0.03 -0.5 -0.42 -1.06 -0.79 -0.19 -0.23 0.99 -0.17 -2.02 -0.65
Error de Ajuste N Correlacin Medicin (Outfit) de Respuesta 0.01 0.01 0.01 0.02 0.12 0.04 0.01 0.02 0.01 0.01 0.16 0.04 0.01 0.02 0.01 0.01 0.15 0.04 0.01 0.02 0.02 0.01 0.13 0.11 0.01 0.01 0.02 0.01 0.1 0.07 0.01 0.01 0.02 0.02 0.14 0.07 1.25 1.46 0.98 0.93 0.45 0.9 1.11 0.82 1.31 1.08 0.4 1 0.9 0.99 1.07 1.17 0.37 0.78 1.12 0.51 0.65 0.95 0.43 0.48 1.04 1.31 0.73 0.74 0.76 0.69 0.87 0.84 0.76 0.98 0.51 0.69 0.25 0.01 -0.13 -0.1 -0.18 -0.1 -0.12 -0.18 -0.05 0.33 -0.22 -0.06 -0.18 -0.12 0.37 -0.06 -0.21 -0.09 -0.11 -0.25 -0.14 0.4 -0.2 -0.1 0.38 -0.02 -0.19 -0.21 -0.13 -0.1 -0.15 -0.19 0.49 -0.08 -0.19 -0.08 7357 5801 3913 2482 220 855 5709 2432 4131 7654 143 559 5648 2226 7249 4837 154 514 10461 1840 1205 6776 213 133 7471 6346 2441 3734 299 337 5974 6799 4907 2494 191 263
DL3B2IT06
DL3B2IT07
DL3B2IT08
DL3B2IT09
DL3B2IT10
DL3B2IT11
CAPTULO 5
227
Tabla 5c. LECTURA 3. Indicadores por opcin. Bloque 3.

tem Opcin Opciones de Promedio de Error de Ajuste Correlacin N de Respuesta correcta respuesta habilidad Medicin (Outfit) 1 2 DL3B3IT01 2 3 4 Multimarca Omisin 1 2 DL3B3IT02 4 3 4 Multimarca Omisin 1 2 DL3B3IT03 1 3 4 Multimarca Omisin 1 2 DL3B3IT04 3 3 4 Multimarca Omisin 1 2 DL3B3IT05 2 3 4 Multimarca Omisin -0.43 0.5 -0.31 -0.75 -1.43 -1.21 -1.31 -0.75 -0.83 0.26 -2.52 -1.37 0.26 -0.75 -0.88 -1.04 -2.23 -1.61 -1.25 -0.97 0.3 -0.96 -2.73 -1.44 -0.35 0.73 -0.33 -0.42 -2.39 -1.06 0.01 0.01 0.02 0.03 0.09 0.08 0.04 0.02 0.03 0.01 0.14 0.08 0.01 0.02 0.03 0.03 0.1 0.09 0.02 0.02 0.01 0.03 0.12 0.08 0.01 0.01 0.01 0.02 0.1 0.07 1.05 1.07 1.25 0.72 0.7 0.53 0.63 0.91 0.83 0.94 0.44 0.61 0.99 0.88 0.79 0.68 0.48 0.53 0.54 0.73 0.87 0.72 0.31 0.62 0.97 0.96 0.99 0.91 0.26 0.61 -0.26 0.41 -0.09 -0.13 -0.16 -0.11 -0.22 -0.19 -0.16 0.4 -0.18 -0.13 0.4 -0.17 -0.15 -0.21 -0.21 -0.13 -0.28 -0.22 0.47 -0.14 -0.21 -0.14 -0.21 0.46 -0.15 -0.11 -0.21 -0.12 6596 10919 1858 830 348 217 784 1604 979 16990 151 260 17105 1323 818 1070 255 197 1364 1314 17065 582 178 265 6096 8115 4223 1730 225 379
228
REPORTE TCNICO
tem
Opcin Opciones de Promedio de Error de Ajuste Correlacin N de Respuesta correcta respuesta habilidad Medicin (Outfit) 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.55 -0.11 -0.22 0.65 -2.4 -0.86 -0.55 0.61 -0.38 -0.43 -1.43 -0.64 0.42 -0.1 -0.58 -0.72 -1.79 -1.4 -0.39 -0.36 0.82 -0.1 -1.88 -0.65 -0.74 -0.68 -0.47 0.56 -2.29 -0.97 -0.6 -0.61 -0.44 0.48 -2.31 -0.68 0.02 0.02 0.01 0.01 0.11 0.06 0.02 0.01 0.02 0.01 0.11 0.07 0.01 0.02 0.01 0.05 0.12 0.1 0.01 0.01 0.02 0.01 0.11 0.05 0.01 0.02 0.01 0.01 0.11 0.1 0.02 0.02 0.02 0.01 0.12 0.07 0.81 1.27 1.04 1.1 0.28 0.86 0.97 1 1.06 0.96 0.76 1.01 1.2 1.52 0.86 0.88 0.8 0.58 0.92 0.88 1 1.12 0.48 0.75 0.72 0.76 0.97 0.9 0.4 0.89 0.91 0.84 1.02 1 0.52 1.09 -0.22 -0.05 -0.12 0.4 -0.2 -0.12 -0.17 0.44 -0.12 -0.24 -0.14 -0.07 0.38 -0.04 -0.3 -0.1 -0.16 -0.11 -0.19 -0.17 0.44 -0.06 -0.17 -0.09 -0.28 -0.17 -0.18 0.5 -0.2 -0.09 -0.23 -0.19 -0.14 0.44 -0.2 -0.07 3752 3499 4928 7872 207 510 2241 9724 2140 6051 265 347 12154 2187 5535 475 234 183 4617 4308 6429 4654 247 513 3427 1673 3348 11875 227 218 3283 2255 2485 12232 217 296
DL3B3IT06
DL3B3IT07
DL3B3IT08
DL3B3IT09
DL3B3IT10
DL3B3IT11
CAPTULO 5
229
Tabla 5d. LECTURA 3. Indicadores por opcin. Bloque 4.

tem Opcin Opciones de Promedio de Error de Ajuste Correlacin N de Respuesta correcta respuesta habilidad Medicin (Outfit) 1 2 DL3B4IT01 2 3 4 Multimarca Omisin 1 2 DL3B4IT02 4 3 4 Multimarca Omisin 1 2 DL3B4IT03 2 3 4 Multimarca Omisin 1 2 DL3B4IT04 3 3 4 Multimarca Omisin 1 2 DL3B4IT05 2 3 4 Multimarca Omisin -0.76 0.62 -0.9 -0.58 -2.6 -0.64 -1.02 -1.21 -0.94 0.39 -3.13 -1.31 -0.9 0.36 -1.14 -0.88 -2.2 -1.44 -1.03 -1.24 0.31 -1.26 -3.28 -1.33 -0.72 0.47 -0.44 -0.37 -1.15 -1 0.01 0.01 0.04 0.01 0.12 0.05 0.02 0.03 0.02 0.01 0.13 0.08 0.02 0.01 0.03 0.02 0.11 0.11 0.02 0.03 0.01 0.03 0.13 0.07 0.02 0.01 0.02 0.01 0.09 0.08 0.79 0.92 0.73 0.89 0.31 1.17 0.75 0.58 0.79 0.86 0.22 0.63 0.86 0.93 0.64 0.79 0.52 0.68 0.81 0.58 0.88 0.58 0.21 0.68 1.02 1.17 1.15 1.24 1.11 0.88 -0.29 0.52 -0.12 -0.22 -0.18 -0.09 -0.29 -0.18 -0.24 0.5 -0.2 -0.1 -0.25 0.46 -0.18 -0.21 -0.19 -0.09 -0.27 -0.21 0.47 -0.18 -0.2 -0.12 -0.19 0.38 -0.13 -0.15 -0.13 -0.1 4196 11263 662 4027 175 700 2471 747 2038 15443 138 186 2390 15512 848 1880 255 138 2218 990 16722 677 126 290 2153 11100 2523 4515 419 313
230
REPORTE TCNICO
tem
Opcin Opciones de Promedio de Error de Ajuste Correlacin N de Respuesta correcta respuesta habilidad Medicin (Outfit) 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.88 -0.7 0.55 -0.38 -1.94 -1.03 -0.84 -0.68 0.55 -0.81 -2.7 -0.89 -0.62 0.3 -0.84 0.03 -2.52 -1.2 -0.33 -0.19 -0.77 1.08 -2.25 -0.96 -0.85 0.37 -0.35 -0.5 -3.06 -0.56 -0.21 0.97 -1.04 -0.74 -0.92 -0.68 0.02 0.02 0.01 0.01 0.13 0.1 0.01 0.02 0.01 0.02 0.15 0.08 0.02 0.01 0.03 0.01 0.14 0.08 0.01 0.02 0.03 0.02 0.12 0.1 0.02 0.01 0.02 0.02 0.13 0.07 0.01 0.02 0.03 0.02 0.06 0.07 0.76 0.97 1.03 1.2 0.65 0.92 0.77 0.91 0.9 0.74 0.45 0.96 1.28 1.26 0.79 1.91 0.51 0.76 0.94 1.12 0.64 0.85 0.38 0.62 0.97 1.1 1.46 1.19 0.25 1.39 1.11 0.88 0.45 0.59 0.84 0.86 -0.25 -0.15 0.44 -0.17 -0.15 -0.08 -0.32 -0.18 0.52 -0.18 -0.17 -0.08 -0.18 0.26 -0.17 0.01 -0.18 -0.11 -0.23 -0.08 -0.15 0.48 -0.18 -0.07 -0.22 0.36 -0.11 -0.14 -0.19 -0.05 -0.15 0.49 -0.19 -0.23 -0.13 -0.07 2475 1595 11037 5481 220 215 4056 2294 12605 1636 136 296 2640 11887 1415 4610 183 288 9600 4561 1231 5224 221 186 2219 12943 2833 2557 140 331 9540 6386 1066 2996 702 333
DL3B4IT06
DL3B4IT07
DL3B4IT08
DL3B4IT09
DL3B4IT10
DL3B4IT11
CAPTULO 5
231

tem Opcin correcta Opciones de Promedio de Error de Ajuste Correlacin N de Respuesta respuesta habilidad Medicin (Outfit) 1 2 DL3B5IT01 1 3 4 Multimarca Omisin 1 2 DL3B5IT02 3 3 4 Multimarca Omisin 1 2 DL3B5IT03 4 3 4 Multimarca Omisin 1 2 DL3B5IT04 4 3 4 Multimarca Omisin 1 2 DL3B5IT05 1 3 4 Multimarca Omisin 0.39 -0.63 -0.14 -0.2 -2.31 -0.79 -0.65 -0.54 0.52 -0.5 -2.59 -1.23 -0.43 -0.7 -0.22 0.63 -2.56 -0.83 -0.21 -0.56 0.02 0.94 -2.59 -0.53 0.39 -0.9 -0.92 -0.3 -2.39 -1.11 0.01 0.01 0.02 0.02 0.12 0.06 0.01 0.01 0.01 0.02 0.14 0.09 0.02 0.02 0.01 0.01 0.15 0.06 0.01 0.02 0.02 0.01 0.14 0.05 0.01 0.02 0.02 0.01 0.12 0.08 1.1 0.77 1.48 1.38 0.5 0.83 0.75 0.86 0.94 0.87 0.48 0.59 0.95 0.62 1.16 0.94 0.48 0.71 0.91 0.68 1.24 0.85 0.33 0.79 1 0.61 0.61 1.25 0.47 0.64 0.35 -0.26 -0.06 -0.09 -0.2 -0.1 -0.25 -0.22 0.49 -0.17 -0.2 -0.1 -0.18 -0.23 -0.15 0.46 -0.19 -0.1 -0.22 -0.18 -0.02 0.45 -0.2 -0.08 0.41 -0.25 -0.19 -0.15 -0.21 -0.1 13224 3600 2308 2853 199 369 3196 3215 13353 2453 159 177 3547 2358 5957 10173 154 364 10441 2216 3643 5611 164 478 15001 1858 1011 4286 205 192
232
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de Error de Ajuste Correlacin N de Respuesta respuesta habilidad Medicin (Outfit) 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 0.32 -0.26 -0.31 -0.26 -2.23 -0.75 0.46 -0.52 -0.22 -0.71 -2.06 -1.03 -0.34 -0.17 0.91 -0.57 -2.14 -1.14 -0.02 -0.53 -0.32 0.6 -2.18 -0.41 -0.82 0.48 -0.71 -0.64 -1.86 -1.15 -0.51 0.4 -0.45 -0.31 -2.59 -0.63 0.01 0.02 0.02 0.02 0.1 0.06 0.01 0.02 0.02 0.01 0.1 0.12 0.01 0.01 0.01 0.04 0.15 0.09 0.01 0.02 0.01 0.01 0.12 0.06 0.02 0.01 0.02 0.01 0.11 0.12 0.01 0.01 0.02 0.02 0.12 0.06 1.17 1.3 1.24 1.25 0.39 0.94 1 0.89 1.26 0.69 0.51 0.69 0.86 1.01 0.81 0.72 0.62 0.51 1.26 0.77 0.92 1.13 0.44 1.01 0.7 0.87 0.75 0.8 0.65 0.68 0.92 1.04 1.08 1.34 0.42 0.99 0.29 -0.1 -0.13 -0.1 -0.21 -0.09 0.45 -0.19 -0.08 -0.3 -0.21 -0.06 -0.32 -0.1 0.51 -0.1 -0.17 -0.1 -0.04 -0.15 -0.2 0.36 -0.2 -0.05 -0.27 0.52 -0.18 -0.26 -0.18 -0.08 -0.21 0.38 -0.13 -0.13 -0.21 -0.07 13584 2451 3265 2635 240 378 13761 2711 2050 3661 270 100 10217 4125 7121 722 178 190 5987 1723 6045 8172 230 396 2409 14789 1574 3420 248 113 3311 13569 1772 3398 184 319
DL3B5IT06
DL3B5IT07
DL3B5IT08
DL3B5IT09
DL3B5IT10
DL3B5IT11
CAPTULO 5
233
Tabla 5f. LECTURA 3. Indicadores por opcin. Bloque 6.
tem
Opcin Opciones de Promedio de Error de Ajuste Correlacin N de Respuesta correcta respuesta habilidad Medicin (Outfit) 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.26 0.42 -0.33 -0.36 -2.26 -0.99 -0.07 0.71 -0.3 -0.35 -2.66 -0.72 0.01 0.43 -0.04 -0.59 -2.69 -0.8 -0.62 -0.26 0.66 -0.12 -2.84 -0.65 -0.38 0.63 -0.25 0.05 -2.95 -0.6 0.01 0.01 0.01 0.02 0.12 0.13 0.01 0.01 0.02 0.01 0.15 0.05 0.01 0.02 0.01 0.03 0.14 0.09 0.01 0.02 0.01 0.01 0.15 0.07 0.01 0.01 0.02 0.01 0.14 0.06 1.07 1.06 0.92 0.95 0.42 0.69 1.03 0.95 0.92 0.78 0.36 0.67 1.69 2.05 1.17 0.67 0.34 0.73 0.6 1.01 0.9 1.04 0.36 0.79 0.75 0.95 0.94 1.3 0.25 0.84 -0.16 0.38 -0.17 -0.09 -0.24 -0.07 -0.08 0.4 -0.11 -0.16 -0.23 -0.11 -0.01 0.21 -0.05 -0.13 -0.25 -0.09 -0.32 -0.08 0.47 -0.1 -0.25 -0.08 -0.24 0.38 -0.11 0.02 -0.25 -0.09 5105 9678 3945 1218 228 111 8717 5206 2289 3432 157 484 6517 4318 8130 899 179 242 4093 1639 7292 6803 156 302 5442 5694 2893 5716 150 390
DL3B6IT01
DL3B6IT02
DL3B6IT03
DL3B6IT04
DL3B6IT05
234
REPORTE TCNICO
tem
Opcin Opciones de Promedio de Error de Ajuste Correlacin N de Respuesta correcta respuesta habilidad Medicin (Outfit) 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 0.38 -0.3 0.01 -0.54 -2.9 -0.59 -0.25 -0.64 -0.75 0.41 -2.39 -0.8 -0.38 0.46 -0.39 -0.17 -2.64 -0.81 -0.1 -0.17 0.68 -0.31 -2.32 -0.5 -0.17 -0.09 -0.16 0.31 -2.76 -0.53 -0.54 0.26 -0.54 -0.81 -2.69 -0.75 0.01 0.01 0.02 0.02 0.16 0.09 0.01 0.02 0.02 0.01 0.14 0.1 0.01 0.01 0.02 0.02 0.16 0.1 0.01 0.01 0.01 0.01 0.14 0.07 0.01 0.02 0.02 0.01 0.15 0.08 0.01 0.01 0.03 0.03 0.14 0.1 1.11 1.01 1.38 0.77 0.61 0.97 1.13 0.72 0.64 0.96 0.59 0.91 0.88 1.03 0.93 1.17 0.63 0.76 1.08 0.99 0.94 0.78 0.54 0.86 1.19 1.46 1.34 1.18 0.41 0.98 0.95 0.96 1.03 0.72 0.5 1.01 0.33 -0.18 0 -0.19 -0.25 -0.06 -0.16 -0.19 -0.24 0.43 -0.23 -0.08 -0.23 0.41 -0.16 -0.07 -0.24 -0.07 -0.06 -0.13 0.39 -0.15 -0.24 -0.06 -0.12 -0.04 -0.07 0.24 -0.24 -0.06 -0.24 0.4 -0.12 -0.17 -0.25 -0.08 9325 5210 3296 2099 148 207 5296 1584 1781 11258 192 174 5100 9657 2899 2296 169 164 4289 6595 5391 3515 211 284 5966 2659 2597 8653 151 259 3204 15016 886 806 178 195
DL3B6IT06
DL3B6IT07
DL3B6IT08
DL3B6IT09
DL3B6IT10
DL3B6IT11
CAPTULO 5
235
MAPA DE DISTRIBUCIN DE HABILIDADES Y DIFICULTADES

Tabla 6. LECTURA 3. Mapa de distribucin de habilidades y dificultades. Estudiantes MAPA tems .# + | | | . | . | . | 3 . + | . | . | . | .# | . | 2 . T+ .## |T .# | .#### | .## | DL3B2IT11 DL3B4IT09 DL3B5IT04 .### | DL3B6IT02 DL3B6IT09 .### | DL3B6IT05 1 .###### S+ DL3B3IT09 DL3B4IT11 DL3B5IT08 .######### |S DL3B2IT09 DL3B6IT03 .#### | DL3B2IT02 DL3B2IT06 DL3B2IT07 DL3B2IT08 DL3B2IT10 DL3B5IT09 DL3B6IT04 .########## | DL3B2IT05 DL3B3IT05 DL3B3IT06 .####### | DL3B1IT03 DL3B1IT04 DL3B2IT04 DL3B6IT10 .###### | DL3B1IT10 DL3B5IT03 .############ | DL3B3IT07 DL3B6IT01 DL3B6IT06 DL3B6IT08 0 .########## M+ DL3B1IT05 DL3B2IT03 .########## |M DL3B3IT01 DL3B4IT01 DL3B4IT05 DL3B4IT06 .######## | DL3B1IT08 DL3B3IT10 DL3B6IT07 .########## | DL3B3IT08 DL3B3IT11 DL3B4IT08 DL3B5IT01 DL3B5IT02 DL3B5IT06 DL3B5IT11 .############ | DL3B4IT07 DL3B4IT10 DL3B5IT07 .####### | DL3B2IT01 DL3B5IT10 4
236
REPORTE TCNICO
.######## | DL3B1IT07 DL3B1IT11 DL3B5IT05 -1 .##### S+ DL3B1IT01 .##### |S .##### | DL3B4IT02 DL3B4IT03 DL3B6IT11 .## | .### | .# | DL3B1IT02 DL3B4IT04 .## | DL3B3IT02 DL3B3IT03 DL3B3IT04 -2 . T+ . |T . | . | DL3B1IT09 . | . | | -3 . + . | | DL3B1IT06 . | . | | . | -4 . + Cada smbolo # equivale a 343 estudiantes. El punto (.) indica que hay entre 1 y 342 estudiantes.
CAPTULO 5
237
PROMEDIO, DESVIACIN ESTNDAR Y VALORES MXIMO Y MNIMO DE DIFICULTADES DE TEMS Grfico 1. LECTURA 3. Promedio, desviacin estndar y valores mximo y mnimo de dificultades de tems, por bloque.
1.40
1.30
1.20
1.10
1.00
B1 B2 B3 B4 B5 B6
0.90
0.80
0.70

0.60
0.50
0.40 -4.00 -3.00 -2.00 -1.00 0.00 1.00 2.00 3.00 4.00
238
REPORTE TCNICO
FUNCIN DE INFORMACIN DE LA PRUEBA Grfico 2. LECTURA 3. Funcin de informacin.
Informacin
Medida
CAPTULO 5
239
240
Chile -1.670 -2.176 -0.250 -0.047 -0.266 -3.647 -1.973 -1.252 -2.820 -0.132 -1.502 -1.084 -1.532 -1.388 -0.383 -0.826 0.466 -0.019 -0.793 0.870 0.296 0.937 -0.523 -2.227 -2.753 -4.203 -1.658 -2.426 -2.242 -0.274 -0.717 -0.894 0.218 -0.424 0.034 -1.189 -1.820 -2.366 -0.226 -0.597 -0.013 -1.244 -0.600 -2.630 0.056 -1.115 -3.624 -4.122 -3.738 -2.720 -3.375 -2.841 -3.894 0.149 -0.661 -0.638 0.381 -0.299 0.244 0.023 0.255 -2.788 -0.251 0.115 -2.257 0.770 -0.810 0.670 -0.794 -1.899 0.803 0.423 1.156 -0.096 0.698 0.268 -0.366 -0.277 1.032 0.346 1.077 0.061 0.883 -1.569 -2.640 -2.214 -1.200 -1.947 -1.518 -1.936 -1.187 -1.332 0.710 0.875 0.353 -3.193 -0.527 0.074 -2.420 0.768 -0.527 -1.125 -1.835 -2.162 -0.836 -0.630 -0.332 -1.682 -0.563 -0.886 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay -0.667 -1.187 0.991 0.583 0.126 -3.228 -0.305 0.053 -2.179 0.563 -0.698 Per -1.279 -1.432 0.868 0.293 0.399 -2.928 -0.592 -0.080 -2.347 0.642 -0.679 Rep. Dom. Uruguay -0.085 -0.719 1.682 1.566 0.630 -2.034 0.139 0.769 -1.383 1.240 0.407 -1.212 -1.659 0.306 0.540 0.094 -3.308 -1.371 -0.461 -2.563 0.238 -0.986
REPORTE TCNICO
Tabla 7a. LECTURA 3. Valor de dificultad de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DL3B1IT01
-1.539
0.167
DL3B1IT02
-1.848
-1.657
DL3B1IT03
0.248
-0.528
DL3B1IT04
0.215
0.919
DL3B1IT05
0.023
-0.447
DL3B1IT06
-3.027
-3.519
DL3B1IT07
-0.925
-2.477
DL3B1IT08
-0.472
0.714
DL3B1IT09
-2.562
-2.505
DL3B1IT10
0.149
-0.626
DL3B1IT11
-1.065
-1.459
Tabla 7b. LECTURA 3. Valor de dificultad de cada tem por pas. Bloque 2.
Chile -1.142 0.283 -0.191 0.042 0.353 0.786 0.353 0.922 0.049 0.527 0.733 1.288 0.707 -0.042 2.157 1.608 0.770 0.000 0.082 1.073 0.690 0.869 2.268 0.719 0.365 -0.069 1.355 0.876 1.385 0.660 0.345 -0.523 0.959 0.738 1.152 0.876 1.453 0.243 1.165 0.535 0.180 -0.106 0.693 0.850 0.945 0.546 0.722 0.667 -0.028 0.984 0.772 0.760 0.626 0.730 0.355 0.299 0.556 0.656 0.992 0.432 0.501 0.682 1.192 0.922 1.457 0.950 2.242 0.492 -0.297 -0.438 1.063 0.364 0.812 0.354 0.650 -0.094 0.484 -0.882 0.031 -0.278 0.097 -0.446 -0.181 0.538 0.136 -0.262 1.098 0.698 1.239 0.180 0.831 1.112 0.376 0.539 0.428 0.845 0.749 0.703 1.085 1.008 1.712 -0.589 -0.709 -1.432 -0.201 -0.897 -0.308 -0.803 -0.690 -0.720 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay -0.514 0.718 0.184 0.655 0.815 0.957 0.796 0.855 1.509 0.946 1.381 Per 0.096 0.823 0.109 0.865 0.621 0.818 0.576 0.865 1.134 1.016 1.822 Rep. Dom. Uruguay 0.020 1.223 0.918 1.121 0.690 0.927 1.628 1.362 1.906 1.052 2.398 -0.848 0.467 0.513 0.490 0.638 0.965 0.742 0.807 0.915 0.601 1.204
tem
Argentina
Brasil
DL3B2IT01
-1.207
-0.714
DL3B2IT02
0.490
1.410
DL3B2IT03
0.410
0.050
DL3B2IT04
0.217
0.425
DL3B2IT05
0.595
1.251
CAPTULO 5
DL3B2IT06
0.770
0.446
DL3B2IT07
0.757
0.432
DL3B2IT08
0.925
0.765
DL3B2IT09
0.830
0.168
DL3B2IT10
0.903
0.728
DL3B2IT11
1.125
1.959
241
242
Chile -1.177 -2.687 -2.724 -3.163 -0.287 0.137 -0.263 -0.924 0.658 -0.757 -0.617 -0.555 -1.015 -1.219 -0.193 -0.640 -0.631 -1.189 -1.414 0.167 -0.453 -0.067 -0.186 0.996 0.656 -0.263 1.405 1.016 1.566 -0.657 -0.932 -1.115 0.167 -0.771 -0.259 0.833 -0.292 -0.405 -0.034 -0.739 -0.558 0.786 0.381 0.627 -0.175 -0.538 0.595 -0.046 -0.039 0.919 0.745 1.018 0.545 0.644 0.097 -0.976 0.809 0.728 1.298 0.340 1.080 0.884 0.406 -0.195 1.290 -0.125 -0.431 -2.138 -3.193 -3.679 -1.279 -1.812 -0.816 -2.365 -1.229 -1.986 -2.970 -2.819 -1.346 -1.869 -1.166 -2.306 -1.407 -1.763 -2.509 -3.138 -1.460 -1.855 -1.483 -2.038 -1.502 -1.511 -1.650 -1.535 0.696 0.692 0.607 -0.438 1.191 -0.131 -0.230 -0.101 -0.604 -1.462 0.040 0.143 0.683 -0.799 0.754 0.229 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 0.039 -1.526 -1.267 -1.551 0.825 0.938 -0.060 0.345 1.093 -0.110 -0.323 Per 0.349 -1.481 -1.680 -1.680 0.577 0.587 0.172 -0.322 1.215 -0.134 -0.112 Rep. Dom. Uruguay 0.655 -0.371 -0.921 -0.171 1.660 1.434 1.313 -0.005 2.258 0.930 0.361 -0.364 -1.726 -1.835 -1.777 0.556 0.622 0.383 -0.844 0.940 -0.351 -0.351
REPORTE TCNICO
Tabla 7c. LECTURA 3. Valor de dificultad de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DL3B3IT01
-0.487
-0.183
DL3B3IT02
-1.912
-2.231
DL3B3IT03
-2.018
-2.368
DL3B3IT04
-2.191
-2.636
DL3B3IT05
0.538
0.560
DL3B3IT06
0.601
0.541
DL3B3IT07
0.243
-0.212
DL3B3IT08
-0.514
0.686
DL3B3IT09
0.869
0.856
DL3B3IT10
-0.266
-0.284
DL3B3IT11
-0.342
-0.367
Tabla 7d. LECTURA 3. Valor de dificultad de cada tem por pas. Bloque 4.
Chile -1.207 -2.737 -2.096 -2.680 -0.611 -0.626 -1.023 -0.227 0.779 -0.792 0.322 0.842 0.136 -0.848 1.729 1.221 -0.533 -0.879 -1.150 -0.363 -0.776 -0.312 1.890 1.554 0.927 0.310 2.297 1.441 2.085 -0.395 -0.294 -1.016 -0.544 -0.316 -0.205 0.870 -0.684 0.982 -0.911 -1.413 -1.447 -0.110 -0.592 -0.221 -0.790 -0.554 -0.312 -0.570 -1.168 0.416 -0.171 0.226 -0.721 -0.352 -0.662 -0.843 0.356 -0.247 0.046 -0.049 0.053 0.435 -0.435 -0.128 1.652 -0.423 1.610 -1.987 -2.863 -3.404 -1.380 -1.945 -1.220 -2.148 -1.293 -1.387 -2.243 -2.501 -0.764 -1.326 -0.968 -1.424 -1.135 -1.514 -2.176 -3.368 -0.574 -1.385 -0.227 -1.530 -0.965 -1.024 -0.882 -1.713 0.025 0.005 -0.183 -0.823 1.415 -0.599 1.529 -0.091 -0.715 -2.283 0.675 0.060 0.661 -0.301 0.306 -0.012 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 0.079 -1.110 -1.342 -1.483 0.065 -0.259 -0.101 -0.272 1.544 -0.353 1.433 Per -0.103 -1.511 -1.570 -1.758 -0.257 0.189 -0.475 -0.484 1.627 -0.283 1.422 Rep. Dom. Uruguay 1.255 0.131 0.092 -0.001 0.733 0.906 0.719 0.540 2.547 0.401 2.184 -0.466 -1.746 -1.142 -1.856 -0.206 -0.119 -0.334 -0.813 1.420 -0.763 0.738
tem
Argentina
Brasil
DL3B4IT01
-0.550
-0.962
DL3B4IT02
-1.863
-0.600
DL3B4IT03
-1.284
-1.475
DL3B4IT04
-2.122
-0.596
DL3B4IT05
-0.071
-0.326
CAPTULO 5
DL3B4IT06
-0.056
-0.638
DL3B4IT07
-0.327
-0.782
DL3B4IT08
-0.579
0.784
DL3B4IT09
1.103
1.364
DL3B4IT10
-0.877
-1.107
DL3B4IT11
1.098
0.876
243
244
Chile -1.151 -1.767 -0.285 0.837 -1.501 -0.737 -0.991 0.272 0.720 -1.326 -0.549 -0.314 -1.015 -1.061 -0.030 -0.326 -0.985 -1.797 -1.772 -0.139 -0.719 -0.348 -0.408 0.781 -0.086 -0.070 1.137 0.861 0.991 0.613 0.140 0.404 1.453 1.152 1.778 0.950 0.541 -0.843 -1.159 -0.074 -1.454 -1.092 -0.167 -0.328 -0.323 -1.009 -0.417 -0.817 -0.555 -0.388 -0.245 -0.146 -0.547 -1.054 -1.516 -1.914 -0.322 -0.827 -0.777 -1.781 -0.513 -0.160 0.066 1.554 0.903 -0.243 -0.140 0.964 0.946 0.326 1.825 1.838 1.858 1.191 1.876 0.304 -0.507 -0.796 0.981 0.512 0.875 0.275 0.734 -0.367 -0.997 -0.960 0.381 -0.303 0.248 -1.349 -0.251 0.088 0.324 1.268 -0.980 -0.462 -0.356 1.343 0.622 -0.506 0.641 -0.255 -0.731 -0.975 0.255 -0.192 -0.065 -1.048 -0.377 0.018 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay -0.002 0.390 0.337 1.878 0.054 -0.217 0.093 1.291 0.858 -0.431 -0.122 Per 0.134 0.510 0.384 1.304 0.018 -0.231 -0.158 1.200 1.345 -0.634 -0.743 Rep. Dom. Uruguay -0.180 0.839 1.736 2.630 -0.180 -0.295 -0.083 2.389 1.465 1.025 0.820 -0.482 -0.701 0.173 1.077 -0.860 -0.784 -0.631 0.951 0.581 -0.794 -1.060
REPORTE TCNICO
Tabla 7e. LECTURA 3. Valor de dificultad de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DL3B5IT01
-0.622
-0.504
DL3B5IT02
-0.976
-1.333
DL3B5IT03
0.122
-0.185
DL3B5IT04
1.150
2.497
DL3B5IT05
-0.924
0.225
DL3B5IT06
-0.774
-0.550
DL3B5IT07
-0.371
-1.583
DL3B5IT08
0.906
0.379
DL3B5IT09
0.757
0.664
DL3B5IT10
-0.848
-1.505
DL3B5IT11
-0.667
-1.185
Tabla 7f. LECTURA 3. Valor de dificultad de cada tem por pas. Bloque 6.
Chile -0.328 0.787 1.173 0.220 0.050 0.546 -0.546 -0.268 1.173 0.178 -1.927 -1.462 -2.171 -2.568 -0.982 -0.944 0.184 -0.002 1.259 0.753 0.146 0.344 -0.756 0.984 0.370 0.728 1.723 1.270 1.662 0.150 -0.653 -0.457 0.528 0.176 0.473 0.932 0.288 -1.266 -0.574 -0.995 -0.996 0.320 -0.368 0.263 -0.294 -0.183 -0.591 -0.192 -1.087 0.830 -0.393 0.595 0.341 1.228 0.954 0.693 1.751 1.256 1.620 0.937 1.481 -0.259 -0.159 0.678 1.294 0.280 -0.830 0.920 0.055 -0.645 1.295 0.316 0.966 -0.348 1.608 0.716 1.295 1.502 0.796 0.887 0.677 0.858 0.735 1.254 1.077 -0.173 1.751 1.444 1.701 0.800 1.753 1.621 0.754 1.139 1.265 0.439 -0.059 0.419 1.452 0.429 -0.959 0.536 -0.051 -1.920 0.570 -0.004 0.363 -0.330 0.298 0.245 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 0.083 1.278 1.180 1.025 1.474 1.284 0.055 0.193 1.436 0.507 -0.821 Per -0.317 1.453 0.979 0.964 1.435 0.119 0.115 0.340 1.225 0.390 -1.663 Rep. Dom. Uruguay 0.952 1.808 0.323 1.960 1.845 0.381 0.977 0.871 2.156 1.339 0.124 0.194 1.143 0.958 0.614 0.719 0.498 -0.214 0.021 1.289 0.488 -1.048
tem
Argentina
Brasil
DL3B6IT01
0.200
1.228
DL3B6IT02
1.250
1.650
DL3B6IT03
0.836
0.921
DL3B6IT04
0.906
0.891
DL3B6IT05
0.817
1.372
CAPTULO 5
DL3B6IT06
0.806
0.408
DL3B6IT07
-0.238
-0.769
DL3B6IT08
-0.009
-0.139
DL3B6IT09
1.232
1.024
DL3B6IT10
0.231
0.051
DL3B6IT11
-1.469
-1.433
245
246
Chile 1.04 0.73 0.85 0.91 1.00 0.49 0.83 1.04 0.77 0.91 1.06 0.90 1.03 0.91 0.98 0.97 1.06 0.95 0.96 1.19 1.03 0.98 1.02 0.83 0.76 0.53 0.99 0.78 0.95 1.03 1.08 1.16 0.98 1.06 1.05 1.01 0.77 1.02 1.03 0.79 0.79 0.74 0.91 0.82 0.89 0.75 0.62 0.49 0.40 0.68 0.59 0.73 0.58 1.03 1.02 1.09 1.06 1.08 1.10 1.08 1.02 0.72 0.85 0.98 0.99 1.13 0.87 0.92 0.84 0.80 0.95 0.96 1.01 0.92 0.91 0.84 0.83 0.95 0.82 0.82 0.84 0.86 0.86 0.88 0.82 0.79 0.90 0.87 0.91 0.84 0.98 0.92 0.82 0.97 1.03 0.65 0.89 0.95 0.87 1.11 0.99 1.00 0.95 0.80 1.05 0.99 0.87 0.99 0.97 0.93 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 1.02 0.85 0.93 0.94 0.98 0.57 0.89 1.08 0.71 1.01 0.96 Per 0.93 0.92 0.89 0.90 0.97 0.64 0.87 0.99 0.82 1.08 1.05 Rep. Dom. Uruguay 0.87 1.00 0.83 0.95 1.26 0.64 1.05 0.95 0.80 0.96 0.96 0.97 0.81 0.87 0.94 1.11 0.62 0.82 1.01 0.71 0.90 0.90
REPORTE TCNICO
Tabla 8a. LECTURA 3. Valor de ajuste de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DL3B1IT01
0.93
0.93
DL3B1IT02
0.86
0.83
DL3B1IT03
0.86
0.82
DL3B1IT04
0.93
1.02
DL3B1IT05
1.07
0.98
DL3B1IT06
0.62
0.55
DL3B1IT07
0.84
0.64
DL3B1IT08
1.00
1.15
DL3B1IT09
0.79
0.95
DL3B1IT10
0.93
0.86
DL3B1IT11
0.94
0.86
Tabla 8b. LECTURA 3. Valor de ajuste de cada tem por pas. Bloque 2.
tem
Argentina
Brasil
DL3B2IT01
1.08
1.04
DL3B2IT02
0.98
1.23
DL3B2IT03
1.20
1.09
DL3B2IT04
1.03
1.03
DL3B2IT05
1.26
1.40
CAPTULO 5
DL3B2IT06
1.19
1.16
DL3B2IT07
1.09
1.05
DL3B2IT08
1.04
1.12
DL3B2IT09
1.04
0.96
DL3B2IT10
1.16
0.97
DL3B2IT11
0.80
0.86
247
248
REPORTE TCNICO
Tabla 8c. LECTURA 3. Valor de ajuste de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DL3B3IT01
1.02
1.07
DL3B3IT02
0.80
0.82
DL3B3IT03
0.82
0.75
DL3B3IT04
0.66
0.68
DL3B3IT05
0.99
1.08
DL3B3IT06
1.06
1.08
DL3B3IT07
1.03
0.91
DL3B3IT08
1.02
1.32
DL3B3IT09
1.01
1.02
DL3B3IT10
0.92
0.86
DL3B3IT11
0.92
0.93
Tabla 8d. LECTURA 3. Valor de ajuste de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DL3B4IT01
0.87
0.76
DL3B4IT02
0.76
0.84
DL3B4IT03
0.93
0.85
DL3B4IT04
0.70
0.88
DL3B4IT05
1.07
1.12
CAPTULO 5
DL3B4IT06
1.05
1.05
DL3B4IT07
0.88
0.78
DL3B4IT08
1.49
1.43
DL3B4IT09
0.93
0.84
DL3B4IT10
1.20
1.18
DL3B4IT11
0.95
0.97
249
250
REPORTE TCNICO
Tabla 8e. LECTURA 3. Valor de ajuste de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DL3B5IT01
1.04
0.99
DL3B5IT02
0.77
0.74
DL3B5IT03
0.99
1.03
DL3B5IT04
0.93
1.32
DL3B5IT05
0.97
1.10
DL3B5IT06
1.19
1.22
DL3B5IT07
0.94
0.87
DL3B5IT08
0.90
0.82
DL3B5IT09
1.12
1.15
DL3B5IT10
0.79
0.77
DL3B5IT11
1.05
1.03
Tabla 8f. LECTURA 3. Valor de ajuste de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DL3B6IT01
1.01
1.34
DL3B6IT02
0.92
0.96
DL3B6IT03
1.58
1.67
DL3B6IT04
0.95
0.97
DL3B6IT05
0.93
1.00
CAPTULO 5
DL3B6IT06
1.15
1.06
DL3B6IT07
0.97
0.92
DL3B6IT08
1.03
0.93
DL3B6IT09
0.98
1.06
DL3B6IT10
1.21
1.07
DL3B6IT11
0.94
0.78
251
252
REPORTE TCNICO
Tabla 9a. LECTURA 3. Valor de discriminacin de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DL3B1IT01
1.05
1.17
DL3B1IT02
1.05
1.10
DL3B1IT03
1.41
1.41
DL3B1IT04
1.22
1.00
DL3B1IT05
0.88
1.04
DL3B1IT06
1.06
1.07
DL3B1IT07
1.23
1.12
DL3B1IT08
1.04
0.76
DL3B1IT09
1.05
0.98
DL3B1IT10
1.20
1.26
DL3B1IT11
1.10
1.15
Tabla 9b. LECTURA 3. Valor de discriminacin de cada tem por pas. Bloque 2.
tem
Argentina
Brasil
DL3B2IT01
0.94
0.95
DL3B2IT02
1.08
0.92
DL3B2IT03
0.45
0.81
DL3B2IT04
0.91
0.95
DL3B2IT05
0.47
0.64
CAPTULO 5
DL3B2IT06
0.63
0.63
DL3B2IT07
0.78
0.86
DL3B2IT08
0.98
0.76
DL3B2IT09
0.91
1.09
DL3B2IT10
0.83
1.08
DL3B2IT11
1.25
1.06
253
254
Chile 0.86 1.06 1.04 1.09 1.14 1.07 0.97 1.01 1.02 1.40 1.29 0.99 1.06 1.09 1.30 0.99 1.17 1.20 1.08 1.47 1.34 1.50 1.18 1.03 1.10 1.02 1.01 0.95 0.99 0.99 1.01 1.03 0.73 1.01 0.83 1.06 1.06 1.37 1.18 1.19 1.05 1.01 0.93 1.11 0.88 0.99 0.78 1.24 1.05 0.96 0.86 0.86 0.94 1.08 1.18 0.99 1.11 1.03 0.99 0.86 1.04 0.73 1.08 1.14 0.96 1.50 1.19 1.13 1.04 1.07 1.25 1.15 1.40 1.13 1.23 1.09 1.07 1.10 1.14 1.12 1.08 1.07 1.06 1.07 1.04 1.05 1.03 1.07 1.05 1.07 1.06 1.07 1.03 1.22 1.12 0.87 1.08 0.80 0.99 1.30 1.14 0.99 1.07 0.90 0.61 0.98 0.73 0.99 0.80 0.89 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 0.70 1.06 1.10 1.20 1.04 0.82 1.16 0.80 0.84 1.32 1.05 Per 1.04 1.13 0.98 1.17 1.09 0.80 1.04 0.87 0.98 1.46 1.21 Rep. Dom. Uruguay 0.56 1.43 0.75 1.55 1.02 0.98 1.07 -0.05 1.05 1.28 1.07 0.97 1.04 1.11 1.16 1.13 0.84 1.05 0.93 1.06 1.19 1.12
REPORTE TCNICO
Tabla 9c. LECTURA 3. Valor de discriminacin de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DL3B3IT01
0.99
0.93
DL3B3IT02
1.08
1.06
DL3B3IT03
1.07
1.08
DL3B3IT04
1.14
1.09
DL3B3IT05
1.06
0.87
DL3B3IT06
0.91
0.82
DL3B3IT07
1.01
1.21
DL3B3IT08
0.98
0.74
DL3B3IT09
1.00
0.96
DL3B3IT10
1.22
1.37
DL3B3IT11
1.15
1.15
Tabla 9d. LECTURA 3. Valor de discriminacin de cada tem por pas. Bloque 4.
Chile 1.22 1.05 1.10 1.06 0.95 0.97 1.26 -0.21 1.01 0.70 0.92 1.09 1.03 1.18 0.99 1.04 0.66 0.83 0.67 0.68 0.81 0.85 1.01 1.01 0.91 1.00 1.02 1.03 1.06 0.34 0.15 0.50 0.63 0.23 0.64 0.29 0.99 0.55 1.08 1.28 1.14 1.24 1.31 1.36 1.32 1.19 1.01 0.98 0.94 1.01 0.95 0.85 1.13 0.69 0.88 0.70 0.60 0.50 0.69 0.72 0.57 1.03 1.26 0.37 1.08 0.82 1.00 1.15 1.06 1.09 1.23 1.15 1.21 1.16 1.16 1.11 1.11 1.13 1.20 1.19 1.16 1.16 1.19 1.12 1.09 1.08 1.35 1.14 1.42 1.21 1.21 1.33 1.10 1.17 0.76 1.06 1.40 0.50 1.03 0.84 1.03 1.27 1.29 1.06 1.01 1.18 1.13 1.39 1.09 1.10 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 1.16 1.39 1.22 1.25 0.76 0.86 1.21 0.29 1.12 0.85 1.12 Per 1.22 1.22 1.09 1.22 0.64 0.79 1.28 0.33 1.02 0.62 1.05 Rep. Dom. Uruguay 1.05 1.47 1.36 1.56 0.84 0.93 1.17 0.94 1.11 1.06 1.00 1.24 1.17 1.05 1.14 0.84 0.93 1.39 0.49 1.07 0.72 1.10
tem
Argentina
Brasil
DL3B4IT01
1.27
1.32
DL3B4IT02
1.14
1.25
DL3B4IT03
1.05
1.08
DL3B4IT04
1.12
1.14
DL3B4IT05
0.83
0.75
CAPTULO 5
DL3B4IT06
0.91
0.99
DL3B4IT07
1.27
1.33
DL3B4IT08
0.17
0.53
DL3B4IT09
1.03
1.11
DL3B4IT10
0.75
0.85
DL3B4IT11
1.06
1.02
255
256
REPORTE TCNICO
Tabla 9e. LECTURA 3. Valor de discriminacin de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DL3B5IT01
0.99
1.06
DL3B5IT02
1.29
1.21
DL3B5IT03
1.07
0.97
DL3B5IT04
1.08
0.90
DL3B5IT05
1.07
0.85
DL3B5IT06
0.73
0.58
DL3B5IT07
1.12
1.08
DL3B5IT08
1.21
1.41
DL3B5IT09
0.81
0.72
DL3B5IT10
1.28
1.19
DL3B5IT11
0.96
1.01
Tabla 9f. LECTURA 3. Valor de discriminacin de cada tem por pas. Bloque 6.
Chile 1.08 1.22 0.31 1.24 0.92 0.73 1.01 1.10 0.98 0.46 0.98 1.04 0.95 1.00 1.06 0.98 0.46 0.73 0.29 0.83 0.53 0.74 1.09 1.13 0.99 1.25 1.06 1.07 1.09 0.97 1.10 0.96 0.95 1.32 1.06 1.06 1.11 0.26 1.12 1.01 0.92 1.06 1.17 1.12 1.41 1.09 0.98 0.82 0.90 0.79 0.89 0.87 0.91 0.99 0.89 0.83 0.96 1.05 1.01 1.03 1.04 0.56 1.16 1.09 1.03 0.59 1.04 1.21 1.16 1.28 1.07 1.42 1.20 1.39 1.02 0.08 0.50 0.60 0.32 0.15 0.00 -0.14 0.36 1.02 1.16 1.09 1.01 1.03 0.91 1.04 0.99 1.01 0.11 1.10 1.02 0.96 1.32 1.04 1.03 0.75 1.13 1.02 1.11 0.99 1.10 0.96 0.91 1.04 0.94 0.99 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 0.69 1.09 0.23 1.12 1.06 0.93 1.12 0.91 1.04 0.76 0.96 Per 0.70 0.95 0.43 1.09 0.95 0.94 1.13 0.97 1.06 0.52 1.08 Rep. Dom. Uruguay 0.88 1.06 -0.11 1.05 1.03 0.65 1.07 0.91 1.04 0.85 1.36 0.99 1.18 0.08 1.16 1.08 0.86 1.14 0.90 1.07 0.70 1.05
tem
Argentina
Brasil
DL3B6IT01
1.05
0.83
DL3B6IT02
1.10
1.07
DL3B6IT03
0.10
0.12
DL3B6IT04
1.13
1.16
DL3B6IT05
1.09
1.00
CAPTULO 5
DL3B6IT06
0.82
0.89
DL3B6IT07
1.05
1.13
DL3B6IT08
0.92
1.16
DL3B6IT09
1.01
0.93
DL3B6IT10
0.41
0.79
DL3B6IT11
1.03
1.18
257
258
PORCENTAJE DE RESPUESTAS CORRECTAS DE CADA TEM POR PAS
REPORTE TCNICO
Tabla 10a. LECTURA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DL3B1IT01
0.78
0.45
DL3B1IT02
0.82
0.79
DL3B1IT03
0.43
0.59
DL3B1IT04
0.44
0.30
DL3B1IT05
0.48
0.57
DL3B1IT06
0.93
0.95
DL3B1IT07
0.67
0.88
DL3B1IT08
0.59
0.34
DL3B1IT09
0.90
0.89
DL3B1IT10
0.46
0.61
DL3B1IT11
0.70
0.76
Tabla 10b. LECTURA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 2.
tem
Argentina
Brasil
DL3B2IT01
0.75
0.66
DL3B2IT02
0.41
0.24
DL3B2IT03
0.43
0.50
DL3B2IT04
0.47
0.42
DL3B2IT05
0.39
0.26
CAPTULO 5
DL3B2IT06
0.35
0.41
DL3B2IT07
0.36
0.42
DL3B2IT08
0.32
0.35
DL3B2IT09
0.34
0.47
DL3B2IT10
0.33
0.36
DL3B2IT11
0.29
0.16
259
260
REPORTE TCNICO
Tabla 10c. LECTURA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DL3B3IT01
0.60
0.54
DL3B3IT02
0.83
0.87
DL3B3IT03
0.85
0.88
DL3B3IT04
0.86
0.91
DL3B3IT05
0.39
0.39
DL3B3IT06
0.38
0.39
DL3B3IT07
0.45
0.55
DL3B3IT08
0.60
0.37
DL3B3IT09
0.32
0.33
DL3B3IT10
0.55
0.56
DL3B3IT11
0.57
0.58
Tabla 10d. LECTURA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DL3B4IT01
0.61
0.67
DL3B4IT02
0.82
0.61
DL3B4IT03
0.74
0.76
DL3B4IT04
0.85
0.61
DL3B4IT05
0.51
0.56
CAPTULO 5
DL3B4IT06
0.51
0.62
DL3B4IT07
0.56
0.64
DL3B4IT08
0.61
0.34
DL3B4IT09
0.29
0.25
DL3B4IT10
0.67
0.70
DL3B4IT11
0.29
0.33
261
262
REPORTE TCNICO
Tabla 10e. LECTURA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DL3B5IT01
0.64
0.61
DL3B5IT02
0.71
0.76
DL3B5IT03
0.49
0.55
DL3B5IT04
0.29
0.11
DL3B5IT05
0.70
0.46
DL3B5IT06
0.67
0.62
DL3B5IT07
0.59
0.80
DL3B5IT08
0.33
0.43
DL3B5IT09
0.36
0.38
DL3B5IT10
0.68
0.78
DL3B5IT11
0.65
0.73
Tabla 10f. LECTURA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DL3B6IT01
0.45
0.26
DL3B6IT02
0.25
0.20
DL3B6IT03
0.32
0.32
DL3B6IT04
0.31
0.32
DL3B6IT05
0.33
0.24
CAPTULO 5
DL3B6IT06
0.33
0.42
DL3B6IT07
0.54
0.65
DL3B6IT08
0.50
0.53
DL3B6IT09
0.25
0.30
DL3B6IT10
0.45
0.49
DL3B6IT11
0.77
0.77
263
V.2.3. tems de Lectura 6

La presente seccin muestra los resultados del procesamiento de datos para anlisis de tems del Estudio Principal del Segundo Estudio Regional Comparativo y Explicativo SERCE, el cual incluy la aplicacin de pruebas de Lectura (grados tercero y sexto), Matemtica (grados tercero y sexto) y Ciencias (grado sexto); la aplicacin de la prueba de Ciencias se realiz en aquellos pases que voluntariamente optaron por incluirla. El procesamiento de datos se realiz de acuerdo con lo planteado en el Documento Tcnico del Procesamiento de datos para el Anlisis de tems y la Produccin de Resultados del SERCE, en el cual se propuso la Teora de Respuesta a tem como modelo de anlisis y una serie de indicadores estadsticos para evaluar el comportamiento de tems y de grupos de tems; en dicho documento se hicieron explcitos los criterios de anlisis para cada indicador durante el anlisis de tems. Es de anotar que el anlisis de tems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los tems de un instrumento, en relacin con los propsitos para los cuales fueron elaborados. Su realizacin exige armonizar el conocimiento profundo del objeto de evaluacin, la poblacin evaluada y los propsitos de la evaluacin con la capacidad para interpretar adecuadamente los indicadores estadsticos disponibles. El proceso de anlisis de tems del Estudio Principal conducir a la toma de decisiones en relacin con la inclusin o exclusin de tems para la fase de calificacin y produccin de resultados del Estudio. Los indicadores reportados en este documento sern objeto de anlisis por parte de los expertos en psicometra y en cada disciplina a fin de asegurar que la produccin de los resultados finales del SERCE utilice la informacin de mayor calidad. Resultados sobresalientes La prueba result relativamente fcil para el conjunto de estudiantes con los que se estimaron los indicadores. Para la muestra utilizada en el anlisis, el Bloque 2 result ser el ms fcil y el Bloque 1 el ms difcil; la diferencia entre los dos es de 1.25 logits. De acuerdo con los resultados de ajuste, se deben eliminar, para la calificacin final, los tems: DL6B2IT02, DL6B2IT03 y DL6B5IT01. No obstante, se recomienda que el grupo de expertos analice con cuidado estos tems ya que algunos se encuentran muy cerca del criterio de eliminacin. En el grupo de estudiantes utilizado para la estimacin de indicadores hay 200 con todas las respuestas correctas y 19 con cero respuestas correctas .
Depuracin de la informacin recibida

El Laboratorio Latinoamericano para la Evaluacin de la Calidad de la Educacin, LLECE, envi las bases de datos con las respuestas de los estudiantes evaluados en el Estudio Principal del SERCE, a partir de las cuales se producirn resultados. Esta base de datos ya haba sido depurada de acuerdo con criterios preestablecidos. En concordancia con el procedimiento planteado en el documento tcnico para el Procesamiento de Datos para el anlisis de tem y la Produccin de Resultados del Estudio Principal del SERCE, se realizaron dos procedimientos de depuracin de las bases de datos recibidas para obtener los diferentes indicadores de los tems, de los bloques y de la prueba, luego de excluir la informacin del Estado de Nuevo Len. Dadas las caractersticas de la participacin del Estado de Nuevo Len (Mxico), se debe eliminar su informacin al estimar los indicadores para realizar el anlisis de tem. En Lectura de grado sexto participaron 4998 estudiantes de este estado.
264
REPORTE TCNICO
Procedimiento 1. Depuracin por preguntas no alcanzadas: Se eliminan los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos ltimos tems del bloque que ocupe la segunda posicin en su cuadernillo. Esta eliminacin de registros se realiza antes de procesar los datos. La base de datos que resulta despus de este proceso es la que se utiliza para la estimacin de los valores de ajuste de los estudiantes. Procedimiento 2. Depuracin por desajuste de estudiantes evaluados: Se eliminan los registros de aquellos estudiantes evaluados cuyo valor de ajuste prximo o lejano sea inferior a 0.7 o superior a 1.3. Este proceso se lleva a cabo slo con los estudiantes que respondieron por lo menos un tem de la prueba y las dos ltimas preguntas del cuadernillo asignado. El resultado es una nueva base de datos slo con los registros de los estudiantes que se utilizan para la estimacin de los parmetros de los tems, bloques y pruebas. Tabla 1. LECTURA 6. Nmero de estudiantes, por pas, segn proceso de depuracin.
DEPURACIN Pas Argentina Brasil Chile Colombia Costa Rica Cuba Ecuador El Salvador Estado Nuevo Len Guatemala Mxico Nicaragua Panam Paraguay Per Rep. Dominicana Uruguay TOTAL N Inicial 6069 5001 6616 5851 4539 5883 5096 6237 4998 5157 4723 6128 5003 4307 4504 4370 5989 90471 334 43 90 163 234 175 334 278 2530 1169 1273 1202 1249 1142 994 1244 1475 21497 3654 3407 4836 3591 2931 3335 2792 4236 61446 70,9 72,1 78,9 71,8 68,1 74,0 63,9 70,7 67,9 N No Alcanzadas 269 63 106 60 32 13 223 113 N Desajuste 1580 1393 1618 1329 1318 1839 1300 1372 N Final 4220 3445 4892 4462 3189 4031 3573 4752 % 69,5 70,9 73,9 76,3 70,3 68,5 70,1 76,2
CAPTULO 5
265
Del total de 16 pases con informacin para la estimacin de indicadores, 12 participan con ms del 70% de sus estudiantes evaluados. Repblica Dominicana (7.6%), Guatemala (6.5%), Paraguay (5.4%), Uruguay (4.6%) y Argentina (4.4 son los pases con ms prdida de registros de informacin por no alcanzar los 2 ltimos tems. Cuba (31.3%), Repblica Dominicana (30.8% ), y Costa Rica (29.2% ) son los pases con una prdida mayor al 29% de sus registros por desajuste, a partir de los datos de poblacin luego de la primera depuracin. Luego de la depuracin realizada, el nmero de estudiantes por bloque y por cuadernillo cuya informacin se utiliza para la estimacin de indicadores se encuentra en las tablas 2 y 3. Tabla 2. LECTURA 6. Nmero de estudiantes por bloque.
Bloque
1 2 3 4 5 6 Tabla 3. LECTURA 6. Nmero de estudiantes por cuadernillo.
N
19619 16101 18331 21595 23496 23750
Cuadernillo
1 2 3 4 5 6
N
7969 10199 12100 8132 11396 11650
266
REPORTE TCNICO
Anlisis de datos
INDICADORES POR TEM
Tabla 4a. LECTURA 6. Indicadores por tem. Bloque 1.

Error de Medicin 0.026 0.016 0.016 0.017 0.016 0.016 0.017 0.016 0.016 0.016 0.021 0.016 0.016 0.021 0.016 0.016 Ajuste Correlacin Discrimin. Prximo punto-medida (Infit) 1.02 0.75 1.09 1.02 1.33 1.14 0.96 0.79 1.04 0.73 1.1 1.2 0.97 1.01 1.06 0.82 0.25 0.32 0.43 0.41 0.5 0.42 0.37 0.34 0.41 0.31 0.37 0.43 0.39 0.38 0.4 0.35 0.98 1.08 0.97 0.99 0.89 0.96 1.03 1.06 0.99 1.09 0.91 0.93 1.01 0.99 0.98 1.05 Ajuste Lejano (Outfit) 0.83 1.12 0.96 0.99 0.87 0.95 1.03 1.09 0.99 1.15 0.73 0.88 1.01 0.96 0.99 1.06
tem DL6B1IT01 DL6B1IT02 DL6B1IT03 DL6B1IT04 DL6B1IT05 DL6B1IT06 DL6B1IT07 DL6B1IT08 DL6B1IT09 DL6B1IT10 DL6B1IT11 DL6B1IT12 DL6B1IT13 DL6B1IT14 DL6B1IT15 DL6B1IT16
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR -2.665 0.438 0.583 0.832 0.361 -0.207 1.155 0.23 0.338 0.489 -2.028 -0.755 0.498 1.931 -0.075 0.265
N 19559 19559 19559 19559 19559 19559 19559 19559 19559 19559 19559 19559 19559 19559 19559 19559
CAPTULO 5
267
Tabla 4b. LECTURA 6. Indicadores por tem. Bloque 2.
Formato SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR
Dificultad -2.3 -3.652 -3.316 -3.138 -1.209 -1.314 -2.503 -0.341 0.271 -1.451 -0.223 -1.086 -0.233 1.174 0.493 0.208
Error de Correlacin Discrimin. Medicin punto-medida 0.025 0.042 0.037 0.034 0.019 0.019 0.027 0.017 0.017 0.02 0.017 0.019 0.017 0.02 0.018 0.017 1.1 1.06 1.06 1.04 0.95 1.04 1.08 0.45 1.08 0.91 1.18 0.85 0.87 1.15 0.78 0.42 0.36 0.26 0.27 0.25 0.31 0.35 0.33 0.24 0.42 0.27 0.43 0.28 0.35 0.48 0.33 0.24
Ajuste Prximo (Infit) 0.91 0.93 0.93 0.96 1.03 0.98 0.92 1.15 0.97 1.05 0.95 1.07 1.03 0.9 1.07 1.17
Ajuste Lejano (Outfit) 0.7 0.54 0.61 0.71 1.04 0.94 0.72 1.23 0.98 1.08 0.95 1.09 1.07 0.86 1.11 1.25
N 15964 15964 15964 15964 15964 15964 15964 15964 15964 15964 15964 15964 15964 15964 15964 15964
268
REPORTE TCNICO
Tabla 4c. LECTURA 6. Indicadores por tem. Bloque 3.
Formato SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR
Dificultad -1.152 -1.834 -1.132 -1.624 -1.168 1.368 -0.847 1.26 0.901 0.322 0.403 1.05 -0.001 -1.424 0.593 -0.803
Error de Medicin 0.018 0.02 0.018 0.019 0.018 0.019 0.017 0.019 0.017 0.016 0.016 0.018 0.016 0.019 0.017 0.017
Discrimin. 0.96 1.06 1.11 1.08 0.93 1.03 1 1.06 1.01 0.83 1.13 1.12 1.22 1.13 0.78 1.14
Ajuste Correlacin Prximo punto-medida (Infit) 0.32 0.34 0.39 0.36 0.3 0.41 0.36 0.42 0.4 0.35 0.44 0.46 0.45 0.4 0.32 0.41 1.01 0.96 0.95 0.95 1.04 0.97 1 0.96 0.99 1.05 0.96 0.93 0.94 0.92 1.09 0.95
Ajuste Lejano (Outfit) 1.05 0.85 0.9 0.86 1.04 0.96 1 0.95 0.99 1.07 0.95 0.89 0.93 0.86 1.11 0.93
N 18203 18203 18203 18203 18203 18203 18203 18203 18203 18203 18203 18203 18203 18203 18203 18203
CAPTULO 5
269
Tabla 4d. LECTURA 6. Indicadores por tem. Bloque 4.
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR -1.507 0.36 0.718 0.686 -0.68 -0.505 0.287 -1.518 -1.414 -0.068 0.417 0.622 0.173 0.691 0.167 -0.079
Error de Medicin 0.017 0.015 0.016 0.015 0.015 0.015 0.015 0.017 0.017 0.015 0.015 0.015 0.015 0.015 0.015 0.015
Discrimin. 1.01 1.15 0.76 0.79 1.21 0.72 1.33 1.07 0.94 0.83 1.18 0.89 0.93 0.9 0.5 1.22
Ajuste Correlacin Prximo punto-medida (Infit) 0.31 0.43 0.27 0.29 0.43 0.28 0.48 0.35 0.27 0.33 0.44 0.33 0.36 0.33 0.23 0.43 0.99 0.95 1.1 1.08 0.93 1.08 0.9 0.96 1.03 1.04 0.94 1.04 1.02 1.04 1.13 0.94
N 21554 21554 21554 21554 21554 21554 21554 21554 21554 21554 21554 21554 21554 21554 21554 21554
270
REPORTE TCNICO
Tabla 4e. LECTURA 6. Indicadores por tem. Bloque 5.
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR -2.871 1.18 0.253 0.303 -1.682 -1.425 -0.515 -0.739 -0.477 0.416 -0.783 -0.388 0.729 -0.984 -0.34 0.667
Error de Medicin 0.026 0.016 0.014 0.014 0.018 0.017 0.014 0.015 0.014 0.014 0.015 0.014 0.015 0.015 0.014 0.015
Discrimin. 1.07 0.86 0.86 0.81 1.1 1.12 1.09 1.23 1.11 0.95 1.07 0.9 0.72 0.96 0.96 0.79
Ajuste Correlacin Prximo punto-medida (Infit) 0.31 0.27 0.34 0.32 0.38 0.39 0.39 0.44 0.39 0.36 0.37 0.33 0.25 0.32 0.35 0.29 0.93 1.09 1.04 1.06 0.93 0.93 0.98 0.92 0.97 1.01 0.98 1.03 1.11 1 1.01 1.08
N 23465 23465 23465 23465 23465 23465 23465 23465 23465 23465 23465 23465 23465 23465 23465 23465
CAPTULO 5
271
Tabla 4f. LECTURA 6. Indicadores por tem. Bloque 6.
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR 0.074 -0.82 0.061 0.555 0.022 0.337 -0.088 -0.194 -0.131 -1 -0.838 -0.381 -0.81 0.016 0.457 1.604
Error de Medicin 0.014 0.015 0.014 0.014 0.014 0.014 0.014 0.014 0.014 0.015 0.015 0.014 0.015 0.014 0.014 0.017
Discrimin. 1.03 0.93 1 1.15 1.1 1.08 0.51 0.7 0.95 1.05 0.94 1.48 0.76 1.26 1.16 1.09
Correlacin punto-medida 0.4 0.32 0.39 0.45 0.41 0.42 0.25 0.3 0.37 0.36 0.33 0.51 0.26 0.46 0.45 0.43
Ajuste Prximo (Infit) 0.99 1.03 1 0.94 0.97 0.98 1.12 1.08 1.01 0.98 1.03 0.86 1.08 0.93 0.95 0.93
Ajuste Lejano (Outfit) 0.99 1.03 1 0.93 0.97 0.97 1.23 1.12 1.02 0.96 1.02 0.81 1.2 0.91 0.93 0.87
N 23709 23709 23709 23709 23709 23709 23709 23709 23709 23709 23709 23709 23709 23709 23709 23709
272
REPORTE TCNICO
INDICADORES POR OPCIN

Tabla 5a. LECTURA 6. Indicadores por opcin. Bloque 1.
Opcin correcta Opciones de respuesta 1 2 DL6B1IT01 1 3 4 Multimarca Omisin 1 2 DL6B1IT02 2 3 4 Multimarca Omisin 1 2 DL6B1IT03 2 3 4 Multimarca Omisin 1 2 DL6B1IT04 4 3 4 Multimarca Omisin 1 2 DL6B1IT05 4 3 4 Multimarca Omisin Promedio de habilidad 0.13 -0.87 -0.69 -0.69 -1.43 -0.74 -0.42 0.43 -0.19 -0.15 -1.15 -0.67 -0.21 0.6 -0.39 -0.34 -1.03 -0.56 -0.34 -0.69 -0.12 0.63 -0.66 -0.55 -0.45 -0.36 -0.17 0.63 -1.02 -0.41 Error de Medicin 0.01 0.04 0.04 0.03 0.18 0.03 0.02 0.01 0.02 0.01 0.12 0.06 0.01 0.01 0.02 0.02 0.13 0.03 0.02 0.02 0.01 0.01 0.04 0.08 0.01 0.01 0.02 0.01 0.08 0.06 Ajuste (Outfit) 0.99 0.72 0.88 0.87 0.61 0.78 0.85 1.15 1.2 1.12 0.58 0.65 1.02 0.97 0.81 0.88 0.6 0.68 0.82 0.59 1.06 1.01 0.6 0.77 0.77 0.89 1.14 0.86 0.53 1.02
tem
Correlacin 0.25 -0.12 -0.09 -0.13 -0.08 -0.12 -0.14 0.32 -0.07 -0.17 -0.1 -0.07 -0.21 0.43 -0.14 -0.13 -0.08 -0.13 -0.15 -0.18 -0.16 0.41 -0.12 -0.06 -0.26 -0.24 -0.07 0.5 -0.11 -0.05
N de Respuesta 17948 317 308 573 57 416 1634 8114 1726 7807 130 208 7543 7547 1767 1850 101 811 2353 1105 8818 6609 569 165 4269 4832 1662 8424 205 227
CAPTULO 5
273
tem
Opcin correcta
Promedio de habilidad -0.28 -0.49 0.44 -0.57 -1.77 -0.71 -0.23 -0.04 -0.34 0.65 -0.93 -0.48 0.42 -0.15 -0.26 -0.31 -0.99 -0.49 -0.32 -0.48 0.52 -0.06 -1.13 -0.5 0 0.43 -0.4 -0.59 -0.96 -0.75 -0.91 -0.86 -0.75 0.21 -1.6 -0.82
Error de Medicin 0.01 0.02 0.01 0.01 0.18 0.05 0.01 0.01 0.02 0.01 0.14 0.05 0.01 0.01 0.01 0.01 0.12 0.04 0.01 0.01 0.01 0.01 0.19 0.06 0.01 0.01 0.02 0.02 0.1 0.03 0.03 0.02 0.02 0.01 0.12 0.09
Ajuste (Outfit) 1.01 0.91 0.98 0.76 0.35 0.67 0.9 1.22 0.82 1.03 0.68 0.74 1.14 1.18 1.01 0.9 0.65 0.87 0.99 0.76 1 1.21 1.12 0.89 1.55 1.09 0.83 0.65 0.56 0.57 0.63 0.65 0.76 0.94 0.4 0.74
Correlacin -0.2 -0.14 0.42 -0.22 -0.1 -0.1 -0.18 -0.06 -0.14 0.37 -0.07 -0.08 0.34 -0.1 -0.14 -0.15 -0.08 -0.08 -0.22 -0.22 0.41 -0.05 -0.07 -0.06 -0.04 0.31 -0.17 -0.19 -0.09 -0.13 -0.17 -0.18 -0.21 0.37 -0.12 -0.05
N de Respuesta 5005 1289 10747 2206 63 309 5584 5924 2090 5482 106 433 8953 3792 3376 2918 121 459 5237 2778 8515 2748 78 263 7165 7914 2332 1560 136 512 619 772 1257 16802 103 66
DL6B1IT06
DL6B1IT07
DL6B1IT08
DL6B1IT09
DL6B1IT10
DL6B1IT11
274
REPORTE TCNICO
tem
Opcin correcta
Opciones de respuesta 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin
Promedio de habilidad 0.36 -0.57 -0.48 -0.69 -1.9 -0.84 -0.65 0.53 -0.42 -0.01 -1.61 -0.63 -0.07 0.89 -0.3 -0.03 -1.59 -0.47 -0.28 -0.42 -0.36 0.44 -1.49 -0.48 -0.15 -0.23 0.44 -0.46 -1.58 -0.37
Error de Medicin 0.01 0.02 0.01 0.03 0.23 0.06 0.01 0.01 0.02 0.01 0.14 0.07 0.01 0.02 0.01 0.01 0.13 0.07 0.01 0.01 0.03 0.01 0.12 0.07 0.01 0.02 0.01 0.02 0.14 0.05
Ajuste (Outfit) 0.94 0.8 0.89 0.71 0.45 0.66 0.6 1.02 0.81 1.28 0.35 0.65 1.08 0.96 0.78 1.01 0.27 0.72 1.07 0.91 1.06 0.98 0.43 0.83 1.14 1.14 1.07 0.83 0.37 0.89
Correlacin 0.43 -0.18 -0.28 -0.15 -0.09 -0.09 -0.3 0.39 -0.16 -0.04 -0.11 -0.06 -0.07 0.38 -0.16 -0.07 -0.12 -0.05 -0.17 -0.24 -0.1 0.4 -0.12 -0.05 -0.14 -0.09 0.35 -0.2 -0.12 -0.05
N de Respuesta 12929 1497 4230 719 43 201 3031 7876 2122 6373 91 126 4570 3293 3444 8021 103 188 4095 3955 1104 10206 116 143 6030 1867 8812 2559 99 252
DL6B1IT12
DL6B1IT13
DL6B1IT14
DL6B1IT15
DL6B1IT16
CAPTULO 5
275
Tabla 5b. LECTURA 6. Indicadores por opcin. Bloque 2.

Opcin correcta Opciones de Promedio de Error de respuesta habilidad Medicin 1 2 DL6B2IT01 2 3 4 Multimarca Omisin 1 2 DL6B2IT02 4 3 4 Multimarca Omisin 1 2 DL6B2IT03 2 3 4 Multimarca Omisin 1 2 DL6B2IT04 3 3 4 Multimarca Omisin 1 2 DL6B2IT05 2 3 4 Multimarca Omisin -1.02 0.13 -0.65 -1.02 -2.66 -0.98 -1.26 -1.62 -1.36 0.05 -3.4 -1.28 -1.05 0.06 -1.51 -1.35 -2.18 -1.16 -0.93 -1.29 0.06 -1.25 -3.87 -1.2 -0.54 0.19 -0.6 -0.49 -0.67 -0.66 0.02 0.01 0.07 0.03 0.43 0.12 0.04 0.16 0.05 0.01 0.66 0.15 0.03 0.01 0.11 0.05 0.3 0.26 0.03 0.07 0.01 0.1 0.77 0.1 0.03 0.01 0.02 0.02 0.07 0.1 Ajuste (Outfit) 0.65 0.94 0.97 0.64 0.33 0.71 0.54 0.44 0.52 0.96 0.3 0.56 0.66 0.96 0.47 0.5 0.45 0.67 0.74 0.54 0.97 0.62 0.53 0.56 1.03 1.03 0.95 1.09 1.07 0.87
tem
Correlacin -0.24 0.36 -0.05 -0.22 -0.09 -0.05 -0.16 -0.08 -0.16 0.26 -0.09 -0.05 -0.17 0.27 -0.09 -0.16 -0.1 -0.03 -0.19 -0.11 0.25 -0.08 -0.1 -0.06 -0.13 0.31 -0.15 -0.18 -0.08 -0.04
N de Respuesta 982 14125 115 811 21 47 288 46 238 15487 12 30 474 15271 68 238 37 13 701 136 15127 77 11 49 938 11758 1030 2057 256 62
276
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de Error de respuesta habilidad Medicin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.9 -0.55 0.2 -0.58 -1.32 -0.54 -1.05 -0.82 0.11 -1.28 -3.62 -1.02 -0.4 0.22 -0.73 -0.24 -1.16 -0.67 -0.47 -0.21 -0.62 0.49 -1.49 -0.53 -0.61 0.14 -0.4 -0.58 -2.18 -0.45 -0.39 0.41 -0.74 -0.99 -0.6 -0.52 0.03 0.04 0.01 0.01 0.17 0.12 0.03 0.03 0.01 0.05 0.65 0.15 0.03 0.01 0.06 0.01 0.21 0.11 0.01 0.01 0.04 0.01 0.22 0.08 0.03 0.01 0.02 0.02 0.32 0.05 0.01 0.01 0.07 0.02 0.05 0.08
Ajuste (Outfit) 0.71 1.07 0.99 0.95 0.76 1.06 0.65 0.82 0.95 0.52 0.21 0.76 1.11 1.22 0.88 1.29 0.77 0.98 0.87 1.2 0.79 0.97 0.49 0.89 1 1.05 1.2 1.01 0.35 1.17 1.05 0.93 0.81 0.52 0.95 1.14
Correlacin -0.16 -0.09 0.35 -0.26 -0.09 -0.03 -0.23 -0.15 0.33 -0.14 -0.09 -0.06 -0.1 0.24 -0.08 -0.16 -0.07 -0.06 -0.31 -0.09 -0.1 0.42 -0.08 -0.05 -0.13 0.27 -0.12 -0.15 -0.09 -0.06 -0.27 0.43 -0.07 -0.25 -0.09 -0.05
N de Respuesta 581 449 12039 2894 84 54 807 601 14426 201 11 55 1073 9067 227 5548 58 128 5258 3136 488 7013 56 150 769 12394 1528 1094 31 285 5646 8672 166 1050 381 186
DL6B2IT06
DL6B2IT07
DL6B2IT08
DL6B2IT09
DL6B2IT10
DL6B2IT11
CAPTULO 5
277
tem
Opcin correcta
Opciones de Promedio de Error de respuesta habilidad Medicin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 0.18 -0.38 -0.41 -0.53 -1.43 -0.7 -0.63 -0.76 0.33 -0.21 -1.31 -0.59 -0.26 -0.22 -0.69 0.83 -1.47 -0.6 -0.38 0.43 -0.45 -0.15 -1.37 -0.68 0.27 -0.48 -0.23 -0.02 -0.76 -0.69 0.01 0.02 0.02 0.02 0.25 0.08 0.02 0.03 0.01 0.01 0.21 0.06 0.01 0.01 0.02 0.02 0.21 0.06 0.02 0.01 0.02 0.01 0.24 0.05 0.01 0.02 0.02 0.01 0.06 0.05
Ajuste (Outfit) 1.07 1.19 1.21 0.98 0.64 0.96 0.79 0.74 1.03 1.34 0.79 0.9 0.91 0.97 0.58 0.84 0.45 0.71 0.96 1.13 0.88 1.24 0.69 0.7 1.24 0.94 1.19 1.57 0.73 0.79
Correlacin 0.28 -0.11 -0.12 -0.17 -0.07 -0.07 -0.23 -0.16 0.35 -0.12 -0.07 -0.08 -0.15 -0.14 -0.22 0.48 -0.08 -0.07 -0.15 0.33 -0.15 -0.09 -0.08 -0.09 0.24 -0.17 -0.09 -0.01 -0.09 -0.11
N de Respuesta 11410 1365 1434 1681 43 168 2050 784 8704 4214 58 291 4598 5319 1608 4297 58 221 2526 6291 1778 5151 55 300 7223 2091 2304 3796 241 446
DL6B2IT12
DL6B2IT13
DL6B2IT14
DL6B2IT15
DL6B2IT16
278
REPORTE TCNICO
Tabla 5c. LECTURA 6. Indicadores por opcin. Bloque 3.

Opcin correcta Opciones de respuesta 1 2 DL6B3IT01 1 3 4 Multimarca Omisin 1 2 DL6B3IT02 1 3 4 Multimarca Omisin 1 2 DL6B3IT03 2 3 4 Multimarca Omisin 1 2 DL6B3IT04 2 3 4 Multimarca Omisin 1 2 DL6B3IT05 1 3 4 Multimarca Omisin Promedio de Error de habilidad Medicin 0.17 -0.43 -0.54 -0.59 -0.9 -0.6 0.13 -0.71 -0.82 -0.73 -1.57 -0.85 -0.62 0.22 -0.68 -0.64 -1.64 -0.98 -0.83 0.16 -0.57 -0.68 -1.88 -0.87 0.16 -0.75 -0.53 -0.35 -2.14 -0.59 0.01 0.02 0.04 0.02 0.1 0.08 0.01 0.03 0.03 0.02 0.19 0.11 0.01 0.01 0.04 0.02 0.24 0.07 0.02 0.01 0.04 0.02 0.28 0.08 0.01 0.03 0.02 0.02 0.35 0.04 Ajuste (Outfit) 1.01 1.19 1.2 0.98 0.89 1.05 0.98 0.86 0.78 0.83 0.56 0.88 0.89 0.97 0.9 0.86 0.56 0.64 0.74 0.96 1.05 0.88 0.49 0.84 1.04 0.79 1 1.22 0.39 1.04
tem
Correlacin 0.32 -0.12 -0.1 -0.22 -0.08 -0.06 0.34 -0.14 -0.17 -0.21 -0.09 -0.06 -0.27 0.39 -0.11 -0.17 -0.08 -0.09 -0.24 0.36 -0.1 -0.19 -0.08 -0.07 0.3 -0.16 -0.16 -0.11 -0.07 -0.1
N de Respuesta 13178 1626 696 2513 143 175 15099 732 831 1496 59 114 3100 13114 519 1377 41 180 1561 14572 556 1464 39 139 13227 880 1732 1848 22 622
CAPTULO 5
279
tem
Opcin correcta
Promedio de Error de habilidad Medicin -0.22 0.72 -0.44 -0.14 -1.21 -0.48 -0.43 -0.56 0.23 -0.55 -0.54 -0.72 -0.11 0.71 -0.51 -0.63 -1.32 -0.78 0.57 -0.7 -0.09 -0.24 -1.13 -0.81 -0.45 0.38 -0.31 -0.18 -1.57 -0.57 -0.22 0.5 -0.49 -0.56 -1.62 -0.5 0.01 0.02 0.02 0.01 0.18 0.06 0.02 0.02 0.01 0.02 0.03 0.05 0.01 0.02 0.01 0.03 0.3 0.08 0.01 0.02 0.02 0.01 0.14 0.08 0.01 0.01 0.03 0.01 0.21 0.09 0.01 0.01 0.01 0.01 0.21 0.06
Ajuste (Outfit) 0.99 0.95 0.79 1.02 0.52 0.78 1.24 0.94 1.01 0.95 0.94 0.84 1.06 0.95 0.74 0.65 0.84 0.68 1 0.59 1.23 1.01 0.56 0.64 0.86 1.09 1.14 1.25 0.55 0.94 1.14 0.95 0.81 0.76 0.48 0.93
Correlacin -0.15 0.41 -0.18 -0.05 -0.07 -0.06 -0.12 -0.18 0.36 -0.16 -0.11 -0.09 -0.07 0.42 -0.26 -0.14 -0.06 -0.07 0.4 -0.23 -0.02 -0.19 -0.08 -0.07 -0.25 0.35 -0.07 -0.08 -0.09 -0.05 -0.11 0.44 -0.2 -0.22 -0.09 -0.05
N de Respuesta 7244 4272 2927 3515 71 302 1435 1890 12145 1668 850 343 8463 4577 4164 908 41 178 5688 1994 2056 8328 100 165 4861 7740 1061 4429 59 181 4808 7441 3046 2735 60 241
DL6B3IT06
DL6B3IT07
DL6B3IT08
DL6B3IT09
DL6B3IT10
DL6B3IT11
280
REPORTE TCNICO
tem
Opcin correcta
Promedio de Error de habilidad Medicin -0.53 0.7 -0.49 -0.17 -1.58 -0.52 -0.44 0.43 -0.43 -0.64 -1.48 -0.82 -0.76 -0.75 -0.65 0.19 -1.76 -0.97 -0.11 -0.62 0.39 -0.44 -1.54 -0.67 -0.57 -0.57 0.27 -0.62 -0.95 -0.61 0.01 0.02 0.03 0.01 0.32 0.04 0.01 0.01 0.01 0.03 0.22 0.07 0.02 0.02 0.03 0.01 0.27 0.07 0.01 0.02 0.01 0.02 0.25 0.07 0.02 0.02 0.01 0.02 0.11 0.05
Ajuste (Outfit) 0.7 0.88 0.83 1.05 0.69 0.8 0.89 0.97 0.93 0.83 0.55 0.7 0.83 0.82 0.93 0.93 0.52 0.67 1.23 0.76 1.11 0.94 0.59 0.78 0.95 0.95 0.96 0.87 0.69 0.91
Correlacin -0.26 0.46 -0.1 -0.12 -0.07 -0.09 -0.25 0.45 -0.18 -0.15 -0.08 -0.08 -0.26 -0.18 -0.14 0.4 -0.08 -0.08 -0.06 -0.21 0.32 -0.14 -0.08 -0.07 -0.19 -0.16 0.41 -0.22 -0.07 -0.08
N de Respuesta 3877 5209 862 7758 35 590 5059 8972 3016 1045 54 185 2102 1120 906 14012 42 149 7201 2180 6749 1952 54 195 2154 1469 11994 2239 107 368
DL6B3IT12
DL6B3IT13
DL6B3IT14
DL6B3IT15
DL6B3IT16
CAPTULO 5
281
Tabla 5d. LECTURA 6. Indicadores por opcin. Bloque 4.

Opcin correcta Opciones de Promedio de respuesta habilidad 1 2 DL6B4IT01 1 3 4 Multimarca Omisin 1 2 DL6B4IT02 2 3 4 Multimarca Omisin 1 2 DL6B4IT03 4 3 4 Multimarca Omisin 1 2 DL6B4IT04 3 3 4 Multimarca Omisin 1 2 DL6B4IT05 2 3 4 Multimarca Omisin 0.12 -0.78 -0.37 -0.52 -1.31 -0.83 -0.36 0.43 -0.23 -0.59 -1.26 -0.64 -0.09 -0.38 -0.41 0.31 -0.76 -0.68 -0.11 -0.33 0.33 -0.26 -0.77 -0.55 -0.43 0.27 -0.8 -0.64 -1.86 -0.8 Error de Medicin 0.01 0.02 0.02 0.02 0.18 0.07 0.01 0.01 0.01 0.01 0.2 0.06 0.01 0.01 0.02 0.01 0.13 0.05 0.01 0.01 0.01 0.02 0.15 0.05 0.01 0.01 0.02 0.03 0.22 0.05 Ajuste (Outfit) 0.99 0.74 1.16 0.96 0.69 0.8 0.92 0.94 1.09 0.69 0.67 0.77 1.24 0.94 0.85 1.12 0.88 0.62 1.16 0.98 1.13 1.04 1 0.78 0.98 0.94 0.63 0.82 0.41 0.75
tem
Correlacin 0.31 -0.23 -0.12 -0.11 -0.08 -0.08 -0.2 0.43 -0.12 -0.21 -0.07 -0.07 -0.05 -0.16 -0.13 0.27 -0.06 -0.07 -0.06 -0.17 0.29 -0.09 -0.05 -0.07 -0.26 0.43 -0.25 -0.1 -0.09 -0.09
N de Respuesta 16875 1609 2023 854 66 168 4931 8946 5147 2267 63 241 8669 3300 1890 7398 113 225 6451 4570 7532 2626 87 329 5447 13672 1702 474 48 252
282
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 0.17 -0.36 -0.45 -0.22 -1.51 -0.56 -0.39 0.47 -0.5 -0.37 -1.09 -0.58 -0.78 0.14 -0.47 -0.43 -1.44 -0.71 0.1 -0.97 -0.22 -0.66 -1.57 -0.71 0.27 -0.02 -0.55 -0.4 -1.82 -0.59 -0.58 0.46 -0.21 -0.42 -1.86 -0.61
Error de Medicin 0.01 0.01 0.02 0.01 0.23 0.04 0.01 0.01 0.02 0.01 0.14 0.03 0.01 0.01 0.03 0.02 0.18 0.06 0.01 0.03 0.02 0.02 0.24 0.1 0.01 0.01 0.01 0.01 0.25 0.05 0.01 0.01 0.01 0.01 0.27 0.05
Ajuste (Outfit) 1.09 1.05 0.95 1.31 0.76 0.92 0.91 0.89 0.77 0.9 0.64 0.71 0.72 0.97 1.07 1.09 0.63 0.88 1.01 0.62 1.44 0.82 0.61 0.84 1.08 1.52 0.74 0.92 0.43 0.77 0.73 0.94 1.05 0.86 0.48 0.74
Correlacin 0.28 -0.13 -0.15 -0.09 -0.08 -0.08 -0.26 0.48 -0.15 -0.16 -0.08 -0.09 -0.29 0.35 -0.08 -0.11 -0.09 -0.07 0.27 -0.15 -0.07 -0.22 -0.08 -0.04 0.33 0.01 -0.27 -0.16 -0.09 -0.06 -0.26 0.44 -0.13 -0.15 -0.08 -0.08
N de Respuesta 12897 2552 2065 3650 54 377 6615 9274 1709 3449 95 453 2433 16913 594 1399 65 191 16563 463 2467 1986 47 69 10900 3651 3864 2895 43 242 3547 8692 6717 2297 37 305
DL6B4IT06
DL6B4IT07
DL6B4IT08
DL6B4IT09
DL6B4IT10
DL6B4IT11
CAPTULO 5
283
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.58 -0.79 0.37 0.01 -1 -0.74 -0.46 0.33 -0.16 -0.3 -1.21 -0.59 -0.24 0.38 -0.19 -0.3 -1.58 -0.45 -0.51 -0.65 0.2 0.02 -1.36 -0.57 -0.39 -0.5 0.36 -0.38 -1.56 -0.66
Error de Medicin 0.01 0.02 0.01 0.01 0.23 0.05 0.01 0.01 0.01 0.01 0.19 0.06 0.01 0.01 0.01 0.01 0.27 0.05 0.01 0.02 0.01 0.01 0.18 0.06 0.01 0.01 0.01 0.01 0.18 0.06
Ajuste (Outfit) 0.66 0.57 1.05 1.37 0.9 0.6 0.87 1.03 1.3 1.01 0.64 0.78 1.08 1.07 1.08 0.93 0.61 0.85 0.82 0.68 1.14 1.61 0.57 0.84 0.92 0.87 0.96 0.95 0.48 0.77
Correlacin -0.31 -0.17 0.33 0.03 -0.05 -0.09 -0.24 0.36 -0.06 -0.12 -0.07 -0.06 -0.13 0.33 -0.08 -0.15 -0.07 -0.05 -0.19 -0.21 0.23 0.04 -0.08 -0.06 -0.2 -0.21 0.43 -0.15 -0.09 -0.06
N de Respuesta 4625 897 7800 7944 50 279 4544 9792 3637 3328 64 230 5219 7509 4073 4455 42 297 2612 1939 9817 6965 70 192 4402 3153 10948 2842 67 183
DL6B4IT12
DL6B4IT13
DL6B4IT14
DL6B4IT15
DL6B4IT16
284
REPORTE TCNICO

Opcin correcta Opciones de respuesta 1 2 DL6B5IT01 2 3 4 Multimarca Omisin 1 2 DL6B5IT02 4 3 4 Multimarca Omisin 1 2 DL6B5IT03 4 3 4 Multimarca Omisin 1 2 DL6B5IT04 3 3 4 Multimarca Omisin 1 2 DL6B5IT05 2 3 4 Multimarca Omisin Promedio de habilidad -1.13 0.09 -1 -0.86 -1.85 -0.9 -0.52 -0.21 0.19 0.42 -1.52 -0.32 -0.22 -0.44 -0.2 0.35 -0.7 -0.71 -0.17 -0.47 0.34 -0.24 -1.12 -0.38 -0.67 0.18 -0.83 -0.6 -1.71 -0.68 Error de Medicin 0.03 0.01 0.03 0.02 0.23 0.04 0.01 0.01 0.01 0.01 0.27 0.02 0.01 0.02 0.01 0.01 0.12 0.09 0.01 0.02 0.01 0.02 0.24 0.05 0.01 0.01 0.02 0.02 0.23 0.06 Ajuste (Outfit) 0.51 0.95 0.56 0.67 0.45 0.66 0.68 0.94 1.57 1.08 0.49 0.78 1.03 0.9 1.17 1.05 0.97 0.62 1.12 0.81 1.08 1.08 1.14 0.91 0.79 0.95 0.66 0.84 0.48 0.84
tem
Correlacin N de Respuesta -0.18 0.31 -0.12 -0.16 -0.09 -0.1 -0.24 -0.15 0.12 0.27 -0.07 -0.09 -0.18 -0.15 -0.09 0.34 -0.06 -0.04 -0.14 -0.17 0.32 -0.1 -0.06 -0.04 -0.26 0.38 -0.16 -0.14 -0.08 -0.06 477 21836 263 642 42 236 3277 6160 6320 6254 37 1448 7559 2022 3268 10458 125 64 8070 2147 10211 2768 53 247 2525 19111 684 1001 43 132
CAPTULO 5
285
tem
Opcin correcta
Promedio de habilidad -0.62 0.2 -0.57 -0.74 -1.91 -0.64 -0.69 0.29 -0.36 -0.33 -1.11 -0.62 0.3 -0.52 -0.47 -0.65 -0.84 -0.95 -0.26 -0.51 -0.5 0.3 -1.42 -0.63 0.4 -0.06 -0.61 -0.25 -1.29 -0.69 -0.61 -0.57 -0.21 0.25 -1.51 -0.42
Error de Medicin 0.02 0.01 0.02 0.02 0.29 0.03 0.02 0.01 0.01 0.01 0.16 0.06 0.01 0.01 0.01 0.03 0.13 0.09 0.01 0.02 0.01 0.01 0.19 0.05 0.01 0.01 0.01 0.01 0.16 0.06 0.01 0.01 0.01 0.01 0.21 0.03
Ajuste (Outfit) 0.82 0.95 0.89 0.7 0.41 0.82 0.68 1 0.94 0.99 0.64 0.8 0.93 0.86 0.9 0.76 0.96 0.55 1.12 0.87 0.82 0.97 0.55 0.77 1.05 1.21 0.65 0.94 0.5 0.71 0.8 0.79 1.22 0.98 0.52 1
Correlacin N de Respuesta -0.21 0.39 -0.19 -0.16 -0.08 -0.13 -0.22 0.39 -0.17 -0.17 -0.07 -0.06 0.44 -0.31 -0.18 -0.12 -0.07 -0.06 -0.12 -0.17 -0.25 0.39 -0.08 -0.08 0.36 -0.04 -0.24 -0.17 -0.08 -0.07 -0.24 -0.2 -0.09 0.37 -0.08 -0.07 1864 18222 1800 878 29 703 1717 14286 3378 3857 69 189 15351 4935 2438 582 113 77 3459 1883 3730 14099 60 265 9658 4975 2478 6102 76 207 2528 2116 2728 15555 49 520
DL6B5IT06
DL6B5IT07
DL6B5IT08
DL6B5IT09
DL6B5IT10
DL6B5IT11
286
REPORTE TCNICO
tem
Opcin correcta
Promedio de habilidad 0.27 -0.21 -0.59 -0.28 -1.32 -0.5 -0.19 -0.12 -0.16 0.33 -1.3 -0.4 -0.4 -0.7 0.2 -0.23 -1.51 -0.69 0.29 -0.21 -0.63 -0.42 -1.61 -0.66 -0.45 -0.1 -0.1 0.36 -1.58 -0.44
Error de Medicin 0.01 0.02 0.02 0.01 0.2 0.04 0.02 0.01 0.02 0.01 0.22 0.04 0.01 0.02 0.01 0.02 0.26 0.09 0.01 0.01 0.01 0.01 0.26 0.06 0.01 0.01 0.01 0.01 0.21 0.04
Ajuste (Outfit) 1.05 1.2 0.74 1.04 0.62 0.86 1.06 1.12 1.1 1.19 0.65 0.85 1.17 0.78 0.98 1.31 0.81 0.82 1.03 1.17 0.69 0.86 0.71 0.78 0.76 1.14 1.1 1.16 0.45 0.78
Correlacin N de Respuesta 0.33 -0.07 -0.2 -0.18 -0.07 -0.08 -0.08 -0.13 -0.07 0.25 -0.07 -0.06 -0.21 -0.18 0.32 -0.08 -0.07 -0.05 0.35 -0.14 -0.22 -0.15 -0.08 -0.07 -0.19 -0.07 -0.07 0.29 -0.08 -0.07 13667 1590 1894 5848 55 442 2874 9465 2532 8182 56 387 4109 1149 16452 1654 43 89 13427 5739 2038 2059 43 190 2915 6008 5604 8465 52 452
DL6B5IT12
DL6B5IT13
DL6B5IT14
DL6B5IT15
DL6B5IT16
CAPTULO 5
287
Tabla 5f. LECTURA 6. Indicadores por opcin. Bloque 6.

tem Opcin correcta Opciones de Promedio de respuesta habilidad 1 2 DL6B6IT01 3 3 4 Multimarca Omisin 1 2 DL6B6IT02 1 3 4 Multimarca Omisin 1 2 DL6B6IT03 1 3 4 Multimarca Omisin 1 2 DL6B6IT04 4 3 4 Multimarca Omisin 1 2 DL6B6IT05 2 3 4 Multimarca Omisin -0.49 0.04 0.45 -0.15 -1.82 -0.41 0.28 -0.29 -0.58 -0.37 -1.91 -0.5 0.45 -0.49 -0.33 -0.18 -1.72 -0.48 -0.45 -0.24 -0.03 0.6 -0.86 -0.16 -0.36 0.46 -0.5 -0.03 -1.46 -0.55 Error de Medicin 0.01 0.01 0.01 0.02 0.33 0.04 0.01 0.02 0.03 0.01 0.27 0.06 0.01 0.01 0.02 0.01 0.22 0.03 0.01 0.01 0.02 0.01 0.09 0.04 0.01 0.01 0.01 0.01 0.26 0.04 Ajuste (Outfit) 0.78 1.44 0.98 1.11 0.5 0.92 1.03 1.2 0.86 0.98 0.44 1.01 1.01 0.8 0.95 1.09 0.42 0.82 0.74 0.93 1.29 0.93 0.67 1.02 0.92 0.98 0.77 1.29 0.81 0.76 Correlacin N de Respuesta -0.38 -0.01 0.4 -0.05 -0.07 -0.06 0.32 -0.13 -0.13 -0.21 -0.08 -0.06 0.39 -0.22 -0.13 -0.15 -0.09 -0.09 -0.27 -0.19 -0.04 0.45 -0.09 -0.04 -0.23 0.41 -0.25 -0.04 -0.07 -0.08 6982 3624 11711 1049 30 354 16059 2411 903 4112 35 230 11778 2897 2152 6329 51 543 4724 6219 2757 9347 188 515 5092 11974 3402 2908 52 322
288
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.35 -0.69 0.52 -0.18 -0.99 -0.58 -0.41 0.24 -0.35 0.3 -1.21 -0.36 0.33 -0.15 -0.2 -0.29 -1.37 -0.33 -0.24 0.4 -0.41 -0.22 -1.09 -0.45 -0.7 -0.6 0.29 -0.21 -1.24 -0.59 0.28 -0.29 -0.39 -0.48 -1.11 -0.48
Error de Medicin 0.01 0.05 0.01 0.01 0.13 0.06 0.01 0.02 0.02 0.01 0.26 0.05 0.01 0.02 0.03 0.01 0.2 0.1 0.02 0.01 0.01 0.01 0.1 0.08 0.02 0.01 0.01 0.01 0.19 0.09 0.01 0.02 0.01 0.02 0.16 0.05
Ajuste (Outfit) 0.86 0.7 0.99 1.04 0.63 0.72 0.88 2.26 0.98 1.09 0.94 1.09 1.08 1.32 1.23 1.06 0.6 1.16 1.09 1.05 0.85 1.11 0.58 0.95 0.69 0.77 0.99 1.24 0.79 0.86 1.02 1.14 0.97 0.91 0.85 0.93
Correlacin N de Respuesta -0.25 -0.09 0.42 -0.17 -0.08 -0.07 -0.26 0.07 -0.14 0.25 -0.06 -0.06 0.3 -0.09 -0.05 -0.23 -0.08 -0.03 -0.1 0.37 -0.23 -0.14 -0.1 -0.04 -0.19 -0.26 0.36 -0.1 -0.07 -0.04 0.33 -0.14 -0.19 -0.15 -0.08 -0.06 5692 296 10406 7028 114 214 4919 3705 2140 12525 48 413 13053 3223 776 6515 65 118 2270 12742 4171 4285 155 127 1250 2788 16851 2707 66 88 16140 2748 3081 1439 88 254
DL6B6IT06
DL6B6IT07
DL6B6IT08
DL6B6IT09
DL6B6IT10
DL6B6IT11
CAPTULO 5
289
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.48 0.48 -0.52 -0.55 -1.68 -0.63 -0.16 -0.65 -0.2 0.24 -1.54 -0.63 -0.39 -0.32 -0.43 0.5 -1.39 -0.5 -0.2 -0.56 -0.48 0.58 -1.96 -0.66 -0.21 0.87 0.11 0.11 -1 -0.18
Error de Medicin 0.01 0.01 0.01 0.03 0.23 0.06 0.01 0.02 0.02 0.01 0.35 0.07 0.01 0.01 0.03 0.01 0.15 0.08 0.01 0.01 0.02 0.01 0.3 0.07 0.01 0.01 0.02 0.02 0.37 0.04
Ajuste (Outfit) 0.8 0.87 0.74 0.82 0.54 0.75 1.4 0.81 1.39 1.05 0.98 0.77 0.84 0.93 0.88 0.94 0.49 0.85 0.99 0.67 0.77 0.95 0.37 0.7 0.83 0.86 1.28 1.28 1.16 0.91
Correlacin N de Respuesta -0.23 0.51 -0.34 -0.11 -0.08 -0.07 -0.11 -0.2 -0.08 0.26 -0.07 -0.05 -0.27 -0.21 -0.1 0.46 -0.1 -0.04 -0.24 -0.21 -0.13 0.45 -0.07 -0.07 -0.36 0.43 0.01 0.01 -0.03 -0.04 3398 13982 5482 622 48 218 4083 1527 1969 16013 36 122 5805 4930 791 12004 92 128 10251 2304 1159 9818 29 189 14109 5011 2325 1794 23 488
DL6B6IT12
DL6B6IT13
DL6B6IT14
DL6B6IT15
DL6B6IT16
290
REPORTE TCNICO

Tabla 6. LECTURA 6. Mapa de distribucin de habilidades y dificultades. Estudiantes MAP OF Items <more>|<rare> 4 . + . | . | . | . | | 3 . + . | . | . | . | . | 2 .## + DL6B1IT14 . T|T .## | DL6B6IT16 .### | .## | DL6B3IT06 DL6B3IT08 .##### | DL6B1IT07 DL6B2IT14 DL6B5IT02 1 .###### S+ DL6B3IT12 .###### |S DL6B1IT04 DL6B3IT09 .####### | DL6B3IT15 DL6B4IT03 DL6B4IT04 DL6B4IT12 DL6B4IT14 DL6B5IT13 DL6B5IT16 .####### | DL6B1IT02 DL6B1IT03 DL6B1IT10 DL6B1IT13 DL6B2IT15 DL6B4IT11 DL6B6IT04 DL6B6IT15 .######### | DL6B1IT05 DL6B1IT09 DL6B1IT16 DL6B2IT09 DL6B3IT10 DL6B3IT11 DL6B4IT02 DL6B4IT07 DL6B5IT03 DL6B5IT04 DL6B5IT10 DL6B6IT06 .######### | DL6B1IT08 DL6B2IT16 DL6B4IT13 DL6B4IT15 0 .########## M+ DL6B1IT15 DL6B3IT13 DL6B4IT10 DL6B4IT16 DL6B6IT01 DL6B6IT03 DL6B6IT05 DL6B6IT14 .############ | DL6B1IT06 DL6B2IT11 DL6B2IT13 DL6B6IT07 DL6B6IT08 DL6B6IT09 .############ |M DL6B2IT08 DL6B5IT12 DL6B5IT15 DL6B6IT12 .########## | DL6B4IT06 DL6B5IT07 DL6B5IT09 .########## | DL6B4IT05 DL6B5IT08 .######## | DL6B1IT12 DL6B3IT07 DL6B3IT16 DL6B5IT11 DL6B6IT02
CAPTULO 5
291
DL6B6IT11 DL6B6IT13 -1 .####### S+ DL6B5IT14 DL6B6IT10 .##### | DL6B2IT05 DL6B2IT12 DL6B3IT01 DL6B3IT03 DL6B3IT05 .### | DL6B2IT06 DL6B4IT09 .## |S DL6B2IT10 DL6B3IT14 DL6B4IT01 DL6B4IT08 DL6B5IT06 .# | DL6B3IT04 DL6B5IT05 . T| DL6B3IT02 -2 . + DL6B1IT11 . | . | DL6B2IT01 . |T DL6B2IT07 . | DL6B1IT01 . | DL6B5IT01 -3 . + . | DL6B2IT04 . | DL6B2IT03 | . | DL6B2IT02 . | -4 + . | | | | | -5 . + <less>|<frequ> Cada smbolo '#' equivale a 394 estudiantes. El punto (.) indica que hay entre 1 y 393 estudiantes.
292
REPORTE TCNICO
PROMEDIO, DESVIACIN ESTNDAR Y VALORES MXIMO Y MNIMO DE DIFICULTADES DE TEMS Grfico 1. LECTURA 6. Promedio, desviacin estndar y valores mximo y mnimo de dificultades de tems, por bloque.
1.40
1.20
B1
1.00
B2 B3 B4 B5 B6
0.80

0.60
0.40 -4.00
-3.00
-2.00
-1.00
0.00
1.00
2.00
3.00
4.00
CAPTULO 5
293
FUNCIN DE INFORMACIN DE LA PRUEBA Grfico 2. LECTURA 6. Funcin de informacin.
Informacin
Medida
294
REPORTE TCNICO
Tabla 7a. LECTURA 6. Valor de dificultad de cada tem por pas. Bloque 1.
Chile -3.051 0.267 0.342 0.024 -0.180 -0.180 1.119 0.083 0.139 0.101 -2.353 -1.209 0.175 1.929 -0.302 0.124 0.104 -0.023 -0.682 0.633 -0.275 -0.605 -0.930 0.528 0.015 0.386 1.791 1.541 0.847 2.551 2.071 0.303 0.175 -0.391 1.206 0.718 0.930 2.397 0.348 0.599 -0.662 -1.638 -1.754 0.018 -0.583 0.004 -2.375 -3.235 -3.276 -1.164 -2.103 -1.489 0.412 -0.019 0.346 0.709 0.645 0.988 0.283 -2.333 -1.125 0.452 1.886 -0.038 0.292 0.664 -0.194 -0.614 0.515 0.345 1.137 -0.004 0.356 0.084 -0.333 0.603 0.252 0.506 0.310 0.302 0.573 0.810 -1.872 -0.506 0.714 2.044 0.219 0.513 0.854 1.105 0.119 1.717 1.407 1.768 1.077 1.073 -0.171 -0.605 -1.459 0.179 0.499 0.510 -0.207 0.099 0.218 -0.475 -0.163 0.957 0.305 0.727 0.438 0.803 0.787 -0.062 1.628 0.168 0.617 0.772 -2.044 -0.327 1.020 2.246 0.137 0.360 0.959 0.508 0.339 1.288 0.789 1.255 0.248 1.276 0.989 0.619 0.193 -0.939 1.138 1.133 1.275 0.070 0.945 0.964 0.472 0.017 -0.235 0.880 0.420 0.669 0.349 0.552 0.580 0.307 0.960 1.271 0.647 0.376 1.172 0.213 0.467 1.070 -1.499 -0.260 0.942 2.383 0.307 0.478 -2.778 -2.419 -4.003 -1.957 -2.821 -2.216 -3.246 -2.827 -2.375 -1.772 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per -2.492 0.874 0.874 0.826 0.472 -0.012 1.282 0.356 0.531 0.347 -1.774 -0.413 0.768 2.019 0.220 0.613 Rep. Dom. Uruguay -1.942 0.732 1.515 1.447 1.711 0.364 1.873 0.374 0.930 1.201 -0.912 -0.137 1.201 2.384 0.665 0.894 -3.004 0.204 0.329 0.565 -0.032 -1.355 0.904 0.144 -0.057 -0.032 -2.142 -1.219 0.368 1.895 -0.531 0.165
tem
Argentina
Brasil
DL6B1IT01
-3.053
-2.691
DL6B1IT02
0.401
0.661
DL6B1IT03
0.279
0.037
DL6B1IT04
0.631
1.521
DL6B1IT05
0.301
-0.050
DL6B1IT06
-0.830
-0.493
DL6B1IT07
0.840
1.096
CAPTULO 5
DL6B1IT08
0.054
0.290
DL6B1IT09
0.166
0.398
DL6B1IT10
0.246
0.308
DL6B1IT11
-1.910
-2.543
DL6B1IT12
-1.089
-1.163
DL6B1IT13
0.434
-0.607
DL6B1IT14
1.810
1.521
DL6B1IT15
-0.201
-0.403
DL6B1IT16
0.290
-0.328
295
296
Chile -3.471 -5.030 -3.882 -3.550 -1.550 -1.571 -2.749 -0.441 -0.011 -1.708 -0.968 -1.200 -0.464 0.636 0.369 0.503 0.255 0.187 -0.393 0.325 0.462 0.131 0.747 0.522 0.919 0.681 -0.207 1.872 -0.311 -0.734 -0.783 0.220 2.065 0.694 0.092 -1.050 -1.178 -1.537 -0.570 -1.205 -0.188 -0.433 -1.214 -2.222 0.564 0.251 -1.334 -1.538 -2.213 -1.180 -1.560 -1.142 0.728 -0.983 -0.003 2.140 0.723 0.328 0.372 0.116 -0.697 0.842 0.323 0.890 -0.133 -0.611 -0.713 -0.208 -0.225 -0.082 -2.952 -2.905 -3.717 -2.033 -2.641 -2.137 -2.779 -0.696 -0.067 -1.290 -0.432 -1.072 -0.415 0.749 0.324 0.400 -1.444 -1.785 -2.627 -0.708 -1.084 -0.875 -2.201 -1.407 -1.833 -2.115 -0.554 -1.097 -0.823 -1.443 -0.979 -0.726 -2.361 0.063 0.577 -1.301 0.325 -0.950 -0.121 2.370 0.691 0.015 -3.463 -4.389 -5.110 -3.003 -3.480 -2.478 -3.981 -2.327 -3.622 -4.072 -4.252 -2.638 -3.364 -2.950 -4.073 -2.924 -3.928 -5.099 -5.573 -2.858 -3.681 -2.555 -4.475 -3.496 -3.343 -2.766 -3.076 -1.066 -1.122 -2.230 -0.626 0.340 -1.576 0.108 -0.898 -0.134 1.770 0.384 0.257 -2.516 -3.199 -3.519 -1.656 -2.003 -1.452 -2.667 -1.747 -2.250 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay -1.657 -3.234 -3.012 -2.747 -0.830 -1.215 -2.141 -0.048 0.417 -0.961 0.334 -0.824 0.019 1.716 0.759 0.062 Per -2.269 -3.409 -3.356 -3.018 -1.248 -0.932 -2.351 -0.258 0.714 -0.896 -0.105 -0.932 -0.120 1.509 0.567 0.423 Rep. Dom. Uruguay -1.060 -2.620 -2.199 -2.300 -0.370 -0.555 -1.339 -0.252 0.970 -0.720 0.955 -0.706 0.510 2.419 1.123 0.255 -2.901 -4.924 -3.426 -3.781 -1.356 -1.547 -2.527 -0.858 -0.090 -1.468 -0.640 -1.289 -0.344 0.284 0.293 0.082
REPORTE TCNICO
Tabla 7b. LECTURA 6. Valor de dificultad de cada tem por pas. Bloque 2.
tem
Argentina
Brasil
DL6B2IT01
-2.650
-3.070
DL6B2IT02
-4.260
-3.011
DL6B2IT03
-3.617
-3.521
DL6B2IT04
-3.774
-2.020
DL6B2IT05
-1.335
-1.134
DL6B2IT06
-1.266
-1.972
DL6B2IT07
-2.325
-2.955
DL6B2IT08
-0.423
0.132
DL6B2IT09
-0.177
0.093
DL6B2IT10
-1.868
-2.070
DL6B2IT11
-0.411
-0.600
DL6B2IT12
-0.905
-1.773
DL6B2IT13
-0.172
-0.389
DL6B2IT14
0.441
0.977
DL6B2IT15
0.171
0.382
DL6B2IT16
0.201
0.313
Tabla 7c. LECTURA 6. Valor de dificultad de cada tem por pas. Bloque 3.
Chile -1.163 -2.202 -1.395 -1.842 -1.609 1.087 -1.301 1.156 0.963 0.471 0.120 0.219 -0.308 -2.036 0.279 -1.310 -0.693 -2.009 -1.427 -0.369 0.118 0.167 -0.061 0.869 0.859 -0.396 -1.580 -2.362 -2.168 -0.929 -1.389 -0.331 -1.128 -0.703 0.601 0.038 0.128 -1.072 1.043 -0.352 1.325 0.368 -0.229 1.708 0.938 1.758 0.018 -0.641 -0.685 1.073 0.725 0.962 0.105 -0.121 -0.763 0.569 0.634 0.547 0.345 0.044 0.877 -0.180 -1.697 0.894 -0.949 0.822 0.127 0.140 1.310 0.968 1.249 0.503 1.454 1.041 0.667 1.851 1.569 1.727 0.923 1.907 1.253 0.439 0.725 1.493 0.557 -1.224 1.157 -0.189 -1.102 -1.384 -1.116 -0.433 -0.918 -0.664 -1.125 -0.559 1.243 0.652 0.363 2.227 1.640 1.675 0.831 2.262 -1.191 -1.656 -1.758 -0.489 -0.918 -0.659 -1.200 -0.646 -1.056 2.043 -0.464 1.531 1.169 0.431 0.610 1.388 0.020 -0.955 0.744 -0.672 -1.765 -2.617 -2.843 -0.997 -1.437 -0.956 -2.031 -1.101 -1.253 -1.424 -2.362 -2.146 -0.568 -0.844 -0.649 -1.600 -0.533 -0.807 -2.135 -2.484 -2.550 -1.382 -1.853 -1.467 -2.239 -1.574 -1.619 -1.776 -0.850 -0.919 -0.627 1.989 -0.340 1.766 0.958 0.671 0.560 1.559 0.964 -1.303 1.076 -0.833 -1.182 -1.370 -1.661 -0.863 -1.151 -0.930 -1.052 -1.138 -1.027 -0.931 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per -1.020 -1.256 -1.025 -1.885 -0.850 1.783 -1.009 1.562 1.035 0.191 0.758 1.274 0.262 -1.641 0.727 -0.575 Rep. Dom. Uruguay -0.241 -1.253 -0.003 -0.858 -0.870 2.394 0.389 2.380 1.642 1.101 1.050 2.204 0.623 -0.039 1.443 0.315 -1.468 -1.837 -1.094 -2.016 -1.781 0.883 -1.080 0.576 0.869 -0.001 0.317 1.330 -0.048 -1.565 0.636 -1.436
tem
Argentina
Brasil
DL6B3IT01
-1.283
-1.542
DL6B3IT02
-1.608
-2.101
DL6B3IT03
-1.468
-2.084
DL6B3IT04
-1.668
-2.775
DL6B3IT05
-1.519
-2.032
DL6B3IT06
0.972
0.804
DL6B3IT07
-1.223
-0.799
DL6B3IT08
0.887
-0.114
CAPTULO 5
DL6B3IT09
1.151
0.232
DL6B3IT10
0.601
0.000
DL6B3IT11
0.540
0.357
DL6B3IT12
1.343
0.209
DL6B3IT13
0.004
-0.389
DL6B3IT14
-1.646
-1.216
DL6B3IT15
0.492
-0.614
DL6B3IT16
-1.408
-0.910
297
298
Chile -2.040 -0.057 0.565 0.539 -0.941 -0.771 -0.229 -1.854 -1.496 -0.269 -0.283 0.653 -0.199 0.156 -0.016 -0.286 0.022 -0.713 -0.988 0.384 0.039 0.673 0.417 0.447 0.522 1.131 -0.288 1.184 0.037 -0.109 -0.204 0.540 0.254 1.121 0.345 0.214 0.366 0.027 0.928 0.911 0.711 0.252 -0.185 -0.131 0.982 0.361 -0.254 -0.658 -0.488 0.399 0.138 0.147 1.011 0.886 0.310 1.156 0.332 0.354 -1.692 -1.765 -2.006 -1.133 -1.349 -1.582 -1.711 -2.227 -2.449 -0.966 -1.327 -1.278 0.179 -0.261 -0.469 1.004 0.486 0.832 -0.415 -1.539 -1.646 -0.569 0.557 0.364 -0.125 0.932 0.066 -0.006 -0.533 -0.770 -1.017 -0.116 -0.280 -0.312 -0.968 -1.021 -1.726 -1.362 0.008 -0.350 -0.201 -1.021 -0.292 0.000 0.965 -1.539 -1.204 0.419 0.739 0.934 0.238 0.853 0.308 0.413 0.519 0.067 0.560 0.875 0.887 0.903 0.652 0.754 0.599 0.423 0.792 0.932 0.549 0.787 0.570 0.603 0.375 -0.225 -0.578 1.081 0.467 0.985 0.062 0.496 0.611 0.844 1.042 -0.114 -0.510 0.554 -1.476 -1.343 0.084 0.634 0.523 0.306 0.994 0.173 0.130 -1.366 -2.064 -2.521 -1.008 -1.650 -1.108 -2.028 -1.365 -1.330 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay -1.336 0.611 0.959 1.027 -0.894 0.112 0.495 -0.826 -0.792 0.283 1.000 0.213 0.559 1.288 0.064 0.020 Per -1.887 0.518 0.592 0.702 -0.621 -0.344 0.734 -1.324 -1.613 -0.106 0.896 0.535 0.337 1.012 0.011 -0.050 Rep. Dom. Uruguay -0.760 0.926 1.035 1.108 0.302 -0.191 1.202 -0.527 -1.030 0.211 1.362 1.343 0.750 1.350 0.357 0.497 -1.589 0.116 0.328 0.446 -1.108 -0.686 -0.364 -1.856 -1.468 -0.218 0.084 0.360 0.039 -0.110 0.090 -0.345
REPORTE TCNICO
Tabla 7d. LECTURA 6. Valor de dificultad de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DL6B4IT01
-1.480
-0.752
DL6B4IT02
0.144
0.563
DL6B4IT03
0.578
1.748
DL6B4IT04
0.272
0.793
DL6B4IT05
-0.961
-0.792
DL6B4IT06
-0.725
-0.937
DL6B4IT07
-0.067
0.355
DL6B4IT08
-1.652
-1.657
DL6B4IT09
-1.250
-1.101
DL6B4IT10
0.024
-0.312
DL6B4IT11
0.210
-0.033
DL6B4IT12
0.527
0.679
DL6B4IT13
0.112
0.246
DL6B4IT14
0.076
0.544
DL6B4IT15
-0.186
-0.398
DL6B4IT16
-0.290
-0.780
Tabla 7e. LECTURA 6. Valor de dificultad de cada tem por pas. Bloque 5.
Chile -3.310 1.030 0.212 0.205 -2.033 -1.764 -0.613 -0.985 -0.539 0.292 -0.669 -0.422 0.569 -1.050 -0.640 0.872 0.741 0.298 -0.117 1.088 0.894 -0.319 -0.994 -0.982 0.062 -0.134 -1.286 -1.556 -1.803 -0.476 -0.917 0.723 0.321 0.816 1.023 0.742 0.650 -0.950 -0.172 0.913 -0.527 -1.067 -0.778 0.182 -0.279 -0.154 -1.162 -1.729 -1.080 -0.278 -0.549 -0.442 0.402 -0.154 -0.285 0.879 0.615 0.916 -0.132 -0.231 -0.543 1.024 -1.053 -0.434 0.394 -0.401 -1.058 -1.506 -0.144 -0.144 -0.065 -0.631 -0.937 -1.044 -1.143 -0.084 -0.679 -0.550 -0.736 -0.781 -0.489 0.716 -0.890 -0.133 0.769 -0.691 0.183 0.947 -0.398 -1.314 -1.612 -0.198 -0.241 -0.172 -0.792 -0.297 -1.405 -2.179 -2.443 -0.923 -1.593 -1.227 -2.009 -1.241 -1.920 -1.887 -2.473 -1.037 -1.828 -1.473 -1.722 -1.507 -1.491 -1.381 -0.640 -0.564 -0.412 0.761 -1.023 -0.204 0.700 -1.000 -0.306 1.034 0.419 -0.161 -0.585 0.683 0.415 0.594 0.553 0.366 0.073 0.137 0.048 -0.382 0.561 0.297 0.325 0.402 0.243 0.139 0.424 0.420 -1.326 -0.655 -0.170 -0.603 -0.154 0.736 -0.925 -0.314 0.910 -0.527 -0.101 0.873 1.009 0.918 1.002 1.430 1.317 1.453 1.482 0.962 1.090 1.514 -3.324 -3.552 -3.978 -2.287 -2.823 -2.350 -3.553 -2.895 -2.640 -2.351 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per -2.490 1.200 0.084 0.382 -1.411 -1.205 -0.266 -0.726 -0.353 0.652 -0.441 -0.157 0.943 -0.977 -0.074 1.038 Rep. Dom. Uruguay -1.446 1.889 0.746 0.751 -0.722 -0.126 0.107 0.086 0.360 0.860 -0.256 -0.130 0.499 -0.068 0.036 0.972 -3.684 0.986 0.283 0.356 -1.922 -1.213 -0.584 -1.125 -0.728 0.237 -1.136 -0.610 0.740 -1.119 -0.510 0.399
tem
Argentina
Brasil
DL6B5IT01
-2.937
-3.295
DL6B5IT02
0.962
1.093
DL6B5IT03
0.398
0.371
DL6B5IT04
0.477
0.031
DL6B5IT05
-1.949
-1.902
DL6B5IT06
-1.631
-1.980
DL6B5IT07
-0.444
-0.709
DL6B5IT08
-0.957
-0.522
CAPTULO 5
DL6B5IT09
-0.432
-0.831
DL6B5IT10
0.202
0.123
DL6B5IT11
-0.621
-1.081
DL6B5IT12
-0.483
-0.526
DL6B5IT13
0.942
0.325
DL6B5IT14
-0.789
-1.357
DL6B5IT15
-0.652
-0.334
DL6B5IT16
0.777
-0.389
299
300
Chile -0.571 -0.431 -0.314 0.059 -0.264 0.357 -0.262 -0.254 -0.023 -1.546 -1.087 -0.686 -0.870 -0.152 0.232 1.218 1.758 1.161 1.208 0.745 0.267 -0.398 1.039 2.353 -0.171 -1.059 -0.996 0.538 -1.305 -1.143 -1.172 -0.325 0.253 0.434 2.336 -0.617 -1.355 -2.136 0.301 -0.081 -0.916 -0.864 -1.355 -0.762 -0.482 -0.919 -0.773 -1.692 -1.068 -0.301 -1.026 -0.514 -0.663 0.402 -0.646 0.537 1.459 2.844 -0.193 -0.830 -0.986 0.260 0.215 0.299 -0.182 -0.268 -1.283 0.203 -0.282 0.309 0.080 -0.738 -0.014 0.342 -0.419 0.484 -0.530 -0.011 0.197 -1.849 -0.904 -1.148 -1.348 -0.446 -0.658 0.715 0.143 -0.664 -0.826 1.117 0.328 0.755 0.211 -0.174 -1.041 -0.968 0.355 0.473 0.676 -0.460 0.427 0.407 -0.201 -0.208 0.131 -0.539 -0.554 0.160 -0.728 0.434 0.700 2.364 0.211 0.222 -0.559 1.465 0.909 1.365 -0.435 1.030 0.058 -0.535 -0.527 0.400 0.131 0.561 0.004 0.153 -1.052 -1.667 -0.947 -0.587 -1.278 -1.222 -1.430 -0.516 -0.652 0.469 0.881 0.126 0.775 0.257 0.303 0.204 -0.625 -0.606 0.023 -1.165 0.325 0.892 2.647 -0.536 -0.215 -1.359 0.250 0.154 0.351 -0.028 0.596 0.520 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay -0.266 -0.717 0.203 1.355 0.654 0.431 0.199 -0.052 -0.215 -0.334 -0.364 0.077 0.636 0.338 0.479 1.457 Per -0.584 -1.025 0.316 0.997 0.135 1.014 -0.087 -0.151 -0.209 -0.634 -0.794 0.028 -0.339 0.389 0.586 1.710 Rep. Dom. Uruguay 1.421 -0.148 0.662 1.236 0.725 1.081 -0.073 0.069 0.493 -0.286 -0.554 0.838 -0.571 0.776 1.723 2.897 0.959 -0.308 -0.155 0.518 0.048 0.165 -0.299 -0.383 -0.519 -1.740 -1.154 -1.116 -1.071 -0.308 -0.407 0.606
REPORTE TCNICO
Tabla 7f. LECTURA 6. Valor de dificultad de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DL6B6IT01
0.397
0.434
DL6B6IT02
-0.903
-0.409
DL6B6IT03
-0.188
0.119
DL6B6IT04
0.581
-0.209
DL6B6IT05
-0.008
-0.292
DL6B6IT06
0.501
-0.024
DL6B6IT07
-0.284
0.417
DL6B6IT08
-0.260
-0.336
DL6B6IT09
-0.422
-0.490
DL6B6IT10
-1.279
-2.000
DL6B6IT11
-0.946
-1.074
DL6B6IT12
-0.726
-0.182
DL6B6IT13
-1.039
-0.466
DL6B6IT14
0.015
-0.106
DL6B6IT15
0.235
0.760
DL6B6IT16
0.830
1.554
Tabla 8a. LECTURA 6. Valor de ajuste de cada tem por pas. Bloque 1.
Chile 0.75 1.07 0.98 0.97 0.87 1.00 1.06 0.93 0.97 1.12 0.66 0.91 1.03 0.97 1.02 1.04 1.06 1.00 1.06 1.10 1.02 1.00 1.01 1.01 0.96 0.98 0.92 1.00 0.87 0.85 0.95 1.05 1.01 0.97 1.03 1.04 1.00 0.95 0.99 1.01 0.89 0.87 0.74 0.94 0.88 0.91 0.74 0.73 0.54 0.85 0.78 0.81 1.12 1.11 1.54 1.06 1.07 1.03 1.25 0.64 0.82 1.05 1.10 0.98 1.09 0.97 0.93 1.09 0.97 0.98 0.98 0.95 1.09 0.94 0.87 1.20 1.12 1.14 1.02 1.12 0.98 1.03 0.83 0.95 1.00 0.99 1.01 1.06 1.05 1.06 1.12 1.01 0.98 1.05 1.09 1.06 0.95 0.91 0.94 0.99 0.96 1.04 0.89 0.97 0.87 0.91 0.83 0.93 0.82 0.87 0.86 0.87 0.92 1.12 0.98 1.04 1.07 1.07 0.81 0.93 1.04 1.03 0.95 1.11 1.00 0.98 0.90 0.97 0.96 0.99 0.96 0.99 0.97 0.99 1.03 0.86 1.00 1.05 1.08 0.93 1.02 1.05 0.95 0.88 0.84 0.97 1.01 1.16 1.01 1.09 0.79 0.95 1.08 1.00 1.06 1.00 1.08 1.04 1.06 1.16 1.09 1.10 1.10 1.07 1.10 1.14 0.84 0.86 0.54 0.89 0.80 0.97 0.83 0.96 0.87 0.82 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per 0.84 1.17 0.99 1.01 0.88 0.94 1.02 1.10 0.97 1.03 0.70 0.97 1.06 0.91 0.95 1.02 Rep. Dom. Uruguay 0.97 1.07 1.00 1.02 0.88 0.94 0.98 1.08 1.00 1.09 0.89 0.95 0.95 0.92 0.97 1.12 0.77 1.12 0.96 1.01 0.86 0.90 0.96 1.10 0.99 1.17 0.69 0.87 1.00 1.10 0.98 1.14
tem
Argentina
Brasil
DL6B1IT01
0.74
0.88
DL6B1IT02
1.17
1.16
DL6B1IT03
0.97
0.95
DL6B1IT04
1.04
1.05
DL6B1IT05
0.87
0.88
DL6B1IT06
0.88
0.87
DL6B1IT07
0.98
0.99
CAPTULO 5
DL6B1IT08
0.98
1.12
DL6B1IT09
0.97
1.10
DL6B1IT10
1.11
1.10
DL6B1IT11
0.70
0.80
DL6B1IT12
0.90
0.84
DL6B1IT13
1.06
0.85
DL6B1IT14
1.08
0.89
DL6B1IT15
0.98
1.01
DL6B1IT16
1.08
1.09
301
302
Chile 0.66 0.45 0.58 0.73 0.96 0.95 0.73 1.17 0.93 1.10 1.08 1.08 1.21 0.89 1.12 1.18 1.24 1.13 1.15 1.08 1.09 1.11 1.08 1.15 0.85 0.93 0.95 0.90 1.05 1.12 1.13 0.98 1.02 0.97 1.07 1.18 1.06 1.18 0.98 1.07 1.01 0.94 1.12 1.17 0.94 1.01 1.02 1.00 1.01 1.10 1.04 1.16 0.90 1.13 1.00 0.94 1.10 1.21 1.04 1.02 1.04 0.93 0.99 0.92 1.14 1.12 1.30 1.20 1.24 1.20 0.62 0.65 0.59 0.78 0.85 0.72 0.67 1.10 0.95 1.09 1.16 1.04 1.07 0.93 1.06 1.22 0.98 0.88 0.94 0.95 0.94 0.89 0.93 1.02 1.08 1.01 1.03 1.01 1.06 1.02 1.02 0.95 0.83 1.17 0.98 1.07 0.98 1.08 0.96 0.99 1.05 1.11 0.66 0.65 0.49 0.92 0.72 0.71 0.67 0.82 0.64 0.38 0.45 0.73 0.62 0.69 0.49 0.67 0.49 0.45 0.26 0.61 0.62 0.62 0.60 0.69 0.64 0.73 0.73 1.08 1.00 0.78 1.21 0.97 1.11 0.90 1.01 1.03 0.99 1.04 1.10 0.66 0.71 0.62 0.76 0.72 0.83 0.70 0.87 0.81 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 0.76 0.54 0.68 0.72 1.15 0.97 0.78 1.25 1.01 1.06 0.95 1.14 1.04 0.95 1.07 1.10 Per 0.71 0.66 0.68 0.70 0.98 0.96 0.75 1.21 1.00 1.14 0.88 1.12 1.08 0.94 1.10 1.24 Rep. Dom. Uruguay 0.80 0.74 0.77 0.78 1.10 1.10 0.90 1.13 0.94 1.00 0.93 1.09 0.95 0.88 1.13 1.10 0.63 0.49 0.55 0.57 1.01 0.96 0.61 1.09 1.02 1.08 1.05 0.98 1.09 0.81 0.96 1.29
REPORTE TCNICO
Tabla 8b. LECTURA 6. Valor de ajuste de cada tem por pas. Bloque 2.
tem
Argentina
Brasil
DL6B2IT01
0.67
0.62
DL6B2IT02
0.60
0.48
DL6B2IT03
0.58
0.53
DL6B2IT04
0.65
0.72
DL6B2IT05
1.05
1.12
DL6B2IT06
1.02
0.88
DL6B2IT07
0.73
0.56
DL6B2IT08
1.18
1.22
DL6B2IT09
0.94
0.98
DL6B2IT10
1.07
0.98
DL6B2IT11
1.01
1.04
DL6B2IT12
1.11
0.92
DL6B2IT13
1.04
1.05
DL6B2IT14
0.83
0.81
DL6B2IT15
1.10
1.20
DL6B2IT16
1.28
1.32
Tabla 8c. LECTURA 6. Valor de ajuste de cada tem por pas. Bloque 3.
Chile 1.03 0.81 0.87 0.89 1.07 0.99 0.95 0.91 1.00 1.09 0.94 0.92 0.88 0.76 1.27 1.01 0.96 0.93 0.99 0.87 0.92 1.03 1.13 1.15 1.09 1.11 0.85 0.87 0.75 0.93 0.85 0.98 0.85 0.96 1.02 0.91 0.94 0.86 1.12 0.95 0.88 0.89 0.86 0.91 0.89 0.82 0.90 0.95 0.89 0.95 0.95 0.86 1.11 1.05 0.89 1.05 1.07 1.03 1.15 0.97 0.94 0.93 0.86 1.29 0.91 0.97 1.00 0.90 0.98 1.01 1.01 0.96 0.94 0.92 0.75 1.09 1.08 1.03 0.90 1.07 1.01 1.03 0.96 0.87 0.99 0.88 1.11 0.98 1.02 1.01 0.89 1.04 1.03 1.00 1.07 0.99 0.99 0.99 0.96 1.18 1.09 1.03 0.96 0.99 1.02 1.08 0.93 1.06 1.05 1.10 1.03 1.07 1.04 1.10 1.09 1.12 0.97 1.12 1.01 0.87 0.88 0.89 1.07 0.88 0.93 0.81 0.69 0.99 0.94 0.92 0.83 0.93 0.96 0.86 1.00 0.84 0.94 0.90 1.00 0.76 0.97 0.96 0.96 0.81 1.04 1.03 1.04 1.10 1.02 1.03 0.95 0.92 0.97 0.74 1.12 0.88 0.79 0.78 0.68 0.90 0.98 0.89 0.84 0.94 0.88 0.89 1.08 0.97 0.94 0.98 1.02 1.01 1.13 1.01 0.99 1.05 1.01 0.80 0.95 0.92 1.21 1.00 1.00 1.09 0.96 1.12 0.98 0.88 0.94 0.79 1.15 0.95 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per Rep. Dom. Uruguay 0.98 1.00 1.04 0.93 0.98 0.94 1.03 0.84 1.04 1.11 0.96 0.83 1.00 0.88 1.08 0.96 1.17 0.81 0.92 0.91 1.08 0.92 0.97 0.91 1.05 1.04 1.04 0.99 0.92 0.89 1.15 0.92
tem
Argentina
Brasil
DL6B3IT01
1.08
1.10
DL6B3IT02
0.82
0.72
DL6B3IT03
0.93
0.88
DL6B3IT04
0.85
0.71
DL6B3IT05
0.99
1.01
DL6B3IT06
0.96
0.90
DL6B3IT07
0.97
0.97
DL6B3IT08
0.89
0.87
CAPTULO 5
DL6B3IT09
1.05
0.94
DL6B3IT10
1.09
1.09
DL6B3IT11
1.02
0.94
DL6B3IT12
1.07
0.99
DL6B3IT13
0.93
0.87
DL6B3IT14
0.94
0.99
DL6B3IT15
1.13
0.89
DL6B3IT16
0.89
0.99
303
304
REPORTE TCNICO
Tabla 8d. LECTURA 6. Valor de ajuste de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DL6B4IT01
0.90
1.01
DL6B4IT02
0.94
0.97
DL6B4IT03
1.11
1.43
DL6B4IT04
1.11
1.24
DL6B4IT05
0.86
0.93
DL6B4IT06
1.13
1.05
DL6B4IT07
0.92
0.85
DL6B4IT08
0.93
0.82
DL6B4IT09
1.11
0.94
DL6B4IT10
1.06
1.05
DL6B4IT11
0.93
1.01
DL6B4IT12
1.00
1.09
DL6B4IT13
1.02
1.06
DL6B4IT14
1.03
1.20
DL6B4IT15
1.14
1.10
DL6B4IT16
0.93
0.91
Tabla 8e. LECTURA 6. Valor de ajuste de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DL6B5IT01
0.59
0.63
DL6B5IT02
1.09
1.13
DL6B5IT03
1.06
1.04
DL6B5IT04
1.13
1.09
DL6B5IT05
0.79
0.77
DL6B5IT06
0.85
0.98
DL6B5IT07
0.98
0.93
DL6B5IT08
0.92
0.89
CAPTULO 5
DL6B5IT09
0.96
0.93
DL6B5IT10
1.01
1.06
DL6B5IT11
0.90
0.92
DL6B5IT12
1.00
0.92
DL6B5IT13
1.16
1.07
DL6B5IT14
1.19
1.09
DL6B5IT15
1.00
1.20
DL6B5IT16
1.14
0.92
305
306
REPORTE TCNICO
Tabla 8f. LECTURA 6. Valor de ajuste de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DL6B6IT01
1.05
0.97
DL6B6IT02
0.97
1.10
DL6B6IT03
1.04
0.99
DL6B6IT04
0.93
0.93
DL6B6IT05
1.05
1.07
DL6B6IT06
0.93
0.96
DL6B6IT07
1.17
1.10
DL6B6IT08
1.18
1.12
DL6B6IT09
0.97
1.00
DL6B6IT10
0.88
0.82
DL6B6IT11
0.96
1.00
DL6B6IT12
0.81
0.80
DL6B6IT13
1.23
1.21
DL6B6IT14
0.89
0.89
DL6B6IT15
0.92
0.95
DL6B6IT16
0.83
0.94
Tabla 9a. LECTURA 6. Valor de discriminacin de cada tem por pas. Bloque 1.
Chile 1.02 0.87 1.07 1.07 1.39 0.99 0.90 1.20 1.10 0.73 1.10 1.08 0.97 1.01 0.97 0.84 0.78 1.00 0.88 0.78 0.93 1.00 1.07 0.96 1.08 1.09 1.04 0.99 1.21 1.02 1.01 0.86 0.97 1.05 0.94 0.92 0.99 1.00 1.09 0.94 1.24 1.08 1.13 1.24 1.27 1.36 1.07 1.03 1.07 1.18 1.07 1.13 0.72 0.67 -0.03 0.87 0.85 0.98 0.50 1.10 1.19 0.91 0.95 1.06 0.83 1.07 1.25 0.88 1.08 1.07 1.04 1.17 0.84 1.21 1.26 0.57 0.71 0.58 1.06 0.57 1.08 0.95 1.07 1.14 1.01 0.99 1.02 0.81 0.89 0.94 0.70 0.97 1.01 0.96 0.90 0.90 1.15 1.19 1.02 1.03 1.12 0.96 1.22 1.23 1.38 1.25 1.37 1.14 1.57 1.30 1.31 1.26 1.17 0.66 1.02 0.83 0.86 0.90 1.05 1.19 0.94 0.98 1.15 0.65 1.04 1.07 1.20 1.01 1.06 1.01 1.07 1.04 1.04 1.03 0.98 1.15 1.00 0.95 0.93 1.15 0.98 0.94 1.08 1.12 1.34 1.13 0.98 0.53 0.96 0.90 1.14 1.13 0.87 0.98 0.82 0.99 0.84 0.90 0.94 0.73 0.79 0.72 0.73 0.81 0.76 0.70 1.01 1.00 1.04 1.04 1.03 1.00 1.00 1.01 1.02 1.08 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per 1.04 0.75 1.00 0.96 1.31 1.18 0.98 0.75 1.08 0.91 1.16 1.07 0.89 1.03 1.16 0.93 Rep. Dom. Uruguay 1.01 0.80 1.01 0.95 1.06 1.26 0.99 0.62 1.04 0.92 1.17 1.19 1.04 1.00 1.10 0.78 1.02 0.73 1.11 1.01 1.37 1.07 1.05 0.79 1.05 0.71 1.11 1.12 0.99 0.96 1.05 0.65
tem
Argentina
Brasil
DL6B1IT01
1.03
1.00
DL6B1IT02
0.66
0.79
DL6B1IT03
1.08
1.10
DL6B1IT04
0.93
1.01
DL6B1IT05
1.29
1.33
DL6B1IT06
1.19
1.25
DL6B1IT07
1.03
1.03
CAPTULO 5
DL6B1IT08
1.02
0.86
DL6B1IT09
1.10
0.81
DL6B1IT10
0.76
0.75
DL6B1IT11
1.14
1.03
DL6B1IT12
1.15
1.13
DL6B1IT13
0.87
1.25
DL6B1IT14
0.97
1.06
DL6B1IT15
1.07
1.02
DL6B1IT16
0.81
0.83
307
308
REPORTE TCNICO
Tabla 9b. LECTURA 6. Valor de discriminacin de cada tem por pas. Bloque 2.
tem
Argentina
Brasil
DL6B2IT01
1.09
1.08
DL6B2IT02
1.03
1.11
DL6B2IT03
1.05
1.07
DL6B2IT04
1.04
1.10
DL6B2IT05
0.93
0.87
DL6B2IT06
0.96
1.03
DL6B2IT07
1.07
1.10
DL6B2IT08
0.63
0.46
DL6B2IT09
1.17
1.05
DL6B2IT10
0.94
0.97
DL6B2IT11
1.00
0.92
DL6B2IT12
0.76
1.00
DL6B2IT13
0.95
0.92
DL6B2IT14
1.37
1.25
DL6B2IT15
0.78
0.53
DL6B2IT16
0.37
0.39
Tabla 9c. LECTURA 6. Valor de discriminacin de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DL6B3IT01
0.93
0.92
DL6B3IT02
1.14
1.10
DL6B3IT03
1.07
1.04
DL6B3IT04
1.08
1.06
DL6B3IT05
0.99
0.98
DL6B3IT06
1.03
1.17
DL6B3IT07
1.05
1.03
DL6B3IT08
1.17
1.36
CAPTULO 5
DL6B3IT09
0.95
1.13
DL6B3IT10
0.84
0.71
DL6B3IT11
1.01
1.16
DL6B3IT12
0.98
1.02
DL6B3IT13
1.23
1.34
DL6B3IT14
1.03
1.02
DL6B3IT15
0.71
1.27
DL6B3IT16
1.11
1.03
309
310
REPORTE TCNICO
Tabla 9d. LECTURA 6. Valor de discriminacin de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DL6B4IT01
1.05
0.94
DL6B4IT02
1.17
1.08
DL6B4IT03
0.77
0.77
DL6B4IT04
0.71
0.58
DL6B4IT05
1.24
1.18
DL6B4IT06
0.84
0.90
DL6B4IT07
1.29
1.40
DL6B4IT08
1.04
1.10
DL6B4IT09
0.90
1.07
DL6B4IT10
0.85
0.89
DL6B4IT11
1.23
0.99
DL6B4IT12
0.99
0.83
DL6B4IT13
0.98
0.87
DL6B4IT14
0.95
0.51
DL6B4IT15
0.63
0.77
DL6B4IT16
1.21
1.14
Tabla 9e. LECTURA 6. Valor de discriminacin de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DL6B5IT01
1.08
1.05
DL6B5IT02
0.81
0.80
DL6B5IT03
0.84
0.91
DL6B5IT04
0.74
0.75
DL6B5IT05
1.09
1.09
DL6B5IT06
1.07
1.03
DL6B5IT07
0.98
1.08
DL6B5IT08
1.12
1.29
CAPTULO 5
DL6B5IT09
1.03
1.11
DL6B5IT10
0.95
0.85
DL6B5IT11
1.19
1.06
DL6B5IT12
0.97
1.10
DL6B5IT13
0.75
0.80
DL6B5IT14
0.75
0.99
DL6B5IT15
1.01
0.54
DL6B5IT16
0.78
1.18
311
312
Chile 0.98 0.94 1.16 1.22 1.11 1.22 0.75 0.61 1.08 1.06 0.96 1.37 0.59 1.15 1.06 1.11 1.01 1.05 1.10 1.09 1.09 1.17 1.03 1.02 1.17 1.00 1.13 1.07 0.96 0.71 0.65 0.88 0.78 1.23 1.27 0.99 1.40 1.18 1.10 1.30 1.57 0.96 1.06 1.09 0.90 0.92 0.99 1.03 0.94 1.17 1.08 1.04 1.07 1.38 1.00 1.21 1.00 1.00 1.15 1.11 1.02 0.80 1.00 0.79 0.70 0.64 1.03 0.67 0.75 0.68 0.49 0.43 -0.48 1.07 0.55 1.14 0.50 0.64 0.46 1.04 1.02 1.23 0.92 1.31 1.27 1.34 0.96 1.18 1.15 0.95 0.90 0.99 0.90 1.16 1.00 1.04 1.10 1.07 1.04 1.17 1.06 1.10 0.63 0.84 0.96 1.09 0.86 1.38 0.83 1.04 1.11 0.98 0.98 0.89 1.19 1.03 1.07 1.04 1.15 1.04 0.98 1.05 1.13 0.84 0.86 0.84 1.02 0.99 0.99 1.03 1.09 1.01 1.04 0.96 1.06 1.08 1.06 1.07 1.14 0.97 0.91 0.90 0.53 0.93 1.15 0.94 1.59 0.95 1.34 1.18 0.97 1.00 0.88 1.09 1.24 1.07 1.07 1.16 1.14 1.08 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 1.15 1.11 1.25 1.13 1.05 1.02 0.68 0.60 0.91 0.90 0.98 1.32 0.70 1.18 1.03 1.11 Per 0.99 1.05 0.71 1.06 1.28 1.00 0.66 0.75 0.87 0.88 0.95 1.54 0.92 1.16 1.17 1.11 Rep. Dom. Uruguay 1.09 0.98 0.90 1.14 0.93 0.98 0.92 0.82 0.72 1.12 0.93 1.14 0.96 1.03 0.95 1.00 1.03 0.78 1.25 0.86 1.00 1.01 0.57 0.77 1.17 1.01 0.97 1.27 0.73 1.32 1.26 1.42
REPORTE TCNICO
Tabla 9f. LECTURA 6. Valor de discriminacin de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DL6B6IT01
0.90
1.07
DL6B6IT02
1.02
0.72
DL6B6IT03
0.92
1.06
DL6B6IT04
1.16
1.25
DL6B6IT05
0.91
0.88
DL6B6IT06
1.13
1.11
DL6B6IT07
0.75
0.80
DL6B6IT08
0.62
0.80
DL6B6IT09
1.08
0.94
DL6B6IT10
1.08
1.06
DL6B6IT11
1.03
1.01
DL6B6IT12
1.34
1.50
DL6B6IT13
0.79
0.57
DL6B6IT14
1.29
1.26
DL6B6IT15
1.19
1.10
DL6B6IT16
1.25
1.05
Tabla 10a. LECTURA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DL6B1IT01
0.94
0.91
DL6B1IT02
0.42
0.37
DL6B1IT03
0.45
0.49
DL6B1IT04
0.38
0.22
DL6B1IT05
0.44
0.51
DL6B1IT06
0.67
0.60
DL6B1IT07
0.34
0.29
CAPTULO 5
DL6B1IT08
0.49
0.44
DL6B1IT09
0.47
0.42
DL6B1IT10
0.45
0.44
DL6B1IT11
0.84
0.90
DL6B1IT12
0.72
0.73
DL6B1IT13
0.42
0.62
DL6B1IT14
0.19
0.22
DL6B1IT15
0.55
0.58
DL6B1IT16
0.45
0.57
313
314
REPORTE TCNICO
Tabla 10b. LECTURA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 2.
tem
Argentina
Brasil
DL6B2IT01
0.91
0.93
DL6B2IT02
0.98
0.93
DL6B2IT03
0.96
0.96
DL6B2IT04
0.97
0.85
DL6B2IT05
0.75
0.72
DL6B2IT06
0.74
0.84
DL6B2IT07
0.88
0.93
DL6B2IT08
0.58
0.47
DL6B2IT09
0.53
0.47
DL6B2IT10
0.83
0.85
DL6B2IT11
0.58
0.62
DL6B2IT12
0.68
0.81
DL6B2IT13
0.53
0.57
DL6B2IT14
0.40
0.31
DL6B2IT15
0.46
0.42
DL6B2IT16
0.45
0.43
Tabla 10c. LECTURA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DL6B3IT01
0.74
0.79
DL6B3IT02
0.79
0.86
DL6B3IT03
0.77
0.86
DL6B3IT04
0.80
0.92
DL6B3IT05
0.78
0.85
DL6B3IT06
0.29
0.33
DL6B3IT07
0.73
0.66
DL6B3IT08
0.31
0.52
CAPTULO 5
DL6B3IT09
0.26
0.45
DL6B3IT10
0.36
0.50
DL6B3IT11
0.37
0.42
DL6B3IT12
0.23
0.45
DL6B3IT13
0.48
0.58
DL6B3IT14
0.79
0.74
DL6B3IT15
0.38
0.62
DL6B3IT16
0.76
0.68
315
316
REPORTE TCNICO
Tabla 10d. LECTURA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DL6B4IT01
0.78
0.65
DL6B4IT02
0.46
0.38
DL6B4IT03
0.37
0.18
DL6B4IT04
0.43
0.33
DL6B4IT05
0.69
0.66
DL6B4IT06
0.64
0.69
DL6B4IT07
0.51
0.42
DL6B4IT08
0.80
0.81
DL6B4IT09
0.74
0.72
DL6B4IT10
0.49
0.56
DL6B4IT11
0.45
0.50
DL6B4IT12
0.38
0.35
DL6B4IT13
0.47
0.44
DL6B4IT14
0.48
0.38
DL6B4IT15
0.53
0.58
DL6B4IT16
0.55
0.66
Tabla 10e. LECTURA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DL6B5IT01
0.93
0.95
DL6B5IT02
0.31
0.28
DL6B5IT03
0.42
0.42
DL6B5IT04
0.41
0.49
DL6B5IT05
0.85
0.84
DL6B5IT06
0.81
0.85
DL6B5IT07
0.60
0.65
DL6B5IT08
0.70
0.61
CAPTULO 5
DL6B5IT09
0.60
0.67
DL6B5IT10
0.46
0.47
DL6B5IT11
0.63
0.72
DL6B5IT12
0.61
0.61
DL6B5IT13
0.32
0.43
DL6B5IT14
0.67
0.76
DL6B5IT15
0.64
0.57
DL6B5IT16
0.35
0.58
317
318
REPORTE TCNICO
Tabla 10f. LECTURA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DL6B6IT01
0.43
0.42
DL6B6IT02
0.69
0.59
DL6B6IT03
0.55
0.48
DL6B6IT04
0.39
0.55
DL6B6IT05
0.51
0.57
DL6B6IT06
0.41
0.51
DL6B6IT07
0.57
0.42
DL6B6IT08
0.56
0.58
DL6B6IT09
0.60
0.61
DL6B6IT10
0.75
0.85
DL6B6IT11
0.70
0.72
DL6B6IT12
0.66
0.54
DL6B6IT13
0.71
0.60
DL6B6IT14
0.51
0.53
DL6B6IT15
0.46
0.35
DL6B6IT16
0.34
0.22
V.2.4. tems de Matemtica 3

En esta seccin se presentan los resultados del procesamiento de datos para anlisis de tems del Estudio Principal del Segundo Estudio Regional Comparativo y Explicativo SERCE, el cual incluy la aplicacin de pruebas de Lectura (grados tercero y sexto), Matemtica (grados tercero y sexto) y Ciencias (grado sexto); la aplicacin de la prueba de Ciencias se realiz en aquellos pases que voluntariamente optaron por incluirla. El procesamiento de datos se realiz de acuerdo con lo planteado en el Documento Tcnico del Procesamiento de datos para el Anlisis de tems y la Produccin de Resultados del SERCE, en el cual se propuso la Teora de Respuesta a tem como modelo de anlisis y una serie de indicadores estadsticos para evaluar el comportamiento de tems y de grupos de tems; en dicho documento se hicieron explcitos los criterios de anlisis para cada indicador durante el anlisis de tems. Es de anotar que el anlisis de tems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los tems de un instrumento, en relacin con los propsitos para los cuales fueron elaborados. Su realizacin exige armonizar el conocimiento profundo del objeto de evaluacin, la poblacin evaluada y los propsitos de la evaluacin con la capacidad para interpretar adecuadamente los indicadores estadsticos disponibles. El proceso de anlisis de tems del Estudio Principal conducir a la toma de decisiones en relacin con la inclusin o exclusin de tems para la fase de calificacin y produccin de resultados del Estudio. Los indicadores reportados en este documento sern objeto de anlisis por parte de los expertos en psicometra y en cada disciplina a fin de asegurar que la produccin de los resultados finales del SERCE utilice la informacin de mayor calidad.
Resultados sobresalientes
Con los criterios preestablecidos de depuracin se pierden muchos registros para el anlisis de tem. La prueba result ajustada, en su dificultad, al conjunto de estudiantes con los que se estimaron los indicadores. Para la muestra utilizada en el anlisis, el Bloque 4 result ser el ms fcil y el Bloque 5 el ms difcil; la diferencia entre los dos es de 1.22 logits. La dispersin de las dificultades de los tems en los bloques es muy diversa. De acuerdo con los resultados de ajuste, se deben eliminar, para la calificacin final, los tems: DM3B1IT12, DM3B2IT02, DM3B1IT11, DM3B4IT06, DM3B3IT05, DM3B2IT11 y DM3B2IT03. No obstante, se recomienda que el grupo de expertos analice con cuidado estos tems ya que algunos se encuentran muy cerca del criterio de eliminacin. Se recomienda revisar los procesos de aplicacin de las pruebas en Repblica Dominicana ya que es alto el porcentaje de casos eliminados por los criterios establecidos en el documento tcnico de procesamiento. En el grupo de estudiantes utilizado para la estimacin de indicadores hay 408 con todas las respuestas correctas y 77 con cero respuestas correctas .
CAPTULO 5
319

El Laboratorio Latinoamericano para la Evaluacin de la Calidad de la Educacin, LLECE, envi las bases de datos con las respuestas de los estudiantes evaluados en el Estudio Principal del SERCE, a partir de las cuales se producirn resultados. Esta base de datos ya haba sido depurada de acuerdo con criterios preestablecidos. En concordancia con el procedimiento planteado en el documento tcnico para el Procesamiento de Datos para el anlisis de tem y la Produccin de Resultados del Estudio Principal del SERCE, se realizaron dos procedimientos de depuracin de las bases de datos recibidas para obtener los diferentes indicadores de los tems, de los bloques y de la prueba, luego de excluir la informacin del Estado de Nuevo Len. Dadas las caractersticas de la participacin del Estado de Nuevo Len (Mxico), se debe eliminar su informacin al estimar los indicadores para realizar el anlisis de tem. En Matemtica de grado tercero participaron 5411 estudiantes de este estado. Procedimiento 1. Depuracin por preguntas no alcanzadas: Se eliminan los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos ltimos tems del bloque que ocupe la segunda posicin en su cuadernillo. Esta eliminacin de registros se realiza antes de procesar los datos. La base de datos que resulta despus de este proceso es la que se utiliza para la estimacin de los valores de ajuste de los estudiantes. Procedimiento 2. Depuracin por desajuste de estudiantes evaluados: Se eliminan los registros de aquellos estudiantes evaluados cuyo valor de ajuste prximo o lejano sea inferior a 0.7 o superior a 1.3. Este proceso se lleva a cabo slo con los estudiantes que respondieron por lo menos un tem de la prueba y las dos ltimas preguntas del cuadernillo asignado. El resultado es una nueva base de datos slo con los registros de los estudiantes que se utilizan para la estimacin de los parmetros de los tems, bloques y pruebas.
El proceso de depuracin se observa en la tabla 1, con informacin por pas.
320
REPORTE TCNICO
Tabla 1. MATEMTICA 3. Nmero de estudiantes, por pas, segn proceso de depuracin.

Con excepcin de Repblica Dominicana y Paraguay, todos los pases tienen un porcentaje de participacin, en la estimacin de los indicadores de los tems, superior al 50%. Del total de 16 pases con informacin para la estimacin de indicadores, 6 participan con ms del 60% de sus estudiantes evaluados. Es importante revisar el proceso de aplicacin de pruebas en Repblica Dominicana de tal manera que se pudiera explicar una prdida tan grande (apenas participa con el 25%). Repblica Dominicana (24.3%), Argentina (14.9%) y Paraguay (12.1%), son los pases con ms prdida de registros de informacin por no alcanzar los 2 ltimos tems. Repblica Dominicana (66.4%), Paraguay (45.4%), Ecuador (45.1%) y Panam (41.6%) y son los pases con una prdida mayor al 40% de sus registros por desajuste, a partir de los datos de poblacin luego de la primera depuracin.
CAPTULO 5
321
Luego de la depuracin realizada, el nmero de estudiantes por bloque y por cuadernillo cuya
utiliza para la estimacin de indicadores se encuentra en las tablas 2 y 3. Tabla 2. MATEMTICA 3. Nmero de estudiantes por bloque.
informacin se
Bloque
1 2 3 4 5 6
N
15322 16104 18365 18302 17607 16888
Tabla 3. MATEMTICA 3. Nmero de estudiantes por cuadernillo.
Cuadernillo
1 2 3 4 5 6
N
7317 9578 8883 8787 8724 8005
322
REPORTE TCNICO
Anlisis de datos
INDICADORES POR TEM

Tabla 4a. MATEMTICA 3. Indicadores por tem. Bloque 1.
Ajuste Error de Correlacin Discrimin. Prximo Medicin punto-medida (Infit) 0.022 0.018 0.019 0.018 0.018 0.019 0.018 0.019 0.019 0.022 0.027 0.048 1.08 1.21 0.86 1.19 0.99 0.92 1.02 0.82 1.18 0.98 1.1 1.06 0.47 0.47 0.31 0.44 0.38 0.39 0.39 0.36 0.47 0.4 0.36 0.29 0.93 0.93 1.06 0.94 1.01 1.02 0.99 1.07 0.92 1.02 0.91 0.93 Ajuste Lejano (Outfit) 0.87 0.92 1.06 0.94 0.99 1.1 0.99 1.12 0.91 0.99 0.65 0.43
tem DM3B1IT01 DM3B1IT02 DM3B1IT03 DM3B1IT04 DM3B1IT05 DM3B1IT06 DM3B1IT07 DM3B1IT08 DM3B1IT09 DM3B1IT10 DM3B1IT11 DM3B1IT12
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR 1.666 0.372 -0.959 -0.245 -0.517 0.786 -0.453 0.669 0.629 1.65 -2.448 -3.888
N 15141 15141 15141 15141 15141 15141 15141 15141 15141 15141 15141 15141
CAPTULO 5
323
Tabla 4b. MATEMTICA 3. Indicadores por tem. Bloque 2.

Ajuste Error de Correlacin Formato Dificultad Discrimin. Prximo Medicin punto-medida (Infit) SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP CP 1.367 -3.997 0.023 0.374 0.259 1.262 -1.648 -0.913 0.974 0.452 -0.463 -1.157 0.02 0.051 0.017 0.018 0.017 0.02 0.021 0.019 0.019 0.018 0.011 0.012 0.69 1.06 0.09 0.8 1.02 1.02 1.12 1.19 0.71 0.85 1.1 1.1 0.24 0.25 0.18 0.36 0.41 0.42 0.39 0.43 0.29 0.37 0.67 0.6 1.21 0.93 1.24 1.06 0.99 0.97 0.92 0.92 1.14 1.04 0.79 0.92 Ajuste Lejano (Outfit) 1.3 0.45 1.4 1.1 1.01 1.02 0.77 0.86 1.22 1.09 0.69 0.89
N 15950 15950 15950 15950 15950 15950 15950 15950 15950 15950 15862 15919
Tabla 4c. MATEMTICA 3. Indicadores por tem. Bloque 3.

Ajuste Error de Correlacin Discrimin. Prximo Medicin punto-medida (Infit) 0.017 0.019 0.016 0.016 0.023 0.017 0.016 0.017 0.021 0.017 0.016 0.017 1.1 1.17 0.77 1.11 1.1 1.04 0.96 1.02 1.15 1.02 0.78 0.82 0.42 0.52 0.36 0.45 0.36 0.44 0.41 0.43 0.41 0.44 0.35 0.36 0.97 0.88 1.07 0.96 0.92 0.98 1.01 0.99 0.89 0.99 1.07 1.08 Ajuste Lejano (Outfit) 0.94 0.8 1.12 0.96 0.68 0.98 1.02 1 0.7 0.99 1.08 1.13
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR -0.572 1.387 0.25 0.206 -2.269 0.444 0.069 0.434 -1.893 0.493 -0.381 0.823
N 18171 18171 18171 18171 18171 18171 18171 18171 18171 18171 18171 18171
324
REPORTE TCNICO
Tabla 4d. MATEMTICA 3. Indicadores por tem. Bloque 4.

Ajuste Error de Correlacin Formato Dificultad Discrimin. Prximo Medicin punto-medida (Infit) SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP CP 0.494 0.625 -1.62 0.379 0.023 -2.186 -0.6 -0.667 0.457 -0.203 0.225 -1.704 0.017 0.017 0.019 0.017 0.016 0.023 0.017 0.017 0.017 0.016 0.012 0.014 1.14 0.91 1.17 0.76 0.54 1.13 1.24 0.99 1.04 1.17 1.01 0.9 0.46 0.39 0.43 0.35 0.3 0.39 0.45 0.38 0.43 0.45 0.59 0.39 0.94 1.03 0.89 1.09 1.13 0.89 0.92 1 0.98 0.95 0.91 1.05 Ajuste Lejano (Outfit) 0.95 1.07 0.75 1.12 1.2 0.67 0.89 1 0.99 0.94 0.84 1.11
N 18128 18128 18128 18128 18128 18128 18128 18128 18128 18128 17943 17959
Tabla 4e. MATEMTICA 3. Indicadores por tem. Bloque 5.

Ajuste Error de Correlacin Discrimin. Prximo Medicin punto-medida (Infit) 0.017 0.02 0.018 0.02 0.017 0.017 0.023 0.017 0.016 0.017 0.017 0.024 1.06 0.92 0.9 1 1.02 0.81 0.88 0.4 1.14 0.91 1.06 1.01 0.42 0.34 0.36 0.39 0.38 0.33 0.27 0.23 0.42 0.37 0.42 0.39 0.98 1.06 1.05 1 0.99 1.07 1.12 1.18 0.96 1.03 0.97 0.99 Ajuste Lejano (Outfit) 0.98 1.11 1.08 1.02 1 1.15 1.22 1.25 0.95 1.04 0.98 0.91
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR 0.544 1.535 0.916 1.486 -0.436 0.698 2.049 0.256 -0.163 0.299 0.519 2.129
N 17497 17497 17497 17497 17497 17497 17497 17497 17497 17497 17497 17497
CAPTULO 5
325
Tabla 4f. MATEMTICA 3. Indicadores por tem. Bloque 6.

Ajuste Error de Correlacin Formato Dificultad Discrimin. Prximo Medicin punto-medida (Infit) SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP CP -0.225 1.463 -0.223 0.024 0.359 0.392 0.29 -0.051 0.208 0.522 0.633 -0.885 0.017 0.02 0.017 0.017 0.017 0.017 0.017 0.017 0.017 0.018 0.016 0.008 1.04 1.07 0.92 0.96 0.96 1.26 0.92 0.86 1.35 0.56 1.09 1.15 0.4 0.45 0.37 0.39 0.4 0.49 0.39 0.37 0.5 0.27 0.59 0.66 0.99 0.94 1.02 1.01 1.01 0.9 1.02 1.04 0.88 1.17 0.9 0.79 Ajuste Lejano (Outfit) 0.98 0.93 1.03 1.03 1.03 0.88 1.05 1.06 0.87 1.25 0.88 0.85
N 16731 16731 16731 16731 16731 16731 16731 16731 16731 16731 16597 16075
326
REPORTE TCNICO

Tabla 5a. MATEMTICA 3. Indicadores por opcin. Bloque 1.
tem Opcin Opciones de Promedio de correcta respuesta habilidad 1 2 DM3B1IT01 3 3 4 Multimarca Omisin 1 2 DM3B1IT02 2 3 4 Multimarca Omisin 1 2 DM3B1IT03 4 3 4 Multimarca Omisin 1 2 DM3B1IT04 1 3 4 Multimarca Omisin 1 2 DM3B1IT05 2 3 4 Multimarca Omisin -0.16 -0.47 1.12 -0.7 -3.21 -0.86 -0.34 0.68 -0.33 -0.45 -3.13 -0.74 -0.59 -0.29 -0.7 0.29 -0.59 -0.91 0.51 -0.38 -0.71 -0.56 -3.23 -0.24 -0.41 0.41 -0.48 -0.72 -3.66 -0.57 Error de Medicin 0.01 0.03 0.03 0.04 0.31 0.07 0.02 0.02 0.02 0.01 0.32 0.07 0.03 0.02 0.03 0.01 0.07 0.1 0.01 0.02 0.02 0.02 0.33 0.03 0.01 0.01 0.03 0.03 0.32 0.04 Ajuste (Outfit) 0.95 0.82 0.86 0.54 0.46 0.55 0.96 0.94 0.99 0.82 0.62 0.83 0.93 1.22 0.81 1.07 1.34 0.85 0.95 1.05 0.66 0.83 0.9 1.4 1.01 1.05 0.97 0.72 0.66 0.94 Correlacin -0.25 -0.11 0.47 -0.1 -0.19 -0.1 -0.14 0.47 -0.1 -0.27 -0.18 -0.09 -0.15 -0.11 -0.17 0.31 -0.1 -0.09 0.44 -0.12 -0.23 -0.21 -0.18 -0.07 -0.21 0.38 -0.12 -0.16 -0.2 -0.1 N de Respuesta 10462 992 3145 391 69 263 2495 6502 1476 4486 69 294 1172 1895 1037 10561 490 167 8427 1594 1789 2286 65 1161 3557 9270 1010 869 59 557
CAPTULO 5
327
tem
Opcin Opciones de Promedio de correcta respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.41 -0.2 -0.18 0.67 -3.66 -0.59 -0.36 0.43 -0.71 -0.45 -3.84 -0.61 0.6 -0.21 -0.1 -0.41 -3.18 -0.42 -0.36 -0.25 -0.46 0.77 -2.61 -0.64 -0.33 0.07 -0.26 0.96 -0.9 -0.42 -1.07 -1.06 -1.1 0.19 -3.08 -1.03
Error de Medicin 0.02 0.01 0.02 0.02 0.33 0.05 0.02 0.01 0.02 0.02 0.33 0.05 0.02 0.02 0.02 0.01 0.32 0.04 0.02 0.01 0.01 0.02 0.27 0.04 0.01 0.01 0.02 0.03 0.08 0.02 0.03 0.04 0.04 0.01 0.24 0.06
Ajuste (Outfit) 0.85 1.08 1.17 1.14 0.46 0.86 1.14 1 0.74 0.98 0.52 0.97 1.13 1.25 1.29 0.88 0.58 1.05 0.86 1.03 0.75 0.92 1.13 0.75 0.82 1.26 0.96 0.99 0.64 0.78 0.62 0.6 0.6 0.94 0.42 0.7
Correlacin -0.18 -0.15 -0.06 0.39 -0.19 -0.09 -0.16 0.39 -0.2 -0.15 -0.2 -0.1 0.36 -0.09 -0.06 -0.2 -0.18 -0.09 -0.16 -0.14 -0.19 0.47 -0.17 -0.12 -0.17 0.01 -0.1 0.4 -0.13 -0.13 -0.18 -0.14 -0.18 0.36 -0.2 -0.11
N de Respuesta 2753 5281 1505 5285 58 440 2594 9072 1399 1728 57 472 5617 2361 3254 3287 68 735 2723 3549 2588 5734 89 639 3525 4730 1984 3176 422 1485 556 318 500 13642 83 223
DM3B1IT06
DM3B1IT07
DM3B1IT08
DM3B1IT09
DM3B1IT10
DM3B1IT11
328
REPORTE TCNICO
tem
Opcin Opciones de Promedio de correcta respuesta habilidad 1 2 3 4 Multimarca Omisin -1.6 -1.57 0.11 -1.43 -4.23 -1.68
Error de Medicin 0.13 0.06 0.01 0.05 0.28 0.15
Ajuste (Outfit) 0.44 0.38 0.96 0.44 0.27 0.47
Correlacin -0.1 -0.13 0.29 -0.13 -0.21 -0.1
N de Respuesta 72 136 14824 171 53 66
DM3B1IT12
Tabla 5b. MATEMTICA 3. Indicadores por opcin. Bloque 2.

tem Opcin correcta Opciones de Promedio de respuesta habilidad 1 2 DM3B2IT01 2 3 4 Multimarca Omisin 1 2 DM3B2IT02 2 3 4 Multimarca Omisin 1 2 DM3B2IT03 3 3 4 Multimarca Omisin 0.2 0.56 -0.14 -0.16 -0.07 -0.7 -1.37 0.15 -1.46 -1.58 -4.19 -1.35 -0.27 0.14 0.31 -0.23 -1.86 -0.17 Error de Medicin 0.02 0.02 0.02 0.01 0.05 0.07 0.07 0.01 0.1 0.09 0.51 0.13 0.02 0.02 0.01 0.03 0.33 0.07 Ajuste (Outfit) 1.59 1.34 1.03 0.93 1.19 0.65 0.48 0.95 0.43 0.38 0.25 0.48 1.16 1.96 1.24 1.37 0.8 1.56 Correlacin 0.05 0.24 -0.11 -0.14 -0.04 -0.09 -0.14 0.25 -0.1 -0.11 -0.14 -0.07 -0.16 0.02 0.18 -0.09 -0.11 -0.04 N de Respuesta 3754 4129 3320 3931 742 228 182 15689 84 84 20 45 2906 3402 8205 1200 56 335
CAPTULO 5
329
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.08 0.55 -0.23 -0.33 -1.89 -0.3 -0.23 -0.27 -0.37 0.6 -2.22 -0.39 -0.22 -0.11 -0.09 0.87 -2.02 -0.21 0.31 -0.65 -0.88 -0.76 -2.45 -0.87 -0.61 0.42 -0.48 -0.6 -1.4 -0.72 -0.02 -0.17 0.58 -0.13 -2.14 -0.12
Error de Medicin 0.02 0.01 0.01 0.02 0.34 0.06 0.02 0.01 0.01 0.01 0.43 0.06 0.01 0.02 0.02 0.02 0.37 0.06 0.01 0.02 0.03 0.02 0.36 0.09 0.02 0.01 0.02 0.02 0.16 0.07 0.01 0.01 0.02 0.02 0.29 0.03
Ajuste (Outfit) 1.37 1.08 0.97 1.11 0.68 1.12 1.12 0.97 0.88 1.03 0.82 1.05 0.84 0.97 1.09 1.05 0.7 1.05 0.94 0.81 0.62 0.7 0.56 0.75 0.78 0.93 0.96 0.79 0.66 0.82 1.15 1 1.28 1.06 0.7 1.1
Correlacin -0.07 0.36 -0.17 -0.18 -0.1 -0.06 -0.12 -0.18 -0.21 0.41 -0.11 -0.07 -0.24 -0.09 -0.07 0.42 -0.11 -0.05 0.39 -0.2 -0.2 -0.19 -0.12 -0.08 -0.26 0.43 -0.16 -0.18 -0.12 -0.08 -0.07 -0.14 0.29 -0.1 -0.13 -0.05
N de Respuesta 2246 7044 3655 2761 51 347 2030 3312 2962 7421 40 339 6356 2886 2041 4399 49 373 13082 1248 748 844 45 137 2156 11197 1281 1165 132 173 4050 3489 5190 2512 65 798
DM3B2IT04
DM3B2IT05
DM3B2IT06
DM3B2IT07
DM3B2IT08
DM3B2IT09
330
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 0.06 0.59 -0.36 -0.37 -2.06 -0.48 -0.33 0.33 1.29 0 0 -0.81 -0.41 0.14 1.37 0 0 -1.49
Error de Medicin 0.02 0.01 0.02 0.01 0.32 0.07 0.01 0.03 0.02 0 0 0.03 0.01 0.01 0.02 0 0 0.16
Ajuste (Outfit) 1.5 1.08 0.92 0.91 0.62 0.93 0.62 1.13 0.57 0 0 0.98 0.95 0.96 0.78 0 0 0.98
Correlacin -0.02 0.37 -0.18 -0.23 -0.12 -0.07 -0.52 0.04 0.66 0 0 -0.21 -0.44 0.02 0.57 0 0 -0.13
N de Respuesta 3141 6792 2394 3463 57 257 10059 645 4378 0 0 932 7491 5278 3175 0 0 127
DM3B2IT10
DM3B2IT11
1crdito nulo, 2 crdito parcial, 3 crdito total 1crdito nulo, 2 crdito parcial, 3 crdito total
1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin
DM3B2IT12
CAPTULO 5
331
Tabla 5c. MATEMTICA 3. Indicadores por opcin. Bloque 3.

tem Opcin correcta Opciones de Promedio de respuesta habilidad 1 2 DM3B3IT01 2 3 4 Multimarca Omisin 1 2 DM3B3IT02 1 3 4 Multimarca Omisin 1 2 DM3B3IT03 4 3 4 Multimarca Omisin 1 2 DM3B3IT04 4 3 4 Multimarca Omisin 1 2 DM3B3IT05 1 3 4 Multimarca Omisin -0.6 0.42 -0.62 -0.48 -2.23 -0.74 1.08 0.17 -0.47 -0.27 -1.62 -0.39 -0.45 -0.38 -0.25 0.5 -2.25 -0.42 -0.46 -0.6 -0.22 0.6 -2.09 -0.55 0.2 -1.17 -0.91 -1.03 -2.64 -1.03 Error de Medicin 0.02 0.01 0.02 0.01 0.3 0.08 0.02 0.02 0.01 0.02 0.25 0.07 0.03 0.01 0.01 0.01 0.38 0.07 0.01 0.02 0.02 0.01 0.3 0.06 0.01 0.03 0.02 0.03 0.37 0.08 Ajuste (Outfit) 0.88 0.98 0.83 0.99 0.52 0.9 0.78 1.41 0.66 0.89 0.6 0.9 1.26 0.99 1.16 1.11 0.64 1.22 0.83 0.75 1.26 0.99 0.56 1.03 0.94 0.54 0.7 0.62 0.55 0.7 Correlacin -0.19 0.42 -0.2 -0.21 -0.11 -0.07 0.52 0.05 -0.39 -0.11 -0.1 -0.05 -0.13 -0.17 -0.16 0.36 -0.1 -0.05 -0.3 -0.16 -0.09 0.45 -0.11 -0.07 0.36 -0.19 -0.21 -0.16 -0.11 -0.08 N de Respuesta 1807 11303 1848 3162 52 193 4522 2934 7845 2728 78 258 1485 3208 5083 8259 44 286 5730 1321 2501 8419 58 336 16051 554 1094 491 42 133
332
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.49 -0.72 -0.1 0.64 -2.24 -0.51 -0.07 -0.44 0.52 -0.77 -2.02 -0.75 -0.53 -0.51 0.63 -0.09 -0.91 -0.46 -0.99 0.25 -1.06 -0.87 -1.16 -1.14 -0.33 -0.41 -0.29 0.65 -1.22 -0.61 0.38 -0.42 -0.44 -0.35 -2.44 -0.68
Error de Medicin 0.01 0.02 0.01 0.01 0.42 0.04 0.02 0.01 0.01 0.04 0.38 0.09 0.01 0.02 0.01 0.01 0.11 0.04 0.03 0.01 0.02 0.02 0.08 0.09 0.01 0.01 0.01 0.01 0.19 0.07 0.01 0.02 0.02 0.01 0.34 0.08
Ajuste (Outfit) 0.81 0.65 1.34 0.96 0.98 1.05 1.46 0.99 0.99 0.77 0.89 0.97 0.81 0.82 1 1.31 0.79 1.05 0.64 0.92 0.6 0.72 0.67 0.66 0.97 0.98 1.04 0.98 0.84 0.99 1.1 1.13 1.01 1.12 0.7 0.98
Correlacin -0.27 -0.2 -0.07 0.44 -0.09 -0.08 -0.03 -0.34 0.41 -0.12 -0.09 -0.07 -0.26 -0.18 0.43 -0.06 -0.09 -0.08 -0.16 0.41 -0.24 -0.2 -0.13 -0.09 -0.15 -0.22 -0.14 0.44 -0.09 -0.06 0.35 -0.13 -0.18 -0.16 -0.12 -0.07
N de Respuesta 4537 1441 4256 7552 39 540 1562 7153 8929 500 47 174 3869 2171 7587 3928 230 580 537 15283 1061 1081 269 134 3080 4272 3283 7378 121 231 10605 1650 2669 3187 52 202
DM3B3IT06
DM3B3IT07
DM3B3IT08
DM3B3IT09
DM3B3IT10
DM3B3IT11
CAPTULO 5
333
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin -0.29 -0.24 0.62 -0.15 -2.29 -0.4
Error de Medicin 0.01 0.02 0.02 0.02 0.27 0.07
Ajuste (Outfit) 0.89 1.12 1.17 1.26 0.37 0.96
Correlacin -0.19 -0.11 0.36 -0.08 -0.13 -0.05
N de Respuesta 5424 2897 6239 3485 69 251
DM3B3IT12
Tabla 5d. MATEMTICA 3. Indicadores por opcin. Bloque 4.

tem Opcin correcta Opciones de Promedio de respuesta habilidad 1 2 DM3B4IT01 4 3 4 Multimarca Omisin 1 2 DM3B4IT02 2 3 4 Multimarca Omisin 1 2 DM3B4IT03 3 3 4 Multimarca Omisin -0.41 -0.39 -0.41 0.63 -2.11 -0.64 -0.69 0.56 -0.87 -0.22 -1.54 -1 -0.84 -1.11 0.24 -0.9 -0.98 -1.18 Error de Medicin 0.01 0.02 0.02 0.01 0.26 0.07 0.02 0.01 0.03 0.01 0.17 0.11 0.02 0.04 0.01 0.02 0.04 0.09 Ajuste (Outfit) 0.86 0.95 1.02 0.98 0.59 0.84 0.71 1.08 0.61 1.14 0.71 0.63 0.75 0.6 0.91 0.69 0.73 0.67 Correlacin -0.27 -0.14 -0.12 0.46 -0.11 -0.07 -0.17 0.39 -0.16 -0.2 -0.11 -0.07 -0.19 -0.16 0.43 -0.23 -0.17 -0.09 N de Respuesta 6518 2459 1850 7167 66 242 1244 6705 778 9337 122 116 1160 482 14474 1380 666 140
334
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 0.45 -0.01 -0.58 -0.53 -1.58 -0.61 0.33 -0.16 -0.67 -0.47 -2.36 -0.38 -1.1 -1.05 -0.99 0.16 -2.69 -1.39 -0.7 0.39 -0.67 -0.52 -2.47 -0.94 0.32 -0.78 -0.38 -0.68 -0.48 -0.7 -0.45 -0.52 0.58 -0.16 -1.52 -0.52
Error de Medicin 0.01 0.01 0.02 0.01 0.15 0.05 0.01 0.01 0.02 0.02 0.26 0.04 0.03 0.03 0.02 0.01 0.24 0.1 0.02 0.01 0.02 0.01 0.23 0.06 0.01 0.02 0.02 0.02 0.05 0.05 0.01 0.02 0.01 0.02 0.18 0.05
Ajuste (Outfit) 1.1 1.59 0.8 0.8 0.58 0.93 1.14 1.45 0.81 1.04 0.52 1.27 0.59 0.62 0.66 0.92 0.45 0.58 0.81 0.96 0.8 0.9 0.45 0.7 1 0.73 1.19 0.81 1.24 0.97 0.88 0.86 0.98 1.35 0.78 1.05
Correlacin 0.35 0 -0.19 -0.22 -0.12 -0.09 0.3 -0.08 -0.16 -0.16 -0.13 -0.06 -0.18 -0.19 -0.21 0.39 -0.14 -0.1 -0.21 0.45 -0.2 -0.21 -0.14 -0.1 0.38 -0.22 -0.15 -0.16 -0.08 -0.1 -0.27 -0.14 0.43 -0.06 -0.11 -0.08
N de Respuesta 7579 4620 2251 3273 131 448 8894 5207 1181 2308 66 646 584 747 1011 15773 60 127 1950 11216 1804 3009 69 254 11458 1617 3008 1197 563 459 5921 1658 7297 2771 112 543
DM3B4IT04
DM3B4IT05
DM3B4IT06
DM3B4IT07
DM3B4IT08
DM3B4IT09
CAPTULO 5
335
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin -0.46 -0.65 -0.42 0.46 -2.54 -0.63 -0.26 0.45 1.9 0 0 -0.58 -0.37 0.33 0 0 0 -1.26
Error de Medicin 0.02 0.01 0.01 0.01 0.24 0.06 0.01 0.02 0.03 0 0 0.02 0.01 0.01 0 0 0 0.04
Ajuste (Outfit) 1 0.76 1.01 0.98 0.43 1.06 0.85 1.07 0.52 0 0 1.07 1.24 1.04 0 0 0 0.97
Correlacin -0.13 -0.26 -0.17 0.45 -0.14 -0.08 -0.36 0.13 0.59 0 0 -0.18 -0.25 0.35 0 0 0 -0.25
N de Respuesta 1781 3073 3276 9744 64 364 12818 1525 1902 0 0 1871 6728 10559 0 0 0 845
DM3B4IT10
DM3B4IT11
1crdito nulo, 2 crdito parcial, 3 crdito total
DM3B4IT12
1crdito nulo, 2 crdito total
336
REPORTE TCNICO
Tabla 5e. MATEMTICA 3. Indicadores por opcin. Bloque 5.

tem Opcin correcta Opciones de Promedio de respuesta habilidad 1 2 DM3B5IT01 4 3 4 Multimarca Omisin 1 2 DM3B5IT02 3 3 4 Multimarca Omisin 1 2 DM3B5IT03 4 3 4 Multimarca Omisin 1 2 DM3B5IT04 4 3 4 Multimarca Omisin 1 2 DM3B5IT05 1 3 4 Multimarca Omisin -0.33 -0.25 -0.4 0.58 -2.01 -0.56 -0.08 -0.36 0.69 -0.25 -1.92 0.02 -0.21 -0.26 -0.23 0.57 -1.34 -0.42 -0.36 -0.26 0.07 0.78 -1.79 -0.39 0.35 -0.38 -0.61 -0.55 -1.57 -0.69 Error de Medicin 0.01 0.02 0.02 0.01 0.25 0.05 0.01 0.02 0.02 0.01 0.23 0.03 0.01 0.02 0.02 0.02 0.23 0.05 0.01 0.01 0.01 0.02 0.26 0.05 0.01 0.01 0.02 0.02 0.19 0.08 Ajuste (Outfit) 0.98 1.11 0.9 0.97 0.58 0.8 1.16 0.82 1.12 0.92 0.5 1.35 1.05 1.01 1.02 1.11 1.68 0.92 0.79 0.91 1.32 1.03 0.71 0.89 1 1.07 0.8 0.85 0.81 0.99 Correlacin -0.23 -0.11 -0.13 0.42 -0.12 -0.08 -0.07 -0.15 0.34 -0.11 -0.12 0 -0.15 -0.11 -0.1 0.36 -0.09 -0.07 -0.18 -0.19 0.03 0.39 -0.11 -0.06 0.38 -0.23 -0.16 -0.12 -0.11 -0.08 N de Respuesta 5898 2777 1750 6750 67 365 6808 2751 3781 3014 74 1179 5815 2612 3055 5521 91 513 3498 6014 3655 3902 68 470 10302 4911 1184 888 95 227
CAPTULO 5
337
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 0.48 -0.27 -0.18 -0.27 -2.22 -0.27 0.05 -0.39 0.68 -0.25 -2.11 -0.52 -0.21 -0.14 -0.2 0.29 -2.22 -0.32 -0.5 -0.43 -0.4 0.43 -0.99 -0.6 -0.45 -0.26 0.46 -0.27 -1.15 -0.77 -0.36 -0.35 -0.24 0.57 -1.09 -0.49
Error de Medicin 0.02 0.02 0.01 0.01 0.25 0.05 0.01 0.01 0.03 0.03 0.27 0.05 0.02 0.02 0.01 0.01 0.26 0.04 0.02 0.01 0.02 0.01 0.1 0.05 0.02 0.01 0.01 0.02 0.15 0.06 0.01 0.01 0.02 0.01 0.11 0.05
Ajuste (Outfit) 1.2 1.06 1.1 0.97 0.47 1.28 1.26 0.69 1.25 0.95 0.6 0.69 1.15 1.33 1.24 1.26 0.63 1.15 0.88 0.89 1.04 0.97 0.75 0.9 0.84 1.04 1.06 1.25 0.84 0.69 0.93 0.93 1.18 0.97 0.65 0.93
Correlacin 0.33 -0.1 -0.11 -0.14 -0.13 -0.05 0.04 -0.2 0.27 -0.06 -0.13 -0.08 -0.08 -0.07 -0.1 0.23 -0.13 -0.06 -0.14 -0.22 -0.15 0.42 -0.1 -0.1 -0.17 -0.18 0.37 -0.09 -0.1 -0.1 -0.18 -0.18 -0.11 0.42 -0.11 -0.08
N de Respuesta 6226 2199 4621 3977 67 517 9640 3891 2660 916 70 430 2389 3141 3513 7770 70 724 1370 3906 2326 9305 213 487 2232 5550 7615 1767 141 302 3457 3647 2987 6836 189 491
DM3B5IT06
DM3B5IT07
DM3B5IT08
DM3B5IT09
DM3B5IT10
DM3B5IT11
338
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin -0.18 -0.01 -0.32 1.01 -1.49 -0.07
Error de Medicin 0.01 0.01 0.02 0.03 0.18 0.03
Ajuste (Outfit) 0.92 1.16 0.83 0.9 0.57 1.1
Correlacin -0.14 -0.01 -0.13 0.39 -0.11 -0.02
N de Respuesta 7015 4342 2573 2513 114 1050
DM3B5IT12
Tabla 5f. MATEMTICA 3. Indicadores por opcin. Bloque 6.

tem Opcin correcta Opciones de Promedio de respuesta habilidad 1 2 DM3B6IT01 2 3 4 Multimarca Omisin 1 2 DM3B6IT02 3 3 4 Multimarca Omisin 1 2 DM3B6IT03 3 3 4 Multimarca Omisin -0.36 0.43 -0.78 -0.8 -2.44 -0.89 -0.26 -0.24 0.97 -0.28 -2.27 -0.31 -0.45 -0.43 0.4 -0.43 -1.45 -0.88 Error de Medicin 0.01 0.01 0.02 0.04 0.25 0.09 0.01 0.02 0.02 0.01 0.24 0.05 0.02 0.02 0.01 0.01 0.17 0.11 Ajuste (Outfit) 1.08 1 0.65 0.61 0.67 0.81 0.91 0.96 0.93 0.9 0.53 1.01 1.08 1.02 1.04 1.02 0.86 0.9 Correlacin -0.22 0.4 -0.22 -0.09 -0.16 -0.08 -0.14 -0.08 0.45 -0.16 -0.15 -0.05 -0.13 -0.16 0.37 -0.18 -0.12 -0.07 N de Respuesta 5705 9069 1569 288 94 163 4747 2325 3820 5348 103 545 1761 2522 9062 3242 163 138
CAPTULO 5
339
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.36 -0.44 0.47 -0.44 -1.29 -0.64 -0.49 0.54 -0.13 -0.31 -2.97 -0.23 -0.44 0.67 -0.28 -0.58 -3.25 -0.81 -0.32 -0.31 0.51 -0.44 -2.88 -0.59 -0.33 -0.52 0.42 -0.42 -2.58 -0.52 -0.41 0.64 -0.46 -0.67 -0.84 -0.71
Error de Medicin 0.02 0.02 0.01 0.02 0.13 0.05 0.01 0.01 0.02 0.02 0.32 0.06 0.01 0.01 0.01 0.01 0.36 0.07 0.02 0.01 0.01 0.01 0.36 0.05 0.01 0.02 0.01 0.02 0.32 0.05 0.01 0.01 0.01 0.01 0.09 0.08
Ajuste (Outfit) 1.16 0.98 1.02 0.96 0.78 0.87 0.86 1.04 1.36 1.05 0.55 1.44 0.87 0.89 1.03 0.72 0.81 0.85 1.14 1.08 1.07 0.88 0.94 0.97 1.12 0.91 1.07 1.01 0.84 1.15 0.92 0.88 0.92 0.66 0.92 0.92
Correlacin -0.16 -0.17 0.39 -0.14 -0.13 -0.09 -0.28 0.4 -0.04 -0.11 -0.16 -0.03 -0.19 0.49 -0.12 -0.25 -0.16 -0.09 -0.12 -0.13 0.39 -0.19 -0.15 -0.09 -0.16 -0.15 0.37 -0.14 -0.14 -0.09 -0.18 0.5 -0.18 -0.24 -0.11 -0.07
N de Respuesta 3377 2736 8201 1949 211 414 5285 7056 1669 2355 65 458 3206 6945 3008 3392 53 284 2594 3123 7287 3360 59 465 3857 1582 8462 2292 68 627 3416 7566 2900 2429 363 214
DM3B6IT04
DM3B6IT05
DM3B6IT06
DM3B6IT07
DM3B6IT08
DM3B6IT09
340
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin -0.22 0.4 -0.3 -0.18 -1.68 -0.35 -0.32 0.72 3.47 0 0 -1.17 -0.83 -0.43 0.21 0.78 0 -1.73
Error de Medicin 0.01 0.02 0.02 0.02 0.19 0.08 0.01 0.01 0.1 0 0 0.05 0.01 0.02 0.01 0.01 0 0.04
Ajuste (Outfit) 1.22 1.27 1.12 1.23 0.85 1.41 0.88 0.84 0.81 0 0 0.97 0.6 1.04 1.31 0.78 0 0.75
Correlacin -0.12 0.27 -0.1 -0.08 -0.13 -0.04 -0.39 0.38 0.44 0 0 -0.22 -0.43 -0.12 0.1 0.53 0 -0.33
N de Respuesta 4693 6515 2138 3112 144 286 11000 4630 346 0 0 773 4339 1752 3344 6034 0 755
DM3B6IT10
DM3B6IT11
1crdito nulo, 2 crdito parcial, 3 crdito total 1crdito nulo, 2 crdito parcial, 3 crdito parcial, 4 crdito total
DM3B6IT12
CAPTULO 5
341
MAPA DE DISTRIBUCIN DE HABILIDADES Y DIFICULTADES Tabla 6. MATEMTICA 3. Mapa de distribucin de habilidades y dificultades. Estudiantes MAP OF Items 5 .# + | . | | . | 4 + . | . | . | . | 3 . + . | . | . |T .# | DM3B5IT12 2 .# T+ DM3B5IT07 .# | .### | DM3B1IT01 DM3B1IT10 DM3B5IT02 .### | DM3B2IT01 DM3B3IT02 DM3B5IT04 DM3B6IT02 .#### |S DM3B2IT06 1 .###### S+ DM3B2IT09 DM3B5IT03 .####### | DM3B1IT06 DM3B3IT12 .####### | DM3B1IT08 DM3B1IT09 DM3B4IT02 DM3B5IT01 DM3B5IT06 DM3B5IT11 DM3B6IT10 DM3B6IT11 .######## | DM3B1IT02 DM3B2IT04 DM3B2IT10 DM3B3IT06 DM3B3IT08 DM3B3IT10 DM3B4IT01 DM3B4IT04 DM3B4IT09 DM3B6IT05 DM3B6IT06 .######### | DM3B2IT05 DM3B3IT03 DM3B3IT04 DM3B4IT11 DM3B5IT08 DM3B5IT10 DM3B6IT07 DM3B6IT09 0 .############ M+M DM3B2IT03 DM3B3IT07 DM3B4IT05 DM3B6IT04 DM3B6IT08 .############ | DM3B1IT04 DM3B4IT10 DM3B5IT09 DM3B6IT01 DM3B6IT03 .########### | DM3B1IT07 DM3B2IT11 DM3B3IT11 DM3B5IT05 .########### | DM3B1IT05 DM3B3IT01 DM3B4IT07 DM3B4IT08 .######## | DM3B6IT12 -1 .####### S+ DM3B1IT03 DM3B2IT08 .#### |S DM3B2IT12 .##### |
342
REPORTE TCNICO
.# | DM3B2IT07 DM3B4IT03 .## | DM3B3IT09 DM3B4IT12 -2 . T+ . | DM3B3IT05 DM3B4IT06 . |T DM3B1IT11 . | . | -3 . + . | . | . | . | DM3B1IT12 -4 . + DM3B2IT02 | . | . | | -5 + . | | | | -6 . + Cada smbolo '#' equivale a 3664 estudiantes. El punto (.) indica que hay entre 1 y 365 estudiantes.
CAPTULO 5
343
PROMEDIO, DESVIACIN ESTNDAR Y VALORES MXIMO Y MNIMO DE DIFICULTADES DE TEMS

Grfico 1. MATEMTICA 3. Promedio, desviacin estndar y valores mximo y mnimo de dificultades de tems, por bloque.
1.60
1.40
1.20
B1 B2
1.00
B3 B4 B5 B6
0.80

0.60
0.40 -4.00 -3.00 -2.00 -1.00 0.00 1.00 2.00 3.00 4.00
344
REPORTE TCNICO
FUNCIN DE INFORMACIN DE LA PRUEBA Grfico 2. MATEMTICA 3. Funcin de informacin.
Informacin
Medida
CAPTULO 5
345
346
Chile 0.718 0.031 -0.846 -0.610 -1.202 0.554 -0.562 0.847 0.516 1.691 -3.042 -4.796 -4.223 -5.203 -6.801 -3.404 -3.798 -2.316 -3.025 -3.884 -1.785 -2.376 1.362 1.864 0.344 1.987 1.806 2.055 -1.872 -3.473 0.945 0.282 -0.744 1.152 1.088 1.043 0.749 0.573 -0.058 0.770 1.060 1.157 -0.492 -0.391 -1.323 -0.126 0.079 -0.083 -0.734 0.644 0.588 1.132 -3.162 -4.622 0.909 0.862 0.395 1.317 0.965 1.177 0.339 -0.096 -1.042 -2.118 -0.393 -0.075 0.068 -0.915 -0.052 -0.490 -1.051 0.056 0.500 0.604 -0.613 0.221 0.201 0.885 0.039 1.124 1.356 1.872 -2.085 -3.498 -1.506 -1.344 -2.191 -0.633 -0.906 -0.682 -0.753 -0.614 0.414 -0.101 -0.609 1.087 0.224 0.864 -0.266 0.774 0.940 -1.087 0.391 -0.375 1.261 0.151 0.742 1.152 1.955 -1.827 -4.190 2.251 1.022 -0.313 2.683 2.208 2.408 1.303 2.896 1.990 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 2.447 0.644 -1.162 -0.303 -0.310 0.666 -0.718 0.518 0.218 1.947 -2.197 -3.369 Per 1.616 0.771 -1.047 -1.129 -0.517 1.451 -0.917 0.125 1.042 1.414 -2.274 -3.302 Rep. Dom. Uruguay 2.935 1.053 0.055 0.982 0.729 1.319 0.745 1.017 1.622 2.627 -1.480 -2.282 1.420 0.253 -0.288 -1.017 -0.752 0.315 -1.239 0.436 0.081 1.664 -2.763 -4.519
REPORTE TCNICO
Tabla 7a. MATEMTICA 3. Valor de dificultad de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DM3B1IT01
1.598
1.528
DM3B1IT02
0.413
-0.008
DM3B1IT03
-1.023
-1.209
DM3B1IT04
-0.782
-0.640
DM3B1IT05
-0.747
-0.829
DM3B1IT06
0.525
0.170
DM3B1IT07
-0.752
-0.702
DM3B1IT08
0.250
0.448
DM3B1IT09
-0.056
0.220
DM3B1IT10
1.691
1.474
DM3B1IT11
-2.763
-2.636
DM3B1IT12
-3.758
-3.379
Tabla 7b. MATEMTICA 3. Valor de dificultad de cada tem por pas. Bloque 2.
Chile 1.987 -4.468 0.060 0.374 -0.104 1.442 -2.276 -1.857 0.932 -0.104 -0.467 -0.815 -0.917 -1.770 -2.604 -1.338 -1.204 -0.867 -0.388 -0.764 -1.874 -0.061 -0.405 -0.175 0.417 -0.050 -0.164 0.824 0.496 0.905 -0.089 -1.086 -1.800 1.167 0.838 -0.265 1.181 0.926 1.151 0.767 -0.979 -1.916 -2.023 -0.546 -0.698 -0.197 -1.302 -0.263 0.995 1.018 -0.235 -1.079 -1.836 -2.613 -3.341 -0.816 -1.505 -0.877 -2.148 -1.487 1.423 1.179 0.354 1.348 0.995 1.423 0.861 1.722 0.440 0.111 -0.248 0.997 -0.018 0.547 -0.477 0.424 0.736 1.767 -1.382 -0.558 1.099 0.621 -0.010 -1.149 0.499 0.090 -0.990 0.463 0.016 0.523 -0.167 0.706 1.194 0.018 -0.587 -0.344 0.071 0.150 0.282 -0.207 0.381 0.320 -4.156 -5.064 -6.111 -3.318 -4.351 -3.315 -5.034 -3.530 -3.753 -4.000 -0.419 0.119 0.322 1.036 -1.331 -0.932 1.006 0.584 -0.410 -0.957 1.552 1.595 0.203 1.363 1.313 1.364 1.705 1.211 1.739 0.723 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per 1.608 -3.293 -0.224 0.517 0.734 1.703 -1.401 -0.846 1.002 0.879 -0.169 -0.948 Rep. Dom. Uruguay 1.768 -2.290 0.168 1.247 1.066 1.968 -0.836 0.586 1.566 1.228 0.679 0.025 1.662 -4.557 0.038 -0.040 -0.327 0.791 -1.836 -0.867 1.162 0.374 -0.669 -0.882
tem
Argentina
Brasil
DM3B2IT01
0.943
1.202
DM3B2IT02
-4.328
-3.920
DM3B2IT03
0.097
0.070
DM3B2IT04
0.404
1.435
DM3B2IT05
0.352
0.341
DM3B2IT06
1.242
1.325
DM3B2IT07
-1.522
-1.850
DM3B2IT08
-1.179
-1.099
CAPTULO 5
DM3B2IT09
0.993
1.079
DM3B2IT10
0.274
0.364
DM3B2IT11
-0.415
0.487
DM3B2IT12
-1.001
0.658
347
348
Chile -1.371 1.113 -0.103 -0.240 -2.603 -0.106 -0.297 -0.129 -2.534 -0.274 -0.004 0.673 0.917 0.703 -0.179 1.099 0.928 -0.155 -0.942 -1.738 -0.403 -0.539 0.344 -0.193 -1.175 0.931 0.678 1.177 -0.313 1.051 -1.859 -2.685 -4.101 -1.322 -2.018 -1.593 0.533 -0.225 -2.136 1.048 0.700 0.721 0.086 -0.522 -0.628 0.464 -0.094 0.158 -0.381 -0.252 -2.585 0.425 -0.757 0.415 0.521 -0.058 0.028 0.835 1.175 1.116 0.166 -2.185 -2.839 -3.435 -1.984 -2.072 -1.673 -2.489 -1.956 0.720 0.448 1.276 -1.253 1.126 0.118 0.997 0.289 0.073 -0.168 0.862 0.288 0.706 -0.474 0.206 0.480 0.176 -0.355 0.737 -0.052 0.544 -0.649 0.257 1.643 1.160 -0.147 2.405 1.629 2.005 0.727 2.090 2.074 0.445 0.552 -1.853 0.849 0.426 0.810 -1.510 1.076 0.298 1.090 -0.810 -1.115 -2.620 -0.320 -0.172 0.095 -0.918 -0.041 0.078 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay -0.556 1.297 0.616 0.455 -1.938 0.269 0.514 0.866 -1.383 0.859 -0.585 0.821 Per -0.262 1.750 1.045 0.627 -2.248 0.285 0.467 0.344 -1.648 0.442 0.462 1.149 Rep. Dom. Uruguay 0.537 3.083 0.511 0.549 -1.164 1.752 1.236 1.732 -0.540 1.732 0.511 2.170 -0.454 0.857 0.006 -0.278 -2.742 -0.083 -0.104 0.449 -2.030 0.378 -1.183 0.618
REPORTE TCNICO
Tabla 7c. MATEMTICA 3. Valor de dificultad de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DM3B3IT01
-1.199
-0.587
DM3B3IT02
1.339
0.776
DM3B3IT03
0.164
0.575
DM3B3IT04
0.204
-0.027
DM3B3IT05
-2.460
-2.584
DM3B3IT06
0.091
0.105
DM3B3IT07
0.139
0.045
DM3B3IT08
0.360
0.846
DM3B3IT09
-1.948
-1.951
DM3B3IT10
0.639
0.224
DM3B3IT11
-0.324
-0.354
DM3B3IT12
0.639
0.763
Tabla 7d. MATEMTICA 3. Valor de dificultad de cada tem por pas. Bloque 4.
Chile 0.533 0.247 -2.614 0.228 -0.098 -2.695 -0.981 -0.871 -0.408 -0.239 0.637 -1.871 -1.595 -2.021 -3.004 -2.021 -1.519 -1.446 0.459 0.140 -1.101 0.714 0.348 0.709 -0.295 -0.714 -0.386 0.295 -0.130 -0.056 -0.843 -0.617 -1.589 0.773 0.089 -1.546 0.650 1.019 1.055 0.167 -0.807 -1.011 -1.842 -0.199 -0.513 -0.170 -0.910 -0.432 0.959 0.160 0.421 -1.250 -0.731 -1.240 -1.782 -0.199 -0.300 0.115 -1.211 -0.120 -2.206 -3.368 -3.080 -1.368 -2.074 -1.798 -2.606 -1.921 -0.010 0.020 -0.281 0.481 -0.011 0.214 -0.443 0.326 0.307 -2.139 -0.157 -0.584 0.975 0.497 0.790 -1.531 0.202 0.176 -0.620 0.669 0.487 0.711 0.365 0.610 0.288 -1.598 -2.810 -4.117 -1.062 -1.451 -1.054 -2.316 -0.925 -1.350 0.756 0.250 -0.757 1.193 0.881 1.002 0.360 1.146 1.111 0.904 -1.117 0.094 0.105 -2.117 -0.259 -0.598 0.805 -0.186 0.079 -1.628 0.374 0.306 -1.018 0.317 0.752 0.878 -0.028 0.806 1.015 0.597 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per 0.988 1.243 -1.330 0.982 0.165 -2.050 -0.633 -0.406 -0.143 0.151 0.641 -1.583 Rep. Dom. Uruguay 1.670 1.172 -0.517 0.865 0.360 -0.817 0.550 -0.107 1.689 0.945 1.734 -0.272 0.091 -0.089 -2.040 0.332 -0.347 -2.523 -0.851 -0.611 0.704 -0.691 -0.241 -1.909
tem
Argentina
Brasil
DM3B4IT01
0.638
0.477
DM3B4IT02
0.294
0.630
DM3B4IT03
-1.785
-1.352
DM3B4IT04
0.423
0.451
DM3B4IT05
-0.102
0.021
DM3B4IT06
-2.355
-1.882
DM3B4IT07
-0.753
-0.930
DM3B4IT08
-0.753
-0.742
CAPTULO 5
DM3B4IT09
0.347
0.357
DM3B4IT10
-0.481
-0.542
DM3B4IT11
0.215
2.043
DM3B4IT12
-1.792
-0.249
349
350
Chile 0.425 1.831 1.023 1.308 -1.786 0.758 2.048 0.557 -0.628 -0.085 0.147 1.798 2.141 2.045 0.525 2.732 2.465 0.400 -0.104 -0.440 1.424 0.599 0.318 -0.064 -1.061 0.791 0.470 0.578 1.010 2.214 -0.423 -0.974 -1.422 0.295 0.207 0.383 0.344 0.281 0.317 0.191 0.328 -0.069 2.089 2.011 1.082 2.333 2.040 2.246 1.804 0.329 -0.455 0.549 0.195 2.145 0.809 0.826 -0.472 1.129 0.775 0.969 0.594 -0.542 -0.810 -1.144 0.355 -0.462 0.014 -0.616 0.389 0.944 2.308 0.365 0.317 0.824 1.029 2.745 1.616 1.687 0.957 1.820 1.353 1.452 0.730 1.624 1.118 0.706 0.455 1.156 0.952 0.989 0.257 0.835 1.344 1.716 -0.267 1.720 1.911 1.834 1.737 1.891 1.715 1.469 1.861 0.299 0.751 2.006 0.054 -0.015 0.585 0.663 2.719 0.729 0.495 -0.054 1.076 0.938 1.264 0.291 0.909 0.675 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 0.561 0.921 1.165 1.763 -0.040 0.531 2.265 0.356 -0.276 0.350 0.513 2.340 Per 0.237 1.247 1.139 1.862 -0.407 1.164 2.224 0.307 -0.139 0.476 0.987 1.354 Rep. Dom. Uruguay 1.527 2.631 0.818 1.601 0.072 0.818 2.454 0.445 0.873 1.527 1.601 3.138 0.004 1.836 0.629 1.255 -1.675 0.736 1.912 0.299 0.200 0.011 0.415 2.195
REPORTE TCNICO
Tabla 7e. MATEMTICA 3. Valor de dificultad de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DM3B5IT01
0.228
0.056
DM3B5IT02
1.385
1.647
DM3B5IT03
1.235
0.825
DM3B5IT04
1.800
1.430
DM3B5IT05
-1.254
0.631
DM3B5IT06
0.698
0.228
DM3B5IT07
2.020
2.119
DM3B5IT08
0.259
0.111
DM3B5IT09
-0.005
-0.375
DM3B5IT10
0.430
-0.105
DM3B5IT11
0.525
0.267
DM3B5IT12
2.061
2.628
Tabla 7f. MATEMTICA 3. Valor de dificultad de cada tem por pas. Bloque 6.
Chile -0.707 1.582 -0.335 -0.473 0.108 -0.006 0.234 0.695 -0.468 0.230 0.850 -1.087 -0.897 -1.326 -2.015 -0.503 -0.864 -0.660 0.705 0.244 -0.855 0.574 0.760 1.660 0.617 0.458 -0.589 0.693 0.620 0.737 0.245 0.351 -1.425 0.182 -0.806 -1.161 0.867 0.636 1.031 -0.615 0.428 -0.002 -0.147 0.462 -0.856 -0.003 -0.433 0.840 0.956 0.999 -0.786 -0.546 0.381 0.017 -0.405 0.521 0.452 0.481 0.056 0.914 0.685 -0.002 -1.288 1.059 0.699 0.917 0.116 0.681 0.381 -0.161 -0.429 0.896 0.597 0.762 0.056 0.539 0.923 1.121 0.873 1.175 0.570 0.810 1.522 -0.515 -0.029 -0.464 -1.398 0.456 0.199 0.709 0.051 0.475 0.229 -0.393 -0.595 -1.762 -0.311 -0.064 0.330 -0.744 0.409 -0.028 1.549 1.359 -0.211 1.895 1.657 1.899 1.120 1.672 1.810 1.359 0.199 0.288 0.631 0.753 0.211 -0.239 0.426 0.656 0.824 -0.761 -0.364 -0.889 -2.945 0.056 0.335 0.428 -0.786 0.665 0.203 -0.233 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per -0.306 1.785 0.161 -0.049 0.452 0.638 0.279 -0.449 0.365 0.488 0.959 -0.785 Rep. Dom. Uruguay 0.530 2.615 1.141 1.238 1.502 1.157 1.305 1.559 1.618 0.929 1.075 0.420 -0.224 1.136 -0.631 0.043 -0.091 -0.121 -0.169 -1.078 0.268 0.680 0.421 -1.091
tem
Argentina
Brasil
DM3B6IT01
-0.604
0.168
DM3B6IT02
1.730
1.305
DM3B6IT03
-0.494
0.043
DM3B6IT04
-0.038
-0.279
DM3B6IT05
0.462
0.055
DM3B6IT06
0.211
0.172
DM3B6IT07
0.193
-0.052
DM3B6IT08
-0.586
-0.500
CAPTULO 5
DM3B6IT09
0.131
-0.036
DM3B6IT10
0.270
0.540
DM3B6IT11
0.533
2.588
DM3B6IT12
-1.005
-0.260
351
352
Chile 0.84 0.85 1.07 1.03 0.92 0.99 0.98 1.24 0.95 1.08 0.50 0.45 0.40 0.39 0.18 0.49 0.45 0.68 0.64 0.40 0.75 0.70 1.00 1.22 1.01 0.88 0.97 0.93 0.77 0.47 0.95 0.98 0.79 0.93 0.91 0.97 1.05 1.14 1.26 1.00 1.08 1.15 0.98 1.07 0.97 0.95 0.99 1.01 1.02 1.21 0.87 0.86 0.63 0.31 1.18 0.94 0.98 1.36 1.20 1.09 1.08 1.05 0.93 1.10 1.02 1.05 1.16 0.88 1.05 1.12 0.98 1.15 0.97 0.96 0.79 0.57 0.97 0.95 0.90 0.97 0.93 0.93 0.89 0.93 1.01 1.14 0.71 1.06 1.07 1.07 0.90 1.07 0.93 0.91 0.85 0.95 0.91 0.94 0.93 0.94 0.97 1.06 0.95 1.00 1.16 1.00 1.10 0.97 1.03 0.75 0.50 0.92 0.97 0.95 0.99 1.09 1.12 0.79 1.14 1.00 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay 1.00 0.93 1.10 0.94 1.03 0.94 0.98 1.10 0.93 1.00 0.67 0.51 Per 0.79 0.92 1.12 0.85 0.95 1.22 1.01 0.99 1.01 1.00 0.66 0.50 Rep. Dom. Uruguay 0.68 1.07 1.03 1.12 1.18 0.93 1.04 1.15 0.84 0.73 0.90 0.74 0.90 0.87 1.11 0.95 0.97 0.95 1.03 1.04 0.87 1.02 0.62 0.31
REPORTE TCNICO
Tabla 8a. MATEMTICA 3. Valor de ajuste de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DM3B1IT01
0.88
0.84
DM3B1IT02
0.91
0.90
DM3B1IT03
1.03
1.01
DM3B1IT04
1.05
0.98
DM3B1IT05
0.98
0.93
DM3B1IT06
0.94
0.97
DM3B1IT07
1.01
0.95
DM3B1IT08
1.04
0.92
DM3B1IT09
0.86
0.91
DM3B1IT10
1.07
0.98
DM3B1IT11
0.58
0.57
DM3B1IT12
0.47
0.39
Tabla 8b. MATEMTICA 3. Valor de ajuste de cada tem por pas. Bloque 2.
Chile 1.44 0.39 1.55 1.07 0.96 1.01 0.67 0.89 1.19 1.04 0.73 0.87 0.89 0.91 0.79 0.89 0.84 0.86 0.68 0.71 0.66 0.70 0.73 0.66 1.06 0.99 1.38 1.12 1.03 1.04 1.08 0.66 0.87 1.25 1.23 0.95 1.12 1.24 1.23 1.42 0.88 0.93 0.64 0.92 0.89 0.97 0.88 0.94 1.14 1.08 0.64 0.89 0.88 0.71 0.49 0.85 0.82 0.88 0.69 0.88 1.09 0.94 0.82 1.04 1.02 1.08 0.87 1.10 0.96 0.92 1.08 1.03 0.97 1.00 0.87 1.01 1.06 1.21 0.87 0.86 1.26 0.98 0.74 0.92 0.99 1.09 1.02 1.04 1.02 1.02 1.06 1.08 1.07 1.41 1.55 1.66 1.23 1.20 1.19 1.68 1.13 1.14 1.35 1.02 0.96 0.94 0.81 0.91 1.24 1.29 0.71 0.84 0.54 0.33 0.16 0.53 0.54 0.52 0.32 0.59 0.65 0.43 1.32 1.53 1.17 1.21 1.31 1.08 1.52 1.22 1.24 1.09 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per 1.35 0.53 1.32 1.13 1.06 1.12 0.80 0.84 1.14 1.14 0.73 0.83 Rep. Dom. Uruguay 0.89 0.65 1.02 1.04 1.02 1.00 0.87 1.08 1.18 1.09 0.76 0.87 1.33 0.44 1.35 1.03 0.94 0.93 0.77 0.86 1.28 1.10 0.67 0.93
tem
Argentina
Brasil
DM3B2IT01
1.24
1.37
DM3B2IT02
0.44
0.40
DM3B2IT03
1.40
1.55
DM3B2IT04
1.09
1.72
DM3B2IT05
1.03
0.98
DM3B2IT06
0.99
0.93
DM3B2IT07
0.76
0.67
DM3B2IT08
0.88
0.77
CAPTULO 5
DM3B2IT09
1.18
1.23
DM3B2IT10
1.05
1.08
DM3B2IT11
0.70
0.51
DM3B2IT12
0.90
0.81
353
354
REPORTE TCNICO
Tabla 8c. MATEMTICA 3. Valor de ajuste de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DM3B3IT01
1.00
0.92
DM3B3IT02
0.80
0.78
DM3B3IT03
1.08
1.18
DM3B3IT04
0.88
0.88
DM3B3IT05
0.63
0.55
DM3B3IT06
1.00
0.95
DM3B3IT07
1.02
0.95
DM3B3IT08
1.05
1.06
DM3B3IT09
0.69
0.68
DM3B3IT10
0.96
1.04
DM3B3IT11
1.10
1.14
DM3B3IT12
1.06
1.21
Tabla 8d. MATEMTICA 3. Valor de ajuste de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DM3B4IT01
0.97
0.90
DM3B4IT02
1.14
1.13
DM3B4IT03
0.76
0.82
DM3B4IT04
1.14
1.18
DM3B4IT05
1.19
1.29
DM3B4IT06
0.61
0.66
DM3B4IT07
0.90
0.80
DM3B4IT08
0.98
1.04
CAPTULO 5
DM3B4IT09
1.06
0.93
DM3B4IT10
0.90
0.94
DM3B4IT11
0.85
0.88
DM3B4IT12
1.22
1.19
355
356
REPORTE TCNICO
Tabla 8e. MATEMTICA 3. Valor de ajuste de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DM3B5IT01
0.96
0.88
DM3B5IT02
1.10
1.37
DM3B5IT03
1.05
1.10
DM3B5IT04
0.98
1.01
DM3B5IT05
0.95
1.07
DM3B5IT06
1.19
1.07
DM3B5IT07
1.20
1.33
DM3B5IT08
1.15
1.05
DM3B5IT09
0.99
0.85
DM3B5IT10
1.03
1.03
DM3B5IT11
0.89
0.96
DM3B5IT12
0.93
1.08
Tabla 8f. MATEMTICA 3. Valor de ajuste de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DM3B6IT01
1.00
1.08
DM3B6IT02
0.93
0.82
DM3B6IT03
1.07
1.10
DM3B6IT04
1.00
1.06
DM3B6IT05
1.01
1.06
DM3B6IT06
0.86
0.86
DM3B6IT07
1.06
1.08
DM3B6IT08
1.10
1.08
CAPTULO 5
DM3B6IT09
0.89
0.83
DM3B6IT10
1.21
1.32
DM3B6IT11
0.93
0.81
DM3B6IT12
0.92
0.75
357
358
REPORTE TCNICO
Tabla 9a. MATEMTICA 3. Valor de discriminacin de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DM3B1IT01
1.04
1.13
DM3B1IT02
1.19
1.25
DM3B1IT03
0.88
0.94
DM3B1IT04
1.06
1.09
DM3B1IT05
1.03
1.01
DM3B1IT06
1.14
1.03
DM3B1IT07
1.01
1.08
DM3B1IT08
0.90
1.13
DM3B1IT09
1.36
1.18
DM3B1IT10
0.92
0.99
DM3B1IT11
1.09
1.12
DM3B1IT12
1.07
1.11
Tabla 9b. MATEMTICA 3. Valor de discriminacin de cada tem por pas. Bloque 2.
Chile 0.80 1.05 -0.30 0.83 1.10 1.05 1.11 1.06 0.76 0.94 1.13 1.09 1.10 1.14 1.14 1.08 1.16 1.11 1.10 1.11 1.12 1.08 1.07 1.07 0.89 0.99 0.51 0.88 0.95 0.97 0.85 1.13 1.15 0.71 0.64 1.03 0.81 0.62 0.69 0.49 1.17 1.04 1.17 1.22 1.22 1.16 1.11 1.22 0.74 0.93 1.10 1.12 1.03 1.07 1.08 1.20 1.13 1.16 1.11 1.06 0.97 1.08 1.34 0.97 0.99 0.93 1.23 0.94 1.12 1.31 0.93 1.01 1.14 1.03 1.22 1.02 0.89 0.87 1.08 1.34 0.66 1.04 1.08 1.09 1.03 0.71 0.96 0.93 0.96 0.92 0.90 0.79 0.95 -0.04 -0.02 -0.12 0.33 0.32 0.45 -0.49 0.59 0.57 0.42 1.05 1.16 1.08 1.16 1.12 0.67 0.45 1.09 1.15 1.04 1.05 1.05 1.07 1.04 1.07 1.05 1.05 1.03 1.06 0.69 0.68 0.72 0.72 0.69 0.85 0.69 0.68 0.79 0.74 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per 0.64 1.08 0.40 0.71 0.89 0.97 1.14 1.22 0.81 0.84 1.06 1.19 Rep. Dom. Uruguay 1.04 1.10 1.01 0.85 0.99 0.97 1.12 0.77 0.82 0.84 1.08 1.12 0.82 1.04 0.24 0.93 1.15 1.19 1.09 1.20 0.77 0.76 1.16 1.04
tem
Argentina
Brasil
DM3B2IT01
0.60
0.52
DM3B2IT02
1.05
1.08
DM3B2IT03
-0.07
-0.03
DM3B2IT04
0.78
0.35
DM3B2IT05
0.94
1.05
DM3B2IT06
1.05
1.16
DM3B2IT07
1.15
1.16
DM3B2IT08
1.10
1.22
CAPTULO 5
DM3B2IT09
0.78
0.76
DM3B2IT10
0.91
0.90
DM3B2IT11
1.13
1.22
DM3B2IT12
1.09
1.22
359
360
REPORTE TCNICO
Tabla 9c. MATEMTICA 3. Valor de discriminacin de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DM3B3IT01
1.02
1.11
DM3B3IT02
1.18
1.32
DM3B3IT03
0.84
0.77
DM3B3IT04
1.33
1.31
DM3B3IT05
1.10
1.13
DM3B3IT06
0.98
1.10
DM3B3IT07
0.96
1.11
DM3B3IT08
0.93
0.91
DM3B3IT09
1.15
1.15
DM3B3IT10
1.06
0.89
DM3B3IT11
0.77
0.70
DM3B3IT12
0.87
0.73
Tabla 9d. MATEMTICA 3. Valor de discriminacin de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DM3B4IT01
1.11
1.26
DM3B4IT02
0.73
0.84
DM3B4IT03
1.15
1.17
DM3B4IT04
0.69
0.69
DM3B4IT05
0.50
0.34
DM3B4IT06
1.13
1.20
DM3B4IT07
1.15
1.29
DM3B4IT08
1.01
0.97
CAPTULO 5
DM3B4IT09
0.90
1.12
DM3B4IT10
1.21
1.13
DM3B4IT11
1.04
1.02
DM3B4IT12
0.88
0.57
361
362
REPORTE TCNICO
Tabla 9e. MATEMTICA 3. Valor de discriminacin de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DM3B5IT01
1.09
1.30
DM3B5IT02
0.89
0.80
DM3B5IT03
0.97
0.90
DM3B5IT04
1.03
1.03
DM3B5IT05
1.03
0.86
DM3B5IT06
0.73
0.82
DM3B5IT07
0.88
0.84
DM3B5IT08
0.62
0.88
DM3B5IT09
1.04
1.34
DM3B5IT10
0.96
0.89
DM3B5IT11
1.24
1.12
DM3B5IT12
1.00
0.98
Tabla 9f. MATEMTICA 3. Valor de discriminacin de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DM3B6IT01
1.00
0.79
DM3B6IT02
1.05
1.15
DM3B6IT03
0.89
0.75
DM3B6IT04
1.03
0.89
DM3B6IT05
1.04
0.91
DM3B6IT06
1.38
1.29
DM3B6IT07
0.90
0.96
DM3B6IT08
0.80
0.88
CAPTULO 5
DM3B6IT09
1.28
1.40
DM3B6IT10
0.54
0.48
DM3B6IT11
1.06
1.19
DM3B6IT12
1.08
1.21
363
364
REPORTE TCNICO
Tabla 10a. MATEMTICA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DM3B1IT01
0.21
0.24
DM3B1IT02
0.41
0.50
DM3B1IT03
0.70
0.73
DM3B1IT04
0.65
0.63
DM3B1IT05
0.65
0.66
DM3B1IT06
0.39
0.47
DM3B1IT07
0.65
0.64
DM3B1IT08
0.44
0.42
DM3B1IT09
0.51
0.46
DM3B1IT10
0.19
0.24
DM3B1IT11
0.91
0.90
DM3B1IT12
0.96
0.95
Tabla 10b. MATEMTICA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 2.
tem
Argentina
Brasil
DM3B2IT01
0.32
0.29
DM3B2IT02
0.98
0.97
DM3B2IT03
0.49
0.51
DM3B2IT04
0.42
0.26
DM3B2IT05
0.43
0.45
DM3B2IT06
0.27
0.27
DM3B2IT07
0.79
0.83
DM3B2IT08
0.74
0.73
CAPTULO 5
DM3B2IT09
0.31
0.32
DM3B2IT10
0.45
0.45
DM3B2IT11
1.52
1.82
DM3B2IT12
1.66
1.78
365
366
REPORTE TCNICO
Tabla 10c. MATEMTICA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DM3B3IT01
0.73
0.61
DM3B3IT02
0.24
0.35
DM3B3IT03
0.46
0.38
DM3B3IT04
0.45
0.50
DM3B3IT05
0.89
0.90
DM3B3IT06
0.48
0.48
DM3B3IT07
0.47
0.49
DM3B3IT08
0.42
0.33
DM3B3IT09
0.84
0.83
DM3B3IT10
0.37
0.45
DM3B3IT11
0.56
0.57
DM3B3IT12
0.37
0.35
Tabla 10d. MATEMTICA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DM3B4IT01
0.37
0.38
DM3B4IT02
0.43
0.35
DM3B4IT03
0.82
0.74
DM3B4IT04
0.41
0.39
DM3B4IT05
0.51
0.47
DM3B4IT06
0.88
0.82
DM3B4IT07
0.65
0.66
DM3B4IT08
0.65
0.63
CAPTULO 5
DM3B4IT09
0.42
0.41
DM3B4IT10
0.59
0.59
DM3B4IT11
1.24
1.19
DM3B4IT12
1.63
1.54
367
368
REPORTE TCNICO
Tabla 10e. MATEMTICA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DM3B5IT01
0.46
0.47
DM3B5IT02
0.24
0.19
DM3B5IT03
0.26
0.32
DM3B5IT04
0.18
0.22
DM3B5IT05
0.75
0.36
DM3B5IT06
0.36
0.44
DM3B5IT07
0.15
0.14
DM3B5IT08
0.45
0.46
DM3B5IT09
0.50
0.56
DM3B5IT10
0.41
0.51
DM3B5IT11
0.39
0.43
DM3B5IT12
0.15
0.09
Tabla 10f. MATEMTICA 3. Porcentaje de respuestas correctas de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DM3B6IT01
0.62
0.46
DM3B6IT02
0.19
0.25
DM3B6IT03
0.60
0.48
DM3B6IT04
0.50
0.54
DM3B6IT05
0.40
0.48
DM3B6IT06
0.45
0.45
DM3B6IT07
0.45
0.50
DM3B6IT08
0.61
0.59
CAPTULO 5
DM3B6IT09
0.47
0.50
DM3B6IT10
0.44
0.38
DM3B6IT11
1.29
1.36
DM3B6IT12
2.86
1.94
369
V.2.5. tems de Matemtica 6

Al interior de esta seccin se muestran los resultados del procesamiento de datos para anlisis de tems del Estudio Principal del Segundo Estudio Regional Comparativo y Explicativo SERCE, el cual incluy la aplicacin de pruebas de Lectura (grados tercero y sexto), Matemtica (grados tercero y sexto) y Ciencias (grado sexto); la aplicacin de la prueba de Ciencias se realiz en aquellos pases que voluntariamente optaron por incluirla. El procesamiento de datos se realiz de acuerdo con lo planteado en el Documento Tcnico del Procesamiento de datos para el Anlisis de tems y la Produccin de Resultados del SERCE, en el cual se propuso la Teora de Respuesta a tem como modelo de anlisis y una serie de indicadores estadsticos para evaluar el comportamiento de tems y de grupos de tems; en dicho documento se hicieron explcitos los criterios de anlisis para cada indicador durante el anlisis de tems. Es de anotar que el anlisis de tems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los tems de un instrumento, en relacin con los propsitos para los cuales fueron elaborados. Su realizacin exige armonizar el conocimiento profundo del objeto de evaluacin, la poblacin evaluada y los propsitos de la evaluacin con la capacidad para interpretar adecuadamente los indicadores estadsticos disponibles. El proceso de anlisis de tems del Estudio Principal conducir a la toma de decisiones en relacin con la inclusin o exclusin de tems para la fase de calificacin y produccin de resultados del Estudio. Los indicadores reportados en este documento sern objeto de anlisis por parte de los expertos en psicometra y en cada disciplina a fin de asegurar que la produccin de los resultados finales del SERCE utilice la informacin de mayor calidad.
Resultados sobresalientes
Con los criterios preestablecidos de depuracin se pierden muchos registros para el anlisis de tem. Por no responder los dos ltimos tems se elimina aproximadamente el 10% de la informacin disponible, lo que no sucede en ninguna otra prueba. La prueba result ajustada a la habilidad de los estudiantes con los que se estimaron los indicadores. Para la muestra utilizada en el anlisis, el Bloque 5 result ser el ms fcil y el Bloque 6 el ms difcil; la diferencia entre los dos es de 1.13 logits. La dispersin de las dificultades de los tems en los bloques es muy semejante, con excepcin del bloque 4. De acuerdo con los resultados de ajuste, se deben eliminar, para la calificacin final, los tems: DM6B1IT08, DM6B2IT08, DM6B3IT01 y DM6B4IT06. los valores de ajuste se encuentran muy cerca de los valores criterio, por lo que es preferible hacer un anlisis detallado. Se recomienda revisar los procesos de aplicacin de las pruebas en Repblica Dominicana ya que es alto el porcentaje de casos eliminados por los criterios establecidos en el documento tcnico de procesamiento. En el grupo de estudiantes utilizado para la estimacin de indicadores hay 70 con todas las respuestas correctas y 2 con cero respuestas correctas .
370
REPORTE TCNICO

El Laboratorio Latinoamericano para la Evaluacin de la Calidad de la Educacin, LLECE, envi las bases de datos con las respuestas de los estudiantes evaluados en el Estudio Principal del SERCE, a partir de las cuales se producirn resultados. Esta base de datos ya haba sido depurada de acuerdo con criterios preestablecidos. En concordancia con el procedimiento planteado en el documento tcnico para el Procesamiento de Datos para el anlisis de tem y la Produccin de Resultados del Estudio Principal del SERCE, se realizaron dos procedimientos de depuracin de las bases de datos recibidas para obtener los diferentes indicadores de los tems, de los bloques y de la prueba, luego de excluir la informacin del Estado de Nuevo Len. Dadas las caractersticas de la participacin del Estado de Nuevo Len (Mxico), se debe eliminar su informacin al estimar los indicadores para realizar el anlisis de tem. En Matemtica de grado sexto participaron 4695 estudiantes de este estado. Procedimiento 1. Depuracin por preguntas no alcanzadas: Se eliminan los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos ltimos tems del bloque que ocupe la segunda posicin en su cuadernillo. Esta eliminacin de registros se realiza antes de procesar los datos. La base de datos que resulta despus de este proceso es la que se utiliza para la estimacin de los valores de ajuste de los estudiantes. Procedimiento 2. Depuracin por desajuste de estudiantes evaluados: Se eliminan los registros de aquellos estudiantes evaluados cuyo valor de ajuste prximo o lejano sea inferior a 0.7 o superior a 1.3. Este proceso se lleva a cabo slo con los estudiantes que respondieron por lo menos un tem de la prueba y las dos ltimas preguntas del cuadernillo asignado. El resultado es una nueva base de datos slo con los registros de los estudiantes que se utilizan para la estimacin de los parmetros de los tems, bloques y pruebas.
El proceso de depuracin se observa en la tabla 1, con informacin por pas.
CAPTULO 5
371
Tabla 1. MATEMTICA 6. Nmero de estudiantes, por pas, segn proceso de depuracin.

Con excepcin de Repblica Dominicana, Colombia y Paraguay todos los pases tienen un porcentaje de participacin, en la estimacin de los indicadores de los tems, superior al 50%. Del total de 16 pases con informacin para la estimacin de indicadores, 7 participan con ms del 60% de sus estudiantes evaluados. Es importante revisar el proceso de aplicacin de pruebas en Repblica Dominicana de tal manera que se pudiera explicar una prdida tan grande (ms del 55%). Paraguay (20.6%), Repblica Dominicana (18.8%), Chile (14.8%) y Ecuador (14.5%) son los pases con ms prdida de registros de informacin por no alcanzar los 2 ltimos tems.
372
REPORTE TCNICO
Repblica Dominicana (47.4% ) es el pas con una prdida mayor al 40% de sus registros por desajuste, a partir de los datos de poblacin luego de la primera depuracin. Luego de la depuracin realizada, el nmero de estudiantes por bloque y por cuadernillo cuya informacin se utiliza para la estimacin de indicadores se encuentra en las tablas 2 y 3.
Tabla 2. MATEMTICA 6. Nmero de estudiantes por bloque.
Bloque
1 2 3 4 5 6
N
18440 18173 17070 14675 15645 18307
Tabla 3. MATEMTICA 6. Nmero de estudiantes por cuadernillo.
Cuadernillo
1 2 3 4 5 6
N
8493 7380 8364 9697 7321 9972
CAPTULO 5
373
Tabla 4a. MATEMTICA 6. Indicadores por tem. Bloque 1.
tem DM6B1IT01 DM6B1IT02 DM6B1IT03 DM6B1IT04 DM6B1IT05 DM6B1IT06 DM6B1IT07 DM6B1IT08 DM6B1IT09 DM6B1IT10 DM6B1IT11 DM6B1IT12 DM6B1IT13 DM6B1IT14 DM6B1IT15 DM6B1IT16
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR -1.587 -0.589 0.811 -1.188 -0.271 0.039 1.568 1.036 0.420 1.312 1.689 0.869 1.069 0.418 1.142 0.725
Error de Medicin 0.020 0.016 0.017 0.018 0.016 0.016 0.019 0.017 0.016 0.018 0.020 0.017 0.017 0.016 0.018 0.016
Discrimin. 1.03 0.98 0.87 1.08 1.49 1.35 0.87 0.54 0.95 1.03 0.99 0.64 0.81 0.65 0.87 1.15
Correlacin punto-medida 0.28 0.31 0.29 0.33 0.46 0.43 0.22 0.09 0.33 0.37 0.32 0.18 0.24 0.24 0.26 0.41
Ajuste Prximo (Infit) 0.98 1.00 1.05 0.96 0.89 0.92 1.09 1.23 1.01 0.98 1.01 1.14 1.10 1.09 1.07 0.94
N 18440 18440 18440 18440 18440 18440 18440 18440 18440 18440 18440 18440 18440 18440 18440 18440
374
REPORTE TCNICO
Tabla 4b. MATEMTICA 6. Indicadores por tem. Bloque 2.

Error de Medicin 0.021 0.016 0.016 0.017 0.016 0.017 0.016 0.025 0.020 0.016 0.016 0.016 0.016 0.010 0.015 0.017 Correlacin Discrimin. punto-medida 1.02 1.38 1.24 0.97 1.08 1.31 1.14 1.09 1.08 1.11 0.89 1.35 0.94 1.10 0.94 1.00 0.27 0.45 0.41 0.34 0.39 0.46 0.38 0.33 0.41 0.37 0.33 0.46 0.34 0.61 0.35 0.39 Ajuste Prximo (Infit) 0.98 0.91 0.94 1.01 0.97 0.87 0.96 0.92 0.93 0.96 1.03 0.91 1.02 0.87 1.05 0.99 Ajuste Lejano (Outfit) 0.91 0.89 0.93 1.04 0.97 0.79 0.95 0.69 0.91 0.95 1.04 0.89 1.03 0.82 1.06 0.98
Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP CP CP -1.944 -0.059 -0.241 0.886 0.462 -1.002 -0.524 -2.373 1.613 -0.680 0.266 0.280 0.548 -0.446 0.655 1.432
N 18173 18173 18173 18173 18173 18173 18173 18173 18173 18173 18173 18173 18173 18170 18167 18166
CAPTULO 5
375
Tabla 4c. MATEMTICA 6. Indicadores por tem. Bloque 3.

Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR -3.145 -0.997 -0.512 0.685 -0.533 1.382 0.083 1.781 0.910 0.512 -0.128 1.069 1.055 0.791 -0.155 0.442
N 17070 17070 17070 17070 17070 17070 17070 17070 17070 17070 17070 17070 17070 17070 17070 17070
376
REPORTE TCNICO
Tabla 4d. MATEMTICA 6. Indicadores por tem. Bloque 4.

Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP CP CP -1.986 -1.074 2.296 1.698 2.377 -2.907 0.906 -1.223 1.095 0.249 -0.329 0.949 1.146 0.333 -0.072 0.159
N 14675 14675 14675 14675 14675 14675 14675 14675 14675 14675 14675 14675 14675 14672 14671 14673
CAPTULO 5
377
Tabla 4e. MATEMTICA 6. Indicadores por tem. Bloque 5.

Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR -1.062 0.122 -0.742 0.003 -1.370 -0.600 1.424 -0.644 -1.620 -0.842 -0.904 1.031 -0.600 -0.247 -1.323 1.191
N 15645 15645 15645 15645 15645 15645 15645 15645 15645 15645 15645 15645 15645 15645 15645 15645
378
REPORTE TCNICO
Tabla 4f. MATEMTICA 6. Indicadores por tem. Bloque 6.

Formato Dificultad SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR SMUR CP CP CP -0.975 0.490 2.184 1.138 0.822 0.505 0.248 1.657 1.186 0.702 1.828 0.713 0.940 -0.387 1.265 -0.488
N 18307 18307 18307 18307 18307 18307 18307 18307 18307 18307 18307 18307 18307 18298 18298 18300
CAPTULO 5
379

Tabla 5a. MATEMTICA 6. Indicadores por opcin. Bloque 1.
tem Opcin correcta Opciones de Promedio de respuesta habilidad 1 2 DM6B1IT01 1 3 4 Multimarca Omisin 1 2 DM6B1IT02 1 3 4 Multimarca Omisin 1 2 DM6B1IT03 4 3 4 Multimarca Omisin 1 2 DM6B1IT04 4 3 4 Multimarca Omisin 1 2 DM6B1IT05 1 3 4 Multimarca Omisin 0.17 -0.43 -0.38 -0.52 -0.65 -0.67 0.25 -0.33 -0.47 -0.07 -0.82 -0.46 0.00 -0.29 -0.23 0.40 -0.63 -0.14 -0.48 -0.47 -0.33 0.22 -0.57 -0.53 0.40 -0.41 -0.23 -0.44 -0.22 -0.56 Error de Medicin 0.01 0.02 0.02 0.03 0.14 0.11 0.01 0.01 0.01 0.02 0.36 0.03 0.01 0.01 0.01 0.01 0.17 0.02 0.01 0.02 0.02 0.01 0.44 0.05 0.01 0.01 0.01 0.01 0.16 0.03 Ajuste (Outfit) 0.99 0.93 0.97 0.84 0.81 0.72 1.00 0.94 0.77 1.36 0.81 0.84 1.21 0.83 0.89 1.10 0.76 1.12 0.81 0.82 0.98 0.97 1.20 0.87 0.90 0.79 0.97 0.78 1.19 0.73 Correlacin 0.28 -0.18 -0.13 -0.11 -0.04 -0.04 0.31 -0.17 -0.20 -0.06 -0.03 -0.10 -0.04 -0.13 -0.16 0.29 -0.04 -0.07 -0.20 -0.15 -0.14 0.33 -0.02 -0.09 0.46 -0.16 -0.11 -0.31 -0.02 -0.11 N de Respuesta 14959 1739 1167 516 49 35 11686 2335 1680 2286 16 462 5634 1871 3294 6187 42 1437 1711 1035 1623 13799 14 283 10437 1534 1854 4201 46 393
380
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.39 -0.30 -0.09 0.42 -0.47 -0.34 -0.30 0.07 0.42 -0.41 -1.06 -0.47 0.20 -0.06 0.17 -0.16 -0.27 0.00 -0.21 -0.22 -0.15 0.39 -0.42 -0.24 -0.19 -0.16 -0.03 0.60 0.14 -0.22 -0.21 0.01 -0.11 0.62 0.04 -0.03
Error de Medicin 0.01 0.01 0.02 0.01 0.43 0.03 0.02 0.01 0.02 0.01 0.32 0.05 0.01 0.01 0.01 0.01 0.35 0.03 0.01 0.02 0.01 0.01 0.18 0.04 0.01 0.01 0.01 0.02 0.10 0.03 0.01 0.01 0.01 0.02 0.25 0.03
Ajuste (Outfit) 0.82 0.88 1.20 0.91 1.15 0.91 0.76 1.18 1.22 0.73 0.44 0.71 1.59 1.15 1.34 1.03 5.92 1.27 1.10 1.03 1.02 1.02 0.93 1.00 0.89 0.91 1.07 0.96 1.62 0.88 0.83 1.09 0.95 1.02 2.54 1.12
Correlacin -0.32 -0.13 -0.06 0.43 -0.02 -0.08 -0.09 0.02 0.22 -0.21 -0.04 -0.08 0.10 -0.07 0.09 -0.12 -0.01 -0.01 -0.13 -0.12 -0.16 0.33 -0.03 -0.05 -0.18 -0.11 -0.06 0.37 0.01 -0.05 -0.13 -0.04 -0.12 0.32 0.00 -0.02
N de Respuesta 5041 1637 2005 9183 14 585 876 11096 3806 2388 17 282 4309 4360 5408 3376 28 984 2788 2086 5545 7660 40 346 5523 2985 4812 4530 129 486 2891 5890 5122 3494 39 1029
DM6B1IT06
DM6B1IT07
DM6B1IT08
DM6B1IT09
DM6B1IT10
DM6B1IT11
CAPTULO 5
381
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.46 -0.14 0.04 0.27 -0.73 -0.64 -0.03 0.37 -0.15 -0.09 -0.82 -0.32 -0.20 -0.15 0.30 -0.05 -0.60 -0.30 -0.13 0.42 0.13 -0.12 -1.12 -0.15 -0.31 0.53 -0.12 -0.25 -0.79 -0.28
Error de Medicin 0.02 0.01 0.01 0.01 0.28 0.06 0.01 0.01 0.01 0.01 0.26 0.05 0.02 0.01 0.01 0.01 0.12 0.05 0.01 0.01 0.02 0.02 0.44 0.05 0.01 0.01 0.01 0.01 0.27 0.05
Ajuste (Outfit) 0.69 0.99 1.27 1.27 0.66 0.60 1.14 1.16 0.93 1.01 0.65 0.97 1.04 1.07 1.10 1.24 0.77 1.17 0.98 1.12 1.51 1.01 0.59 1.16 0.82 0.93 1.03 0.89 0.70 0.90
Correlacin -0.17 -0.08 -0.01 0.18 -0.03 -0.08 -0.09 0.24 -0.09 -0.07 -0.04 -0.06 -0.11 -0.11 0.24 -0.07 -0.05 -0.05 -0.21 0.26 0.03 -0.07 -0.04 -0.03 -0.18 0.41 -0.13 -0.18 -0.04 -0.05
N de Respuesta 1299 2148 8850 5982 22 164 7603 5297 2247 2973 25 320 2254 3016 7670 5154 67 304 9018 5059 2247 1831 13 297 2746 6499 5344 3581 24 271
DM6B1IT12
DM6B1IT13
DM6B1IT14
DM6B1IT15
DM6B1IT16
382
REPORTE TCNICO
Tabla 5b. MATEMTICA 6. Indicadores por opcin. Bloque 2.

tem Opcin correcta Opciones de Promedio de respuesta habilidad 1 2 DM6B2IT01 1 3 4 Multimarca Omisin 1 2 DM6B2IT02 4 3 4 Multimarca Omisin 1 2 DM6B2IT03 3 3 4 Multimarca Omisin 1 2 DM6B2IT04 3 3 4 Multimarca Omisin 1 2 DM6B2IT05 3 3 4 Multimarca Omisin 0.11 -0.68 -0.68 -0.41 -0.83 -0.74 -0.37 -0.30 -0.48 0.39 -0.62 -0.43 -0.32 -0.48 0.33 -0.41 -0.57 -0.42 -0.32 -0.03 0.46 -0.38 -0.41 -0.24 -0.35 -0.41 0.43 0.10 -0.50 -0.39 Error de Medicin 0.01 0.03 0.02 0.02 0.19 0.07 0.01 0.01 0.01 0.01 0.10 0.03 0.01 0.02 0.01 0.01 0.18 0.06 0.01 0.01 0.01 0.01 0.18 0.04 0.01 0.02 0.01 0.02 0.14 0.04 Ajuste (Outfit) 0.99 0.77 0.76 1.01 0.72 0.78 0.87 1.00 0.79 0.90 0.73 0.88 0.99 0.92 0.95 0.86 0.91 0.90 0.98 1.26 1.03 0.78 0.85 0.96 0.84 0.78 0.98 1.46 0.83 0.86 Correlacin 0.27 -0.14 -0.15 -0.14 -0.03 -0.07 -0.20 -0.14 -0.24 0.45 -0.04 -0.09 -0.17 -0.13 0.41 -0.26 -0.02 -0.04 -0.20 -0.03 0.34 -0.17 -0.02 -0.04 -0.32 -0.14 0.39 0.04 -0.02 -0.07 N de Respuesta 15443 587 639 1391 14 116 3051 2456 2814 9268 52 549 2961 916 9988 4152 23 150 4073 5744 5713 2304 23 333 6749 1531 7237 2257 34 382
CAPTULO 5
383
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.62 0.27 -0.60 -0.59 -0.69 -0.79 -0.52 0.27 -0.60 -0.28 -0.49 -0.75 -0.81 0.11 -0.67 -0.85 -1.11 -0.76 -0.13 0.73 -0.12 -0.22 -0.37 -0.14 -0.40 0.25 -0.47 -0.40 -0.84 -0.33 -0.18 -0.15 -0.43 0.33 -0.85 -0.68
Error de Medicin 0.01 0.01 0.03 0.02 0.14 0.08 0.02 0.01 0.02 0.01 0.03 0.07 0.03 0.01 0.04 0.02 0.13 0.09 0.01 0.02 0.01 0.01 0.04 0.04 0.01 0.01 0.01 0.02 0.11 0.06 0.01 0.01 0.01 0.01 0.16 0.08
Ajuste (Outfit) 0.73 0.89 0.82 0.78 0.69 0.73 0.84 0.96 0.74 1.06 0.83 0.69 0.67 0.95 0.79 0.63 0.48 0.78 0.95 0.90 0.97 0.86 0.72 0.96 0.98 0.96 0.87 0.97 0.64 1.15 1.07 1.08 0.85 1.07 0.57 0.70
Correlacin -0.34 0.46 -0.13 -0.20 -0.03 -0.07 -0.19 0.38 -0.17 -0.18 -0.08 -0.08 -0.14 0.33 -0.08 -0.26 -0.04 -0.06 -0.07 0.41 -0.09 -0.18 -0.05 -0.03 -0.19 0.37 -0.19 -0.15 -0.04 -0.04 -0.12 -0.08 -0.21 0.33 -0.04 -0.07
N de Respuesta 3275 12812 593 1391 20 99 1610 11082 1001 3980 373 144 433 16255 207 1198 18 79 3050 3554 4935 5973 245 433 2590 11671 1962 1725 37 205 4200 3101 2749 7989 24 127
DM6B2IT06
DM6B2IT07
DM6B2IT08
DM6B2IT09
DM6B2IT10
DM6B2IT11
384
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.19 0.47 -0.17 -0.44 -0.46 -0.75 -0.05 0.39 -0.34 -0.39 -0.28 -0.12 -0.31 0.28 0.99 0.00 0.00 -0.75 -0.09 1.39 0.00 0.00 0.00 -0.20 -0.10 0.85 3.52 0.00 0.00 -0.30
Error de Medicin 0.02 0.01 0.01 0.01 0.20 0.10 0.01 0.01 0.02 0.01 0.16 0.03 0.01 0.01 0.01 0.00 0.00 0.02 0.01 0.03 0.00 0.00 0.00 0.01 0.01 0.02 0.15 0.00 0.00 0.02
Ajuste (Outfit) 1.16 0.88 1.08 0.78 0.80 0.65 1.24 1.03 0.87 0.80 1.00 1.16 0.87 0.88 0.71 0.00 0.00 0.98 1.13 0.77 0.00 0.00 0.00 1.21 0.96 0.89 0.53 0.00 0.00 1.11
Correlacin -0.07 0.46 -0.08 -0.37 -0.02 -0.06 -0.04 0.34 -0.14 -0.24 -0.01 -0.03 -0.45 0.14 0.54 0.00 0.00 -0.20 -0.16 0.48 0.00 0.00 0.00 -0.14 -0.23 0.34 0.32 0.00 0.00 -0.12
N de Respuesta 1702 7937 2194 6258 15 84 4742 6917 2082 3810 26 613 10799 3000 3473 0 0 915 12008 1567 0 0 0 4609 14215 2001 113 0 0 1854
DM6B2IT12
DM6B2IT13
DM6B2IT14
1 crdito nulo, 2 crdito parcial, 3 crdito total
DM6B2IT15
1 crdito nulo, 2 crdito total
DM6B2IT16
1 crdito nulo, 2 crdito parcial, 3 crdito total
CAPTULO 5
385
Tabla 5c. MATEMTICA 6. Indicadores por opcin. Bloque 3.

tem Opcin correcta Opciones de Promedio de Error de respuesta habilidad Medicin 1 2 DM6B3IT01 1 3 4 Multimarca Omisin 1 2 DM6B3IT02 1 3 4 Multimarca Omisin 1 2 DM6B3IT03 2 3 4 Multimarca Omisin 1 2 DM6B3IT04 2 3 4 Multimarca Omisin 1 2 DM6B3IT05 1 3 4 Multimarca Omisin 0.07 -0.86 -0.73 -0.81 -1.21 -1.02 -0.33 0.22 -0.38 -0.62 -0.81 -0.36 -0.46 -0.33 0.26 -0.29 -0.69 -0.41 -0.32 0.43 -0.35 -0.09 -0.55 -0.39 0.27 -0.25 -0.42 -0.52 -1.04 -0.63 0.01 0.03 0.04 0.04 0.20 0.12 0.02 0.01 0.02 0.02 0.22 0.04 0.02 0.01 0.01 0.02 0.19 0.05 0.02 0.01 0.01 0.01 0.16 0.03 0.01 0.01 0.01 0.02 0.21 0.06 Ajuste (Outfit) 0.98 0.64 0.71 0.65 0.42 0.56 1.01 0.97 0.97 0.75 0.65 1.05 0.81 1.00 1.00 1.06 0.75 0.96 0.88 1.01 0.80 1.16 0.73 0.79 0.99 1.05 0.86 0.81 0.51 0.75 Correlacin 0.23 -0.17 -0.09 -0.11 -0.03 -0.05 -0.14 0.34 -0.15 -0.22 -0.03 -0.07 -0.12 -0.25 0.34 -0.09 -0.03 -0.07 -0.11 0.35 -0.19 -0.11 -0.03 -0.09 0.36 -0.15 -0.20 -0.17 -0.04 -0.08 N de Respuesta 16181 446 191 224 6 29 1794 12083 1467 1341 13 379 677 4706 10438 945 20 291 1206 6087 2801 6377 28 578 10510 3023 2186 1151 14 193
386
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de Error de respuesta habilidad Medicin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.19 0.47 -0.11 -0.07 -0.55 0.00 -0.32 -0.32 0.41 -0.32 -0.48 -0.48 0.58 -0.20 -0.09 -0.04 -0.54 -0.17 -0.05 0.46 -0.27 -0.17 -0.30 -0.33 0.20 -0.28 -0.07 0.00 -0.37 -0.22 0.23 -0.17 -0.32 -0.05 -0.82 -0.30 0.01 0.02 0.02 0.01 0.10 0.02 0.02 0.01 0.01 0.01 0.18 0.04 0.02 0.01 0.01 0.01 0.19 0.03 0.01 0.01 0.01 0.01 0.06 0.04 0.01 0.02 0.01 0.01 0.16 0.05 0.01 0.01 0.02 0.03 0.16 0.04
Ajuste (Outfit) 0.93 1.07 1.10 1.09 0.75 1.24 0.91 0.89 0.93 1.03 0.92 0.80 1.10 0.82 1.03 1.03 0.76 0.97 1.10 1.08 0.87 0.94 0.83 0.86 1.22 0.99 1.23 1.50 1.21 1.28 1.09 1.13 0.95 1.43 0.59 1.07
Correlacin -0.14 0.29 -0.07 -0.07 -0.04 -0.01 -0.12 -0.19 0.43 -0.22 -0.02 -0.09 0.30 -0.11 -0.06 -0.08 -0.03 -0.05 -0.05 0.34 -0.17 -0.13 -0.04 -0.07 0.16 -0.12 -0.06 -0.02 -0.02 -0.04 0.24 -0.15 -0.13 -0.02 -0.03 -0.07
N de Respuesta 3890 3963 2792 4882 72 1478 1475 3068 8246 3895 26 367 2998 2532 3048 7620 26 853 3887 5346 3313 3922 146 463 6686 1804 3986 4246 35 320 9030 4800 1608 1141 21 477
DM6B3IT06
DM6B3IT07
DM6B3IT08
DM6B3IT09
DM6B3IT10
DM6B3IT11
CAPTULO 5
387
tem
Opcin correcta
Opciones de Promedio de Error de respuesta habilidad Medicin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.07 0.39 -0.10 -0.19 -0.29 -0.13 0.41 -0.14 -0.11 -0.09 -0.68 -0.21 -0.17 0.45 -0.16 -0.29 -0.25 -0.17 -0.26 0.29 -0.28 -0.34 -0.94 -0.36 0.03 -0.23 -0.12 0.17 -0.60 -0.37 0.01 0.01 0.01 0.01 0.20 0.03 0.01 0.01 0.01 0.02 0.14 0.05 0.01 0.01 0.02 0.02 0.23 0.04 0.01 0.01 0.02 0.02 0.17 0.05 0.01 0.02 0.01 0.01 0.10 0.05
Ajuste (Outfit) 1.14 1.12 1.08 1.01 1.56 1.09 1.07 1.11 1.07 1.14 0.54 1.03 0.97 1.03 1.05 0.88 1.59 1.09 1.00 1.03 0.97 0.96 0.53 0.93 1.61 1.03 1.19 1.23 0.65 1.01
Correlacin -0.06 0.27 -0.08 -0.13 -0.02 -0.04 0.28 -0.13 -0.10 -0.05 -0.03 -0.04 -0.20 0.35 -0.08 -0.12 -0.01 -0.04 -0.21 0.33 -0.12 -0.11 -0.04 -0.06 0.00 -0.10 -0.08 0.14 -0.04 -0.05
N de Respuesta 4069 4852 3831 3585 35 705 4895 5186 4793 1839 22 342 7194 5731 1937 1717 23 475 4773 9131 1779 1128 19 247 5097 1829 2939 6935 49 228
DM6B3IT12
DM6B3IT13
DM6B3IT14
DM6B3IT15
DM6B3IT16
388
REPORTE TCNICO
Tabla 5d. MATEMTICA 6. Indicadores por opcin. Bloque 4.

tem Opcin correcta Opciones de respuesta 1 2 DM6B4IT01 1 3 4 Multimarca Omisin 1 2 DM6B4IT02 2 3 4 Multimarca Omisin 1 2 DM6B4IT03 4 3 4 Multimarca Omisin 1 2 DM6B4IT04 3 3 4 Multimarca Omisin 1 2 DM6B4IT05 2 3 4 Multimarca Omisin Promedio de habilidad 0.07 -0.49 -0.51 -0.54 -0.72 -0.64 -0.39 0.19 -0.45 -0.84 -1.02 -0.96 -0.29 -0.20 1.01 0.15 -0.74 -0.19 -0.48 -0.01 -0.37 0.52 -0.81 -0.44 -0.11 -0.21 0.94 -0.19 -0.71 -0.28 Error de Medicin 0.01 0.02 0.02 0.03 0.32 0.08 0.02 0.01 0.02 0.02 0.13 0.07 0.01 0.02 0.02 0.01 0.24 0.05 0.02 0.01 0.02 0.02 0.29 0.05 0.01 0.02 0.03 0.04 0.17 0.04 Ajuste (Outfit) 1.02 0.99 0.98 0.99 0.92 0.89 1.11 0.98 1.03 0.63 0.52 0.58 0.76 0.89 0.71 1.31 0.54 0.99 0.70 1.18 0.78 1.12 0.48 0.78 0.97 0.87 0.82 0.95 0.53 0.88 Correlacin 0.23 -0.13 -0.13 -0.10 -0.02 -0.05 -0.15 0.36 -0.15 -0.24 -0.05 -0.08 -0.31 -0.06 0.41 0.11 -0.02 -0.03 -0.15 0.01 -0.17 0.28 -0.02 -0.07 -0.15 -0.08 0.37 -0.04 -0.03 -0.05 N de Respuesta 12468 818 873 450 8 84 1798 10442 1368 971 27 95 7559 1358 1727 3633 14 410 1219 8176 2314 2702 8 282 10136 1904 1620 542 24 475
CAPTULO 5
389
tem
Opcin correcta
Promedio de habilidad -0.96 -0.91 0.05 -0.98 -1.08 -0.86 -0.49 0.70 -0.23 -0.59 -0.85 -0.80 -0.21 -0.39 0.08 -0.63 -0.22 -0.70 0.10 0.03 0.65 -0.43 -0.44 -0.39 -0.17 0.31 -0.43 -0.49 -0.97 -0.65 -0.48 0.35 -0.36 -0.57 -0.67 -0.65
Error de Medicin 0.04 0.03 0.01 0.04 0.10 0.14 0.03 0.01 0.01 0.02 0.14 0.11 0.02 0.04 0.01 0.04 0.03 0.10 0.02 0.02 0.02 0.01 0.20 0.09 0.01 0.01 0.02 0.02 0.21 0.08 0.01 0.01 0.02 0.02 0.20 0.08
Ajuste (Outfit) 0.61 0.66 0.97 0.61 0.52 0.75 0.78 0.81 0.92 0.67 0.47 0.59 1.38 1.19 1.10 0.90 1.32 0.90 1.37 1.28 0.90 0.72 0.78 0.89 1.17 1.10 0.94 0.81 0.49 0.71 0.85 0.93 1.05 0.80 0.70 0.80
Correlacin -0.12 -0.19 0.28 -0.14 -0.04 -0.04 -0.13 0.52 -0.23 -0.26 -0.03 -0.05 -0.09 -0.08 0.17 -0.10 -0.04 -0.05 0.05 0.02 0.45 -0.44 -0.02 -0.03 -0.13 0.31 -0.14 -0.16 -0.03 -0.06 -0.28 0.45 -0.11 -0.22 -0.02 -0.06
N de Respuesta 205 522 13669 260 17 28 834 4534 7073 2183 21 56 2456 503 10832 304 535 71 2059 1319 4042 7159 18 104 5569 6445 1241 1334 12 100 3453 8256 1158 1728 12 94
DM6B4IT06
DM6B4IT07
DM6B4IT08
DM6B4IT09
DM6B4IT10
DM6B4IT11
390
REPORTE TCNICO
tem
Opcin correcta
Opciones de respuesta 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin
Promedio de habilidad -0.04 -0.16 0.27 -0.32 -0.18 -0.22 -0.03 0.32 -0.28 -0.20 -0.27 -0.19 -0.21 0.42 1.43 0.00 0.00 -0.45 -0.31 0.29 1.24 0.00 0.00 -0.68 -0.15 0.67 1.29 0.00 0.00 -0.60
Error de Medicin 0.01 0.02 0.02 0.02 0.09 0.06 0.01 0.02 0.02 0.01 0.20 0.05 0.01 0.02 0.03 0.00 0.00 0.02 0.01 0.01 0.02 0.00 0.00 0.02 0.01 0.05 0.02 0.00 0.00 0.02
Ajuste (Outfit) 1.30 1.11 1.25 0.94 1.04 1.13 1.17 1.30 0.95 1.01 0.84 1.13 0.97 1.02 0.85 0.00 0.00 1.07 0.82 0.97 0.64 0.00 0.00 1.00 0.95 0.79 0.75 0.00 0.00 0.99
Correlacin -0.02 -0.07 0.21 -0.15 -0.01 -0.03 -0.01 0.23 -0.10 -0.13 -0.01 -0.03 -0.29 0.22 0.42 0.00 0.00 -0.16 -0.37 0.16 0.56 0.00 0.00 -0.24 -0.26 0.09 0.52 0.00 0.00 -0.22
N de Respuesta 5036 2460 4419 2487 72 227 4567 3917 1668 4182 14 353 9722 2502 965 0 0 1509 8554 2630 2087 0 0 1426 11266 217 1709 0 0 1507
DM6B4IT12
DM6B4IT13
DM6B4IT14
1 crdito nulo, 2 crdito parcial, 3 crdito total 1 crdito nulo, 2 crdito parcial, 3 crdito total 1 crdito nulo, 2 crdito parcial, 3 crdito total
DM6B4IT15
DM6B4IT16
CAPTULO 5
391
Tabla 5e. MATEMTICA 6. Indicadores por opcin. Bloque 5.

tem Opcin correcta Opciones de Promedio de respuesta habilidad 1 2 DM6B5IT01 2 3 4 Multimarca Omisin 1 2 DM6B5IT02 4 3 4 Multimarca Omisin 1 2 DM6B5IT03 4 3 4 Multimarca Omisin 1 2 DM6B5IT04 3 3 4 Multimarca Omisin 1 2 DM6B5IT05 2 3 4 Multimarca Omisin -0.74 -0.47 -0.66 0.18 -0.97 -0.89 -0.39 -0.55 0.38 -0.55 -0.42 -0.45 -0.73 -0.41 -0.57 0.24 -0.87 -0.75 -0.71 -0.63 -0.29 0.41 0.05 -0.53 0.13 -0.61 -0.76 -0.76 -0.55 -0.95 Error de Medicin 0.01 0.02 0.03 0.01 0.29 0.07 0.01 0.02 0.01 0.02 0.20 0.03 0.01 0.02 0.02 0.01 0.19 0.06 0.02 0.01 0.01 0.01 0.21 0.06 0.01 0.01 0.04 0.03 0.14 0.08 Ajuste (Outfit) 0.78 1.10 0.91 0.95 0.79 0.73 1.01 0.81 0.95 0.85 0.97 0.92 0.72 1.12 0.90 0.94 0.77 0.79 0.65 0.73 1.10 0.89 1.41 0.97 0.97 0.93 0.83 0.78 0.91 0.70 Correlacin -0.29 -0.14 -0.13 0.40 -0.03 -0.08 -0.24 -0.14 0.43 -0.15 -0.01 -0.10 -0.29 -0.12 -0.18 0.42 -0.03 -0.08 -0.19 -0.33 -0.11 0.49 0.00 -0.06 0.36 -0.27 -0.12 -0.13 -0.02 -0.07 N de Respuesta 2328 1615 649 10935 13 145 5136 1172 7134 1286 17 940 2334 1492 1658 9969 23 209 1179 3718 3048 7527 12 201 11781 2876 437 474 18 99
392
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 0.25 -0.52 -0.56 -0.60 -0.46 -0.52 -0.19 -0.65 0.64 -0.12 -0.15 -0.69 -0.67 -0.48 -0.49 0.22 -0.91 -0.67 -0.90 -0.90 -0.72 0.14 -0.78 -0.95 -0.78 -0.65 0.19 -0.15 -0.84 -1.00 -0.72 -0.74 -0.22 0.16 -1.02 -0.78
Error de Medicin 0.01 0.02 0.01 0.02 0.47 0.04 0.01 0.02 0.02 0.03 0.29 0.06 0.02 0.01 0.02 0.01 0.17 0.04 0.03 0.01 0.02 0.01 0.07 0.07 0.02 0.01 0.01 0.02 0.09 0.09 0.02 0.02 0.02 0.01 0.10 0.07
Ajuste (Outfit) 0.97 0.95 0.87 0.87 1.55 0.98 1.01 0.60 0.98 1.15 1.84 0.64 0.78 1.00 1.04 0.99 0.59 0.88 0.69 0.65 0.85 0.92 0.72 0.72 0.70 0.81 0.98 1.50 0.64 0.63 0.81 0.79 1.47 0.98 0.57 0.91
Correlacin 0.42 -0.15 -0.21 -0.21 -0.01 -0.08 -0.16 -0.22 0.39 -0.01 0.00 -0.07 -0.19 -0.19 -0.17 0.39 -0.03 -0.10 -0.15 -0.30 -0.17 0.42 -0.05 -0.09 -0.18 -0.31 0.38 -0.03 -0.04 -0.08 -0.22 -0.23 -0.06 0.34 -0.06 -0.08
N de Respuesta 9518 1529 2242 2004 6 386 9617 1803 3389 661 16 199 1226 2500 1937 9658 16 348 441 1707 927 12397 58 155 864 3178 10276 1229 43 95 1446 1454 2086 10465 47 187
DM6B5IT06
DM6B5IT07
DM6B5IT08
DM6B5IT09
DM6B5IT10
DM6B5IT11
CAPTULO 5
393
1 2 DM6B5IT12 1 3 4 Multimarca Omisin 1 2 DM6B5IT13 4 3 4 Multimarca Omisin 1 2 DM6B5IT14 3 3 4 Multimarca Omisin 1 2 DM6B5IT15 1 3 4 Multimarca Omisin 1 2 DM6B5IT16 4 3 4 Multimarca Omisin
-0.38 -0.21 -0.29 0.54 -0.60 -0.25 -0.38 0.19 -0.48 -0.55 -0.41 -0.33 -0.43 -0.54 0.32 -0.56 -0.66 -0.47 -0.39 -0.59 0.09 -0.67 -0.98 -0.87 -0.04 0.40 -0.06 -0.40 -0.54 -0.34
0.01 0.01 0.02 0.02 0.28 0.04 0.03 0.01 0.01 0.02 0.14 0.08 0.02 0.01 0.01 0.01 0.18 0.04 0.02 0.03 0.01 0.02 0.20 0.16 0.02 0.02 0.01 0.01 0.24 0.03
0.88 1.08 1.05 0.96 1.06 1.09 1.29 1.00 1.02 0.98 1.15 1.46 1.00 0.85 0.95 0.85 0.83 1.13 1.29 1.07 1.02 0.91 0.62 0.82 1.31 1.20 1.20 0.84 1.09 0.96
-0.23 -0.09 -0.08 0.40 -0.02 -0.04 -0.10 0.34 -0.22 -0.16 -0.02 -0.03 -0.15 -0.20 0.43 -0.22 -0.02 -0.07 -0.13 -0.15 0.28 -0.16 -0.03 -0.04 0.01 0.28 0.01 -0.24 -0.02 -0.07
5055 4122 1561 4368 17 562 1271 9518 3257 1432 37 170 2200 2275 8360 2393 20 437 1966 1094 11659 910 15 41 1369 3952 4448 5059 20 837
394
REPORTE TCNICO
Tabla 5f. MATEMTICA 6. Indicadores por opcin. Bloque 6.

tem Opcin correcta Opciones de Promedio de respuesta habilidad 1 2 DM6B6IT01 3 3 4 Multimarca Omisin 1 2 DM6B6IT02 1 3 4 Multimarca Omisin 1 2 DM6B6IT03 1 3 4 Multimarca Omisin 1 2 DM6B6IT04 4 3 4 Multimarca Omisin 1 2 DM6B6IT05 2 3 4 Multimarca Omisin 0.20 -0.32 -0.37 -0.50 -1.05 -0.32 0.08 0.41 -0.27 -0.38 -0.73 -0.47 0.00 0.74 -0.07 -0.19 -0.47 -0.14 0.38 0.00 0.19 -0.42 -0.89 -0.12 -0.05 -0.05 0.30 -0.29 -0.69 -0.15 Error de Medicin 0.01 0.01 0.02 0.02 0.35 0.04 0.01 0.01 0.02 0.01 0.34 0.06 0.01 0.02 0.01 0.02 0.15 0.04 0.01 0.01 0.02 0.01 0.16 0.05 0.01 0.01 0.01 0.01 0.22 0.03 Ajuste (Outfit) 1.00 1.11 0.99 0.84 0.61 1.16 1.32 1.03 0.92 0.79 0.72 0.81 1.08 1.01 0.94 0.95 0.69 0.95 1.14 1.16 1.72 0.72 0.63 1.10 1.18 1.09 1.25 0.88 0.69 1.06 Correlacin 0.30 -0.17 -0.11 -0.17 -0.04 -0.06 0.03 0.36 -0.11 -0.31 -0.03 -0.06 -0.02 0.32 -0.11 -0.10 -0.03 -0.03 0.24 -0.02 0.07 -0.28 -0.05 -0.02 -0.05 -0.05 0.22 -0.15 -0.03 -0.04 N de Respuesta 12890 2750 981 1334 15 366 3266 7253 1860 5745 17 195 3817 2371 8690 2814 47 597 4979 6567 2248 4214 44 284 4410 4716 6034 2598 27 551
CAPTULO 5
395
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.25 0.31 -0.05 -0.21 -0.26 -0.28 -0.49 -0.28 -0.14 0.43 -0.42 -0.45 -0.17 0.64 -0.29 -0.01 0.20 -0.30 0.75 -0.13 -0.19 -0.27 -1.04 -0.23 -0.08 -0.15 -0.24 0.40 -0.59 -0.32 -0.17 0.67 0.02 -0.18 -0.72 -0.42
Error de Medicin 0.02 0.01 0.01 0.01 0.20 0.03 0.01 0.01 0.01 0.01 0.07 0.05 0.01 0.02 0.01 0.01 0.10 0.05 0.01 0.02 0.01 0.01 0.37 0.05 0.01 0.01 0.01 0.01 0.15 0.04 0.02 0.02 0.01 0.01 0.23 0.06
Ajuste (Outfit) 0.98 1.10 1.25 1.02 1.80 0.99 0.71 0.96 1.12 0.94 0.82 0.81 0.88 0.98 0.78 1.17 1.42 0.88 0.79 1.17 0.88 0.81 0.50 0.96 1.11 1.07 0.95 1.08 0.83 0.94 0.93 0.98 1.14 0.90 0.70 0.76
Correlacin -0.12 0.26 -0.05 -0.12 -0.02 -0.08 -0.25 -0.17 -0.09 0.41 -0.04 -0.06 -0.15 0.34 -0.13 -0.03 0.01 -0.05 0.49 -0.06 -0.11 -0.30 -0.03 -0.04 -0.06 -0.09 -0.19 0.31 -0.04 -0.06 -0.08 0.33 -0.01 -0.18 -0.03 -0.06
N de Respuesta 2145 7196 4727 3203 49 1016 2894 3449 3471 8191 118 213 6072 3510 2184 6181 100 289 4830 2196 2929 8109 15 257 3543 2700 5145 6464 49 435 2050 3102 6015 6918 29 222
DM6B6IT06
DM6B6IT07
DM6B6IT08
DM6B6IT09
DM6B6IT10
DM6B6IT11
396
REPORTE TCNICO
tem
Opcin correcta
Opciones de Promedio de respuesta habilidad 1 2 3 4 Multimarca Omisin 1 2 3 4 Multimarca Omisin -0.19 -0.16 -0.22 0.43 -0.35 -0.26 0.19 0.00 0.30 -0.29 -0.67 -0.20 -0.32 0.41 1.24 0.00 0.00 -0.56 -0.09 0.98 3.07 0.00 0.00 -0.12 -0.23 0.25 0.97 0.00 0.00 -0.69
Error de Medicin 0.01 0.01 0.01 0.01 0.16 0.04 0.02 0.01 0.01 0.01 0.28 0.04 0.01 0.01 0.02 0.00 0.00 0.03 0.01 0.02 0.12 0.00 0.00 0.02 0.01 0.02 0.01 0.00 0.00 0.02
Ajuste (Outfit) 1.07 1.00 1.03 1.05 0.98 1.00 1.61 1.20 1.22 0.85 1.06 1.23 0.80 0.74 0.66 0.00 0.00 0.99 0.94 0.83 0.55 0.00 0.00 1.13 1.03 0.96 0.73 0.00 0.00 0.99
Correlacin -0.12 -0.11 -0.15 0.34 -0.02 -0.05 0.07 -0.01 0.21 -0.23 -0.03 -0.05 -0.51 0.23 0.52 0.00 0.00 -0.12 -0.28 0.33 0.33 0.00 0.00 -0.05 -0.44 0.07 0.54 0.00 0.00 -0.17
N de Respuesta 3593 3747 4078 6425 26 467 2496 4203 5627 5391 25 594 11388 4112 2240 0 0 586 14945 1549 167 0 0 1665 12643 1260 3686 0 0 739
DM6B6IT12
DM6B6IT13
DM6B6IT14
1 1, crdito 2 nulo, 2 3 crdito parcial, 4 3 crdito Multimarca total Omisin 1 1, crdito 2 nulo, 2 3 crdito parcial, 4 3 crdito Multimarca total Omisin 1, crdito 2 nulo, 2 3 crdito parcial, 4 3 crdito Multimarca total Omisin 1
DM6B6IT15
DM6B6IT16
CAPTULO 5
397

Tabla 6. MATEMTICA 6. Mapa de distribucin de habilidades y dificultades. Estudiantes MAP OF Items <more>|<rare> 5 . + . | . | . | . | | 4 . + . | | . | . | . | 3 . + . | . | . |T . | DM6B4IT03 DM6B4IT05 . | DM6B6IT03 2 . + . | DM6B3IT08 DM6B6IT11 .# T| DM6B1IT11 DM6B2IT09 DM6B4IT04 DM6B6IT08 .## | DM6B1IT07 DM6B2IT16 DM6B5IT07 .### |S DM6B1IT10 DM6B3IT06 DM6B6IT15 .### | DM6B1IT15 DM6B4IT09 DM6B4IT13 DM6B5IT16 DM6B6IT04 DM6B6IT09 1 .##### + DM6B1IT08 DM6B1IT13 DM6B3IT12 DM6B3IT13 DM6B4IT12 DM6B5IT12 DM6B6IT13 .#### S| DM6B1IT03 DM6B1IT12 DM6B2IT04 DM6B3IT09 DM6B3IT14 DM6B4IT07 DM6B6IT05 .##### | DM6B1IT16 DM6B2IT15 DM6B3IT04 DM6B6IT10 DM6B6IT12 .###### | DM6B1IT09 DM6B1IT14 DM6B2IT05 DM6B2IT13 DM6B3IT10 DM6B3IT16 DM6B6IT02 DM6B6IT06 .########### | DM6B2IT11 DM6B2IT12 DM6B4IT14 .########## |M DM6B4IT10 DM6B4IT16 DM6B5IT02 DM6B6IT07 0 .########### M+ DM6B1IT06 DM6B2IT02 DM6B3IT07 DM6B4IT15 DM6B5IT04 .########## | DM6B2IT03 DM6B3IT11 DM6B3IT15 DM6B5IT14
398
REPORTE TCNICO
.########### | DM6B1IT05 DM6B4IT11 DM6B6IT14 .############ | DM6B2IT07 DM6B2IT14 DM6B3IT03 DM6B3IT05 DM6B6IT16 .########## | DM6B1IT02 DM6B2IT10 DM6B5IT03 DM6B5IT06 DM6B5IT08 DM6B5IT13 .###### S| DM6B5IT10 DM6B5IT11 -1 .#### +S DM6B2IT06 DM6B3IT02 DM6B4IT02 DM6B5IT01 DM6B6IT01 .#### | DM6B1IT04 DM6B4IT08 .### | DM6B5IT05 DM6B5IT15 .# | .# T| DM6B1IT01 DM6B5IT09 . | -2 . +T DM6B2IT01 DM6B4IT01 . | . | DM6B2IT08 . | . | . | DM6B4IT06 -3 + . | DM6B3IT01 | | . | | -4 . + <less>|<frequ> Cada smbolo '#' equivale a 362 estudiantes. El punto (.) indica que hay entre 1 y 362 estudiantes.
CAPTULO 5
399
PROMEDIO, DESVIACIN ESTNDAR Y VALORES MXIMO Y MNIMO DE DIFICULTADES DE TEMS

Grfico 1. MATEMTICA 6. Promedio, desviacin
1.60
1.50
1.40
1.30
1.20
B1 B2 B3 B4 B5 B6
1.10
1.00
0.90

0.80
0.70
0.60 -4.00 -3.00 -2.00 -1.00 0.00 1.00 2.00 3.00 4.00
400
REPORTE TCNICO
FUNCIN DE INFORMACIN DE LA PRUEBA

Grfico 2. MATEMTICA 6. Funcin de informacin.
Informacin
Medida
CAPTULO 5
401
402
Chile -2.041 -0.565 0.786 -1.331 -0.370 -0.081 1.912 1.147 0.167 1.208 1.893 0.878 1.126 0.886 1.243 0.236 0.826 0.528 0.616 1.176 1.070 0.501 1.184 1.374 0.458 0.651 0.728 0.315 1.019 1.430 -0.001 1.291 1.197 0.963 0.487 1.049 0.853 1.070 -0.203 0.950 1.479 1.514 1.626 0.352 1.860 1.664 1.283 1.591 -0.210 1.716 1.751 1.947 1.738 0.641 1.351 0.832 1.683 1.497 0.468 -0.219 -0.595 0.761 0.544 1.031 0.736 0.844 0.648 1.350 0.947 1.065 2.112 0.705 -0.456 2.382 1.817 2.029 2.177 1.148 0.321 1.174 1.376 0.930 1.015 -0.032 1.138 -0.091 0.209 -0.460 -1.205 0.208 0.380 0.241 -0.262 -0.045 -0.721 -1.618 0.084 0.159 0.153 -0.576 -0.813 -1.643 -2.055 -0.992 -1.049 -0.911 -1.164 -0.716 0.065 0.171 1.912 0.918 0.884 1.923 2.096 0.908 1.027 0.553 1.301 1.415 0.722 0.362 -0.501 0.756 1.041 1.040 0.730 1.062 -0.534 -1.445 -1.047 -0.424 -0.092 -0.634 -0.672 -0.387 -0.466 1.276 -1.244 0.304 0.524 2.146 1.034 0.483 1.831 2.095 0.861 1.127 0.570 1.192 1.363 -1.463 -1.959 -2.332 -1.264 -1.492 -1.351 -1.986 -0.932 -1.552 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay -1.382 -0.824 1.077 -1.158 -0.064 -0.157 2.278 1.377 0.945 1.651 2.100 0.925 1.200 0.905 1.393 0.381 Per -1.321 -1.061 0.533 -1.125 -0.475 -0.252 0.677 1.247 0.490 1.711 1.909 1.391 1.259 0.448 1.173 0.919 Rep. Dom. Uruguay -0.736 0.229 0.988 -0.149 0.867 1.139 1.648 0.700 1.283 2.188 2.419 0.637 1.147 1.106 1.747 1.828 -1.522 -0.994 1.014 -1.662 -1.060 -0.640 1.711 1.089 -0.233 0.743 1.144 0.428 1.276 -0.306 0.862 -0.688
REPORTE TCNICO
Tabla 7a. MATEMTICA 6. Valor de dificultad de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DM6B1IT01
-1.925
-2.431
DM6B1IT02
-0.676
-0.075
DM6B1IT03
0.893
1.004
DM6B1IT04
-1.593
-1.477
DM6B1IT05
-0.727
-0.276
DM6B1IT06
0.373
0.498
DM6B1IT07
1.742
1.185
DM6B1IT08
1.284
0.953
DM6B1IT09
0.228
0.614
DM6B1IT10
0.768
0.743
DM6B1IT11
1.730
2.237
DM6B1IT12
0.752
0.893
DM6B1IT13
0.784
1.014
DM6B1IT14
-0.345
1.000
DM6B1IT15
0.844
1.100
DM6B1IT16
0.041
0.743
Tabla 7b. MATEMTICA 6. Valor de dificultad de cada tem por pas. Bloque 2.
Chile -2.633 -0.693 -0.625 0.592 0.219 -1.719 -1.376 -3.302 1.344 -1.336 0.365 -0.036 0.745 -0.323 1.502 1.623 1.979 1.035 -0.353 1.783 0.896 0.860 -1.813 0.935 0.651 0.351 -0.349 -1.187 -1.672 -0.062 -0.324 1.020 -0.112 -0.206 0.720 0.960 0.763 -0.382 1.467 0.067 0.029 0.109 -0.386 0.541 0.435 0.804 0.326 0.127 -0.338 0.383 0.625 0.398 -1.523 -0.525 -1.090 -0.488 -0.025 0.241 -0.589 0.035 -0.133 0.114 -1.056 -0.081 0.543 2.128 2.317 -0.524 1.557 2.377 1.822 1.078 -2.632 -4.492 -3.898 -1.678 -3.247 -1.497 -3.073 -1.480 2.156 -0.834 0.287 0.713 0.366 -0.459 0.938 0.399 -0.983 -1.508 -1.275 -0.217 -0.708 -0.306 -1.234 1.774 -1.075 -2.246 -1.841 -0.438 -0.715 -0.339 -1.778 -0.360 0.667 -0.362 -0.601 0.835 0.911 1.206 0.335 0.953 1.101 -0.291 -0.551 -1.944 1.960 -0.014 0.541 0.906 0.764 -0.240 1.471 0.417 0.929 0.200 0.474 1.330 0.911 1.076 0.271 1.197 1.121 0.452 -0.339 -0.718 0.094 -0.099 0.216 -1.229 0.186 -0.046 -0.010 -0.848 -1.111 0.769 0.684 0.842 -0.719 0.826 0.679 -0.605 -0.672 1.135 0.945 -0.641 1.891 -1.927 1.782 -1.348 0.661 0.679 0.400 -0.151 1.414 1.852 -1.995 -2.322 -2.332 -1.342 -1.904 -2.559 -2.475 -2.131 -1.169 -2.109 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per -1.807 0.233 -0.094 0.789 0.392 -0.826 -0.524 -1.607 1.909 -0.314 -0.223 0.024 0.967 -0.353 1.559 0.241 Rep. Dom. Uruguay -1.002 1.305 0.785 1.553 1.333 0.430 0.362 -1.130 2.570 0.632 0.575 1.223 1.161 0.481 2.576 1.533 -2.474 -1.080 -1.552 0.776 -0.364 -1.824 -1.302 -3.435 1.199 -0.796 -0.161 -0.169 -0.275 -0.941 0.012 0.825
tem
Argentina
Brasil
DM6B2IT01
-2.329
-0.946
DM6B2IT02
-0.626
-0.619
DM6B2IT03
-0.529
0.190
DM6B2IT04
1.086
0.934
DM6B2IT05
0.011
0.161
DM6B2IT06
-1.462
-1.471
DM6B2IT07
-0.787
-1.211
DM6B2IT08
-2.825
-2.932
CAPTULO 5
DM6B2IT09
1.353
1.875
DM6B2IT10
-1.077
-1.806
DM6B2IT11
0.254
0.367
DM6B2IT12
0.081
0.090
DM6B2IT13
0.877
0.585
DM6B2IT14
-0.511
-0.302
DM6B2IT15
0.589
1.043
DM6B2IT16
2.002
1.818
403
404
Chile -3.496 -1.513 -0.663 0.397 -0.318 1.746 0.096 1.850 0.890 0.667 -0.180 0.985 1.262 1.117 -0.208 0.237 0.301 0.596 0.681 -0.057 -0.303 -1.572 0.110 0.479 0.963 0.988 -0.698 1.087 1.027 0.665 0.556 2.315 0.877 1.144 0.226 1.394 1.081 0.797 0.716 0.366 0.321 -0.287 0.151 -0.218 0.199 -0.339 0.509 -0.036 1.218 0.713 0.421 0.680 -0.254 1.361 1.349 1.294 0.221 0.394 1.119 0.964 -0.476 1.027 1.050 1.503 1.672 1.815 0.999 2.190 1.569 1.890 0.527 -0.414 -1.026 0.505 0.503 0.208 -0.309 1.518 0.746 0.531 -0.099 1.205 0.727 0.756 -0.120 0.626 1.474 1.278 -0.443 1.278 1.579 1.450 1.791 -0.266 -0.793 -1.516 -0.359 -0.197 -0.254 -0.421 0.032 1.374 0.390 1.945 1.338 0.568 0.017 1.240 1.206 0.994 0.166 0.451 0.621 0.586 0.565 1.100 0.483 0.671 0.248 1.125 0.190 -1.029 -1.655 0.280 0.188 -0.884 -0.186 0.125 -0.861 -1.481 -2.229 -0.617 -0.641 -0.586 -1.255 -0.463 -0.508 0.135 1.219 -0.544 1.427 0.225 2.221 1.109 0.774 -0.098 1.186 1.120 1.163 0.012 0.647 -3.229 -3.511 -3.907 -2.695 -2.884 -2.727 -3.551 -2.781 -2.816 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay -3.047 -1.138 -0.304 1.369 -1.045 1.352 -0.388 2.497 1.267 -0.196 0.031 1.476 1.343 0.992 -0.158 0.277 Per -2.705 -0.985 -2.242 0.465 -0.919 1.153 -0.028 1.762 1.461 0.796 0.208 1.134 1.238 1.052 -0.131 0.454 Rep. Dom. Uruguay -2.398 -0.152 -0.926 1.231 -0.084 1.984 1.529 1.674 1.037 0.457 -0.159 1.325 1.928 1.424 0.506 0.674 -3.817 -1.713 -0.482 0.608 -1.041 2.009 -0.685 1.528 0.467 -0.355 -0.668 0.861 0.177 0.259 -1.037 0.131
REPORTE TCNICO
Tabla 7c. MATEMTICA 6. Valor de dificultad de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DM6B3IT01
-3.446
-3.701
DM6B3IT02
-1.396
-0.814
DM6B3IT03
-1.805
-0.660
DM6B3IT04
0.488
0.299
DM6B3IT05
-0.927
-0.457
DM6B3IT06
1.611
1.216
DM6B3IT07
0.056
0.254
DM6B3IT08
1.662
1.982
DM6B3IT09
0.322
1.005
DM6B3IT10
0.603
0.765
DM6B3IT11
-0.088
0.078
DM6B3IT12
0.935
0.885
DM6B3IT13
0.925
1.322
DM6B3IT14
0.334
0.653
DM6B3IT15
-0.176
-0.283
DM6B3IT16
0.446
0.531
Tabla 7d. MATEMTICA 6. Valor de dificultad de cada tem por pas. Bloque 4.
Chile -2.120 -1.330 3.727 1.482 2.651 -4.164 0.374 -1.397 0.630 0.034 -0.877 0.937 1.081 1.372 0.149 0.059 0.036 0.092 -1.141 0.478 -0.061 -0.377 -1.443 0.144 0.059 0.204 0.740 0.224 -1.390 0.370 0.533 1.284 1.220 0.564 1.462 0.972 1.290 0.400 0.227 0.406 0.817 0.863 0.233 0.897 0.976 1.353 -0.377 -0.788 -0.933 0.086 -0.075 0.139 0.093 0.268 -0.600 0.284 0.417 0.706 0.228 -0.913 0.813 0.898 -0.188 -0.752 -0.630 1.411 0.388 0.408 1.533 1.509 1.918 0.480 -1.243 -1.243 -1.715 -1.021 -1.225 -1.040 -0.987 1.989 0.585 0.365 1.363 1.283 0.269 0.232 0.607 1.058 -0.034 -0.272 2.067 1.222 1.726 0.222 1.924 -0.892 -3.310 -5.578 -4.063 -2.002 -3.410 -2.120 -3.581 -2.469 2.683 2.056 1.163 3.073 2.838 3.261 1.757 3.083 3.105 -2.647 1.640 -1.306 1.776 0.446 0.213 0.902 1.114 0.418 0.488 0.554 1.553 1.428 1.312 2.250 1.927 2.059 1.112 1.348 2.054 3.613 0.856 0.804 2.426 3.110 3.562 1.106 3.611 3.424 -0.799 -1.597 -1.932 -0.567 -1.020 -0.818 -1.519 -0.692 -0.453 -1.181 2.081 1.787 2.845 -2.096 1.583 -1.181 1.559 0.354 0.002 0.995 1.595 0.155 0.421 0.920 -1.655 -2.065 -2.814 -1.913 -1.308 -1.606 -3.183 -1.845 -1.496 -2.186 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per -1.689 -0.979 1.969 1.776 2.602 -2.575 1.638 -1.055 1.620 0.019 -0.372 0.484 1.483 0.460 -0.162 0.012 Rep. Dom. Uruguay -0.957 0.220 3.579 1.914 3.636 -1.458 2.169 -0.837 1.596 1.119 0.875 1.402 1.026 1.263 1.119 1.098 -2.535 -1.630 1.425 1.642 1.087 -3.594 0.223 -1.424 0.201 0.274 -0.740 1.256 1.027 -0.022 -0.516 -0.437
tem
Argentina
Brasil
DM6B4IT01
-2.540
-2.440
DM6B4IT02
-1.333
-1.343
DM6B4IT03
2.923
3.291
DM6B4IT04
1.811
2.150
DM6B4IT05
2.541
2.487
DM6B4IT06
-2.998
-3.040
DM6B4IT07
0.723
0.158
DM6B4IT08
-1.012
-1.481
CAPTULO 5
DM6B4IT09
0.682
0.882
DM6B4IT10
0.038
0.158
DM6B4IT11
-0.645
-0.772
DM6B4IT12
1.173
0.759
DM6B4IT13
1.385
0.906
DM6B4IT14
0.747
0.465
DM6B4IT15
-0.208
0.122
DM6B4IT16
0.099
-0.002
405
406
Chile -0.704 0.253 -0.651 -0.279 -2.318 -0.762 1.203 -0.842 -2.478 -1.198 -1.338 0.552 -0.031 -0.962 -1.771 1.070 1.345 1.190 -0.199 -1.225 -1.826 -1.823 -1.023 1.612 0.332 -2.553 -1.707 0.616 -0.791 -1.797 -1.845 -0.467 0.982 0.999 -0.235 1.441 1.297 -0.551 0.523 -1.050 1.702 -0.938 -1.133 -1.440 -0.270 -0.896 -0.916 -2.049 -2.016 -0.434 -0.480 -0.114 -0.499 1.775 0.304 0.584 -1.249 1.562 -1.990 -2.894 -2.803 -1.192 -1.944 -0.675 -0.485 -0.915 -0.245 -0.567 -0.718 -0.812 1.424 1.486 0.503 1.935 1.513 1.971 0.912 -1.029 -2.412 -1.017 -0.956 1.206 -1.965 -0.932 -1.085 0.831 -0.330 -0.685 -1.085 -0.161 -0.607 -0.324 -0.914 -1.468 -2.254 -2.491 -1.219 -1.315 -0.827 -2.630 -0.256 -0.211 1.780 -0.025 -0.593 -0.242 -0.641 1.750 -0.080 0.708 -1.030 1.579 -0.020 0.004 -0.410 0.663 0.064 0.385 -0.658 0.238 -0.419 -1.068 -1.016 -0.340 -0.374 -0.606 -1.517 -0.896 0.113 0.023 -1.721 -0.053 0.867 0.751 0.111 0.435 0.336 -0.161 0.697 -0.322 -0.001 2.012 -0.166 -1.266 -0.475 -0.695 1.666 -0.211 0.026 -1.368 1.429 -0.631 -1.498 -2.176 -0.804 -0.396 -0.890 -1.110 -0.708 -1.058 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay -1.191 -0.230 -0.124 0.776 -1.385 -0.216 2.326 -0.004 -1.141 -0.507 -0.711 1.564 -0.230 0.166 -1.431 1.361 Per -1.527 -0.297 -0.815 -0.046 -1.423 -0.659 1.866 -0.709 -1.585 -0.681 -0.765 -0.036 -0.366 -0.116 -1.139 1.176 Rep. Dom. Uruguay -0.327 1.584 -0.138 0.746 -0.602 0.121 2.516 0.212 0.121 0.212 0.341 2.334 0.730 0.622 -0.384 1.728 -1.646 -0.200 -1.449 -0.655 -3.478 -1.272 0.699 -1.128 -2.192 -1.384 -1.396 1.046 -2.439 -0.872 -1.278 0.699
REPORTE TCNICO
Tabla 7e. MATEMTICA 6. Valor de dificultad de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DM6B5IT01
-1.451
-1.055
DM6B5IT02
0.003
0.258
DM6B5IT03
-0.927
-0.836
DM6B5IT04
-0.254
-0.210
DM6B5IT05
-1.864
-0.116
DM6B5IT06
-0.781
-1.077
DM6B5IT07
1.160
1.123
DM6B5IT08
-1.116
-1.050
DM6B5IT09
-1.793
-1.837
DM6B5IT10
-1.012
-1.143
DM6B5IT11
-0.887
-1.315
DM6B5IT12
0.869
0.643
DM6B5IT13
-0.858
0.339
DM6B5IT14
-0.810
-0.355
DM6B5IT15
-1.284
-1.630
DM6B5IT16
1.297
1.141
Tabla 7f. MATEMTICA 6. Valor de dificultad de cada tem por pas. Bloque 6.
Chile -1.894 0.547 2.563 1.086 0.790 0.772 0.009 1.373 0.667 0.364 1.593 0.589 0.948 0.174 1.507 -0.587 -0.507 -1.098 -1.121 -0.087 1.676 1.112 0.189 1.379 1.643 -0.303 0.326 -0.719 -1.574 -0.346 -0.214 1.040 0.857 0.585 1.008 0.838 1.026 -0.032 0.675 -0.110 0.763 0.745 0.853 0.941 0.831 0.526 1.747 2.025 0.321 1.996 2.121 2.406 0.509 0.350 -0.532 1.034 0.795 1.155 1.040 1.672 0.423 0.763 -1.220 0.168 -1.188 1.563 0.944 0.238 1.929 1.557 1.871 0.478 1.626 0.909 0.828 2.298 1.730 2.122 1.179 2.239 2.345 1.087 2.504 0.768 1.234 -0.184 0.122 -0.157 0.254 -0.416 -0.371 0.251 0.313 0.807 -0.304 0.853 0.715 0.158 -1.121 0.714 0.405 1.130 0.237 0.836 0.646 0.696 0.440 1.136 1.137 1.036 1.065 0.885 0.714 0.851 0.594 2.001 1.879 0.865 2.307 0.995 1.023 0.010 0.333 -0.051 1.040 1.491 1.114 1.158 0.607 1.297 0.535 1.183 1.469 2.592 1.294 1.248 2.550 2.690 2.507 1.556 2.674 2.792 0.690 0.203 -0.934 0.786 0.670 1.090 -0.073 0.775 1.096 0.782 2.276 2.063 0.621 0.980 0.701 2.276 1.831 0.872 2.152 0.831 1.017 -0.122 1.392 -0.192 -0.770 -1.172 -0.567 -0.285 -0.399 -0.066 -2.216 -0.183 0.064 -1.692 Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Panam Paraguay Per -1.461 0.880 2.236 1.311 0.823 0.648 0.414 2.256 1.669 0.702 1.502 0.792 1.118 -0.520 1.495 -0.184 Rep. Dom. Uruguay 0.033 0.792 2.370 2.352 0.700 1.070 1.285 2.271 2.635 1.392 3.000 0.850 1.094 0.682 1.309 0.503 -2.859 -0.303 1.137 0.936 0.410 -0.045 -0.010 1.587 0.316 0.986 1.721 0.252 0.633 -1.158 0.601 -1.163
tem
Argentina
Brasil
DM6B6IT01
-2.166
-1.632
DM6B6IT02
0.414
0.722
DM6B6IT03
2.639
2.690
DM6B6IT04
0.827
1.255
DM6B6IT05
0.876
1.076
DM6B6IT06
0.459
0.651
DM6B6IT07
0.131
0.015
DM6B6IT08
1.384
1.379
CAPTULO 5
DM6B6IT09
0.722
0.445
DM6B6IT10
0.373
0.676
DM6B6IT11
1.789
1.652
DM6B6IT12
0.604
0.859
DM6B6IT13
0.990
0.898
DM6B6IT14
-0.613
-0.377
DM6B6IT15
1.512
1.242
DM6B6IT16
-0.646
-0.632
407
408
REPORTE TCNICO
Tabla 8a. MATEMTICA 6. Valor de ajuste de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DM6B1IT01
0.96
0.94
DM6B1IT02
1.07
0.95
DM6B1IT03
1.06
1.01
DM6B1IT04
0.82
0.86
DM6B1IT05
0.83
0.87
DM6B1IT06
0.91
0.91
DM6B1IT07
1.13
1.12
DM6B1IT08
1.29
1.21
DM6B1IT09
1.03
1.06
DM6B1IT10
0.97
1.03
DM6B1IT11
1.04
1.15
DM6B1IT12
1.09
1.10
DM6B1IT13
0.99
1.19
DM6B1IT14
1.19
1.18
DM6B1IT15
1.12
1.18
DM6B1IT16
0.90
0.93
Tabla 8b. MATEMTICA 6. Valor de ajuste de cada tem por pas. Bloque 2.
tem
Argentina
Brasil
DM6B2IT01
0.83
1.03
DM6B2IT02
0.94
0.88
DM6B2IT03
0.98
0.99
DM6B2IT04
1.02
1.02
DM6B2IT05
1.02
0.98
DM6B2IT06
0.83
0.82
DM6B2IT07
0.97
0.95
DM6B2IT08
0.68
0.68
CAPTULO 5
DM6B2IT09
0.92
0.94
DM6B2IT10
0.90
0.85
DM6B2IT11
1.01
0.97
DM6B2IT12
0.93
0.90
DM6B2IT13
1.15
1.03
DM6B2IT14
0.86
0.79
DM6B2IT15
1.04
1.11
DM6B2IT16
1.09
1.02
409
410
REPORTE TCNICO
Tabla 8c. MATEMTICA 6. Valor de ajuste de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DM6B3IT01
0.68
0.75
DM6B3IT02
0.96
1.03
DM6B3IT03
0.91
0.95
DM6B3IT04
0.91
1.00
DM6B3IT05
0.98
0.90
DM6B3IT06
1.03
1.16
DM6B3IT07
0.90
0.90
DM6B3IT08
1.01
1.17
DM6B3IT09
0.95
1.08
DM6B3IT10
1.30
1.22
DM6B3IT11
0.94
1.14
DM6B3IT12
1.04
1.13
DM6B3IT13
1.13
1.05
DM6B3IT14
0.99
1.02
DM6B3IT15
1.06
1.03
DM6B3IT16
1.19
1.13
Tabla 8d. MATEMTICA 6. Valor de ajuste de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DM6B4IT01
1.04
0.81
DM6B4IT02
1.06
1.03
DM6B4IT03
0.87
0.78
DM6B4IT04
1.01
1.08
DM6B4IT05
0.94
0.95
DM6B4IT06
0.65
0.62
DM6B4IT07
0.89
0.78
DM6B4IT08
1.31
1.42
CAPTULO 5
DM6B4IT09
0.87
0.83
DM6B4IT10
1.05
1.02
DM6B4IT11
0.87
0.86
DM6B4IT12
1.27
1.21
DM6B4IT13
1.33
1.25
DM6B4IT14
1.12
1.00
DM6B4IT15
0.82
0.84
DM6B4IT16
0.89
0.78
411
412
REPORTE TCNICO
Tabla 8e. MATEMTICA 6. Valor de ajuste de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DM6B5IT01
0.88
0.86
DM6B5IT02
0.92
0.97
DM6B5IT03
0.86
0.85
DM6B5IT04
0.84
0.79
DM6B5IT05
0.98
1.00
DM6B5IT06
0.87
0.90
DM6B5IT07
0.99
0.96
DM6B5IT08
0.91
0.84
DM6B5IT09
0.78
0.76
DM6B5IT10
0.97
1.04
DM6B5IT11
1.01
1.08
DM6B5IT12
0.91
0.95
DM6B5IT13
1.16
1.22
DM6B5IT14
0.92
0.97
DM6B5IT15
1.14
0.94
DM6B5IT16
1.12
1.24
Tabla 8f. MATEMTICA 6. Valor de ajuste de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DM6B6IT01
1.13
1.08
DM6B6IT02
1.02
1.02
DM6B6IT03
1.14
1.08
DM6B6IT04
1.24
1.18
DM6B6IT05
1.09
1.14
DM6B6IT06
1.20
1.17
DM6B6IT07
0.92
0.93
DM6B6IT08
1.02
0.94
CAPTULO 5
DM6B6IT09
0.86
0.86
DM6B6IT10
1.03
1.01
DM6B6IT11
0.99
0.95
DM6B6IT12
0.93
0.98
DM6B6IT13
1.25
1.20
DM6B6IT14
0.79
0.79
DM6B6IT15
1.13
0.93
DM6B6IT16
0.84
0.85
413
414
REPORTE TCNICO
Tabla 9a. MATEMTICA 6. Valor de discriminacin de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DM6B1IT01
1.01
1.01
DM6B1IT02
0.87
1.25
DM6B1IT03
0.91
0.99
DM6B1IT04
1.10
1.08
DM6B1IT05
1.32
1.47
DM6B1IT06
1.30
1.30
DM6B1IT07
0.91
0.86
DM6B1IT08
0.67
0.59
DM6B1IT09
0.91
0.82
DM6B1IT10
1.06
0.92
DM6B1IT11
0.99
0.96
DM6B1IT12
0.83
0.86
DM6B1IT13
1.02
0.71
DM6B1IT14
0.45
0.71
DM6B1IT15
0.80
0.75
DM6B1IT16
1.40
1.16
Tabla 9b. MATEMTICA 6. Valor de discriminacin de cada tem por pas. Bloque 2.
tem
Argentina
Brasil
DM6B2IT01
1.04
0.94
DM6B2IT02
1.20
1.31
DM6B2IT03
1.03
1.03
DM6B2IT04
1.01
1.01
DM6B2IT05
0.99
1.07
DM6B2IT06
1.13
1.14
DM6B2IT07
1.09
1.06
DM6B2IT08
1.06
1.06
CAPTULO 5
DM6B2IT09
1.09
1.04
DM6B2IT10
1.12
1.07
DM6B2IT11
1.01
1.14
DM6B2IT12
1.29
1.44
DM6B2IT13
0.77
0.94
DM6B2IT14
1.14
1.14
DM6B2IT15
0.92
0.92
DM6B2IT16
0.93
0.99
415
416
REPORTE TCNICO
Tabla 9c. MATEMTICA 6. Valor de discriminacin de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DM6B3IT01
1.03
1.02
DM6B3IT02
1.02
0.97
DM6B3IT03
1.05
1.13
DM6B3IT04
1.22
0.98
DM6B3IT05
1.03
1.30
DM6B3IT06
1.00
0.81
DM6B3IT07
1.33
1.40
DM6B3IT08
1.01
0.93
DM6B3IT09
1.13
0.93
DM6B3IT10
0.38
0.60
DM6B3IT11
1.17
0.43
DM6B3IT12
0.93
0.76
DM6B3IT13
0.81
0.94
DM6B3IT14
1.01
0.97
DM6B3IT15
0.77
0.84
DM6B3IT16
0.57
0.69
Tabla 9d. MATEMTICA 6. Valor de discriminacin de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DM6B4IT01
0.96
1.03
DM6B4IT02
1.01
0.97
DM6B4IT03
1.01
1.02
DM6B4IT04
1.00
0.98
DM6B4IT05
1.01
1.01
DM6B4IT06
1.06
1.06
DM6B4IT07
1.23
1.66
DM6B4IT08
0.60
0.67
CAPTULO 5
DM6B4IT09
1.26
1.27
DM6B4IT10
0.87
0.97
DM6B4IT11
1.29
1.25
DM6B4IT12
0.70
0.60
DM6B4IT13
0.75
0.67
DM6B4IT14
0.85
0.95
DM6B4IT15
1.19
1.08
DM6B4IT16
1.01
1.05
417
418
REPORTE TCNICO
Tabla 9e. MATEMTICA 6. Valor de discriminacin de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DM6B5IT01
1.12
1.27
DM6B5IT02
1.24
1.10
DM6B5IT03
1.25
1.28
DM6B5IT04
1.48
1.61
DM6B5IT05
1.01
0.93
DM6B5IT06
1.21
1.13
DM6B5IT07
1.05
1.05
DM6B5IT08
1.13
1.25
DM6B5IT09
1.13
1.14
DM6B5IT10
1.02
0.92
DM6B5IT11
1.04
0.96
DM6B5IT12
1.14
1.09
DM6B5IT13
0.78
0.50
DM6B5IT14
1.19
1.09
DM6B5IT15
0.88
1.02
DM6B5IT16
0.91
0.80
Tabla 9f. MATEMTICA 6. Valor de discriminacin de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DM6B6IT01
0.96
0.96
DM6B6IT02
0.97
0.95
DM6B6IT03
0.98
0.99
DM6B6IT04
0.53
0.80
DM6B6IT05
0.94
0.86
DM6B6IT06
0.45
0.57
DM6B6IT07
1.31
1.28
DM6B6IT08
1.01
1.07
CAPTULO 5
DM6B6IT09
1.29
1.43
DM6B6IT10
0.91
1.00
DM6B6IT11
0.99
1.03
DM6B6IT12
1.15
1.07
DM6B6IT13
0.65
0.65
DM6B6IT14
1.23
1.13
DM6B6IT15
0.88
1.00
DM6B6IT16
1.08
1.05
419
420
REPORTE TCNICO
Tabla 10a. MATEMTICA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 1.
tem
Argentina
Brasil
DM6B1IT01
0.85
0.91
DM6B1IT02
0.65
0.52
DM6B1IT03
0.32
0.3
DM6B1IT04
0.81
0.8
DM6B1IT05
0.66
0.57
DM6B1IT06
0.42
0.4
DM6B1IT07
0.18
0.26
DM6B1IT08
0.25
0.3
DM6B1IT09
0.46
0.37
DM6B1IT10
0.34
0.35
DM6B1IT11
0.18
0.12
DM6B1IT12
0.35
0.32
DM6B1IT13
0.34
0.29
DM6B1IT14
0.58
0.3
DM6B1IT15
0.33
0.28
DM6B1IT16
0.5
0.35
Tabla 10b. MATEMTICA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 2.
tem
Argentina
Brasil
DM6B2IT01
0.89
0.69
DM6B2IT02
0.63
0.63
DM6B2IT03
0.61
0.45
DM6B2IT04
0.28
0.3
DM6B2IT05
0.49
0.46
DM6B2IT06
0.78
0.78
DM6B2IT07
0.66
0.74
DM6B2IT08
0.93
0.94
CAPTULO 5
DM6B2IT09
0.23
0.15
DM6B2IT10
0.72
0.83
DM6B2IT11
0.44
0.41
DM6B2IT12
0.48
0.47
DM6B2IT13
0.32
0.36
DM6B2IT14
1.67
1.43
DM6B2IT15
0.8
0.77
DM6B2IT16
0.92
0.91
421
422
REPORTE TCNICO
Tabla 10c. MATEMTICA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 3.
tem
Argentina
Brasil
DM6B3IT01
0.96
0.97
DM6B3IT02
0.77
0.67
DM6B3IT03
0.83
0.64
DM6B3IT04
0.39
0.43
DM6B3IT05
0.69
0.6
DM6B3IT06
0.19
0.25
DM6B3IT07
0.48
0.44
DM6B3IT08
0.19
0.14
DM6B3IT09
0.43
0.29
DM6B3IT10
0.37
0.33
DM6B3IT11
0.51
0.48
DM6B3IT12
0.3
0.31
DM6B3IT13
0.31
0.23
DM6B3IT14
0.42
0.36
DM6B3IT15
0.53
0.56
DM6B3IT16
0.4
0.38
Tabla 10d. MATEMTICA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 4.
tem
Argentina
Brasil
DM6B4IT01
0.90
0.89
DM6B4IT02
0.76
0.76
DM6B4IT03
0.07
0.05
DM6B4IT04
0.17
0.13
DM6B4IT05
0.09
0.10
DM6B4IT06
0.94
0.94
DM6B4IT07
0.35
0.46
DM6B4IT08
0.70
0.78
CAPTULO 5
DM6B4IT09
0.35
0.31
DM6B4IT10
0.49
0.46
DM6B4IT11
0.63
0.65
DM6B4IT12
0.26
0.34
DM6B4IT13
0.23
0.31
DM6B4IT14
1.08
1.16
DM6B4IT15
1.52
1.26
DM6B4IT16
1.20
1.21
423
424
REPORTE TCNICO
Tabla 10e. MATEMTICA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 5.
tem
Argentina
Brasil
DM6B5IT01
0.77
0.70
DM6B5IT02
0.49
0.43
DM6B5IT03
0.68
0.66
DM6B5IT04
0.54
0.53
DM6B5IT05
0.83
0.51
DM6B5IT06
0.65
0.71
DM6B5IT07
0.26
0.27
DM6B5IT08
0.71
0.70
DM6B5IT09
0.82
0.82
DM6B5IT10
0.69
0.72
DM6B5IT11
0.67
0.75
DM6B5IT12
0.31
0.36
DM6B5IT13
0.67
0.42
DM6B5IT14
0.66
0.56
DM6B5IT15
0.74
0.80
DM6B5IT16
0.24
0.27
Tabla 10f. MATEMTICA 6. Porcentaje de respuestas correctas de cada tem por pas. Bloque 6.
tem
Argentina
Brasil
DM6B6IT01
0.88
0.82
DM6B6IT02
0.41
0.35
DM6B6IT03
0.09
0.09
DM6B6IT04
0.33
0.25
DM6B6IT05
0.32
0.28
DM6B6IT06
0.40
0.37
DM6B6IT07
0.47
0.50
DM6B6IT08
0.23
0.23
CAPTULO 5
DM6B6IT09
0.35
0.41
DM6B6IT10
0.42
0.36
DM6B6IT11
0.17
0.19
DM6B6IT12
0.37
0.33
DM6B6IT13
0.30
0.32
DM6B6IT14
1.70
1.45
DM6B6IT15
0.88
1.00
DM6B6IT16
1.61
1.52
425
V.3. CONSTRUCCIN DE ESCALAS DE HABILIDADES Y NIVELES DE DESEMPEO

El presente apartado explica los mtodos utilizados para estimar las puntuaciones de los estudiantes en cada una de las pruebas. Se incluye una sucinta aproximacin terica al modelo de anlisis utilizado: la Teora de Respuesta al tem, TRI, y, especficamente, al modelo de Rasch, con base en el cual se realizar el procesamiento e interpretacin de los datos del Estudio. El documento describe los indicadores estadsticos utilizados en la fase de anlisis; tales indicadores, en su mayora, provienen de la Teora de Respuesta al tem (TRI), la cual provee el respaldo terico y tcnico necesario en la generacin de resultados vlidos y confiables; tambin se incluyen indicadores de la Teora Clsica de las Pruebas (TCP) en consideracin a que estos pueden contribuir al proceso de anlisis. Algunos de estos indicadores se utilizan para confirmar la calidad de los tems aplicados41 mientras otros describen a los estudiantes evaluados que abordan dichos tems; la informacin suministrada por estos indicadores resulta esencial en el proceso de definicin de las escalas de calificacin, tanto en lo concerniente a tems de seleccin de respuesta como a los de produccin de respuesta. Con la descripcin de los indicadores se incluyen tambin los criterios para su interpretacin, con lo cual se espera facilitar el anlisis de los reportes de resultados. Se incluye la descripcin de las fases del procesamiento para la generacin de resultados, desde los criterios aplicados para depurar las bases de datos enviadas por los pases participantes, hasta la ejemplificacin de tablas y grficas del Informe de resultados, que permitirn valorar el desempeo de las poblaciones de los pases participantes en el Estudio, contrastando resultados nacionales entre s y frente a los indicadores internacionales. Finalmente, se aade una resumida descripcin de las caractersticas tcnicas del software utilizado para el procesamiento de datos (de anlisis de tems y de resultados), as como de las fases generales de todo el proceso.
41 Si bien los tems del Estudio Principal fueron seleccionados a partir de un juicioso proceso de anlisis de tems luego de la aplicacin piloto, es necesario, desde el punto de vista tcnico, corroborar, luego de la Aplicacin Principal, que los indicadores que describen la calidad de los tems conserven su adecuacin a los criterios exigidos para, de esta forma, asegurar que las escalas de calificacin se generan a partir de tems ptimos.
426
REPORTE TCNICO
V.3.1. Fundamentacin terica del modelo

Las teoras de medicin
En la construccin de pruebas dos teoras psicomtricas han tenido trascendencia: la teora clsica de las pruebas (TCP) y la teora de respuesta al tem (TRI). El modelo lineal de la TCP describe la influencia de los errores de medida en las puntuaciones observadas y sus relaciones con las puntuaciones verdaderas42. La TCP presenta varias limitaciones; la ms importante de ellas es que no permite separar las caractersticas del estudiante evaluado de las caractersticas de la prueba. La dificultad de un tem se define, en este contexto, como la proporcin de estudiantes evaluados en un grupo determinado que contesta el tem correctamente. Las caractersticas mtricas de la prueba (tales como confiabilidad y validez) se definen en trminos de un grupo determinado de estudiantes evaluados con el cual se ha construido el baremo o norma de interpretacin de las puntuaciones; esto hace difcil comparar estudiantes que toman distintas pruebas, e imposibilita el anlisis de interpretaciones de resultados con referencia a criterio43. Otra debilidad de la TCP es que no proporciona informacin precisa acerca de la habilidad de cada una de las personas; presume que la varianza del error de medida es igual para todos los estudiantes evaluados. Adems, la construccin de formas paralelas de una prueba, requisito para establecer la confiabilidad, se dificulta en la prctica. El modelo de la teora de respuesta al tem (TRI) intenta dar una fundamentacin probabilstica al problema de la medicin de rasgos y constructos no observables, y considera al tem como unidad bsica de medicin. La TRI no contradice ni los supuestos ni las conclusiones fundamentales de la TCP, sino que hace asunciones adicionales que permiten superar las debilidades de esta ltima44. Mientras en la TCP la estimacin del atributo se toma como la sumatoria de respuestas a tems individuales, en la TRI se estima el nivel de un atributo medido utilizando el patrn de respuesta del estudiante evaluado45.
42 43 44 45
Martnez, R. (1996). Psicometra: Teora de los Tests Psicolgicos y Educativos. Madrid: Sntesis. Pardo, C. (2001). Revista ACTA Colombiana de Psicologa. No. 5. Bogot: Universidad Catlica de Colombia. Lord, F. (1990). Applications of Item Response Theory to Practical Testing Problems. New Jersey: Lawrence Erlbaum Associates. Nunnally, A. (1987). Teora Psicomtrica. Mxico: Trillas.
CAPTULO 5
427
La teora de respuesta al tem (TRI)

Supuestos de la TRI
Los planteamientos de la TRI se fundamentan en el postulado de que la ejecucin de una persona en una prueba puede predecirse y explicarse por un conjunto de factores personales llamados, en conjunto, habilidad y en el hecho de que la relacin entre la ejecucin del estudiante evaluado y la habilidad que la soporta puede describirse por una funcin montona creciente. Como todo modelo matemtico, la TRI incluye un conjunto de supuestos acerca de los datos en los cuales se aplica, y especifica las relaciones entre los constructos descritos en el modelo46 47. En trminos generales, la TRI considera 3 supuestos bsicos: 1) Unidimensionalidad. En la TRI se supone que cuando se disea una prueba, una nica habilidad es necesaria para explicar o dar cuenta del desempeo del examinado en la prueba48. Tambin es posible que se midan varias dimensiones con una prueba, caso en cual se debe generar, para cada una de ellas, una escala propia. Se reconoce que cuando una persona responde a un tem en una prueba, confluyen mltiples habilidades, pero los tems deben disearse haciendo nfasis en una de ellas o en una combinacin particular predefinida. 2) Independencia Local. Se espera que un estudiante evaluado responda a un tem en particular sin que recurra a informacin de otros tems para hacerlo correctamente. En otras palabras, la ejecucin en un tem no debe afectar sus respuestas en otro. En las pruebas en donde los tems dependen de un mismo contexto (texto), se aplica la independencia local entre los tems y no entre ellos y el contexto. 3) Curvas Caractersticas de tems (CCI). La CCI es una funcin matemtica que relaciona la probabilidad de xito en una pregunta con la habilidad, medida por el conjunto de tems que la contienen49 50. Los diferentes modelos de la TRI se diferencian en la forma particular que adquiere la funcin de probabilidad, la cual incluye el nmero especfico de parmetros del modelo. Todo tem puede describirse por su CCI y es esta curva la unidad conceptual bsica de la TRI.
46 Hambleton, R. y Swaminathan, H. (1985). Item Response Theory: principles and applications. Boston: Kluwer.. 47 Weiss, D. y Yoes, M. (1994). Item Reponse Theory. En: Hambleton, R. y Zaal, J. Advances in educational and psychological testing. Boston. 48 Hambleton, R. y Swaminathan, H. 1985. Op. Cit. 49 Hambleton, R. y Swaminathan, H. 1985. Op. Cit. 50 Thorndike, R. (1999). IRT and intelligence testing: past present and future. En: Embretson, S. y Hershberger, S. (1999). The New Rules of Measurement. New Jersey: University of Kansas.
428
REPORTE TCNICO
Parmetros y modelos en la TRI

Bajo el nombre genrico de la TRI se presentan diferentes modelos que, aunque se diferencian en algunos rasgos, tienen en comn una serie de aspectos bsicos, especialmente el de ser modelos estructurales que establecen una relacin matemtica formalizada entre la respuesta a un tem concreto y el nivel de habilidad de una persona. Los primeros modelos de TRI seguan la ojiva normal; en la actualidad los modelos de uso comn siguen la ojiva logstica o funcin de distribucin logstica, que define toda una familia de curvas de forma similar en apariencia a la ojiva normal. La forma general de la funcin logstica se indica en la ecuacin 1.
x e y= 1+ex
o
e f()= 1+e
(1)
donde,
y e x,
funcin logstica base de los logaritmos neperianos cualquier variable o funcin.
Existen diversas funciones que cumplen la propiedad de la monotona creciente de la curva que describe la probabilidad como funcin de la habilidad. Las diferencias entre ellas pueden darse por la forma y por los parmetros que la describen. Para definir las curvas se utilizan hasta tres parmetros denominados a, b y c, que representan el ndice de discriminacin, el ndice de dificultad y la probabilidad de seleccionar la respuesta correcta al azar, respectivamente.
CAPTULO 5
429
Modelo de dos parmetros

En 1952, Frederic Lord propuso un modelo de Respuesta al tem en el que las CCIs tomaban la forma de una ojiva normal de dos parmetros. En este modelo se tienen en cuenta los parmetros de dificultad (b) y discriminacin (a), que se definen tericamente en una escala que oscila entre menos infinito y ms infinito. No obstante, en la prctica, los valores de dificultad generalmente varan entre 3.5 y +3.5, correspondiendo el valor de 3.5 a tems muy sencillos y el valor +3.5 a tems muy difciles. En cuanto al parmetro a, los valores negativos se descartan en las pruebas de aptitud y en la prctica sus valores oscilan entre 0 y 2. Valores muy bajos en poder discriminante dan lugar a CCIs, que crecen lenta y gradualmente al aumentar el nivel de habilidad. La funcin del modelo se expresa mediante la ecuacin 2.
Pi() = 1+eDai(-bi)
eDai(-bi)
(2)
donde,
Pi( ) probabilidad de responder correctamente el tem i, para un valor valor de la variable medida ai ndice de discriminacin del tem i bi ndice de dificultad del tem i e base de los logaritmos neperianos D factor de escalamiento (al tomar un valor de 1.7, se asegura una variabilidad inferior a 0.01 en los
valores estimados de habilidad, cuando se usa la ojiva normal o la ojiva logstica de dos parmetros).
430
REPORTE TCNICO
Modelo de tres parmetros

Este modelo fue originado y desarrollado por Allan Birnbaum. Adems de los supuestos bsicos de la TRI, el modelo de tres parmetros usa directamente los valores a, b y c, para encontrar una curva que mejor aproxime los puntos observados. El modelo se expresa en la funcin 3.
Pi()=ci+(1-ci) 1+eDai(-bi)
eDai(-bi)
(3)
donde, Pi() probabilidad de responder correctamente el tem i para un valor valor de la variable medida ndice de discriminacin del tem i ndice de dificultad del tem i probabilidad de responder en forma correcta el tem cuando no se conoce la respuesta (es decir, por
ai bi ci azar) e base de los logaritmos neperianos D factor de escalamiento (al tomar un valor de 1.7, se asegura que la funcin logstica sea ajustada a la ojiva normal con una exactitud de 0.01).
Distintos estudios que han puesto a prueba este modelo han encontrado que el parmetro c, por lo regular, toma valores ms pequeos que el valor que resultara si los estudiantes evaluados de baja habilidad seleccionaran al azar la respuesta; este fenmeno se ha explicado por el hecho de que en realidad los estudiantes de baja habilidad regularmente no eligen al azar la respuesta a un tem que no pueden responder, sino que eligen opciones que se presentan ante ellos como plausibles. Por lo anterior se ha sugerido evitar la denominacin de adivinacin para el parmetro c y se ha dado en llamarlo nivel de seudo-probabilidad.
CAPTULO 5
431
Modelo de Rasch
Este modelo establece la probabilidad de respuesta de una persona ante un estmulo dado en trminos de la diferencia entre la medida del rasgo de la persona y la medida del estmulo utilizado51. El modelo considera que la respuesta a un tem slo depende de la interaccin entre la habilidad del sujeto y la dificultad del tem, es decir, de y de b. La CCI viene dada por la funcin logstica, y el nico parmetro de los tems que se tiene en cuenta es b, el ndice de dificultad. No se hacen hiptesis globales sobre el patrn de respuestas de un grupo, ni sobre la adivinacin sistemtica. Por el contrario, se plantea que la adivinacin es un patrn personal y puede ser detectada en funcin del ajuste o desajuste de las respuestas de una persona al modelo. Esta misma hiptesis aplica para los tems. La medida de una persona es independiente de la prueba empleada y la calibracin del tem es independiente de la poblacin que lo aborda. La funcin 4 expresa el modelo.
Pi() = 1+e(-bi)
e(-bi)
(4)
donde, Pi() probabilidad de responder correctamente el tem i para un valor valor de la variable medida ndice de dificultad del tem i base de los logaritmos neperianos.

bi e
51
Tristn, A. (2001). Rasch para Todos. Mxico: Ceneval.
432
REPORTE TCNICO
Modelo utilizado para el procesamiento del estudio principal

Al igual que se hizo para el Estudio Piloto, se utilizar el Modelo de Rasch para el anlisis de los datos del Estudio Principal. Esta decisin se tom con base en el estudio de las caractersticas de cada uno de los modelos mencionados en el apartado anterior. El Modelo de Rasch ofrece, frente a los dems modelos, varias ventajas que se mencionan a continuacin, las cuales son referenciadas por distintos autores52 53 54 55. Una de las principales ventajas del Modelo de Rasch es que el puntaje bruto es una estadstica suficiente para la estimacin de la habilidad de las personas y la suma de respuestas correctas para un tem es, igualmente, una estadstica suficiente para la estimacin del parmetro de dificultad, lo que implica, para ambos casos, que un solo nmero contiene toda la informacin para la estimacin de parmetros. Este modelo tiene la propiedad conocida como objetividad especfica que implica que los datos deben ajustarse al modelo (contrario a los modelos de dos y tres parmetros en los cuales se busca que el modelo se ajuste a los datos), lo cual es recomendable en proceso de desarrollo de pruebas. Esta propiedad permite estimar un valor de ajuste. El Modelo de Rasch realiza buenas estimaciones an cuando en la poblacin se encuentren pocas personas en niveles de habilidad bajos (en estos casos un modelo como el de tres parmetros no puede hacer buenas estimaciones del parmetro c). Dadas las ecuaciones de estimacin de parmetros para el Modelo de Rasch, se garantiza la convergencia en el proceso de estimacin (la ponderacin que ejercen los valores de discriminacin en las estimaciones de habilidad no permiten la convergencia en los modelos 2p y 3p).
52 Fischer, G. y Molenaar, I. (1995). Rasch Models. Foundations, Recent Developments, and Applications. New York: Springer Verlag. 53 Hambleton, R. y Swaminathan, H. (1996). Item Response Theory: Principles and Applications. Pp.307-309. Boston: Kluwer Nijhoff Publishing. 54 Wright, B. (1992). IRT in the 1990s: Which Models Work Best? Rasch Measurement Transactions. 6.1. Chicago: MESA Press. 55 Pardo, C. (2001). El Modelo de Rasch: Una alternativa para la evaluacin educativa en Colombia. En Revista Acta Colombiana de Psicologa. No. 5. Bogot: UCC.
CAPTULO 5
433
V.3.2. Depuracin de bases de datos para el anlisis de tems

Enseguida se indican las depuraciones que se realizarn a cada una de las cinco bases de datos conformadas, de acuerdo con lo especificado en el punto anterior.
Por informacin insuficiente

Se eliminarn los registros de aquellos estudiantes evaluados que respondan menos del 50% de los tems de uno cualquiera de los dos bloques que conforman el cuadernillo abordado. El propsito de esta depuracin es contar con la informacin de los estudiantes que asumieron la evaluacin con las caractersticas con que fue diseada en relacin con el tiempo disponible para responder, que supone un cierto nivel de lectura y de comprensin de lo que se le pregunta al estudiante. Se asume que el tiempo de prueba pudo ser insuficiente para aquellos estudiantes con menos del 50% de respuesta y/o que la prueba fue demasiado compleja para su nivel de desempeo.
Por preguntas no alcanzadas

Se eliminarn los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos ltimos tems del bloque que ocupe la segunda posicin en su cuadernillo56. De igual forma como se mencion para el punto anterior, se supone que el tiempo de prueba pudo ser insuficiente para aquellos estudiantes que no terminan de abordar la prueba, lo que podra sesgar los indicadores de los ltimos tems de la misma, es decir aquellos que no alcanzaron a ser abordados.
Por desajuste de los estudiantes evaluados

Se eliminarn los registros de aquellos estudiantes evaluados cuyo valor de ajuste prximo o lejano sea inferior a 0.7 o superior a 1.357. Este proceso se llevar a cabo luego del primer procesamiento de datos con el software utilizado mediante el cual se obtendrn los indicadores de ajuste mencionados. Una vez aplicados los criterios de depuracin, se procesarn las bases de datos para generar los indicadores estadsticos para el anlisis de tems, los cuales se describen en el captulo siguiente.
56 Pardo, C. (1993). Qu significa abordar un tem? Documento tcnico. Evaluacin SABER. Bogot: ICFES. 57 El rango de aceptacin podr cambiarse al intervalo comprendido entre 0.8 y 1.2, dependiendo de la calidad de los datos observados despus del primer procesamiento. Es decir, si la cantidad de datos que cumple el criterio de 0.7 a 1.3 es superior al 70% del total, se utilizara el rango ms exigente, de 0.8 a 1.2.
434
REPORTE TCNICO
V.3.3. Verificacin de los supuestos del modelo

Despus de depurar las bases de datos y de calibrar los tems se comprobarn los supuestos del modelo, siendo el primero la unidimensionalidad de cada una de las pruebas. Para hacerlo se divide cada prueba en dos subpruebas, con base en los valores de carga de eigen values en el primer factor residual (tabla 23.3 del Winsteps), dejando los valores positivos como una subprueba y los valores negativos como otra. Se procesa la informacin para todos los estudiantes en cada subprueba y se analiza la correlacin de estos datos. El valor de la correlacin debe ser alto. La independencia local se analiza, por pares de tems, a partir de los valores de correlacin (Pearson) entre los residuos lineales de todos los examinados que los responden (archivo de correlaciones inter-tem). El valor de estas correlaciones debe ser cercano a cero. En relacin con las ICC se calcula la probabilidad de respuesta para cada valor de habilidad para cada tem. La funcin de probabilidad debe ser montona creciente.
V.3.4. Indicadores estadsticos para el anlisis de tems

El anlisis de tems es un proceso cuantitativo y cualitativo mediante el cual se establece la calidad de los tems de un instrumento, en relacin con los propsitos para los cuales fueron elaborados. Su realizacin implica un saber profundo sobre el objeto de evaluacin, la poblacin evaluada, los propsitos de la evaluacin y requiere, adems, conocer debidamente las tcnicas de procesamiento de datos para hacer una adecuada interpretacin de los indicadores estadsticos disponibles. El proceso de anlisis de tems en el Estudio Principal debe conducir a la toma de decisiones en relacin con la inclusin o exclusin de tems, a partir de la identificacin clara de las posibles problemticas de los mismos. A continuacin se describe cada uno de los indicadores que se estimarn en el procesamiento de datos del SERCE, con miras a proveer informacin cuantitativa necesaria para adelantar el anlisis de tems. Los indicadores propuestos en este Documento son los ms ampliamente utilizados en distintos estudios de evaluacin educativa58596061; dichos indicadores se presentan agrupados en dos categoras: en la Categora 1 estn aquellos que permiten tomar la decisin de eliminar un tem, en virtud de que el exceder el criterio de aceptacin establecido implica o bien la violacin a los supuestos del modelo de anlisis o bien la contradiccin de los propsitos del estudio. En la Categora 2 se agrupan los indicadores que proporcionan informacin complementaria para una mejor comprensin del desempeo del tem en la evaluacin, pero que no implican una decisin de exclusin.
58 AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA. 59 Pardo, C. Rocha, M. y Barrera, L. (2005). Manual para Anlisis de tems y Calificacin pruebas ECAES. Documento de Trabajo. Bogot: ICFES. 60 Embretson, S. y Hershberger, S. (1999). The New Rules of Measurement. New Jersey: LEA. 61 Gregory, K. Martin, O. (2001). Technical Standards for IEA Studies. IEA.
CAPTULO 5
435
Tal como se procedi para el Estudio Piloto, la estimacin de indicadores para el anlisis de tems se realizar de manera iterativa, apreciando el efecto de eliminacin, tem a tem, sobre los indicadores de los dems tems de la prueba. Es decir, partiendo de las decisiones tomadas por el grupo de expertos de cada rea, en relacin con la eliminacin de tems con indicadores ms alejados de los rangos aceptables, hasta los menos alejados, se obtienen, sucesivamente, los indicadores de los tems restantes.
Indicadores de categora uno

Los indicadores que se mencionan a continuacin se aplicarn, para la toma de decisiones, en el mismo orden en que aparecen.
Ajuste prximo y lejano (Infit y Outfit)

Definicin: indica la correspondencia entre un grupo de datos y el modelo estadstico utilizado para representarlos. El ajuste prximo (infit) se refiere a la relacin entre los datos que se encuentran cerca del valor de dificultad del tem y el valor de dificultad; el ajuste lejano se refiere a la relacin de los datos que se encuentran lejos de dicho valor de dificultad y esa dificultad. Ambos indicadores deben ser calculados para la clave. Para las dems opciones de respuesta debe calcularse el ajuste lejano (outfit). Justificacin de uso: la utilizacin de un modelo para representar datos debe fundamentarse en la verificacin de que dicho modelo en verdad representa el comportamiento de los datos y, por ende, puede inferirse el cumplimiento de los supuestos de dicho modelo para los datos analizados. Interpretacin: los valores posibles se encuentran entre cero y ms infinito. El valor que determina el ajuste perfecto entre los datos y el modelo es 1. Los valores muy inferiores a 1 indican dependencia de los datos (paradoja de atenuacin); valores superiores a 1 indican ruido en la informacin; valores superiores a 2 indican que el ruido es mayor que la informacin til. Criterio de aceptacin: valores de ajuste entre 0.7 y 1.3.
Clculo: se basa en la suma de los cuadrados de los residuos estandarizados. Esta suma se aproxima a una distribucin chi cuadrado. Dividiendo esta suma por sus grados de libertad se obtiene un valor esperado de 1 y rango entre cero e infinito. Procedimiento para la toma de decisiones: se analizan, en primer lugar, los tems que excedan, por encima, el valor de ajuste lejano; luego se analizan los tems que estn por debajo del valor de ajuste lejano; posteriormente se analizan los tems que excedan, por encima, el valor de ajuste prximo y, finalmente, los tems que estn por debajo del valor de ajuste prximo. Se procesa la base de datos tantas veces como sea necesario en consideracin a las decisiones del panel de expertos.
436
REPORTE TCNICO
Funcionamiento diferencial de tems DIF62

Definicin: grado en el cual un tem presenta propiedades estadsticas diferentes en distintos grupos poblacionales, cuando se controla la habilidad de los grupos63. En el Estudio Principal los grupos corresponden a los pases participantes. Justificacin de uso: es un indicador de equidad en cuanto permite reconocer tems que presenten comportamiento estadstico diferente en los distintos pases participantes en el estudio, para reconocer necesidades particulares de ajuste o cualificacin de procesos educativos si se descartan problemas de construccin del tem. En cualquier caso, debe garantizarse que la calificacin final en el estudio se realice a partir de tems que no presenten un valor significativo del DIF. Interpretacin: se interpreta el test t de significancia estadstica para aceptacin o rechazo de la hiptesis de funcionamiento diferencial que es equivalente al test de significancia Mantel Haenszel. Criterio de aceptacin: se rechaza el funcionamiento diferencial cuando se encuentran valores inferiores a 1.96 de la prueba t con (n1+n2-2) grados de libertad. Estos valores son equivalentes al test de significacin Mantel-Haenszel. Clculo: el anlisis de DIF se realiza con todos los tems, excepto con el que est siendo analizado, anclando sus dificultades a los valores de las dificultades para la totalidad de los tems, incluyendo el que est siendo analizado. Se calcula un DIF de contraste que corresponde a la diferencia entre los tamaos de DIF de los tems en estudio, que es una estimacin log-odds, equivalente al tamao de DIF Mantel-Haenszel64. Procedimiento para la toma de decisiones: si un tem presenta DIF para un pas, el panel de expertos analizar si este valor se debe a sesgo por caractersticas del proceso educativo en dicho pas o si el tem debe eliminarse para la obtencin de resultados65.
Indicadores de categora dos

Dado que estos indicadores ofrecen informacin complementaria para entender el funcionamiento del tem, el grupo de expertos debe analizarlos en su totalidad para que sus decisiones sean bien fundamentadas.
Dificultad
Definicin: indica la posicin de la curva del tem a lo largo de la escala de habilidad; entre ms difcil es un tem, su curva estar localizada ms a la derecha en la escala de habilidad. Justificacin de uso: es uno de los parmetros fundamentales en los modelos de la TRI. Es indicador base
62 DIF, en ingls: Differential Item Functioning. 63 Holland, P. y Wainer, H. (1993). Differential Item Functioning. New Jersey: Lawrence Erlbaum Associates. 64 Linacre, J. (2006). A User Guides to Winsteps. 65 Los pases participantes en la aplicacin piloto adelantaron una primera revisin de los valores de DIF de todos los tems, con base en los informes de resultados de dicha aplicacin y no solicitaron a la Coordinacin Tcnica la exclusin de tems por razn de este criterio.
CAPTULO 5
437
para la conformacin de pruebas y de bancos de tems, as como para establecer comparabilidad de escalas. Se requiere para obtener otros indicadores de tems (curvas caractersticas, funcin de informacin). Interpretacin: los valores de dificultad oscilan entre menos infinito y ms infinito en la escala logit, aunque en trminos prcticos los tems toman valores entre 3.5 y +3.5, cuando el promedio de dificultades del grupo de tems se localiza en cero. Valores positivos y altos indican alta dificultad y los valores negativos indican baja dificultad. Criterio de anlisis: regularmente se analiza la distribucin de valores de dificultad del instrumento en relacin con los valores de habilidad de la poblacin evaluada para conceptuar sobre lo apropiado de la medicin de dicho instrumento, de acuerdo con los propsitos que lo inspiraron. Un aspecto importante de anlisis est dado por la densidad de tems en un punto de la escala de habilidad en particular; as, se espera que no haya ms de dos tems que midan un mismo componente o contenido con la misma dificultad. No se establecen de antemano valores de rechazo para este indicador; no obstante, tems que sean respondidos correctamente por la totalidad de la muestra o que no sean respondidos correctamente por ninguno de los estudiantes evaluados sern objeto de un reporte especial.
Discriminacin
Definicin: corresponde al poder de un tem para diferenciar a los estudiantes evaluados en distintos niveles de habilidad frente a un constructo medido66. Es el grado en el cual las respuestas a un tem varan en relacin con el nivel de habilidad. Se conoce tambin como la pendiente de la curva caracterstica en el punto de inflexin. El modelo de Rasch especifica que la discriminacin es uniforme para todos los tems pero el software utilizado indica cul sera la discriminacin de un tem cuando se parametriza este indicador. Justificacin de uso: el valor emprico calculado por el Winsteps indica la distancia en la escala de habilidad en la cual el tem mide, informacin que contribuye a contrastar los resultados con lo esperado por el panel de expertos. Interpretacin: los valores de discriminacin oscilan, tericamente, entre menos infinito y ms infinito. En la prctica, los tems presentan valores de discriminacin entre 0 y +2. Los valores que se aproximan a ms infinito se corresponden con un patrn de Guttman (discriminacin perfecta). Criterio de anlisis: valores de discriminacin altos indican que el tem mide efectivamente en un intervalo pequeo de habilidad y viceversa.
Correlacin producto momento punto medida

Definicin: relacin entre la respuesta correcta a un tem de una prueba y el valor de habilidad obtenido en dicha prueba. Este indicador supera las dificultades de la correlacin punto biserial tradicional en tanto no es afectada por valores omitidos (missing). Se calcular para la opcin que opera como clave y tambin para las dems opciones de cada tem.
66 ETS. (2000). ETS Standards for quality and fairness. Educational Testing Service. Princeton: New Jersey.
438
REPORTE TCNICO
Justificacin de uso: permite inferir la validez de los tems en cuanto stos se comporten como partes del instrumento. Interpretacin: puede tomar valores entre 1 y 1. Los valores positivos indican que la respuesta correcta al tem est asociada con altos puntajes en la prueba; valores negativos indican que dicha asociacin se da de manera inversa, es decir, altos puntajes en la prueba se asocian con una respuesta incorrecta al tem. Criterio de anlisis: es deseable que la distribucin de valores de correlaciones de los tems de la prueba incluya valores superiores 0.25. Igualmente, debe seguirse el orden del valor de la correlacin para la aceptacin de los tems. Valores negativos para la clave indican que puede haber problemas en la definicin de la respuesta correcta o en la pertinencia de alguna de las opciones.
Curva caracterstica del tem CCI67

Definicin: funcin matemtica que relaciona la probabilidad de respuesta correcta en un tem con la habilidad medida por el tem. Debe calcularse para cada tem la CCI y la Curva Emprica del tem68, tanto para la clave como para las dems opciones de respuesta. En el Informe de Anlisis de tems se mostrarn las grficas de tems que presenten problemas de ajuste; de no haber tems con problemas, se presentarn, a lo sumo, cuatro grficas por prueba. acin. Justificacin de uso: permite verificar el grado en que el modelo da cuenta de los resultados de la evalu-
Interpretacin: Consiste en verificar la correspondencia entre la curva emprica del tem y la curva caracterstica, de tal manera que se encuentre dentro de los lmites aceptables, preestablecidos en el software. Criterio de anlisis: los momentos en los cuales la curva real excede los lmites de aceptacin de la ICC (estos lmites aparecen sealados en color oscuro en cada grfica) indican que para el grupo de personas de esa habilidad no se cumple la medicin como la supone el modelo.
Promedio de habilidad por opcin

Definicin: promedio de las habilidades de quienes eligen cada opcin de respuesta de un tem. Debe incluirse, adicionalmente, la proporcin de respuestas para cada opcin. Esta informacin se presenta solamente para el informe internacional e incluye los datos de todos los estudiantes evaluados. Justificacin de uso: permite reconocer la proporcin de personas que selecciona una opcin como respuesta correcta y su habilidad promedio. La combinacin de estos dos datos proporciona informacin til para determinar la validez de cada tem en relacin con los marcos conceptuales de las pruebas y valorar la calidad de cada opcin.
67 Item Caracteristic Curve. 68 La curva basada en los puntajes observados puede llamarse Funcin Emprica de Respuesta al tem o Curva Emprica del tem (en ingls: Empirical Caracteristic Curve, ECC).
CAPTULO 5
439
Interpretacin: los valores posibles de habilidad promedio se encuentran entre menos infinito y ms infinito. Se espera que el promedio de habilidad para la opcin considerada clave sea el mayor de todos. El mapa de distribuciones de los promedios de habilidad de las opciones de todos los tems indica el funcionamiento relativo de todas las opciones y puede ser interpretado con base en los marcos conceptuales de las pruebas. El orden de los promedios de habilidades permite comprender las complejidades de las opciones para la poblacin evaluada. Las proporciones de respuesta para cada opcin dan una idea de su atraccin en una poblacin particular. Criterio de anlisis: la clave debe arrojar el mayor promedio de habilidad.
Correlaciones inter-tem
Definicin: son las correlaciones de los residuos entre los tems de un mismo bloque calculadas por el Winsteps. Los residuos son aquellas partes de las observaciones que no son explicadas por el modelo de Rasch. De acuerdo con las especificaciones del modelo, los residuos deben ser aleatorios y no presentar estructura. Justificacin de uso: indica el grado de relacin entre dos tems de un mismo bloque mostrando si miden lo mismo (unidimensionalidad del constructo). Interpretacin: Si el valor de las correlaciones es diferente de cero indica que los tems miden objetos diferentes. Criterio de anlisis: los valores de las correlaciones deben ser cero.
Error estndar de medicin

Definicin: corresponde a la desviacin estndar de una distribucin imaginaria de errores que representan la posible distribucin de valores observados alrededor del valor terico verdadero. Es un indicador de la confiabilidad. Justificacin de uso: si se calcula el error de medicin de cada habilidad estimada o dificultad estimada (o conjunto de habilidades o dificultades), se conoce la precisin de la medida o la estimacin. Interpretacin: errores demasiado grandes restan confianza en las estimaciones del parmetro. La escala de valores en la cual se reportan los errores est asociada con la escala de medicin utilizada, por lo cual no es posible establecer, de manera universal y de antemano, un valor mnimo aceptable de error. Anlisis: observar cmo se comportan los errores de medicin tanto de las personas como de los tems (por lo general, diferentes autores coinciden en que la decisin de cul sera un valor de error aceptable y cul no, debe derivarse de un juicio profesional experto de quienes conocen procedimientos psicomtricos, el instrumento de medida y su marco de fundamentacin69). Como en cualquier proceso de medicin, se espera que el error sea cercano a cero.
69
AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.
440
REPORTE TCNICO
Mapa de distribucin de habilidades y dificultades

Adems de los indicadores que se acaban de enunciar, en los informes de resultados para anlisis de tems se dispondr de una grfica que relaciona, en una misma escala, la distribucin de las dificultades de los tems y la distribucin de las habilidades de los estudiantes evaluados. Aunque no es un indicador estadstico en s mismo, utiliza indicadores de personas y de tems que ofrecen informacin pertinente para el anlisis de las pruebas y de los tems que las conforman. Esta grfica permite contrastar la dificultad de los tems en una poblacin particular y determinar si stos se ajustan a la poblacin; igualmente, es posible observar el cubrimiento de las habilidades por parte de los tems; permite identificar grupos de tems o de personas que por su nivel de dificultad o habilidad, respectivamente, merezcan una atencin especial en el anlisis. As, pueden ser contrastadas las expectativas de los constructores de tems, en relacin con el nivel de dificultad de los tems y observar si la muestra seleccionada se comporta de acuerdo con los propsitos del diseo muestral. En esta grfica las habilidades y las dificultades se presentan en una escala que oscila entre menos infinito y ms infinito. Si la distribucin de habilidades tiene valores inferiores a la distribucin de dificultades, quiere decir que para ese grupo poblacional los tems resultaron ms difciles de lo esperado. Por el contrario, si la distribucin de habilidades tiene valores superiores a la distribucin de dificultades, significa que para ese grupo poblacional los tems resultaron ms fciles.
Indicadores estadsticos para anlisis de grupos de tems

En consideracin a que el diseo del estudio contempla que los instrumentos utilizados estn conformados de acuerdo con agrupaciones de tems en bloques, aplicados de manera sistemtica en cuadernillos editados con arreglos distintos de dichos bloques, el anlisis de tems debe incluir una fase de anlisis de indicadores estadsticos que den cuenta del comportamiento de tales agrupaciones y de la prueba como totalidad. Tal como se procedi para el Estudio Piloto, se obtendrn indicadores para los bloques tanto cuando ocupan la primera posicin del cuadernillo como cuando ocupan la segunda posicin y para la totalidad de respuestas al bloque. Los indicadores por bloque se obtendrn luego de eliminar los tems, segn decisiones derivadas del anlisis de tems. En tal sentido, a continuacin se describen los indicadores propuestos para el anlisis de bloques y de pruebas. Es de anotar que dado que la aceptacin o rechazo de tems se hace con base en los indicadores de la Categora Uno mencionados en el anterior captulo, para los indicadores de grupos de tems no se define un criterio de aceptacin.
Promedio
Definicin: media aritmtica de las dificultades de los tems del bloque y de las habilidades de las personas que abordan cada bloque. Justificacin de uso: permite conocer el comportamiento de los diferentes bloques de cada prueba en relacin con la poblacin que los aborda.
CAPTULO 5
441
Interpretacin: si el bloque se encuentra ajustado a la poblacin, el promedio de habilidades debe ser aproximadamente igual al promedio de dificultades. Si el promedio de habilidades es superior, significa que el bloque fue relativamente fcil para ese grupo poblacional; si por el contrario el promedio de habilidades es inferior al promedio de dificultades, significa que el bloque fue relativamente difcil para ese grupo poblacional.
Desviacin estndar
Definicin: medida de la dispersin de la distribucin de las dificultades de los tems de un bloque y de la distribucin de las habilidades de las personas que abordan dicho bloque. Justificacin de uso: permite valorar la homogeneidad / heterogeneidad de los valores de dificultad del grupo de tems de un bloque, as como de los valores de habilidad del grupo poblacional que aborda dicho bloque. Interpretacin: desviaciones estndar altas (superiores a 1 en valores logit) indican heterogeneidad del grupo de datos; desviaciones estndar bajas (inferiores a 1 en valores logit) indican homogeneidad del grupo de datos. Esta informacin se contrasta con el respectivo valor del promedio para comprender el desempeo de una poblacin particular.
Puntuacin mxima y mnima

Definicin: puntuaciones logit ms alta y ms baja alcanzadas por una poblacin particular.
Justificacin de uso: permite reconocer los extremos de la distribucin de habilidades en una poblacin particular y contrastarlos con las expectativas de los evaluadores. Interpretacin: si el valor mximo en logits alcanzado por una poblacin es inferior al valor de habilidad equivalente a n-1 tems correctos, indica que el grupo de tems result complejo para las personas de ms alta habilidad. Si el valor mnimo, en logits, alcanzado por una poblacin es superior al valor de habilidad equivalente a 1 tem correcto, indica que el grupo de tems result fcil para las personas de ms baja habilidad. Se espera que los valores mnimos y mximos correspondan a 1 respuesta correcta y a n-1 respuestas correctas, respectivamente.
Funcin de informacin
Definicin: bajo la TRI la funcin de informacin puede ser vista como una expresin matemtica de la precisin de la medida en cada nivel del objeto evaluado; indica el grado de precisin en la medicin. Esta funcin corresponde a la informacin estadstica de cada tem, basada en el modelo de Fisher70. Justificacin de uso: la funcin de informacin es una alternativa a los ndices tradicionales de precisin en la medicin y est asociada con la confiabilidad de consistencia interna71.
70 71 Linacre, J. (2006). A User Guides to Winsteps. AERA, APA, NCME. (1999). Standards for educational and psychological testing. Washington: AERA.
442
REPORTE TCNICO
dida.
Interpretacin: a mayor valor de la funcin de informacin, Tambin es mayor la precisin en la me-
V.3.5. Depuracin de bases de datos para generacin de escalas de calificacin

Esta depuracin se realiza en dos momentos, uno sobre las bases de datos originales enviadas por los pases participantes en el Estudio Principal (que contienen informacin de todos los estudiantes evaluados) y dos, sobre las bases de datos despus de haber hecho el procesamiento para anlisis de tems. Ambos momentos pueden implicar la eliminacin de registros por las razones que se describen enseguida.
Depuracin previa al procesamiento para anlisis de tems

Por informacin insuficiente Se eliminarn los registros de aquellos estudiantes evaluados que respondan menos del 50% de los tems de cualquiera de los dos bloques que conforman el cuadernillo abordado.
Por preguntas no alcanzadas Se eliminarn los registros de aquellos estudiantes evaluados que no respondan (no alcancen) los dos ltimos tems del bloque que ocupe la segunda posicin en su cuadernillo. Por asistencia parcial Se eliminarn los registros de los estudiantes evaluados que no hayan asistido a todas las pruebas72. De esta manera se evita la necesidad de calcular ponderadores independientes para cada caso.
Depuracin posterior al procesamiento para anlisis de tems

Por desajuste de los estudiantes evaluados Se eliminarn los registros de aquellos estudiantes evaluados cuyo valor de ajuste prximo o lejano sea inferior a 0.7 o superior a 1.373. Una vez hecha esta depuracin se procesa de nuevo la informacin para proceder a aplicar los criterios de depuracin por anlisis de tems, propiamente dichos.
Por anlisis de tem Se eliminar la informacin de los tems que decida el panel de expertos con base en el anlisis de tems.
72 Este criterio se aplica solamente para las pruebas de Lectura, Matemtica y Ciencias, debido a que para el proceso de calificacin de la prueba de escritura se siguen criterios distintos. 73 El rango de aceptacin podr cambiarse dependiendo de la calidad de los datos observados despus del primer procesamiento.
CAPTULO 5
443
V.4. Escalas de calificacin74

Puntuacin total en la prueba La escala de puntuacin tiene promedio 500 y desviacin estndar 100 puntos. Se obtiene por una transformacin lineal de la escala logit o logstica (con cuatro cifras decimales) que produce directamente el software Winsteps para cada estudiante en el archivo ESTUDIANTES*.txt75 Nivel de desempeo El propsito es describir lo que los estudiantes saben y pueden hacer al obtener resultados iguales o superiores a varios puntos seleccionados en la escala de desempeo. El procedimiento se deriva del proceso denominado anclaje de escalas76 (por su nombre en ingls scale anchoring) y requiere que las puntuaciones de los estudiantes se encuentren en una escala comn. El procedimiento para obtener este resultado es el siguiente: Se selecciona un grupo de tems con el punto de anclaje ms bajo (entre -2 o -1 desviacin estndar de la media) y que corresponda con el nivel de desempeo ms bajo evaluado por la prueba con base en el marco conceptual. Para todos los dems tems de la prueba se obtiene su punto de anclaje que corresponde al punto de la escala en el cual los estudiantes tienen una probabilidad igual o superior a 0.6 de responderlo correctamente. Para describir el segundo punto de anclaje, se seleccionan los tems cuya probabilidad de ser respondidos correctamente es igual o superior a 0.6 en ese punto y que en el punto de anclaje anterior su probabilidad de ser respondidos correctamente sea inferior a 0.5 y la diferencia de las probabilidades sea superior a 0.2. Luego de establecer los tems de cada punto de anclaje y describir estos puntos con base en el marco conceptual de las pruebas por un panel de expertos, se obtiene el nivel de desempeo de cada estudiante. Un estudiante queda asignado al nivel de desempeo ms alto en el cual su probabilidad de responder correctamente los tems de ese punto es igual o superior a 0.6. Desempeo relativo por categoras de la estructura de la prueba Se obtendrn resultados del desempeo relativo por pas, a partir de las respuestas de sus estudiantes a cada una de las categoras de la estructura de prueba (dimensin disciplinar y dimensin cognitiva). Se dice que un grupo poblacional (pas) presenta un desempeo significativamente alto o bajo en una categora especfica si la diferencia entre su desviacin de la media para esa categora y su desviacin de la media general es superior al doble del error estndar de las diferencias entre estas desviaciones77.
74 Se tiene previsto aplicar las escalas de calificacin mencionadas a la totalidad de la poblacin evaluada, con excepcin de los estudiantes que no hayan respondido al 50% o ms de la prueba y que no hayan asistido a la totalidad de la evaluacin. 75 El asterisco (*) se reemplaza por el nombre de la prueba (rea y grado). 76 Bertrand, R. y Dupuis F. (1989). Data Analysis. En: A World of differences. An international assessment of mathematics and science. Technical Report. Educational Testing Service: IAEP 88. p 57. 77 Bertrand, R. y Dupuis F. (1989). Data Analysis. En: A World of differences. An international assessment of mathematics and science. Technical Report. Educational Testing Service: IAEP 88.
444
REPORTE TCNICO
Para una categora n y una poblacin j se hace la estimacin mediante la ecuacin 5.
C
en donde,
= X nj X n X tj X t nj
) (
(5)
Xn Xt
porcentaje promedio de respuestas correctas para la categora n porcentaje promedio de respuestas correctas para todas las poblaciones.
V.4.1. Niveles de desempeo

El propsito de esta seccin es explicar de forma breve y concisa la metodologa que hasta el momento se ha utilizado para establecer los niveles de desempeo en las reas evaluadas por el SERCE. Cabe sealar que los niveles se establecen para cada una de las reas por separado. En primera instancia se presenta una descripcin general. Enseguida se hace una explicacin ms tcnica de la metodologa. La categorizacin de los resultados por niveles de desempeo que se ha implementado en el SERCE tiene como finalidad presentar e interpretar los resultados desde una perspectiva pedaggica que indique lo que son capaces de hacer los estudiantes en cada nivel, facilitando su comunicabilidad a pblicos amplios y, de esta forma, orientando los resultados hacia la mejora de los procesos educativos. De acuerdo al propsito de presentar los resultados desde una perspectiva pedaggica, la metodologa para el establecimiento de los niveles sigue un enfoque criterialesto quiere decir que se complementan los criterios pedaggicos de la disciplina con los parmetros psicomtricos de los tems. Bajo este tipo de mtodo se combina informacin cuantitativa y cualitativa para definir los niveles. Desde la parte cuantitativa, se estima la probabilidad de respuesta para cada valor de habilidad y cada tem. Esto facilita reconocer probabilidades de respuesta semejantes para distintos tems en un mismo valor de habilidad, de tal manera que se infiera que las respuestas a ese conjunto de tems por personas con valores de habilidad especficos se deben al saber de las personas evaluadas (mientras mayor sea la probabilidad, mayor la certeza de que las respuestas se deben a la competencia evaluada). Desde la parte cualitativa, un grupo de expertos en la disciplina evaluadaLectura, Matemtica o Ciencias, para el caso del SERCEdefinen qu mide cada tem y qu mide el conjunto de tems que se parecen en las probabilidades de respuesta. De esta forma, la metodologa apunta a definir los niveles mediante un proceso de complementariedad de la informacin psicomtrica o cuantitativa y la informacin disciplinar o cualitativa dada por el anlisis que realizan los expertos del contenido y consistencia de los tems en trminos pedaggicos. De acuerdo a esta metodologa, es deseable que la informacin psicomtrica y la disciplinar tengan altos grados de coincidenciacabe anotar que tal fue el caso en la definicin de los niveles de todas las reas y grados evaluados por el SERCE.
CAPTULO 5
445
A continuacin se explican los detalles tcnicos de la metodologa empleada en el SERCE para la definicin de los niveles de desempeo. La metodologa para la definicin de los niveles de desempeo del SERCE propone establecer conjuntos de tems con caractersticas de medicin semejantes y que correspondan con categoras o elementos del anlisis curricular usado como marco terico de las pruebas. Este proceso se inicia con una verificacin psicomtrica de las propiedades de los tems y se confirma con una valoracin de los expertos. La metodologa usada en el SERCE para definir los niveles de desempeo propone establecer conjuntos de tems con caractersticas de medicin semejantes y que correspondan con categoras o elementos del anlisis curricular que sirvi de marco terico de las pruebas. Este proceso se inicia con una verificacin psicomtrica de las propiedades de los tems y se confirma con una valoracin de los expertos. La metodologa se basa en determinar puntos de anclaje. Un punto de anclaje implica un conjunto de tems con propiedades mtricas semejantes y que permitan describir un desempeo a travs de categoras del marco terico de las pruebas. Grficamente, esto implica establecer puntos de anclaje a lo largo de una escala, de la manera que se presenta enseguida:
P un to 1
P un to 2
P un to 3
El anlisis psicomtrico representa la primera etapa de esta metodologa, de acuerdo a los criterios que enseguida se explicitan. En primer lugar, las preguntas que quedan ubicadas en cada punto tienen una probabilidad de ser respondidas igual o superior a 0,6 en esos puntos. En segundo lugar, la probabilidad que tienen de ser respondidas con habilidades iguales al punto de anclaje anterior, es igual o inferior a 0,5. Y, finalmente, la diferencia de probabilidades es igual o superior a 0,2 con respecto al punto anterior. El cumplimiento de los tres criterios garantiza separaciones entre niveles de casi una desviacin estndar. En la segunda etapa de la metodologa los expertos de las reas describen los niveles a partir del conjunto de tems de cada punto, ofreciendo una explicacin de lo que son capaces de hacer los estudiantes agrupados en ese nivel. En esta segunda etapa se llevan a cabo dos procesos. El primer proceso consiste en un anlisis que realizan los expertos de forma individual de las preguntas con distinto nivel de dificultad, con el objetivo de identificar y definir desde la disciplina las caractersticas comunes a los tems que integran cada nivel. El segundo proceso implica que los expertos identifican posibles incoherencias o inconsistencias en la agrupacin de los tems desde el punto de vista de la disciplina. Un supuesto fundamental de la metodologa es que el anlisis psicomtrico y el disciplinar deben tener grados razonables de coincidencia. Esto implica que los tems que se agrupan, por ejemplo, en el nivel ms bajo de
446
REPORTE TCNICO
desempeo representen las tareas menos complejas desde el punto de vista de la disciplina. Si existen discrepancias entre el anlisis psicomtrico y el disciplinar en algn tem, tal tem se descarta para la definicin del nivelaunque no necesariamente se deseche para la estimacin de puntajes de logro. Una vez que los anlisis psicomtrico y disciplinar de los tems convergen, los especialistas definen los niveles para dar una interpretacin de lo que saben hacer los alumnos clasificados en cada nivel. El proceso de definicin de los niveles pone particular cuidado en asegurar la alineacin con el marco de las pruebas (el anlisis curricular), la progresin y la inclusividad. Los expertos buscan que la definicin de cada nivel est alineada a las pruebas y al marco de stas. As se asegura que los niveles coinciden con lo que las pruebas miden. Los especialistas de rea, utilizando tambin la informacin psicomtrica, velan tambin por que se cumpla la progresin entre niveles, que consiste en que los niveles ms altos se componen de tareas ms complejas que los niveles ms bajos. Adems, los especialistas de rea y los expertos en psicometra, usando la informacin psicomtrica de los tems, cuidan la inclusividad en las definiciones de niveles para asegurar que, por ejemplo, un estudiante clasificado en el nivel III tenga muy altas probabilidades de contestar correctamente los tems correspondientes al nivel II y al nivel I. Una vez que se llega a la definicin psicomtrica y disciplinar de los niveles, se clasifica a los estudiantes dentro de cada nivel. Un estudiante queda ubicado en un nivel si la probabilidad de superar el punto de anclaje es igual o superior a 0,6 (igual que en el caso anterior). Esta metodologa, al combinar aspectos psicomtricos con disciplinares puede llevar a que los puntos de anclaje no puedan determinarse a priori conforme a puntos especficos de la escala. En trminos prcticos, la metodologa privilegia la seleccin del conjunto de tems que mejor describa el desempeo de los estudiantes por sobre la definicin de puntos de corte que coincidan con puntos de la escala. Grficamente, la metodologa del SERCE podra llevar a definir los puntos de corte tal y como se presenta abajo.
300
400
500
600
700
P un to 1
P un to 2
P un to 3
Utilizando este procedimiento general, se definieron los niveles para las reas y grados evaluados. La distribucin de tems por nivel en cada rea y grado.
CAPTULO 5
447
CIENCIAS GRADO 6 REPORTE NIVELES
NIVEL I DC6B4IT04 DC6B1IT08 DC6B2IT04 DC6B3IT07 DC6B5IT05
NIVEL II DC6B4IT01 DC6B1IT02 DC6B5IT08 DC6B3IT13 DC6B4IT12 DC6B4IT14 DC6B3IT04 DC6B5IT13 DC6B6IT07 DC6B4IT15 DC6B1IT01 DC6B3IT12 DC6B1IT05 DC6B1IT12 DC6B6IT11 DC6B6IT09 DC6B6IT10 DC6B4IT09 DC6B3IT15 DC6B1IT15 DC6B4IT10
NIVEL III DC6B1IT11 DC6B1IT14 DC6B1IT07 DC6B5IT06 DC6B2IT10 DC6B1IT13 DC6B2IT08 DC6B6IT08 DC6B5IT12 DC6B5IT10 DC6B3IT11 DC6B5IT14 DC6B3IT02 DC6B1IT03 DC6B5IT03 DC6B5IT07
NIVEL IV DC6B2IT14 DC6B1IT09 DC6B3IT03 DC6B3IT06 DC6B2IT09 DC6B6IT02 DC6B4IT13 DC6B4IT08
448
REPORTE TCNICO
NIVELES DE LECTURA tems para cada nivel de desempeo para lectura en grado 3.
NIVEL I DL3B1IT06 DL3B1IT09 DL3B3IT03 DL3B3IT04 DL3B3IT02 DL3B4IT04
NIVEL II DL3B4IT03 DL3B4IT02 DL3B6IT11 DL3B1IT01 DL3B1IT11 DL3B1IT07 DL3B5IT05 DL3B5IT10 DL3B2IT01 DL3B4IT10
NIVEL III DL3B6IT07 DL3B4IT05 DL3B1IT08 DL3B4IT06 DL3B3IT01 DL3B1IT05 DL3B2IT03 DL3B3IT07 DL3B6IT01 DL3B6IT08 DL3B6IT06 DL3B5IT03 DL3B1IT10 DL3B6IT10 DL3B1IT04 DL3B1IT03 DL3B2IT04 DL3B3IT05 DL3B3IT06 DL3B2IT05
NIVEL IV DL3B4IT11 DL3B6IT05 DL3B6IT09 DL3B6IT02 DL3B4IT09 DL3B5IT04 DL3B2IT11
CAPTULO 5
449
tems para cada nivel de desempeo para lectura en grado 6.
NIVEL I DL6B2IT03 DL6B2IT04 DL6B5IT01 DL6B1IT01 DL6B2IT07 DL6B2IT01
NIVEL II DL6B3IT02 DL6B5IT05 DL6B3IT04 DL6B4IT08 DL6B4IT01 DL6B2IT10 DL6B3IT14 DL6B4IT09 DL6B5IT06 DL6B2IT06 DL6B2IT05 DL6B3IT05 DL6B3IT01 DL6B3IT03
NIVEL III DL6B1IT12 DL6B5IT08 DL6B4IT05 DL6B4IT06 DL6B5IT07 DL6B5IT09 DL6B5IT12 DL6B2IT08 DL6B6IT12 DL6B5IT15 DL6B2IT13 DL6B2IT11 DL6B1IT06 DL6B6IT08 DL6B4IT16 DL6B6IT09 DL6B4IT10 DL6B6IT07 DL6B1IT15 DL6B3IT13 DL6B6IT14 DL6B6IT05 DL6B6IT03
NIVEL IV DL6B2IT15 DL6B6IT15 DL6B1IT10 DL6B1IT13 DL6B3IT15 DL6B6IT04 DL6B4IT12 DL6B1IT03 DL6B4IT04 DL6B4IT14 DL6B5IT16 DL6B4IT03 DL6B5IT13 DL6B1IT04 DL6B3IT09 DL6B3IT12 DL6B2IT14 DL6B1IT07 DL6B5IT02 DL6B3IT08 DL6B3IT06
450
REPORTE TCNICO
V.4.2. Software para procesamiento

El procesamiento de datos para el estudio SERCE debe ofrecer informacin suficiente para efectuar el anlisis de tems con los indicadores sugeridos en los captulos anteriores. En el mercado se cuenta con oferta considerable de software que opera con los supuestos de la Teora de Respuesta al tem y que implementa las funciones matemticas de sus diferentes modelos, enunciadas en el captulo 1 de este documento. La diferencia entre un software y otro, ya sea que estn o no inspirados en un mismo modelo, radica principalmente en aspectos como el tamao poblacional y la longitud de los instrumentos que les es posible procesar, en la formulacin matemtica particular que implementan y, quizs lo ms importante, desde el punto de vista de un proceso de evaluacin, en la confiabilidad (precisin) de los datos que arroja. Se revisaron distintas caractersticas tcnicas (la cantidad de indicadores que reporta el software y la precisin en la estimaciones de los mismos; la cantidad de datos que tiene capacidad de analizar; los requerimientos de conformacin de bases de datos; la convergencia en las estimaciones y la interfase grfica) de programas de software disponibles en el mercado, tales como Bilog MG, Multilog, Parscale, Rascal y Winsteps y se lleg a la conclusin que este ltimo ofrece las mayores ventajas para el procesamiento de datos del estudio principal del proyecto SERCE. Winsteps es un software que opera en plataforma Windows y que implementa los principios de la Teora de Respuesta al tem para construir mediciones objetivas a partir de una base de datos sencilla en la cual se especifican personas (estudiantes evaluados) y sus respuestas a un grupo de tems. El mtodo de estimacin que utiliza el Winsteps es conocido como Joint Maximum Likelihood Estimation (JMLE), tambin llamado UCON (Unconditional Maximum Likelihood Estimation), tiene la ventaja de producir estimaciones simtricas y ser muy flexible para trabajar con datos omitidos (missing), adems de su capacidad para analizar pruebas de gran longitud (las pruebas del Estudio Principal tienen alrededor entre 66 y 96 tems) y de no suponer una distribucin especfica de personas (las muestras en el Estudio Principal son independientes para cada pas). Es de considerar que con este mtodo las estimaciones presentan sesgo cuando el conjunto de datos es pequeo, caso que no corresponde con las caractersticas del Estudio Principal78. El software puede trabajar de manera simultnea con varios formatos de tems (dictomos, de seleccin mltiple con nica y con mltiple respuesta y de crdito parcial); ofrece gran variedad de reportes tabulares y con interfases grficas, en los cuales se presenta de manera detallada y tambin resumida, el comportamiento de las poblaciones y de los tems analizados. Una caracterstica importante es que el software seala con claridad los datos que presentan comportamientos por fuera de lo esperado. La generacin de escalas de calificacin usando Winsteps constituye un proceso relativamente simple, toda vez que el software permite el procesamiento de datos, agrupados segn variables de inters, sin requerir modificaciones en la estructura de la base de datos original. Winsteps tambin permite prefijar (anclar) valores de los parmetros para facilitar procesos de comparabilidad (equating).
78 Para conocer una discusin ms amplia sobre las caractersticas y ventajas del mtodo JMLE, puede consultarse: Wright, B y Masters, G. (1982). Rating Scales Analysis.
CAPTULO 5
451
Winsteps puede procesar hasta 10 millones de personas y 30 mil tems y cada tem puede contemplar hasta 255 categoras de calificacin (el de mayor capacidad, para tems y categoras, en el mercado). El software tiene un manual detallado para orientar su uso y la interpretacin de la informacin que arroja; adems, la firma Winsteps ofrece apoyo tcnico en lnea, oportuno y eficaz, para solventar inquietudes tanto de procesamiento como de interpretacin de datos.
V.5. CONSTRUCCIN Y VALIDACIN DE LOS NDICES UTILIZADOS PARA EL ESTUDIO DE FACTORES ASOCIADOS
NDICES DE FACTORES ASOCIADOS UTILIZADOS
Si bien se procesaron ms ndices de factores asociados de los que finalmente se utilizaron en el estudio. Los ndices utilizados son:
ISEC ndice Socio Econmico y Cultural ICE ndice de Clima Escolar ISD ndice Satisfaccin Docente IGED ndice Gestin Educativa Director IDD ndice Desempeo Docente ICEH ndice Contexto Educativo Hogar ndice de acceso a servicios bsicos de la escuela ndice de infraestructura de la escuela
Para mayor informacin respecto de los mtodos de clculo de los ndices y sus estadsticas referirse al captulo 5 del reporte tcnico del SERCE. 1) ndice Socio Econmico y Cultural
Indica el nivel socio econmico de la familia desde el punto de vista del bienestar del estudiante y la posibilidad de acceso a la cultura en los contextos local, regional y universal. Este ndice cuenta con variables que entregan informacin directa de los padres, de la lengua de origen, de la infraestructura y servicios con los que cuenta en su hogar, as como la disponibilidad de recursos educativos en el hogar. En su construccin existe un nfasis especial en las condiciones del hogar, asumiendo la relacin que existe entre los bienes materiales con los bienes que facilitan el acceso a la cultura. Para la elaboracin de este ndice se utilizaron las siguientes preguntas del cuestionario de familia:
452
REPORTE TCNICO
Pregunta 2 Cul es el nivel educativo ms alto que las siguientes personas han completado? Alternativas: El padre/ La madre 1. No estudi 2. Primaria incompleta 3. Primaria completa 4. Secundaria o media incompleta 5. Secundaria o media completa 6. Superior o universitaria incompleta 7. Superior o universitaria completa Pregunta 5 Qu idioma aprendi a hablar primero el estudiante? 1. Castellano o portugus 2. Lengua extranjera 3. Lengua indgena 1 4. Lengua indgena 2 5. Otra lengua indgena. Pregunta 8 De qu material son los pisos de la vivienda en su mayor parte?8 1. Parquet, madera pulida o piso alfombrado 2. Baldosas, cermica o similar 3. Cemento 4. Tierra 5. Tablas de madera sin pulir Pregunta 9 Con cules de los siguientes servicios cuenta la vivienda? 1. Luz elctrica 2. Agua potable 3. Desage 4. Telfono 5. Servicio de TV pagada (cable, satelital) 6. Servicio de Internet Pregunta 10 Cules de los siguientes bienes estn presentes en el hogar? 1. Aparato de TV a color 2. Radio 3. Equipo de msica 4. Video grabadora 5. Reproductor de DVD o VHS 6. Computadora 7. Celular 8. Refrigeradora 9. Cocina a gas o elctrica 10. Horno microondas
CAPTULO 5
453
11. 12. 13. 14. 15.
Lavadora de ropa Secadora de ropa Lavavajillas Auto Moto
Pregunta 11 Cuntos libros hay en el hogar? Incluya todos los tipos de libro: de poesa, novelas, diccionarios, para estudiar, etc. 1. No hay libros 2. Hay menos de 10 libros 3. Hay entre 10 y 50 libros 4. Hay ms de 50 libros 2) ndice de Clima Escolar
Indica el grado en el cual el estudiante se siente acogido en su escuela y en el aula de clase. Para ello se base en los sentimientos y estados de nimo que despiertan diferentes situaciones del contexto educativo relacionados con sus compaeros y docentes. As tambin, tiene en cuenta aspectos relacionados con el agrado y la tranquilidad que siente el estudiante cuando se encuentra en la escuela, el grado de pertenencia a la institucin y la relacin con sus compaeros. En sexto grado este ndice incluye la dedicacin, atencin y relacin que el estudiante percibe de sus docentes, la disciplina (orden) de los estudiantes en el aula y la violencia verbal y fsica que ocurre en al interior del establecimiento. Para la elaboracin de este ndice se utilizaron las siguientes preguntas del cuestionario para el estudiante: Para 3: Pregunta 9 Cmo te sientes cuando ests en la escuela? Alternativas: Si/No 1. Contento/a 2. Aburrido/a 3. Entretenido/a 4. Nervioso/a 5. Tranquilo/a Pregunta 10 Si te dijeran que tienes que cambiar de escuela, cmo te sentiras? 1. Me dara mucha alegra. 2. Me dara lo mismo. 3. Me dara un poco de pena. 4. Me dara mucha pena.
454
REPORTE TCNICO
Pregunta 11 Cmo es tu clase? Alternativas: Si/No 1. Algunos molestan mucho. 2. Peleamos siempre. 3. Somos buenos amigos. 4. Nos entretenemos con los deberes o tareas que nos da la maestra/o. Para 6: Pregunta 20 Cmo te sientes cuando ests en la escuela? Alternativas: Casi siempre, A veces, Casi nunca.20 1. Contento/a 2. Aburrido/a 3. Entretenido/a 4. Nervioso/a 5. Tranquilo/a Pregunta 21 Si te dijeran que tienes que cambiar de escuela, cmo te sentiras? 1. Me dara mucha alegra. 2. Me dara lo mismo. 3. Me dara un poco de pena. 4. Me dara mucha pena. Pregunta 22 Cmo es tu clase? Alternativas: Si/No 1. Algunos compaeros molestan mucho. 2. Peleamos siempre. 3. Somos buenos amigos. 4. Nos entretenemos con los deberes o tareas que nos da la maestra/o. Pregunta 23 En tu escuela: Alternativas: Si/No 1. Los estudiantes nos llevamos bien con la mayora de profesores. 2. La mayora de los profesores est interesado en que los estudiantes estn bien. 3. La mayora de los profesores realmente escucha lo que yo tengo que decir. 4. Si necesito ayuda extra, los profesores me la van a dar. 5. La mayora de los profesores me trata bien. Pregunta 24 Ocurren estas cosas en tu clase? Alternativas: Siempre o casis siempre, Algunas veces, Nunca o casi nunca. 1. El profesor tiene que esperar largo rato a que los alumnos se tranquilicen. 2. Los estudiantes escuchan lo que dice el profesor. 3. Hay ruido y desorden en la clase.
CAPTULO 5
455
Pregunta 25 Sabes si alguna de estas cosas pas en tu escuela durante el ltimo mes? Alternativas: Si/No En mi escuela. 1. me robaron algo. 2. le robaron algo a alguien de mi clase. 3. fui insultado o amenazado por otro estudiante. 4. alguien en mi clase fue insultado o amenazado por otro estudiante. 5. otro estudiante me peg o me hizo dao. 6. otro estudiante le peg o le hizo dao a alguien de mi clase. 3) ndice Satisfaccin Docente
Grado en el cual el docente siente que se han cumplido sus expectativas personales, laborales y profesionales en el contexto escolar. Se tienen en cuenta aspectos relacionados con el salario, las relaciones del docente (tanto en lo personal como profesional) con diferentes miembros de la comunidad educativa. La autonoma y respaldo que el establecimiento brinda para su desarrollo profesional y para el desarrollo de su labor pedaggica en condiciones ptimas. Para la elaboracin de este ndice se utiliz la pregunta 18 del cuestionario para el docente. Pregunta 18 Indique cul es su grado de satisfaccin con los siguientes aspectos: Alternativas: Muy satisfecho, Satisfecho, Poco satisfecho, Nada satisfecho. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. Su salario Sus posibilidades de desarrollo profesional Su relacin con el director Su relacin con los dems docentes Su relacin con los estudiantes Su relacin con los padres de familia El apoyo recibido por parte de la direccin del centro educativo en temas pedaggicos El apoyo recibido por parte de las autoridades educativas fuera de la escuela Su relacin con la comunidad La libertad para realizar su trabajo El apoyo de sus colegas El respeto que muestran por usted los alumnos(as) en el aula El reconocimiento del director por su trabajo Las oportunidades de trabajar en equipo con sus colegas Su trabajo dentro del aula.
456
REPORTE TCNICO
4)
ndice Gestin Educativa Director
Indica la evaluacin que el director hace de determinados aspectos de las actividades que l mismo gestiona. Se tienen en cuenta aspectos relacionados con la participacin de padres en la escuela, la colaboracin y comunicacin de los miembros de la escuela, la satisfaccin de los docentes con su trabajo, las relaciones entre las diferentes personas que integran la comunidad educativa y la comunicacin hacia fuera de la institucin. Para la elaboracin de este ndice se utiliz la pregunta 26 del cuestionario para el director. Pregunta 26 En su escuela, cmo percibe usted los siguientes aspectos? Indicando si los percibe Muy bien, Bien, Regular, Mal 1. La participacin de los padres 2. El trabajo en equipo del personal 3. La comunicacin entre sus miembros 4. La colaboracin de los profesores en las actividades que propone la direccin 5. El entusiasmo de los profesores 6. El orgullo de los profesores por pertenecer a la escuela 7. Las relaciones entre profesores 8. Las relaciones entre profesores y estudiantes 9. Las relaciones entre estudiantes 10. Las relaciones entre profesores y padres de familia 11. La comunicacin con las autoridades educativas fuera de la escuela 5) ndice Desempeo Docente
Indica la frecuencia con que los docentes realizan diferentes actividades propias de la enseanza de las diferentes disciplinas y la frecuencia y el uso que hacen de las tareas que dejan a los estudiantes. Para la elaboracin de este ndice se utilizaron las siguientes preguntas del cuestionario sobre la enseanza: Lectura 3 y 6 Pregunta 6 Para cada uno de los siguientes contenidos del rea de lenguaje, elija la respuesta que mejor describa cundo y cunto han sido o est previsto sean enseados a los estudiantes. Las alternativas de respuesta son: Principalmente enseado en aos anteriores, Fue enseado este ao con carcter introductorio, Fue enseado este ao de manera suficiente, Fue ensead este ao en profundidad, Est previsto que se ensee en aos posteriores. Lectura 3 1. Conceptos de texto y prrafo 2. Tipos de textos, identificacin de usos e intenciones 3. Comprensin de textos narrativos literarios
CAPTULO 5
457
4. 5. 6. 7. 8. 9. 10.
Comprensin de textos no literarios (descriptivos, explicativos, periodsticos, ldicos) Verificacin de la comprensin de lo ledo Reconocimiento del texto por su forma o silueta Comprensin del sentido de frases y palabras a partir del resto del texto Reconocimiento de datos puntuales dados en el texto Integracin de datos dispersos en el texto Integracin de informaciones de dos o ms textos
Escritura 3 11. Planificacin del escrito segn la intencin, la clase de texto y el contexto 12. Organizacin final de un escrito atendiendo al contexto 13. Organizacin final de un escrito atendiendo a la intencin comunicativa 14. Organizacin final de un escrito de acuerdo con las reglas de la coherencia y la cohesin 15. Escritura de palabras e acuerdo con normas lxicas 16. Escritura de oraciones de acuerdo con normas gramaticales Lectura 6 1. Conceptos de texto y prrafo 2. Tipos de textos: identificacin de usos, contextos e intenciones 3. Comprensin de textos narrativos literarios 4. Comprensin de textos no literarios (descriptivos, explicativos, periodsticos informativos, periodsti cos argumentativos, instructivos) 5. Comprensin de dilogos representados por escrito 6. Verificacin de la comprensin de lo ledo 7. Reconocimiento del texto por su forma o silueta 8. Comprensin de imgenes que constituyen o complementan textos 9. Comprensin del sentido de frases y palabras a partir del resto del texto 10. Reconocimiento de datos puntuales dados en el texto 11. Integracin, en un resumen, de datos distribuidos a lo largo del texto 12. Integracin de informaciones de dos o ms textos Escritura 6 13. Escritura de textos narrativos: cuentos y ancdotas 14. Escritura de textos no literarios: informes, descripciones enciclopdicas crnicas periodsticas 15. Planificacin del escrito segn la intencin, la clase de texto y el contexto 16. Organizacin final de un escrito atendiendo al contexto 17. Organizacin final de un escrito atendiendo a la intencin comunicativa 18. Organizacin final de un escrito de acuerdo con las reglas de la coherencia y la cohesin 19. Escritura de palabras de acuerdo con normas lxicas 20. Escritura de palabras de acuerdo con normas ortogrficas 21. Escritura de oraciones de acuerdo con normas gramaticales.
458
REPORTE TCNICO
Pregunta 7 Cuando realiza actividades de lectura con los estudiantes, con qu frecuencia hace lo siguiente? Las alternativas son Todas las clases, La mayora de las clases, Algunas clases, Nunca. Para 3y 6: 1. Leer en voz alta a la clase textos extensos 2. Pedir a los estudiantes que lean en voz alta fragmentos al resto de la clase 3. Pedir a los estudiantes que lean de manera silenciosa textos breves 4. Orientar a los estudiantes para que escojan libros y los lean ellos mismos 5. Mostrar diferentes estrategias de lectura a los estudiantes Pregunta 9 Con qu frecuencia les deja tareas de lenguaje para la casa a los estudiantes? Para 3y 6: 1. Todas las clases 2. La mayora de las clases 3. Algunas clases 4. Nunca dejo tarea Pregunta 10 Cuando le deja tarea de lenguaje para la casa a los estudiantes, cuntos minutos espera que les tome resolverlas? Para 3y 6: 1. Menos de 15 minutos 2. 15-30 minutos 3. 31-60 minutos 4. 61-90 minutos 5. Ms de 90 minutos Pregunta 11 Con qu frecuencia hace lo siguiente en relacin con dichas tareas?. Las alternativas son: Siempre, La mayora de las veces, Algunas veces, Nunca. Para 3y 6: 1. Revisa si hicieron o no la tarea. 2. Corrige las tareas y las califica. 3. Le explica o pone comentarios a cada estudiante sobre sus errores. 4. Resuelve la tarea en la pizarra y cada estudiante corrige su tarea. 5. Hace que los estudiantes corrijan sus tareas en grupo. 6. Usa la tarea como base para el trabajo que se hace en la clase.
CAPTULO 5
459
Matemtica 3 y 6 Pregunta 6 Para cada uno de los siguientes contenidos del rea de matemtica, elija la respuesta que mejor describa cundo y cunto han sido o est previsto sean enseados a los estudiantes. Las alternativas son: Principalmente enseado en aos anteriores, Fue enseado este ao con carcter introductorio, Fue enseado este ao de manera suficiente, Fue enseado este ao en profundidad, Est previsto que se ensee en aos posteriores. Para 3: Numeracin 1. Esquemas clasificatorios (cuadros de doble entrada) 2. Relaciones entre nmeros naturales menores que 1000 3. Sucesiones finitas, crecientes y decrecientes usando nmeros naturales menores que 1000 4. Lectura y escritura de nmeros menores que 10000 5. Fracciones (concepto, representacin grfica, lectura y escritura de fracciones con denominador menor que 10) 6. Adicin y sustraccin con nmeros naturales menores que 1000 7. Multiplicaciones de dos nmeros de 1 dgito, y un nmero de dos dgitos por otro de 1 dgito 8. Operaciones combinadas de adicin y sustraccin con nmeros naturales menores que 1000 9. Resolucin de problemas usando adicin, sustraccin y multiplicacin con nmeros naturales menores que 1000 10. Concepto de divisin con sentido de reparto Geometra 11. Representacin de puntos y segmentos en una recta 12. Representaciones verbales y grficas de recorridos 13. Localizacin en el espacio y en el plano 14. Identificacin de tringulos y sus elementos 15. Reconocimiento de cuadrados y rectngulos, sus elementos y propiedades de sus lados 16. Reconocimiento de fi guras de tres dimensiones: cubo Medicin 17. Clculo de la longitud de objetos usando unidades oficiales o convencionales de medida 18. Relaciones y equivalencias entre longitudes 19. Representacin de rectas paralelas y perpendiculares en el plano 20. Resolucin de problemas de clculo de longitudes usando unidades oficiales o convencionales de me dida 21. Uso de instrumentos de medida 22. Medidas de peso (masa) 23. Medidas de tiempo, uso del calendario y del reloj
460
REPORTE TCNICO
Estadstica 24. Registro de datos en tablas de doble entrada 25. Elaboracin de grficos de barras 26. Interpretacin de tablas y grficos Para 6: Numeracin 1. Sucesiones 2. Descomposicin y composicin de nmeros 3. Representacin de nmeros decimales en la recta numrica 4. Relaciones entre fracciones y nmeros decimales exactos 5. Identificacin de nmeros primos y compuestos 6. Identificacin de divisores y mltiplos de un nmero natural 7. Potenciacin como operacin abreviada de la multiplicacin 8. Operaciones combinadas de adicin, sustraccin, multiplicacin, divisin y potenciacin de nmeros naturales 9. Operaciones combinadas de adicin, sustraccin, multiplicacin y divisin con fracciones 10. Operaciones combinadas de adicin, sustraccin, multiplicacin y divisin de nmeros decimales 11. Resolucin de problemas usando adicin, sustraccin, multiplicacin y divisin de nmeros naturales 12. Resolucin de problemas usando adicin, sustraccin, multiplicacin y divisin de fracciones 13. Resolucin de problemas usando adicin, sustraccin, multiplicacin y divisin de decimales 14. Elaboracin y/o interpretacin de tablas y grficos de proporcionalidad directa 15. Nocin de escala en la lectura, elaboracin e interpretacin de grficos 16. Concepto y clculo de porcentajes 17. Resolucin de problemas usando porcentajes, proporcionalidad, y escala Geometra 18. Tringulos, elementos, propiedades de sus lados y de sus ngulos 19. Caractersticas de polgonos regulares. Elementos y propiedades 20. Clasificacin de figuras y cuerpos geomtricos 21. Uso de escalas para hacer representaciones en el plano 22. Reconocimiento y/o construccin de rectas paralelas y perpendiculares 23. Clasificacin de ngulos 24. Circunferencia y crculo. Elementos y propiedades Medicin 25. reas de tringulos, cuadrados, rectngulos y crculos 26. Medicin de ngulos, sistema sexagesimal 27. Medidas de longitud, peso (masa), capacidad y tiempo 28. Volumen de prismas 29. Relaciones entre decmetro cbico y litro 30. Resolucin de problemas que involucren clculo de ngulos
CAPTULO 5
461
31. 32. 33.
Resolucin de problemas que involucren clculo de permetros Resolucin de problemas que involucren clculo de reas Resolucin de problemas que involucren clculo de volmenes.
Estadstica 34. Elaboracin de tablas y grficos 35. Interpretacin de tablas y grficos 36. Problemas relacionados al registro, organizacin e interpretacin de datos y grficos estadsticos 37. Clculo e interpretacin del promedio de un conjunto de datos 38. Probabilidad de un evento en experimento aleatorio 39. Resolucin y formulacin de problemas aplicando estadstica
Pregunta 7 Cuando le ensea matemtica a los estudiantes de tercer grado, con qu frecuencia les pide hacer lo siguiente? Las alternativas son: Muy frecuentemente, Frecuentemente, Algunas clases, Nunca o casi nunca Para 3y 6: 1. Memorizar conceptos matemticos 2. Practicar sumas, restas, multiplicaciones y divisiones 3. Resolver problemas usando un procedimiento conocido 4. Resolver problemas que incluyen una variable 5. Resolver problemas que incluyen dos o ms variables 6. Interpretar datos en tablas, cuadros o grficos Pregunta 8 Con qu frecuencia les deja tareas de matemtica para la casa a los estudiantes?8 Para 3y 6: 1. Todas las clases 2. La mayora de las clases 3. Algunas clases 4. Nunca dejo tarea Pregunta 9 Cuando le deja tarea de matemtica para la casa a los estudiantes, cuntos minutos espera que les tome resolverla? 1. Menos de 15 minutos 2. 15-30 minutos 3. 31-60 minutos 4. 61-90 minutos 5. Ms de 90 minutos
462
REPORTE TCNICO
Pregunta 10 Con qu frecuencia hace lo siguiente en relacin con dichas tareas? Las alternativas son: Siempre, La mayora de las veces, Algunas veces, Nunca. Para 3: 1. Revisa si hicieron o no la tarea 2. Corrige las tareas y las califica 3. Le explica o pone comentarios a cada estudiante sobre sus errores 4. Resuelve la tarea en la pizarra y cada estudiante corrige su tarea 5. Hace que los estudiantes corrijan sus tareas en grupo 6. Usa la tarea como base para el trabajo que se hace en la clase Ciencias 6 Pregunta 7 Para cada uno de los siguientes contenidos del rea de ciencias, elija la respuesta que mejor describa cundo y cunto han sido o est previsto sean enseados a los estudiantes de sexto grado. Las alternativas son: Principalmente enseado en aos anteriores, Fue enseado este ao con carcter introductorio, Fue enseado este ao de manera suficiente, Fue enseado este ao en profundidad, Est previsto que se ensee en aos posteriores. La Vida 1. 2. 3. 4.
Origen de la vida: evidencias de la evolucin, las eras geolgicas, y la aparicin de los diferentes seres vivos. La diversidad vegetal y animal Aparicin del ser humano y su evolucin La salud
La Materia 5. Elementos y compuestos 6. tomos y molculas 7. Propiedades generales de las sustancias 8. Mezclas y combinaciones 9. Cambios qumicos Ciencias del Ambiente 10. Concepto de energa. Fuentes y transformaciones 11. Fuentes de energa renovables y no renovables 12. Manifestaciones de energa (combustibles, elctrica, sonido) 13. Importancia de la energa y relacin con la tecnologa 14. La importancia de la energa solar y su captacin en el proceso fotosinttico 15. La importancia del suelo como recurso para el desarrollo de los vegetales 16. La comunidad, los ecosistemas y el flujo de la energa de la cadena trfica 17. Equilibrio ecolgico 18. Ecosistemas del pas 19. Uso racional de los recursos y proteccin del medio ambiente
CAPTULO 5
463
Ciencias de la Tierra 20. El universo 21. Origen del sistema solar y caractersticas de los planetas 22. La tierra, sus caractersticas y movimientos 23. Grandes zonas de la tierra: litosfera, hidrosfera y atmsfera
Pregunta 8 Cuando le ensea ciencias a los estudiantes de sexto grado, con qu frecuencia realizan lo siguiente? Las alternativas son: Todas la clases, La mayora de las clases, Algunas clases, Nunca 1. Me observan hacer un experimento. 2. Disear o planear experimentos o investigaciones. 3. Hacer experimentos o investigaciones. 4. Relacionar lo que aprenden en ciencias con su vida diaria. 5. Elaborar un informe sobre algo que estn estudiando. 6. Observar algo como el clima o una planta en crecimiento y escribir lo que ven. 7. Exponer un resumen de una lectura. 8. Exponer su propio trabajo o experimento a la clase. Pregunta 9 Con qu frecuencia les deja tareas de ciencias para la casa a los estudiantes de sexto grado?9 1. Todas las clases 2. La mayora de las clases 3. Algunas clases 4. Nunca dejo tarea Pregunta 10 Cuando le deja tarea de ciencias para la casa a los estudiantes de sexto grado, cuntos minutos espera que les tome resolverla? 1. Menos de 15 minutos 2. 15-30 minutos 3. 31-60 minutos 4. 61-90 minutos 5. Ms de 90 minutos Pregunta 11 Con qu frecuencia hace lo siguiente en relacin con dichas tareas? Las alternativas son: Siempre, La mayora de las veces, Algunas veces, Nunca. 1. Revisa si hicieron o no la tarea 2. Corrige las tareas y las califica 3. Le explica o pone comentarios a cada estudiante sobre sus errores 4. Resuelve la tarea en la pizarra y cada estudiante corrige su tarea 5. Hace que los estudiantes corrijan sus tareas en grupo 6. Usa la tarea como base para el trabajo que se hace en la clase
464
REPORTE TCNICO
6)
ndice Contexto Educativo Hogar
Indica el grado en el cual la familia se ha hecho participe de la educacin del nio, incluso antes que este comenzar su etapa escolar. Esto incluye la frecuencia con que la familia realiza actividades que tienen que ver con la educacin del estudiante, tanto en el plano de las actividades familiares como en la relacin de la familia con la escuela. Las preguntas utilizadas en este ndice indagan sobre la educacin preescolar del estudiante, el conocimiento que tiene la familia de la escuela y los docentes y la opinin que tiene la familia sobre la escuela a la que asiste su hijo. Para la elaboracin de este ndice se utilizaron las siguientes preguntas del cuestionario de familia: Pregunta 12 Cuando el nio/a era ms pequeo, acostumbraba usted a leerle cuentos, leyendas, historias o relatos? 1. Casi todos los das 2. Una o dos veces por semana 3. Una o dos veces al mes 4. Casi nunca o nunca Pregunta 13 Entre los 0 y 3 aos, el estudiante, asisti a alguna guardera? 1. No 2. S, asisti 1 ao 3. S, asisti 2 aos 4. S, asisti 3 aos Pregunta 14 Entre los 4 y 6 aos, el estudiante, asisti a algn centro de educacin inicial o preescolar? 1. No 2. S, asisti 1 ao 3. S, asisti 2 aos 4. S, asisti 3 aos Pregunta 15 Este ao, ha participado usted en las siguientes actividades? Alternativas: Siempre o casi siempre, Algunas veces, Nunca o casi nunca, No se han convocado 1. Actividades que se realizan en la escuela (deportivas, culturales, ferias, etc.) 2. Reuniones de todos los padres de familia de la clase convocadas por el profesor 3. Reuniones a las que convoca el director sobre el funcionamiento de la escuela 4. Reuniones organizadas por la Asociacin de Padres de Familia Pregunta 16 Conoce usted al o los maestros del nio/a que est participando de la evaluacin? 1. Todava no lo/s he conocido 2. Lo/s conozco de vista 3. Lo/s conozco un poco 4. Lo/s conozco bastante
CAPTULO 5
465
Pregunta 17 Este ao, ha participado usted en la eleccin de padres de familia en alguna de las siguientes agrupaciones? Alternativas: Si, Fueron convocadas pero no particip, No fueron convocadas. 1. Asociacin de Padres de Familia 2. Consejo Escolar (organizacin que rene a director, profesores y padres de familia) Pregunta 18 A su criterio, la escuela a la que concurre su nio/a es: 1. Muy buena 2. Buena 3. Regular 4. Mala 5. Muy mala Pregunta 19 Cul es su opinin sobre la escuela de su nio/a : Alternativas: De acuerdo, En desacuerdo, No s.19 1. El funcionamiento de la escuela es ordenado. 2. Los maestros ensean bien. 3. Los maestros son puntuales y no faltan. 4. La direccin tiene un buen desempeo. 5. Se tiene en cuenta la opinin de los padres de familia. Pregunta 20 Le gustara que su nio/a asistiera a otra escuela? 1. No, est bien ah 2. S, pero no podra pagarlo 3. S, pero no hay otra a una distancia accesible 4. S, pero no podra cambiarlo por otras razones (vacantes, normas, etc.)
7)
ndice de acceso a servicios bsicos de la escuela
En la construccin de este ndice se utiliz la pregunta 11 de la Ficha de Empadronamiento de la Escuela: Pregunta 11 Servicios bsicos con los que cuenta la escuela 1. Luz elctrica 2. Agua Potable 3. Desage 4. Telfono 5. Baos en cantidad suficiente
466
REPORTE TCNICO
8)
ndice de infraestructura de la escuela
En la construccin de este ndice se utiliz la pregunta 12 de la Ficha de Empadronamiento de la Escuela: Pregunta 12 Con qu instalaciones cuenta la escuela? 1. Oficina para el director 2. Oficinas adicionales (de secretara, de administracin, etc.) 3. Sala de reuniones para profesores 4. Campo o cancha deportiva 5. Laboratorio de ciencias 6. Gimnasio 7. Huerto escolar 8. Sala de computacin 9. Auditorio 10. Cocina 11. Comedor 12. Sala de artes o msica 13. Enfermera 14. Servicio psicopedaggico 15. Biblioteca de la escuela
CAPTULO 5
467
ANEXO 5
Aspectos metodolgicos
El anlisis de factores asociados del SERCE trat de incorporar usar el nivel de pas para construir modelos de tres nivelesestudiantes, escuelas y pases. Sin embargo, el nmero reducido de unidades impidi generar estimadores a nivel pas. Se incorporaron los pases como un sistema de variables dicotmicas en el segundo nivel y se pudo observar que en los modelos finales persisten diferencias estadsticamente significativas por pas. Dichos modelos no se muestran en este reporte. Las inferencias de este estudio corresponden a los factores que en promedio se asocian al rendimiento en todos los pases de la regin. Por ello, se usa una estructura de ponderadores muestrales o factores de expansin con un universo fijo para cada uno de los pases. Las muestras se expandieron a 6000 estudiantes y 200 escuelas por pas, considerando siempre la proporcionalidad de la muestra en relacin con el universo en cada pas. De esta forma se salvaguard que todos los pases tuvieran el mismo peso en el anlisis de regresin, evitando que los pases grandes atraigan las estimaciones hacia sus promedios. Finalmente, los ponderadores se normalizaron utilizando la opcin del software HLM. Los modelos se construyeron siguiendo la lgica de incorporar variables de ajuste sobre las caractersticas socioeconmicas del alumnado, en primera instancia, para despus aadir las variables relativas a los factores escolares. Se construy un modelo regional para cada rea y grado. Una vez que se alcanz un modelo final que fuera parsimonioso para la regin, ste se aplic a cada uno de los pases. Los modelos por pas incluyen todas las variables del modelo regional, con la excepcin de Cuba donde se excluye la variable de escuelas urbanas privadas (por no existir en el pas), as como la remocin de la variable estudiante indgena en El Salvador y Uruguay (por ser muy cercano a cero el nmero de estudiantes en la muestra clasificados como indgenas). Las variables se centraron siguiendo criterios distintos. Los ndices de clima escolar y de contexto educativo del hogar se centraron en la media del grupo para el nivel del estudiante y en la gran media en el nivel de escuela. El resto de los ndices compuestos incluidos como predictores en el nivel de escuela se centraron en la gran media. Por ltimo, las variables dicotmicas, los ndices sumativos de infraestructura y servicios y las variables de aos de preescolar y nmero de computadores se dejaron en su mtrica original para facilitar la interpretacin. Se probaron efectos aleatorios para el clima escolar y el ndice de contexto educativo del hogar. Sin embargo, la magnitud de la variacin asociada a esta aleatoriedad no era suficiente como para justificar la inclusin de efectos aleatorios en los modelos. Todos los modelos incluyen solamente efectos fijos.
468
REPORTE TCNICO
INDICADORES ESTADSTICOS DE LOS NDICES

El primer indicador, como se mencion anteriormente es de consistencia interna o confiabilidad de los diferentes ndices. Se obtuvieron tres medidas de este indicador.
NDICE ISEC 6 ISEC 3 ICE 3 ICE 6 ISD 3 ISD 6 IGED IDD L3 IDD L6 IDD M3 IDD M6 IDD C6 ICEH 3 ICEH 6
Confiabilidad Rasch 0.84 0.84 0.70 0.63 0.83 0.84 0.81 0.85 0.89 0.89 0.92 0.89 0.67 0.71
Alpha Cronbach 0.94 0.94 0.72 0.84 0.88 0.88 0.90 0.87 0.91 0.91 0.94 0.90 0.69 0.71
Separacin 2.26 2.27 1.51 1.29 2.18 2.33 2.04 2.37 2.85 2.87 3.41 2.82 1.42 1.56
CAPTULO 5
469
Varianza Explicada
NDICE ISEC 6 ISEC 3 ICE 3 ICE 6 ISD 3 ISD 6 IGED IDD L3 IDD L6 IDD M3 IDD M6 IDD C6 ICEH 3 ICEH 6
VARIANZA 80.70 80.60 59.80 58.70 47.00 47.10 44.40 30.80 32.80 34.80 34.60 31.80 59.30 59.60
INDICADORES ESTADSTICOS DE LOS TEMS DE LOS NDICES

A continuacin se presentan tablas con los valores estadsticos de cada uno de los tems de los ndices utilizados en SERCE. Los valores estadsticos informados son: Dificultad Indica la dificultad relativa de cada tem utilizado. A mayor valor, ms difcil el tem. Ajuste prximo y lejano Grado en el cual los datos son representados por el modelo. Como se mencion anteriormente, se espera que ninguno exceda el valor de 2. Correlacin Indica si hay una relacin entre responder el tem en un cierto sentido y la puntuacin total obtenida en el ndice.
470
REPORTE TCNICO
Discriminacin Como se mencion con anterioridad es el grado en el cual las respuestas a un tem varan en relacin con el nivel de habilidad. El valor esperado es 1.
ISEC 3
TEM 5 8 9.1 9.2 9.3 9.4 9.5 9.6 10.1 10.2 10.3 10.4 10.5 10.6 10.7 10.8 10.9 10.10 10.11 10.12 10.13 10.14 10.15 11 2.1a 2.2a 2.3a 2.4a DIFICULTAD AJUSTE PRXIMO AJUSTE LEJANO CORRELACIN DISCRIMINACIN -9.5241 -10.532 -0.692 0.0018 1.3979 2.3356 3.4032 5.1512 0.1839 0.4364 2.1597 3.765 2.7444 3.9192 1.4194 0.9613 0.4503 3.5304 2.1806 4.4326 5.5002 3.6862 4.7825 -4.2993 -0.0697 -5.3336 -4.5436 -3.8375 0.99 2.17 0.39 0.78 0.89 0.84 0.92 0.74 0.65 1.24 0.87 0.83 0.78 0.7 0.98 0.67 0.67 0.76 0.78 0.92 1.05 0.76 1.14 2.54 0.86 0.63 0.81 0.9 0.92 2.12 0.25 0.63 0.83 0.76 0.93 0.63 0.45 1.3 0.78 0.8 0.67 0.62 0.88 0.48 0.49 0.66 0.67 0.82 1.98 0.67 1.71 3.3 0.78 0.76 0.93 1.09 0.37 0.69 0.49 0.49 0.59 0.63 0.52 0.44 0.59 0.34 0.62 0.54 0.64 0.59 0.56 0.68 0.63 0.6 0.66 0.43 0.21 0.58 0.25 0.61 0.4 0.43 0.27 0.25 1.07 -0.23 1.32 1.16 1.13 1.26 1.12 1.23 1.24 0.87 1.21 1.26 1.39 1.44 1.06 1.31 1.25 1.39 1.34 1.09 0.91 1.38 0.81 -1.54 1.1 1.33 1.15 1.04
2.1b 2.2b 2.3b 2.4b
0.0742 -5.3289 -4.5486 -3.8066
0.88 0.63 0.8 0.91
0.78 0.74 0.91 1.13
0.43 0.43 0.29 0.25
1.09 1.34 1.17 1.01
CAPTULO 5
471
ISEC 3
TEM 5 8 9.1 9.2 9.3 9.4 9.5 9.6 10.1 10.2 10.3 10.4 10.5 10.6 10.7 10.8 10.9 10.10 10.11 10.12 10.13 10.14 10.15 11 2.1a 2.2a 2.3a 2.4a 2.1b 2.2b 2.3b 2.4b DIFICULTAD AJUSTE PRXIMO AJUSTE LEJANO CORRELACIN DISCRIMINACIN -9.8877 11.241 -0.6122 0.1959 1.6967 2.5163 3.5078 5.2438 0.3817 0.5596 2.2885 3.9775 2.9789 4.0203 1.5791 1.136 0.6296 3.7628 2.4257 4.5971 5.5381 3.9166 5.1059 -5.2396 0.0857 -5.6314 -4.892 -4.1297 0.1748 -5.6272 -4.9088 -4.1487 0.91 2.15 0.38 0.83 0.93 0.86 0.96 0.73 0.69 1.2 0.89 0.85 0.81 0.7 0.99 0.71 0.72 0.79 0.83 0.95 1.06 0.8 1.14 2.32 0.87 0.63 0.82 0.93 0.89 0.64 0.82 0.93 0.86 2.09 0.22 0.68 0.89 0.78 0.96 0.55 0.46 1.18 0.8 0.83 0.72 0.61 0.88 0.52 0.52 0.7 0.72 0.9 2.06 0.72 1.82 2.77 0.76 0.74 0.92 1.13 0.79 0.73 0.91 1.13 0.31 0.68 0.43 0.44 0.55 0.61 0.51 0.49 0.56 0.31 0.59 0.54 0.62 0.62 0.52 0.64 0.58 0.59 0.63 0.43 0.22 0.57 0.23 0.61 0.36 0.39 0.26 0.25 0.38 0.4 0.26 0.27 1.12 -0.28 1.3 1.13 1.1 1.25 1.08 1.27 1.22 0.91 1.19 1.25 1.36 1.49 1.05 1.27 1.22 1.38 1.3 1.07 0.88 1.34 0.81 -1.39 1.09 1.34 1.15 1.01 1.08 1.35 1.16 1.01
A pesar de los valores altos de ajuste para los tems 8 y 11, estos no se eliminan considerando el valor de la varianza explicada, el valor alto de la correlacin y la importancia terica en el aporte a la comprensin del factor y su medida.
472
REPORTE TCNICO
CLIMA 3 TEM 9.1 9.2 9.3 9.4 9.5 10 11.1 11.2 11.3 11.4 DIFICULTAD -2.888 -1.801 -0.906 -1.462 -2.114 0.679 1.524 -1.151 -2.32 -1.297 AJUSTE PRXIMO 0.94 0.92 1.05 1 0.9 0.92 1.16 0.99 0.97 1 AJUSTE LEJANO 0.87 0.85 1.1 0.99 0.8 1.22 1.27 0.99 0.93 1.03 CORRELACIN DISCRIMINACIN 0.3 0.41 0.34 0.37 0.4 0.67 0.28 0.39 0.32 0.36 1.04 1.09 0.88 1.01 1.09 1.01 0.77 1.01 1.03 0.99
CLIMA 6 TEM 20.1 20.2 20.3 20.4 20.5 21 22.1 22.2 22.3 22.4 23.1 23.2 23.3 23.4 23.5 24.1 24.2 24.3 DIFICULTAD 0.204 0.971 1.182 1.416 0.179 0.249 2.236 -0.963 -1.4 -0.168 -1.2 -1.99 -0.952 -1.062 -1.779 1.283 -0.623 1.26 AJUSTE PRXIMO 0.97 1.28 1.18 1.24 1.04 1.31 0.94 0.95 0.95 0.98 0.96 0.97 0.96 1 0.95 0.98 0.96 0.92 AJUSTE LEJANO 0.93 1.41 1.25 1.34 1.05 1.39 0.96 0.84 0.8 0.96 0.87 0.8 0.87 0.99 0.75 0.99 0.93 0.93 CORRELACIN DISCRIMINACIN 0.39 0.08 0.18 0.12 0.31 0.43 0.41 0.35 0.32 0.36 0.32 0.26 0.34 0.28 0.3 0.5 0.46 0.54 1.08 -0.12 0.29 0.16 0.9 0.59 1.08 1.06 1.05 1.04 1.04 1.03 1.05 1 1.05 1.04 1.07 1.14
CAPTULO 5
473
CLIMA 6 TEM 25.1 25.2 25.3 25.4 25.5 25.6 DIFICULTAD 0.477 0.903 -0.19 0.304 -0.766 0.43 AJUSTE PRXIMO 0.93 0.93 0.9 0.89 0.93 0.91 AJUSTE LEJANO 0.89 0.9 0.8 0.83 0.79 0.85 CORRELACIN DISCRIMINACIN 0.45 0.46 0.45 0.48 0.39 0.47 1.22 1.28 1.19 1.29 1.09 1.29
Todos los valores se encuentran dentro de los criterios establecidos.
ISD 3 TEM 18.1 18.2 18.3 18.4 18.5 18.6 18.7 18.8 18.9 18.10 18.11 18.12 18.13 18.14 18.15 DIFICULTAD 2.863 0.74 -0.313 -0.961 -1.412 -0.254 0.596 1.81 -0.351 -0.599 -0.417 -0.808 0.24 0.227 -1.362 AJUSTE PRXIMO 1.6 1.26 0.88 0.87 0.9 1 0.94 1.13 0.97 0.89 0.85 1.02 0.85 0.86 0.98 AJUSTE LEJANO 1.67 1.26 0.83 0.84 0.78 1.02 0.93 1.15 0.95 0.83 0.8 0.99 0.81 0.84 1 CORRELACIN DISCRIMINACIN 0.33 0.49 0.61 0.59 0.53 0.57 0.64 0.6 0.58 0.6 0.63 0.52 0.66 0.66 0.53 0.26 0.72 1.14 1.16 1.14 1 1.08 0.85 1.03 1.13 1.17 0.99 1.17 1.16 1.02
474
REPORTE TCNICO
ISD 6 TEM 18.1 18.2 18.3 18.4 18.5 18.6 18.7 18.8 18.9 18.10 18.11 18.12 18.13 18.14 18.15 DIFICULTAD 2.942 0.809 -0.29 -1.133 -1.368 -0.39 0.494 1.757 -0.436 -0.556 -0.492 -0.844 0.209 0.168 -0.871 AJUSTE PRXIMO 1.56 1.27 0.91 0.91 0.93 0.99 0.89 1.15 0.94 0.88 0.89 1.02 0.86 0.85 0.95 AJUSTE LEJANO 1.61 1.29 0.85 0.9 0.84 0.99 0.87 1.16 0.91 0.84 0.84 0.94 0.84 0.84 0.94 CORRELACIN DISCRIMINACIN 0.44 0.52 0.58 0.55 0.51 0.56 0.64 0.62 0.59 0.58 0.6 0.51 0.63 0.65 0.55 0.31 0.7 1.13 1.11 1.1 1.01 1.13 0.82 1.06 1.14 1.13 1 1.16 1.16 1.06
IGED TEM 26.1 26.2 26.3 26.4 26.5 26.6 26.7 26.8 26.9 26.10 DIFICULTAD 1.241 -0.066 0.048 -0.281 -0.1 -0.088 -0.104 -0.529 -0.125 0.004 AJUSTE PRXIMO 1.63 0.87 0.99 0.8 0.79 0.81 0.85 0.92 1.26 1.01 AJUSTE LEJANO 1.64 0.86 0.97 0.78 0.78 0.78 0.85 0.84 1.24 0.97 CORRELACIN DISCRIMINACIN 0.61 0.73 0.71 0.71 0.74 0.72 0.71 0.68 0.63 0.71 0.27 1.14 1.04 1.19 1.2 1.19 1.14 1.1 0.75 1
CAPTULO 5
475
IDD C6
TEM
7.1 7.2 7.3 7.4 7.5 7.6 7.7 7.8 7.9 7.10 7.11 7.12 7.13 7.14 7.15 7.16 7.17 7.18 7.19 7.20 7.21 7.22 7.23 8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 9 11.1 11.2 11.3 11.4 11.5 11.6
DIFICULTAD AJUSTE PRXIMO AJUSTE LEJANO CORRELACIN DISCRIMINACIN

0.621 0.1247 0.5379 0.0685 0.5182 0.6369 0.5917 0.7553 0.6131 -0.0924 -0.2147 -0.0883 -0.1141 -0.2459 -0.0782 -0.1954 -0.1899 -0.0073 -0.214 0.2481 0.2279 0.1 0.1321 0.6557 0.5175 0.3474 -0.7255 0.0484 0.2004 -0.0208 -0.004 -0.3441 -1.7691 -1.3213 -0.9038 -0.0795 0.0698 -0.4063 1.05 1.05 1.07 1.35 0.92 0.9 0.91 0.91 0.95 0.84 0.86 0.85 0.82 0.92 1.09 1 0.95 1.08 1.14 1.08 1.11 1.16 1.14 0.76 0.6 0.67 0.99 0.72 0.64 0.73 0.73 1.22 1.64 1.53 1.38 1.26 1.18 1.28 1.03 1.05 1.06 1.38 0.92 0.89 0.91 0.88 0.94 0.84 0.85 0.84 0.81 0.89 1.08 0.98 0.92 1.06 1.13 1.06 1.09 1.14 1.14 0.86 0.66 0.72 1.02 0.75 0.67 0.76 0.76 1.26 1.61 1.52 1.38 1.29 1.23 1.31 0.49 0.51 0.51 0.45 0.49 0.47 0.51 0.52 0.5 0.57 0.6 0.59 0.59 0.57 0.56 0.59 0.62 0.56 0.58 0.56 0.56 0.56 0.51 0.15 0.28 0.26 0.23 0.32 0.33 0.3 0.3 0.1 0.3 0.28 0.26 0.22 0.19 0.24 1.11 1.2 1.14 0.7 1.19 1.14 1.25 1.26 1.2 1.41 1.45 1.46 1.49 1.34 1.22 1.33 1.44 1.23 1.18 1.22 1.2 1.15 1.07 0.69 0.98 0.93 0.78 1 1.05 0.99 0.99 0.19 0.78 0.67 0.56 0.23 0.23 0.35
476
REPORTE TCNICO
IDD L3 TEM 6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 6.9 6.10 6.11 6.12 6.13 6.14 6.15 6.16 7.1 7.2 7.3 7.4 7.5 9 11.1 11.2 11.3 11.4 11.5 11.6 DIFICULTAD 0.4172 0.4638 -0.0188 0.2764 -0.3347 0.4488 0.2067 0.1469 0.5649 0.8185 0.2312 0.1928 0.1786 0.3199 0.0706 -0.1125 0.1713 -0.237 -0.2845 0.1814 -0.0437 -0.544 -1.8677 -1.157 -0.7815 0.0868 0.6304 -0.0249 AJUSTE PRXIMO 0.96 0.86 0.96 0.81 1.07 0.91 0.82 0.8 0.75 0.87 0.81 0.72 0.73 0.85 0.96 1.04 1.27 0.97 1.1 0.92 0.92 1.15 1.78 1.66 1.35 1.25 1.18 1.35 AJUSTE LEJANO 0.99 0.85 0.96 0.81 1.03 0.91 0.82 0.79 0.75 0.86 0.8 0.71 0.72 0.85 0.95 1.02 1.34 0.99 1.15 0.97 0.95 1.21 1.64 1.68 1.32 1.28 1.25 1.38 CORRELACIN DISCRIMINACIN 0.5 0.56 0.57 0.56 0.58 0.56 0.61 0.62 0.6 0.56 0.63 0.64 0.64 0.62 0.58 0.55 0.2 0.25 0.21 0.25 0.26 0.18 0.27 0.25 0.31 0.28 0.25 0.26 1.15 1.33 1.22 1.39 1.16 1.29 1.49 1.51 1.54 1.32 1.49 1.61 1.6 1.43 1.28 1.14 0.27 0.82 0.61 0.74 0.84 0.64 0.78 0.58 0.68 0.39 0.34 0.29
CAPTULO 5
477
IDD L6
TEM 6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 6.9 6.10 6.11 6.12 6.13 6.14 6.15 6.16 6.17 6.18 6.19 6.20 6.21 7.1 7.2 7.3 7.4 7.5 9 11.1 11.2 11.3 11.4 11.5 DIFICULTAD 0.6633 0.3921 0.002 0.1071 0.2137 -0.2786 0.4302 0.3696 0.0795 0.0937 0.0845 0.4618 0.0491 0.3773 0.3495 0.3084 0.2259 0.2642 0.0322 -0.199 -0.1741 0.2772 -0.2319 -0.2355 0.1701 -0.1468 -0.4152 -1.7884 -1.0753 -0.7308 -0.0283 0.4909 AJUSTE PRXIMO 1.17 0.89 0.96 0.85 0.8 1 0.83 0.79 0.8 0.81 0.79 0.85 0.93 0.83 0.76 0.7 0.73 0.8 0.86 0.92 0.93 1.23 1.07 1.25 0.99 1.04 1.26 1.79 1.65 1.48 1.39 1.24 AJUSTE LEJANO 1.21 0.9 0.99 0.85 0.8 0.94 0.83 0.78 0.78 0.79 0.79 0.84 0.92 0.84 0.74 0.69 0.71 0.79 0.85 0.87 0.89 1.38 1.12 1.35 1.07 1.06 1.38 1.7 1.63 1.45 1.48 1.39 CORRELACIN 0.5 0.58 0.61 0.61 0.62 0.65 0.61 0.62 0.66 0.63 0.6 0.57 0.62 0.57 0.63 0.65 0.65 0.64 0.64 0.66 0.65 0.18 0.19 0.15 0.26 0.24 0.18 0.29 0.27 0.28 0.23 0.21 DISCRIMINACIN 1.02 1.34 1.34 1.38 1.52 1.38 1.44 1.55 1.59 1.51 1.4 1.32 1.43 1.31 1.54 1.62 1.61 1.52 1.48 1.45 1.43 0 0.49 0.19 0.33 0.5 0.36 0.73 0.52 0.49 0.03 -0.13
11.6
-0.1383
1.39
1.43
0.25
0.15

478
REPORTE TCNICO
IDD M3 TEM 6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 6.9 6.10 6.11 6.12 6.13 6.14 6.15 6.16 6.17 6.18 6.19 6.20 6.21 6.22 6.23 6.24 6.25 6.26 7.1 7.2 7.3 7.4 7.5 7.6 DIFICULTAD 1.0247 -0.0085 -0.011 -0.5063 0.1226 -0.3992 -0.4639 -0.22 -0.4528 -0.189 0.2504 0.5505 0.4742 0.0665 0.0954 0.4534 0.3111 0.48 0.3211 0.4825 0.1638 0.3429 -0.0473 0.8028 0.6411 0.6269 0.3766 -1.5407 -0.856 0.2344 0.251 0.5508 AJUSTE PRXIMO 1.01 1.43 1.2 1.13 1 1.44 1.22 1.09 0.99 1.02 0.82 0.77 0.78 0.86 0.81 0.86 0.76 0.77 0.83 0.78 0.69 0.78 0.85 0.86 0.88 0.87 1.27 1.17 1.03 0.91 0.89 0.99 AJUSTE LEJANO 1.03 1.44 1.2 1.13 1.05 1.42 1.2 1.09 0.95 1 0.81 0.78 0.79 0.86 0.81 0.86 0.75 0.78 0.83 0.77 0.69 0.79 0.84 0.84 0.87 0.86 1.4 1.3 1.11 0.96 0.94 1.07 CORRELACIN DISCRIMINACIN 0.38 0.45 0.49 0.51 0.45 0.48 0.51 0.52 0.57 0.54 0.57 0.54 0.54 0.56 0.58 0.51 0.59 0.57 0.55 0.59 0.6 0.54 0.56 0.52 0.51 0.52 0.12 0.24 0.28 0.31 0.31 0.3 0.98 0.69 1 1.05 0.96 0.81 1.01 1.12 1.27 1.19 1.48 1.42 1.41 1.41 1.52 1.27 1.6 1.49 1.42 1.56 1.69 1.46 1.47 1.25 1.24 1.25 -0.08 0.85 0.84 0.68 0.74 0.64
CAPTULO 5
479
TEM 7.7 8 10.1 10.2 10.3 10.4 10.5 10.6
DIFICULTAD 0.5246 -0.7473 -1.8672 -1.1452 -0.8359 -0.1541 0.4363 -0.1393
AJUSTE PRXIMO 0.88 1.09 1.7 1.53 1.29 1.24 1.08 1.26
AJUSTE LEJANO 0.99 1.18 1.69 1.59 1.31 1.3 1.15 1.34
CORRELACIN DISCRIMINACIN 0.31 0.18 0.29 0.27 0.29 0.25 0.23 0.24 0.69 0.69 0.84 0.68 0.71 0.3 0.27 0.27
IDD M6 TEM 6.1 6.2 6.3 6.4 6.5 6.6 6.7 6.8 6.9 6.10 6.11 6.12 6.13 6.14 6.15 6.16 6.17 6.18 6.19 DIFICULTAD 0.878 0.3154 0.1969 -0.2059 0.0109 -0.1494 -0.1857 -0.394 -0.3186 -0.3174 -0.386 -0.3108 -0.3019 0.1419 0.3981 -0.165 -0.034 0.1253 0.1055 AJUSTE PRXIMO 1.25 1.15 0.99 0.88 1.09 1.06 1.1 1.08 0.97 0.88 1.14 0.88 0.85 0.89 0.73 0.87 0.88 0.97 0.82 AJUSTE LEJANO 1.27 1.15 1.01 0.85 1.11 1.04 1.11 1.04 0.94 0.85 1.09 0.85 0.81 0.89 0.73 0.87 0.88 0.95 0.8 CORRELACIN 0.39 0.48 0.5 0.57 0.47 0.53 0.51 0.56 0.55 0.58 0.56 0.57 0.58 0.51 0.55 0.54 0.53 0.53 0.59 DISCRIMINACIN 0.95 1.16 1.18 1.45 1.05 1.3 1.15 1.3 1.28 1.39 1.29 1.34 1.4 1.08 1.28 1.17 1.16 1.27 1.51
480
REPORTE TCNICO
6.20 6.21 6.22 6.23 6.24 6.25 6.26 6.27 6.28 6.29 6.30 6.31 6.32 6.33 6.34 6.35 6.36 6.37 6.38 6.39 7.1 7.2 7.3 7.4 7.5 7.6 7.7 8 10.1 10.2 10.3 10.4 10.5 10.6
0.0537 0.4914 0.3647 0.181 0.1447 0.0768 0.3643 0.1691 0.3853 0.3686 0.4088 0.1881 0.168 0.3391 0.325 0.3225 0.4536 0.4885 0.8763 0.7196 0.2466 -1.2282 -0.8412 0.0212 -0.056 0.2773 0.1944 -0.7658 -1.7089 -1.1045 -0.7883 -0.384 0.1768 -0.3314
0.85 0.78 0.94 1.1 0.91 0.9 0.94 0.87 1.03 0.91 0.88 0.94 0.85 1 0.75 0.76 0.75 0.84 0.92 0.86 1.37 1.32 1.12 1.01 0.88 0.98 0.86 1.16 1.73 1.56 1.41 1.42 1.2 1.36
0.82 0.78 0.92 1.08 0.92 0.89 0.93 0.84 1 0.9 0.87 0.91 0.84 0.98 0.74 0.77 0.75 0.83 0.9 0.85 1.61 1.54 1.27 1.16 0.96 1.11 0.97 1.3 1.79 1.65 1.47 1.6 1.37 1.54
0.61 0.58 0.55 0.51 0.57 0.58 0.53 0.59 0.53 0.53 0.52 0.57 0.59 0.51 0.59 0.58 0.58 0.56 0.5 0.54 0.09 0.2 0.24 0.27 0.32 0.34 0.33 0.2 0.27 0.26 0.24 0.2 0.21 0.2
1.57 1.34 1.35 1.15 1.41 1.42 1.23 1.49 1.11 1.12 1.13 1.4 1.47 1.06 1.44 1.43 1.4 1.36 1.11 1.21 -0.48 0.63 0.65 0.16 0.48 0.36 0.3 0.5 0.75 0.58 0.44 0.01 -0.29 0.03
CAPTULO 5
481
ICEH 3
TEM 12 13 14 15.1 15.2 15.3 15.4 16 17.1 17.2 18 19.1 19.2 19.3 19.4 19.5 20 DIFICULTAD 0.39 1.575 0.67 0.388 -0.678 0.112 0.534 0.058 1.087 1.135 -0.92 -0.879 -1.501 -0.58 -0.562 -0.391 -0.435 AJUSTE PRXIMO 1.26 1.32 1.33 0.92 0.91 0.83 0.95 1.36 0.95 0.91 1.02 0.86 0.89 0.88 0.85 0.86 0.96 AJUSTE LEJANO 1.33 2.52 1.42 0.91 0.8 0.77 0.94 1.61 0.94 0.89 1.02 0.76 0.74 0.82 0.78 0.81 0.94 CORRELACIN 0.4 0.28 0.33 0.53 0.49 0.6 0.51 0.35 0.38 0.42 0.46 0.48 0.41 0.46 0.51 0.49 0.36 DISCRIMINACIN 0.56 0.83 0.37 1.17 1.09 1.24 1.07 0.54 1.17 1.27 1 1.23 1.12 1.27 1.35 1.38 1.11
ICEH 6
TEM 12 13 14 15.1 15.2 15.3 15.4 16 17.1 17.2 18 19.1 19.2 19.3 19.4 19.5 20 DIFICULTAD 0.379 1.606 0.695 0.462 -0.748 0.095 0.509 0.126 1.092 1.071 -0.944 -0.901 -1.51 -0.44 -0.66 -0.456 -0.376 AJUSTE PRXIMO 1.23 1.32 1.34 0.91 0.93 0.83 0.96 1.34 0.94 0.9 0.99 0.87 0.9 0.89 0.87 0.87 0.96 AJUSTE LEJANO 1.3 2.57 1.45 0.9 0.83 0.78 0.95 1.57 0.93 0.88 0.99 0.77 0.75 0.85 0.79 0.82 0.94 CORRELACIN 0.43 0.28 0.33 0.51 0.5 0.57 0.49 0.38 0.37 0.42 0.54 0.48 0.43 0.45 0.48 0.47 0.37 DISCRIMINACIN 0.63 0.83 0.37 1.2 1.08 1.25 1.06 0.55 1.19 1.33 1.03 1.21 1.11 1.27 1.26 1.32 1.1
482
REPORTE TCNICO
Aunque el valor de juste lejano del tem 13 es alto en los dos casos, se deja como parte del ndice ya que los dems indicadores tienen valores aceptables, por el valor alto de la varianza explicada, por la importancia terica en la construccin del ndice y por el hecho que este tem se encuentra relacionado con el tem 14.
CAPTULO 5
483
ANEXOS
A. Tablas
Tabla 1.1. Tasa de participacin de escuelas Previo al reemplazo de escuelas
Nmero de escuelas participantes en la muestra original Nmero de escuelas participantes despus del reemplazo Tasa de participacin de escuelas antes del reemplazo (%)
Posterior al reemplazo de escuelas

Tasa de participacin de escuelas despus del reemplazo (%)
Pases
ANEXOS
Argentina Brasil Chile Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Nuevo Len Panam Paraguay Per Rep. Dominicana Uruguay 164 138 161 177 171 206 169 175 221 159 196 163 147 197 160 181 205 2.992 93,30 3.135 97,04 78,86 89,44 86,34 100,00 100,00 87,11 96,15 95,67 90,34 94,23 98,79 92,45 91,63 95,24 98,37 93,61
167 157 165 203 171 206 192 182 231 160 205 164 155 209 165 183 218
98,82 89,71 91,67 99,02 100,00 100,00 98,97 100,00 100,00 90,91 98,56 99,39 97,48 97,21 98,21 99,46 99,54 97,75
General
485
486
Tabla 1.2. Tasa de participacin de estudiantes, tercer grado Lenguaje

Nmero de estudiantes participantes Tasa de participacin de estudiantes (%) Nmero de estudiantes participantes Tasa de participacin de estudiantes (%)
Matemticas
REPORTE TCNICO
Pases *
Argentina Brasil Chile Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Nuevo Len Panam Paraguay Per Rep. Dominicana Uruguay * * * 94.620 83,84 96.663 85,65
* *
5.781 5.388 5.791 5.634 5.025 5.291 4.993 7.302 6.677 4.579 6.211 5.574 6.163 5.066 4.640 3.947 6.558
77,66 82,87 84,84 81,12 90,54 99,23 84,94 94,66 83,99 87,70 77,64 84,56 86,06 79,12 78,92 71,89 82,24
6.272 5.534 5.880 5.784 4.714 5.291 5.212 7.399 6.881 4.621 6.384 5.411 6.196 5.110 4.763 4.374 6.837
84,26 85,11 86,14 83,28 84,94 99,23 88,67 95,92 86,55 88,51 79,80 82,08 86,52 79,81 81,02 79,67 85,74
Total
*Pases que no cumplieron la tasa de participacin de estudiantes requerida (80%).
Tabla 1.3. Tasa de participacin de estudiantes, sexto grado Lenguaje

Nmero de estudiantes participantes Tasa de participacin de estudiantes (%) Nmero de estudiantes participantes Tasa de participacin de estudiantes (%) Nmero de estudiantes participantes Tasa de participacin de estudiantes (%)
Matemticas
Ciencia
Pases
ANEXOS
Argentina Brasil Chile Colombia Costa Rica Cuba Ecuador El Salvador Guatemala Mxico Nicaragua Nuevo Len Panam Paraguay Per Rep. Dominicana Uruguay * 90.471 87,00 91.333 87,83 53.979
6.069 5.001 6.616 5.851 4.539 5.883 5.096 6.237 5.157 4.723 6.128 4.998 5.003 4.307 4.504 4.370 5.989
83,87 78,25 87,46 85,75 91,11 99,21 89,45 95,81 89,58 91,83 82,98 88,82 84,30 79,74 81,42 85,45 86,06
6.151 5.201 6.648 5.870 4.008 5.879 5.210 6.270 5.249 4.711 6.468 4.695 5.364 4.362 4.585 4.502 6.160
85,01 81,38 87,88 86,03 80,45 99,14 91,45 96,31 91,18 91,60 87,58 83,44 90,38 80,76 82,88 88,03 88,52
6.039 na na 5.911 na 5.897 na 6.281 na na na 4.711 5.444 4.466 4.604 4.473 6.153
83,46 na na 86,63 na 99,44 na 96,48 na na na 83,72 91,73 82,69 83,22 87,48 88,42 88,39
General
*Pases que no cumplieron la tasa de participacin de estudiantes requerida (80%).
487
488
Tabla 4.1. Nivel de correspondencia para items de respuesta abierta de tercer y sexto grado
Nmero de respuestas Porcentaje de correspondencia (%) Porcentaje de calificaciones nacionales demasiado severas (%) Porcentaje de calificaciones nacionales demasiado suaves (%)
REPORTE TCNICO
Items
98,3 97,6 97,6 97,4 99,0 96,8 96,8 98,9 96,4 97,6 97,6 96,9 97,8 97,6 98,5 95,9 99,2 95,4 93,6 97,1 89,3 3,36 0,00 2,85 2,34 1,59 3,33 1,08 0,00 1,26 0,73 0,73 1,64 0,56 1,12 0,75 0,90 0,00 1,08 0,54 0,36 0,73 0,75 0,56 0,37 0,75 0,38 1,42 3,68 0,32 3,67
Items de matemticas de tercer grado DM3B2IT11 538 DM3B4IT11 538 DM3B6IT11 583 DM3B2IT12 583 DM3B4IT12 574 DM3B6IT12 567 Items de matemticas de sexto grado DM6B2IT14 554 DM6B4IT14 554 DM6B6IT14 554 DM6B2IT15 551 DM6B4IT15 551 DM6B6IT15 550 DM6B2IT16 534 DM6B4IT16 534 DM6B6IT16 535 Items de ciencia de sexto grado DC6B1IT15 268 DC6B2IT15 263 DC6B3IT15 281 DC6B4IT15 299 DC6B5IT15 315 DC6B6IT15 300 0,60 1,50 1,20 1,20 0,50 1,80 2,00 0,90 0,70 0,50 0,30 1,20
Tabla 4.2. ndice Kappa para items de matemticas de tercer y sexto grado
General (Crdito y proceso)
General (Crdito) Argentina Brasil Chile
Colombia
Costa Rica Cuba
Repblica Dominicana Ecuador
El Salvador
Nuevo Len Guatemala Mxico
Nicaragua Panam
Paraguay Per
Mat. 3er grado

0.902 1.000 0.839 1.000 1.000 1.000 0.965 0.969 0.942 0.966 0.905 0.948 0.901 0.992 0.979 0.984 0.982 0.909 0.817 0.908 0.807 0.862 1.000 1.000 1.000 1.000 1.000 1.000 0.936 1.000 1.000 1.000 0.935 0.950 1.000 0.972 1.000 1.000 1.000 0.944 0.935 0.835 1.000 0.851 1.000 0.941 1.000 0.901 1.000 0.960 0.945 0.911 1.000 0.931 0.968 1.000 1.000 0.871 0.946 0.822 0.933 1.000 1.000 0.942 1.000 0.903 1.000 0.970 1.000 1.000 0.898 0.942 0.794 1.000 1.000 0.938 0.907 0.860 1.000 0.820 1.000 1.000 0.906 1.000 0.949 1.000 0.956 1.000 0.807 1.000 0.733 0.966 1.000 1.000 1.000 0.850 0.948 0.937 1.000 0.917 0.961 0.958 0.965 0.943 0.960 1.000 1.000 1.000 0.897 1.000 0.944 0.969 0.960 0.983 0.972 1.000 0.970 0.977 0.978
DM3B2IT11
0.918
0.970
DM3B2IT12
0.957
0.963
DM3B4IT11
0.933
0.959
DM3B4IT12
0.953
0.956
DM3B6IT11
0.943
0.982
DM3B6IT12
0.927
0.959
ANEXOS
todos los items 0.964 1.000 0.897 1.000 0.961 1.000 0.934 0.934 1.000 0.969 0.981 0.967 0.928 0.899 0.948 0.968 0.955 0.941 1.000 0.933 1.000 1.000 0.845 0.751 0.825 0.939 0.840 0.846 1.000 0.955 0.826 0.847 1.000 0.931 0.967 0.951 1.000 0.807 0.846 0.817 1.000 0.935 0.956 1.000 0.963 0.967 0.961 0.944 0.953 1.000 0.868 0.940 1.000 1.000 0.852 0.659 0.965 0.851 1.000 0.938 0.724 1.000 1.000 1.000 1.000 0.938 1.000 0.947 1.000 0.832 1.000 0.744 0.923 1.000 1.000 0.951 1.000 1.000 1.000 0.783 0.933 1.000 1.000 0.566 0.904 0.951 1.000 1.000 0.926 0.880 0.920 0.923 0.965 0.864 1.000 1.000 0.866 0.969 0.826 0.938 0.944 0.940 1.000 0.939 0.918 0.841 0.868 1.000 1.000 0.939
na
na
Mat 6TO grado

0.887 1.000 0.852 1.000 0.933 0.841 1.000 1.000 1.000 0.942 1.000 1.000 0.895 0.906 1.000 0.896 0.803 1.000 1.000 0.947 0.912 1.000 0.908 0.906 1.000 0.932 1.000 1.000 0.927 0.957 0.960 1.000 0.948 1.000 0.960 1.000 1.000 1.000 1.000 0.986 1.000 0.871 1.000 0.843 1.000 0.618 0.945 0.905 0.928 0.917 0.975 1.000 0.896 0.931 1.000 0.963 0.971 0.827 1.000 0.956
DM6B2IT14
0.922
0.948
DM6B2IT15
0.958
0.980
DM6B2IT16
0.840
0.924
DM6B4IT14
0.950
0.961
DM6B4IT15
0.942
0.963
DM6B4IT16
0.918
0.941
DM6B6IT14
0.896
0.963
DM6B6IT15
0.926
0.943
DM6B6IT16
0.965
0.974
TODOS LOS ITEMS
na
na
Uruguay
Items
489
General (Crdito y proceso)
General (Crdito) Argentina Brasil Chile
Colombia
Costa Rica Cuba
Repblica Dominicana Ecuador
El Salvador
Nuevo Len Guatemala Mxico
Nicaragua Panam
Paraguay
Per 1,000 0.863 0.882 0.859 0.811 0.716
Ciencia 6to grado

1,000 0.931 0.868 0.964 0.948 0.804 na na 0.905 na 0.935 0.411 na 0.946 0.798 na na na 0.897 na 0.895 0.455 na 0.915 1,000 na na na na na 0.851 na 1,000 0.566 na 0.792 0.927 na na na na 0.884 na 0.812 0.573 na 1,000 0.932 na na na na na na na na 1,000 na 1,000 0.678 na 1,000 1,000 na na na na na 0.796 na 1,000 0.669 na 0.87 1,000 na na na 0.723 1,000 1,000 0.752 0.935 0.811 1,000 1,000 0.917 0.823 1,000 0.935 0.973 1,000 1,000 0.953 1,000 0.837
DC6B1IT15
0.899
0.939
DC6B2IT15
0.933
0.983
DC6B3IT15
0.888
0.927
DC6B4IT15
0.901
0.902
DC6B5IT15
0.891
0.945
DC6B6IT15
0.831
0.857
TODOS LOS na 0.920 na na 0.902 na 0.953 0.561 na na na na 0.858 0.950 0.866 0.958 na 0.925 0.939 ITEMS
Uruguay
490
Tabla 4.2. ndice Kappa para items de matemticas de tercer y sexto grado
REPORTE TCNICO
Items
B. Resumen internacional
I. Caractersticas del muestreo
1. Escuelas a. Nmero de escuelas participantes: 3.133 b. Tasa de participacin de escuelas: el 97,7% en general y el 93,2% de las escuelas originalmente muestreadas 2. Estudiantes c. Nmero de estudiantes participantes: o o Tercer grado: 94.620 (lenguaje) y 96.663 (matemtica) Sexto grado: 90.471 (lenguaje), 91.333 (matemtica), y 53.979 (ciencias)
d. Tasa de participacin de estudiantes: o o Tercer grado: 83,8% (lenguaje) y 85,7% (matemtica) Sexto grado: 87,0% (lenguaje), 87,8% (matemtica) y 88,4% (ciencias)
II.
Aplicacin
1. Resumen de las observaciones: 128 monitores externos visitaron 385 escuelas y asistieron a 768 sesiones (391 de tercer grado y 377 de sexto grado) 2. Sesiones que no comenzaron a la hora programada: 25,8% 3. Formulario F2 no completado en forma correcta: 11,8% 4. Cubierta de instrumentos completadas de acuerdo al Formulario F2: 75,8% 5. Uso de materiales no aprobados (calculadoras, diccionarios, libros de texto): 0,4% 6. Administracin de la prueba no se ci al cronograma: 2,7% 7. Divergencias con las directrices: 15,8% 8. Entrada y salida de estudiantes durante la sesin: 16,7% 9. Presencia de otros adultos durante la sesin: 10,4% 10. Interrupciones o incidentes: 20,6% 11. Ayuda proporcionada por el administrador de pruebas a estudiantes: 12,0% 12. Se observ evidencia de comunicacin/intercambio de informacin: 12,1%
ANEXOS
491
13. Actitud de los estudiantes
14. Labor del aplicador
492
REPORTE TCNICO
III. Calificacin de items de respuesta abierta

1. ndices Kappa slo generales y para crdito: a. Items de matemtica de tercer grado: 0,956 (tem DM3B4IT12) hasta 0,982 (tem DM3B6IT11) b. Items de matemtica de sexto grado 0,924 (tem DM6B2IT16) hasta 0,980 (tem DM6B2IT15) c. Items de ciencias de sexto grado: 0,857 (tem DC6B6IT15) hasta 0,983 (tem DC6B2IT15)
79
2. Rango de ndices Kappa general para crdito y proceso: a. Items de matemtica de tercer grado: 0,918 (tem DM3B2IT11) hasta 0,957 (tem DM3B2IT12) b. Items de matemtica de sexto grado: 0,840 (tem DM6B2IT16) hasta 0,965 (tem DM6B6IT16) c. Items de ciencias de sexto grado: 0,831 (tem DC6B6IT15) hasta 0,933 (tem DC6B2IT15)
Calidad global de la calificacin de los items de respuesta abierta Los ndices de correspondencia en la calificacin superaron con creces el nivel aceptable (sobre el umbral de 0,700 en todos los casos). Como era de esperar, los ndices Kappa por crdito y proceso mostraron valores inferiores a los ndices slo por crdito.
79
Los ndices Kappa proporcionan un medida de confiabilidad entre calificadores, es decir el nivel al cual dos jueces, el calificador nacional y el cali-
ficador internacional, concuerdan respecto de clasificar los items en dos categoras mutuamente excluyentes (en este caso, las categoras de respuesta).
ANEXOS
493
C. Resmenes nacionales
Argentina
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 169 b. Tasa de participacin de escuelas: el 100,0% en general y el 98,2% de las escuelas originalmente muestreadas
2. Estudiantes a. Nmero de estudiantes participantes: o Tercer grado: 5.781 (lenguaje) y 6.272 (matemtica) o Sexto grado: 6.069 (lenguaje), 6.151 (matemtica) y 6.039 (ciencias) b. Tasa de participacin de estudiantes: o Tercer grado: 77,7% (lenguaje) y 84,3% (matemtica) o Sexto grado: 83,9% (lenguaje), 85,0% (matemtica) y 83,5% (ciencias)
Calidad global del muestreo Tasa de participacin de escuelas se sita dentro de niveles aceptables (umbral del 80% incluyendo escuelas de reemplazo y tasa de participacin de escuelas originalmente muestreadas del orden del 70% como mnimo). Tasa de participacin de estudiantes de tercer grado en matemtica y de estudiantes de sexto grado en lenguaje, matemtica y ciencias se sita dentro de niveles aceptables (umbral de al menos el 80% de los estudiantes muestreados). La tasa de participacin de estudiantes de tercer grado en lenguaje bajo los niveles aceptables (77,7%).
494
REPORTE TCNICO
II.
Aplicacin 1. Resumen de las observaciones: 6 monitores externos visitaron 24 escuelas y asistieron a 41 sesiones (23 de tercer grado y 18 de sexto grado) 2. Sesiones que no comenzaron a la hora programada: 22,0% 3. Formulario F2 no completado en forma correcta: 2,4% 4. Cubierta de instrumentos completadas de acuerdo al Formulario F2: 95,1% 5. Uso de materiales no aprobados (calculadoras, diccionarios, libros de texto): 2,4% 6. Administracin de la prueba no se ci al cronograma: 4,9% 7. Divergencias con las directrices: 14,6% 8. Entrada y salida de estudiantes durante la sesin: 17,1% 9. Presencia de otros adultos durante la sesin: 26,8% 10. Interrupciones o incidentes: 29,3% 11. Ayuda proporcionada por el administrador de pruebas a estudiantes: 7,3% 12. Se observ evidencia de comunicacin/intercambio de informacin: 7,3% 13. Actitud de los estudiantes
ANEXOS
495
Calidad global de la aplicacin La administracin de la prueba se desarroll en forma razonable y en general se ci a los procedimientos preestablecidos. Los administradores de pruebas mostraron un buen nivel de preparacin.
III.
Calificacin de items de respuesta abierta
1. ndices Kappa para el pas (considerando todos los items): a. 0,965 para items de matemtica de tercer grado b. 0,969 para items de matemtica de sexto grado c. 0,920 para items de ciencias de sexto grado
2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,839 (tem DM3B4IT11) hasta 1,000 (items DM3B2IT12, DM3B4IT12, DM3B6IT11, DM3B6IT12) b. Items de matemtica de sexto grado: 0,897 (tem DM6B2IT16) hasta 1,000 (items DM6B2IT15, DM6B4IT14, DM6B4IT16, DM6B6IT16) c. Items de ciencias de sexto grado: 0.804 (tem DC6B6IT15) hasta 1,000 (tem DC6B1IT15)
Calidad global de la calificacin de los items de respuesta abierta Como pas, los ndices de correspondencia en la calificacin alcanzaron el nivel aceptable (sobre el umbral de 0,700 en todos los casos).
496
REPORTE TCNICO
Brasil
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 157 b. Tasa de participacin de escuelas: el 89,7% en general y el 78,9% de las escuelas originalmente muestreadas 2. Estudiantes c. Nmero de estudiantes participantes: o Tercer grado: 5.388 (lenguaje) y 5.534 (matemtica) o Sexto grado: 5.001 (lenguaje) y 5.201 (matemtica) d. Tasa de participacin de estudiantes: o Tercer grado: 82,9% (lenguaje) y 85,1% (matemtica) o Sexto grado: 78,3% (lenguaje) y 81,4% (matemtica)
Calidad global del muestreo Tasa de participacin de escuelas se sita dentro de niveles aceptables (umbral del 80% incluyendo escuelas de reemplazo y tasa de participacin de escuelas originalmente muestreadas del orden del 70% como mnimo). Tasa de participacin de estudiantes de tercer grado en lenguaje y matemtica y de estudiantes de sexto grado en matemtica se sita dentro de niveles aceptables (umbral de al menos el 80% de los estudiantes muestreados). La tasa de participacin de estudiantes de sexto grado en lenguaje se sita bajo los niveles aceptables (78,3%).
ANEXOS
497
II.
Aplicacin 1. Resumen de las observaciones: 8 monitores externos visitaron 22 escuelas y asistieron a 46 sesiones (26 de tercer grado y 20 de sexto grado) 2. Sesiones que no comenzaron a la hora programada: 19,6% 3. Formulario F2 no completado en forma correcta: 13,0% 4. Cubierta de instrumentos completadas de acuerdo al Formulario F2: datos faltantes 5. Uso de materiales no aprobados (calculadoras, diccionarios, libros de texto): 2,2% 6. Administracin de la prueba no se ci al cronograma: 2,2% 7. Divergencias con las directrices: 19,6% 8. Entrada y salida de estudiantes durante la sesin: 13,0% 9. Presencia de otros adultos durante la sesin: 6,5% 10. Interrupciones o incidentes: 6,5% 11. Ayuda proporcionada por el administrador de pruebas a estudiantes: 8,7% 12. Se observ evidencia de comunicacin/intercambio de informacin: 23,9% 13. Actitud de los estudiantes
498
REPORTE TCNICO
Calidad global de la aplicacin La administracin de la prueba se desarroll en forma razonable y en general se ci a los procedimientos preestablecidos.
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,969 para items de matemtica de tercer grado b. 0,981 para items de matemtica de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,909 (tem DM3B6IT12) hasta 1,000 (items DM3B2IT11, DM3B4IT11, DM3B6IT11) b. Items de matemtica de sexto grado: 0,923 (tem DM6B2IT14) hasta 1,000 (items DM6B2IT15, DM6B2IT16, DM6B4IT14, DM6B6IT14, DM6B6IT15)
Calidad global de la calificacin de los items de respuesta abierta Como pas y en el caso de todos los items, los ndices de correspondencia en la calificacin alcanzaron el nivel aceptable (sobre el umbral de 0,700 en todos los casos).
ANEXOS
499
Chile
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 165 b. Tasa de participacin de escuelas: el 91,7% en general y el 89,4% de las escuelas originalmente muestreadas 2. Estudiantes a. Nmero de estudiantes participantes: o Tercer grado: 5.791 (lenguaje) y 5.880 (matemtica) o Sexto grado: 6.616 (lenguaje) y 6.648 (matemtica) b. Tasa de participacin de estudiantes: o Tercer grado: 84,8% (lenguaje) y 86,1% (matemtica) o Sexto grado: 87,5% (lenguaje) y 87,9% (matemtica)
Calidad global del muestreo Tasa de participacin de escuelas se sita dentro de niveles aceptables (umbral del 80% incluyendo escuelas de reemplazo y tasa de participacin de escuelas originalmente muestreadas del orden del 70% como mnimo). Tasa de participacin de estudiantes en todos los grados y asignaturas se sita dentro de niveles aceptables (umbral de al menos el 80% de los estudiantes muestreados).
500
REPORTE TCNICO
II.
Aplicacin
1. Resumen de las observaciones: 6 monitores externos visitaron 21 escuelas y asistieron a 44 sesiones (24 de tercer grado y 20 de sexto grado) 2. Sesiones que no comenzaron a la hora programada: 15,9% 3. Formulario F2 no completado en forma correcta: 4,5% 4. Cubierta de instrumentos completadas de acuerdo al Formulario F2: 95,5% 5. Uso de materiales no aprobados (calculadoras, diccionarios, libros de texto): 0,0% 6. Administracin de la prueba no se ci al cronograma: 2,3% 7. Divergencias con las directrices: 15,9% 8. Entrada y salida de estudiantes durante la sesin: 22,30% 9. Presencia de otros adultos durante la sesin: 6,8% 10. Interrupciones o incidentes: 29,5% 11. Ayuda proporcionada por el administrador de pruebas a estudiantes: 9,1% 12. Se observ evidencia de comunicacin/intercambio de informacin: 18,2% 13. Actitud de los estudiantes
ANEXOS
501
Calidad global de la aplicacin La administracin de la prueba se desarroll en forma razonable y en general se ci a los procedimientos preestablecidos. Los administradores de pruebas mostraron un buen nivel de preparacin.
I I I.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,942 para items de matemtica de tercer grado b. 0,967 para items de matemtica de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,817 (tem DM3B6IT12) hasta 1,000 (items DM3B2IT12, DM3B4IT11, DM3B6IT11) b. Items de matemtica de sexto grado: 0,947 (tem DM6B2IT16) hasta 1,000 (items DM6B4IT14, DM6B6IT15)
502
REPORTE TCNICO
Colombia
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 203 o Tasa de participacin de escuelas: 99,0% general y el 86,3% de las escuelas originalmente muestreadas 2. Estudiantes a. Nmero total de estudiantes muestreados: o Tercer grado: 5.634 (lenguaje) y 5.784 (matemtica) o Sexto grado: 5.851 (lenguaje), 5.870 (matemtica), y 5.911 (ciencias) b. Tasa de participacin de estudiantes: o Tercer grado: 81,1% (lenguaje) y 83,3% (matemtica) o Sexto grado: 85,8% (lenguaje), 86,0% (matemtica), y 86,6% (ciencias)
ANEXOS
503
II.
Aplicacin (dos perodos) 1. Resumen de las observaciones: 9 monitores externos visitaron 22 escuelas y asistieron a 42 sesiones durante dos perodos de administracin (24 de tercer grado y 18 de sexto grado 2. Sesiones que no comenzaron a la hora programada: 54,8% 3. Formulario F2 no completado en forma correcta: 26,2% 4. Cubierta de instrumentos completadas de acuerdo al Formulario F2: 97,6% 5. Uso de materiales no aprobados (calculadoras, diccionarios, libros de texto): 0,0% 6. Administracin de la prueba no se ci al cronograma: 0,0% 7. Divergencias con las directrices: 23,8% 8. Entrada y salida de estudiantes durante la sesin: 40,5% 9. Presencia de otros adultos durante la sesin: 31,0% 10. Interrupciones o incidentes: 57,1% 11. Ayuda proporcionada por el administrador de pruebas a estudiantes: 38,1% 12. Se observ evidencia de comunicacin/intercambio de informacin: 47,6% 13. Actitud de los estudiantes
504
REPORTE TCNICO
Calidad global de la aplicacin La administracin de la prueba present una serie de falencias. Los procedimientos preestablecidos tampoco fueron aplicados en la forma adecuada. Los problemas detectados se concentraron en el estado de preparacin de los administradores de la prueba, la puntualidad, la ayuda a estudiantes, interrupciones o incidentes y, posiblemente, casos de intercambio de informacin entre respondientes. Los datos deben ser interpretados con cautela.
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,966 para items de matemtica de tercer grado b. 0,928 para items de matemtica de sexto grado c. 0,902 para items de ciencias de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,871 (item DM3B4IT11) hasta 1,000 (items DM3B2IT11, DM3B2IT12, DM3B4IT12, DM3B6IT11) b. Items de matemtica de sexto: 0,826 (item DM6B6IT14) hasta 1,000 (items DM6B2IT15, DM6B2IT16, DM6B4IT16) c. Items de ciencia de sexto grado: 0,796 (item DC6B1IT15) hasta 1,000 (item DC6B2IT15)
ANEXOS
505
Costa Rica
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 171 b. Tasa de participacin de escuelas: el 100.0% en general y el 100.0% de las escuelas originalmente muestreadas 2. Estudiantes a. Nmero de estudiantes participantes: o Tercer grado: 5.025 (lenguaje) y 4.714 (matemtica) o Sexto grado: 4.539 (lenguaje) y 4.008 (matemtica) b. Tasa de participacin de estudiantes: o Tercer grado: 90,5% (lenguaje) y 84,9% (matemtica) o Sexto grado: 91,1% (lenguaje) y 80,5% (matemtica)
506
REPORTE TCNICO
II.
Aplicacin 1. Resumen de las observaciones: 10 monitores externos visitaron 22 escuelas y asistieron a 44 sesiones durante dos perodos de administracin (22 de tercer grado y 22 de sexto grado 2. Sesiones que no comenzaron a la hora programada: 40,9% 3. Formulario F2 no completado en forma correcta: 61,4% 4. Cubierta de instrumentos completadas de acuerdo al Formulario F2: 38,6% 5. Uso de materiales no aprobados (calculadoras, diccionarios, libros de texto): 0,0% 6. Administracin de la prueba no se ci al cronograma: 11,4% 7. Divergencias con las directrices: 40,9% 8. Entrada y salida de estudiantes durante la sesin: 22,7% 9. Presencia de otros adultos durante la sesin: 20,5% 10. Interrupciones o incidentes: 22,7 11. Ayuda proporcionada por el administrador de pruebas a estudiantes: 25,0% 12. Se observ evidencia de comunicacin/intercambio de informacin: 6,8% 13. Actitud de los estudiantes
ANEXOS
507
Calidad global de la aplicacin La administracin de la prueba present una serie de falencias. Los procedimientos preestablecidos para administracin de pruebas tampoco fueron aplicados en la forma adecuada. Los problemas detectados se concentraron en el estado de preparacin de los administradores de la prueba, la puntualidad y la integridad de los Formularios F2 y las cubiertas de los instrumentos. Tambin preocupa el hecho que no se hayan utilizados los resultados de la prueba piloto. Los datos deben ser interpretados con cautela.
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,905 para items de matemtica de tercer grado b. 0,899 para items de matemtica de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,807 (items DM3B2IT11 y DM3B6IT12) hasta 0.946 (items DM3B4IT11) b. Items de matemtica de sexto grado: 0,751 (tem DM6B6IT15) hasta 1,000 items DM6B2IT14, DM6B2IT15, DM6B6IT16)
508
REPORTE TCNICO
Cuba
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 206 b. Tasa de participacin de escuelas: el 100,0% en general y el 100,0% de las escuelas originalmente muestreadas 2. Estudiantes a. Nmero total de estudiantes muestreados: o o Tercer grado: 5.291 (lenguaje) y 5.291 (matemtica) Sexto grado: 5.883 (lenguaje), 5.879 (matemtica) y 5.897 (ciencias)
b. Tasa de participacin de estudiantes: o o Tercer grado: 99,2% (lenguaje) y 99,2% (matemtica) Sexto grado: 99,2% (lenguaje e), 99,1% (matemtica) y 99,4% (ciencias)
ANEXOS
509
II.
510
REPORTE TCNICO
Calidad global de la aplicacin La administracin de la prueba se desarroll muy bien y se ci estrictamente a los procedimientos preestablecidos. Los administradores de pruebas mostraron un buen nivel de preparacin.
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,948 para items de matemtica de tercer grado b. 0,948 para items de matemtica de sexto grado c. 0,953 para items de ciencias de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,822 (tem DM3B4IT11) hasta 1,000 (items DM3B2IT11, DM3B4IT12) b. Items de matemtica de sexto grado: 0,825(tem DM6B6IT15) hasta 1,000 (items DM6B2IT14, DM6B2IT15, DM6B2IT16, DM6B4IT15, DM6B6IT14) c. Items de ciencias de sexto grado: 0,812 (tem DC6B3IT15) hasta 1,000 (items DC6B1IT15, DC6B2IT15, DC6B4IT15)
ANEXOS
511
Ecuador
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 192 b. Tasa de participacin de escuelas: el 99,0% en general y el 87,1% de las escuelas originalmente muestreadas 2. Estudiantes a. Nmero de estudiantes participantes: o Tercer grado: 4.993 (lenguaje) y 5.212 (matemtica) o Sexto grado: 5.096 (lenguaje) y 5.210 (matemtica) b. Tasa de participacin de estudiantes: o Tercer grado: 84,9% (lenguaje) y 88,7% (matemtica) o Sexto grado: 89,5% (lenguaje) y 91,5% (matemtica)
Calidad global del muestreo Tasa de participacin de escuelas se sita dentro de niveles aceptables (umbral del 80% incluyendo escuelas de reemplazo y tasa de participacin de escuelas originalmente muestreadas del orden del 70% como mnimo). Tasa de participacin de estudiantes se sita dentro de niveles aceptables (umbral de al menos el 80% de los estudiantes muestreados) en todos los grados/asignaturas.
512
REPORTE TCNICO
II.
Aplicacin (dos perodos) 1. Resumen de las observaciones: 10 monitores externos visitaron 32 escuelas y asistieron a 64 sesiones durante dos perodos de administracin (31 de tercer grado y 33 de sexto grado) 2. Sesiones que no comenzaron a la hora programada: 25,0% 3. Formulario F2 no completado en forma correcta: 17,2% 4. Cubierta de instrumentos completadas de acuerdo al Formulario F2: 84,4% 5. Uso de materiales no aprobados (calculadoras, diccionarios, libros de texto): 1,6% 6. Administracin de la prueba no se ci al cronograma: 3,1% 7. Divergencias con las directrices: 14,1% 8. Entrada y salida de estudiantes durante la sesin: 10,9% 9. Presencia de otros adultos durante la sesin: 6,3% 10. Interrupciones o incidentes: 15,6% 11. Ayuda proporcionada por el administrador de pruebas a estudiantes: 6,3% 12. Se observ evidencia de comunicacin/intercambio de informacin: 4,7% 13. Actitud de los estudiantes
ANEXOS
513
Calidad global de la aplicacin La administracin de la prueba present algunas falencias. Los procedimientos preestablecidos para administracin de pruebas tampoco fueron aplicados en la forma adecuada. Una posible causa es la poca escasa capacitacin recibida por administradores de las pruebas. Se detectaron algunos problemas de calidad de la impresin (papel demasiado delgado/transparente y la presencia de un sello que podra dificultar la lectura). El hecho que Ecuador no haya participado en la prueba piloto es una desventaja que debe tomarse en cuenta al momento de interpretar los datos. Los datos deben ser interpretados con cautela.
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,992 para items de matemtica de tercer grado b. 0,963 para items de matemtica de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,966 (tem DM3B2IT11) hasta 1,000 (items DM3B2IT12, DM3B4IT11, DM3B4IT12, DM3B6IT12) b. Items de matemtica de sexto grado: 0,923 (tem DM6B2IT16) hasta 1,000 (items DM6B4IT14, DM6B4IT16, DM6B6IT16)
Calidad global de la calificacin de los items de respuesta abierta Como pas y en el caso de la totalidad de los items, los ndices de correspondencia en la calificacin alcanzaron el nivel aceptable (sobre el umbral de 0,700 en todos los casos).
514
REPORTE TCNICO
El Salvador
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 182 b. Tasa de participacin de escuelas: el 100,0% en general y el 96,2% de las escuelas originalmente muestreadas 2. Estudiantes a. Nmero de estudiantes participantes: o o Tercer grado: 7.302 (lenguaje) y 7.399 (matemtica) Sexto grado: 6.237 (lenguaje), 6.270 (matemtica) y 6281 (ciencias)
b. Tasa de participacin de estudiantes: o o Tercer grado: 94,7% (lenguaje) y 95,9% (matemtica) Sexto grado: 95,8% (lenguaje), 96,3% (matemtica) y 96,5% (ciencias)
ANEXOS
515
II.
516
REPORTE TCNICO
Calidad global de la aplicacin La administracin de la prueba se desarroll muy bien y en general se ci a los procedimientos preestablecidos. Los administradores de pruebas mostraron un buen nivel de preparacin.
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,979 para items de matemtica de tercer grado b. 0,938 para items de matemtica de sexto grado c. 0,925 para items de ciencias de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,901 (tem DM3B4IT12) hasta 1,000 (items DM3B2IT11, DM3B2IT12, DM3B4IT11, DM3B6IT11, DM3B6IT12) b. Items de matemtica de sexto grado: 0,724 ( tem DM6B4IT15) hasta 1,000 (items DM6B2IT15, DM6B2IT16, DM6B4IT16, DM6B6IT14, DM6B6IT15, DM6B6IT16) c. Items de ciencias de sexto grado: 0,792 (tem DC6B4IT15) hasta 1,000 (items DC6B2IT15, DC6B3IT15)
ANEXOS
517
Guatemala
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 231 b. Tasa de participacin de escuelas: el 100,0% en general y el 95,7% de las escuelas originalmente muestreadas 2. Estudiantes a. Nmero de estudiantes participantes: o Tercer grado: 6.677 (lenguaje) y 6.881 (matemtica) o Sexto grado: 5157 (lenguaje) y 5.249 (matemtica) b. Tasa de participacin de estudiantes: o Tercer grado: 84,0% (lenguaje) y 86,6% (matemtica) o Sexto grado: 89,6% (lenguaje) y 91,.2% (matemtica)
518
REPORTE TCNICO
II.
ANEXOS
519
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,982 para items de matemtica de tercer grado b. 0,939 para items de matemtica de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,907 (tem DM3B2IT12) hasta 1,000 (items DM3B2IT11, DM3B4IT11, DM3B6IT11, DM3B6IT12) b. Items de matemtica de sexto grado: 0,841 (tem DM6B4IT16) hasta 1,000 (items DM6B2IT16, DM6B6IT15, DM6B6IT16)
520
REPORTE TCNICO
Mxico
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 160 b. Tasa de participacin de escuelas: el 90,9% en general y el 90,3% de las escuelas originalmente muestreadas 2. Estudiantes a. Nmero de estudiantes participantes: o o Tercer grado: 4.579 (lenguaje) y 4.621 (matemtica) Sexto grado: 4.723 (lenguaje) y 4.711 (matemtica)
b. Tasa de participacin de estudiantes: o o Tercer grado: 87,7% (lenguaje e) y 88,5% (matemtica) Sexto grado: 91,8% (lenguaje) y 91,6% (matemtica)
ANEXOS
521
II.
522
REPORTE TCNICO
Calidad global de la aplicacin La administracin de la prueba se desarroll en forma razonable y en general se ci a los procedimientos preestablecidos. Los administradores de las pruebas mostraron un buen nivel de preparacin.
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,936 para items de matemtica de tercer grado b. 0,942 para items de matemtica de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,850 (tem DM3B2IT11) hasta 1,000 (tem DM3B6IT12) b. Items de matemtica de sexto grado: 0,841 (tem DM6B4IT16) hasta 1,000 (items DM6B2IT15, DM6B4IT14, DM6B6IT14, DM6B6IT15, DM6B6IT16)
ANEXOS
523
Nicaragua
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 205 b. Tasa de participacin de escuelas: 98,56% en general y el 94,23% de las escuelas originalmente muestreadas 2. Estudiantes a. Nmero de estudiantes participantes: o Tercer grado: 6.211 (lenguaje) y 6.384 (matemtica) o Sexto grado: 6.128 (l lenguaje) y 6.468 (matemtica) b. Tasa de participacin de estudiantes: o Tercer grado: 77,6% (lenguaje) y 79,8% (matemtica) o Sexto grado: 83,0% (lenguaje) y 87,6% (matemtica)
Calidad global del muestreo Tasa de participacin de escuelas se sita dentro de niveles aceptables (umbral del 80% incluyendo escuelas de reemplazo y tasa de participacin de escuelas originalmente muestreadas del orden del 70% como mnimo). Tasa de participacin de estudiantes de sexto grado en lenguaje y matemticas se sita dentro de niveles aceptables (umbral de al menos el 80% de los estudiantes muestreados). Tasa de participacin de estudiantes de tercer grado en lenguaje y matemticas, se sita bajo los niveles aceptables, con valores de 77,6% y 79,8%, respectivamente.
524
REPORTE TCNICO
II.
ANEXOS
525
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,968 para items de matemtica de tercer grado b. 0,947 para items de matemtica de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,911 (tem DM3B4IT12) hasta 1,000 (items DM3B2IT12, DM3B4IT11, DM3B6IT11) b. Items de matemtica de sexto grado: 0,803 (tem DM6B6IT14) hasta 1,000 (items DM6B2IT14, DM6B2IT15, DM6B4IT15, DM6B6IT15, DM6B6IT16)
526
REPORTE TCNICO
Nuevo Len, Mxico

I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 164 b. Tasa de participacin de escuelas: el 99,4% en general y el 98,8% de las escuelas originalmente muestreadas 2. Estudiantes a. Nmero de estudiantes participantes: o o Tercer grado: 5.574 (lenguaje) y 5.411 (matemtica) Sexto grado: 4.998 (lenguaje), 4.695 (matemtica) y 4.711 (ciencias)
ANEXOS
527
II.
Aplicacin 1. Resumen de las observaciones: 6 monitores externos visitaron 27 escuelas y asistieron a 54 sesiones (27 de tercer grado y 27 de sexto grado) 2. Sesiones que no comenzaron a la hora programada: 7,4% 3. Formulario F2 no completado en forma correcta: 1,9% 4. Cubierta de instrumentos completadas de acuerdo al Formulario F2: datos faltantes 5. Uso de materiales no aprobados (calculadoras, diccionarios, libros de texto): 0,0% 6. Administracin de la prueba no se ci al cronograma: 0,0% 7. Divergencias con las directrices: 3,7% 8. Entrada y salida de estudiantes durante la sesin: 13,0% 9. Presencia de otros adultos durante la sesin: 0,0% 10. Interrupciones o incidentes: 16,7% 11. Ayuda proporcionada por el administrador de pruebas a estudiantes: 0,0% 12. Se observ evidencia de comunicacin/intercambio de informacin: 1,9% 13. Actitud de los estudiantes
528
REPORTE TCNICO
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,984 para items de matemtica de tercer grado b. 0,920 para items de matemtica de sexto grado c. 0,939 para items de ciencias de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,938 (tem DM3B2IT12) hasta 1,000 (items DM3B2IT11, DM3B4IT12, DM3B6IT11, DM3B6IT12) b. Items de matemtica de sexto grado: 0,566 (tem DM6B2IT16) hasta 1,000 (items DM6B2IT15, DM6B4IT16, DM6 tem DC6B6IT15) hasta 1,000 (items DC6B1IT15, DC6B2IT15, DC6B5IT15)
ANEXOS
529
Panam
b. Tasa de participacin de estudiantes: o o Tercer grado: 86,1% (lenguaje) y 86,.5% (matemtica) Sexto grado: 84,3% (lenguaje), 90,4% (matemtica) y 91,7% (ciencias)
530
REPORTE TCNICO
II.
ANEXOS
531
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,949 para items de matemtica de tercer grado b. 0,957 para items de matemtica de sexto grado c. 0,858 para items de ciencias de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,820 (tem DM3B2IT12) hasta 1,000 (items DM3B4IT11, DM3B4IT12, DM3B6IT12) b. Items de matemtica de sexto grado: 0,906 (tem DM6B4IT14) hasta 1,000 (items DM6B2IT15, DM6B4IT15, DM6B6IT14, DM6B6IT15) c. Items de ciencias de sexto grado: 0,723 (tem DC6B1IT15) y 1,000 (items DC6B2IT15, DC6B3IT15)
532
REPORTE TCNICO
Paraguay
ANEXOS
533
II.
534
REPORTE TCNICO
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,960 para items de matemtica de tercer grado b. 0,986 para items de matemtica de sexto grado c. 0,950 para items de ciencias de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,917 (tem DM3B2IT12) hasta 1,000 (items DM3B2IT11) b. Items de matemtica de sexto grado: 0,948 (tem DM6B2IT16) hasta 1,000 (items DM6B2IT15, DM6B4IT16, DM6B4IT14, DM6B6IT14, DM6B6IT15, DM6B6IT16) c. Items de ciencias de sexto grado 0,823 (tem DC6B4IT15) hasta 1,000 (items DC6B1IT15, DC6B2IT15, DC6B5IT15)
ANEXOS
535
Per
536
REPORTE TCNICO
II.
ANEXOS
537
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,969 para items de matemtica de tercer grado b. 0,917 para items de matemtica de sexto grado c. 0,866 para items de ciencias de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,897 (tem DM3B4IT12) hasta 1,000 (items DM3B2IT11, DM3B2IT12, DM3B4IT11, DM3B6IT11) b. Items de matemtica de sexto grado: 0,618 (tem DM6B4IT16) hasta 1,000 (items DM6B2IT14, DM6B2IT16, DM6B4IT15) c. Items de ciencias de sexto grado: 0,716 (tem DC6B6IT15) hasta 1,000 (tem DC6B1IT15)
538
REPORTE TCNICO
Repblica Dominicana
I. Caractersticas del muestreo 1. Escuelas a. Nmero de escuelas participantes: 183 b. Tasa de participacin de escuelas: el 99,5% en general y el 98,4% de las escuelas originalmente muestreadas 2. Estudiantes a. Nmero total de estudiantes muestreados: o o Tercer grado: 3.947 (lenguaje) y 4.374 (matemtica) Sexto grado: 4.370 (lenguaje), 4.502 (matemtica) y 4.473 (ciencias)
ANEXOS
539
II.
540
REPORTE TCNICO
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,901 para items de matemtica de tercer grado b. 0,846 para items de matemtica de sexto grado c. 0,561 para items de ciencias de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,733 (tem DM3B2IT11) hasta 1,000 (items DM3B6IT11, DM3B6IT12) b. Items de matemtica de sexto grado: 0,744 (tem DM6B2IT16) hasta 0,939 (tem DM6B6IT15) c. Items de ciencias de sexto grado: 0,411 (tem DC6B6IT15) hasta 0,678 (tem DC6B2IT15)
ANEXOS
541
Uruguay
542
REPORTE TCNICO
II.
ANEXOS
543
III.
Calificacin de items de respuesta abierta 1. ndices Kappa para el pas (considerando todos los items): a. 0,978 para items de matemtica de tercer grado b. 0,956 para items de matemtica de sexto grado c. 0,958 para items de ciencias de sexto grado 2. Rango de ndices Kappa por tem y grado/asignatura: a. Items de matemtica de tercer grado: 0,960 (tem DM3B2IT11) hasta 1,000 (tem DM3B4IT12) b. Items de matemtica de sexto grado: 0,827 (tem DM6B6IT15) hasta 1,000 (items DM6B2IT15, DM6B4IT15, DM6B6IT16) c. Items de ciencias de sexto grado: 0,837 (tem DC6B6IT15) hasta 1,000 (items DC6B2IT15, DC6B3IT15, DC6B5IT15)
544
REPORTE TCNICO
TRADUCCIN DE TEXTOS DE GRFICOS INEDITABLES
ANEXO C
13. Actitud de los estudiantes
1 Todos o la mayora de los estudiantes 1 Entre el 25% y 50% 1 Pocos o ninguno
Los estudiantes demostraron buen comportamiento y cooperacin Los estudiantes demostraron inters y motivacin Los estudiantes se esforzaron por dar lo mejor de si Los estudiantes tuvieron suficiente tiempo para finalizar la evaluacin Los estudiantes mostraron signos de fatiga
14. Labor del administrador de la prueba

1 A un alto nivel Consciente de los procedimientos Capaz de manejar grupos Tiene buenas relaciones con la escuela Maneja formularios y materiales con facilidad Consciente de la naturaleza confidencial de los instrumentos 1 A nivel aceptable 1 A un bajo nivel
ANEXOS
545
D. Criterios y Procedimientos para el Aseguramiento de la Calidad en el SERCE
SUMARIO
INTRODUCCIN
Parte I
ASEGURAMIENTO DE LA CALIDAD EN LA PRODUCCIN DE INSTRUMENTOS Y RESULTADOS
Criterio I.1. - Criterio I.2. - Criterio I.3. - Criterio I.4. - Criterio I.5. - Criterio I.6. - Criterio I.7. -
Instrumentos de medicin - pruebas Instrumentos de medicin cuestionarios de factores asociados Diseo muestral Procedimientos de aplicacin estandarizados Procesamiento y anlisis de la informacin Reportes de resultados Acceso a las bases de datos y replicabilidad de los resultados
546
REPORTE TCNICO
Parte II
ASEGURAMIENTO DE LA CALIDAD EN LA IMPLEMENTACIN DEL ESTUDIO EN LOS PASES
Criterio II.1. - Equipo de trabajo nacional Criterio II.2. - Participacin en la Aplicacin Piloto Criterio II.3. - Seleccin y entrenamiento de Aplicadores Criterio II.4. - Supervisin externa de la Aplicacin Definitiva Criterio II.5. - Cumplimiento de plazos y cronogramas Criterio II.6. - Elaboracin del marco muestral nacional Criterio II.7. - Cobertura a lograr en la Aplicacin Definitiva Criterio II.8. - Codificacin de preguntas de respuesta abierta Criterio II.9. - Captura de datos Criterio II.10.- Confidencialidad de los instrumentos Criterio II.11.- Confidencialidad de los resultados provisorios Criterio II.12.- Transparencia en la divulgacin de resultados
ANEXOS
547
INTRODUCCIN
casos en que fuese necesario, reportar las desviaciones o limitaciones que pudiesen tener los datos de pases especficos). En relacin a estos dos propsitos, la segunda parte del documento est destinada a explicitar cules sern los criterios y procedimientos que debern cumplir los pases para que la informacin producida en ellos sea considerada suficientemente confiable para su inclusin en los reportes regionales. Finalmente, un cuarto propsito del documento es facilitar la documentacin y sistematizacin de los procedimientos seguidos en el Estudio, as como la verificacin de su cumplimiento. Con esta finalidad, cada criterio es explicado sintticamente, con referencias a otros documentos y manuales en los que se encuentran desarrollados con mayor amplitud. Cada criterio va acompaado por una especificacin de los procedimientos empleados para verificar su cumplimiento, as como de las consecuencias que tiene su incumplimiento. De este modo se busca, adems, ofrecer a todos los participantes y a las audiencias interesadas, las garantas necesarias en cuanto a la comparabilidad entre pases de los resultados del SERCE.
I.
El presente documento tiene como finalidad explicitar los criterios y procedimientos concebidos para asegurar la calidad del Segundo Estudio Regional Comparativo y Explicativo (SERCE).
El documento tiene varios propsitos. El primero es explicitar cules son los mecanismos a travs de los cuales la Coordinacin Tcnica (CTLLECE) se propone asegurar la calidad de los productos de su trabajo. Para ello se explicitan procedimientos seguidos en la elaboracin de los instrumentos, en el procesamiento de la informacin y en la comunicacin de resultados. Los productos del trabajo de la Coordinacin Tcnica tienen tres instancias de control externo: a) el Pleno de Coordinadores Nacionales (CN); b) el Comit Tcnico Consultivo (CTC); c) Consultores Externos especializados que sern contratados para tareas especficas de control de calidad, en el marco de un convenio con el Banco Interamericano de Desarrollo. Todos los productos generados por estos ltimos sern sometidos a la consideracin de los CN y del CTC. La primera parte del documento est destinada a explicitar los procedimientos de aseguramiento de la calidad relacionados con este primer propsito. Un segundo propsito del documento es orientar el trabajo de los Coordinadores Nacionales en relacin a la calidad del Estudio, organizando en un solo documento criterios y procedimientos que se encuentran desarrollados en diversos Manuales e Instructivos. Un tercer propsito es garantizar a todos los pases participantes la estandarizacin de procedimientos en el conjunto de pases, de modo que los datos resultantes del Estudio sean realmente comparables (y, en los
548
REPORTE TCNICO
II.
La versin definitiva de este documento cuenta con el aval del Comit Tcnico Consultivo (CTC) y del pleno de Coordinadores Nacionales (CN), y constituye el elemento de referencia principal para la toma de decisiones respecto a cada paso del estudio y a la confiabilidad de los datos de cada pas, con vistas a su inclusin en los reportes regionales de resultados.
TIMSS. El Dr. Barry McGaw, Ex-Director de la Divisin de Educacin de la OECD, responsable del Estudio PISA, actualmente Director del Instituto de Investigacin Educativa de la Universidad de Melbourne.
El Dr. Kentaro Yamamoto, Especialista en Psicometra y Senior Research Scientist del Educational Testing Service (ETS).
El pleno de Coordinadores Nacionales es el rgano que rene a los representantes de todos los pases participantes y miembros del LLECE. Este rgano se rene en forma ordinaria dos veces al ao. Sus funciones y forma de funcionamiento estn establecidas en el Reglamento de Sala para la Toma de decisiones. Cada pas miembro del LLECE tiene derecho a voz y voto en el pleno de Coordinadores Nacionales.
El Dr. Mark Joncas, Especialista en Muestreo de la IEA y de Statistics Canada.
El Dr. Juan Enrique Froemel, Ex Coordinador Tcnico del LLECE, actualmente Director del Instituto de Evaluacin del Consejo Supremo de Educacin de Qatar.
El Comit Tcnico Consultivo est integrado por un conjunto de especialistas de nivel internacional. Acta como rgano consultivo y supervisor de la calidad de las acciones del LLECE. Su funcin es conocer el desarrollo de cada fase del SERCE y emitir recomendaciones y conceptos tcnicos que garanticen la idoneidad y calidad del Estudio. Dentro de las posibilidades de sus integrantes, se rene ordinariamente una vez al ao. Est integrado por las siguientes personas:
El Dr. Scott Murray, Ex-Director General de Estadsticas Sociales de Canad y Ex-Director del Estudio Internacional de Alfabetismo de Adultos (ALL), actualmente Director de Education Outcomes en UNESCO/UIS.
El Dr. Hans Wagemaker, Director Ejecutivo de la International Association for the Evaluation Achievement (IEA), responsable del Estudio
ANEXOS
549
III.
Una vez concluidas la Aplicacin Definitiva, la consolidacin de las bases de datos y la elaboracin de los planes de procesamiento de la informacin y reporte de resultados, pero antes de la divulgacin de resultados a los pases participantes, stos debern avalar formalmente si el Estudio fue llevado a cabo de acuerdo a lo estipulado. A partir de ese momento la UNESCO/OREALC quedar expresamente autorizada a la publicacin de resultados de todos los pases que hayan avalado el cumplimiento de estos criterios de calidad.
Asimismo, tienen carcter opcional los siguientes aspectos del estudio: a. la evaluacin de aprendizajes en Ciencias en 6 grado; b. la ampliacin de la muestra para lograr resultados representativos para otros estratos considerados relevantes en el pas (muestras complementarias); c. la participacin en estudios cualitativos para profundizar en la investigacin de los factores y polticas que inciden en los aprendizajes de los alumnos.
A tales efectos, un Consultor externo especializado, que ser contratado previa consulta a los CN, elaborar un informe relativo al cumplimiento de los criterios y procedimientos estipulados en el presente documento. Este Informe ser entregado a los CN y posteriormente divulgado junto con los primeros resultados del Estudio.
VI.
pases participantes:
El presente documento parte de las siguientes definiciones bsicas acerca de las caractersticas del SERCE, comunes a todos los
Finalmente cabe sealar que, por razones que no corresponde detallar, el presente documento no fue elaborado con anterioridad al inicio del Estudio, como hubiese sido tericamente deseable, sino durante el proceso de implementacin de la Aplicacin Piloto. Este hecho, que debe ser tenido en cuenta al analizar el documento, explica que algunos procedimientos no hayan podido realizarse y documentarse de la mejor manera. No obstante ello, tanto la Coordinacin Tcnica como el CTC consideran que estn dadas todas las condiciones para garantizar la calidad del Estudio, a excepcin de la comparabilidad de los resultados con los del Primer Estudio, aspecto este que deber ser analizado cuidadosamente a partir de los datos que arroje el Estudio.
a. en todos los pases se evaluarn las reas de Lectura, Escritura y Matemtica; b. sern evaluados los grados 3 y 6 de primaria en escuelas para menores; c. adems de representacin a nivel nacional, se obtendrn datos representativos de los estratos urbano y rural; d. en todos los pases se aplicarn cuestionarios de factores asociados que permitan investigar los factores escolares que inciden en los aprendizajes de los alumnos.
550
REPORTE TCNICO
PARTE I
ASEGURAMIENTO DE LA CALIDAD EN LA PRODUCCIN DE INSTRUMENTOS Y RESULTADOS
Criterio I.1. - INSTRUMENTOS DE MEDICIN - PRUEBAS

Las pruebas y los items que las conforman deben ser consistentes con los contenidos curriculares que se trabajan en la regin y con el enfoque de habilidades para la vida de la UNESCO. Las versiones que se aplican en cada pas deben ser adecuadas a los usos culturales y del lenguaje propios.
Procedimientos a. Elaboracin de un Documento de Anlisis Curricular comn a la regin, a partir del anlisis de los currculos, libros de textos, pruebas nacionales y otros elementos de los pases participantes. b. Elaboracin de Documentos conceptuales sobre Habilidades para la Vida en relacin a la lectura y la escritura, la matemtica y las ciencias, en concordancia con las definiciones de la UNESCO en este tema. c. Constitucin de un Panel de Expertos de la regin por cada rea del Estudio (Lenguaje, Matemtica, Ciencias), para elaborar items y desarrollar los instrumentos y asistir a la CT-LLECE. d. Anlisis de la consistencia entre las actividades de las pruebas y los documentos marco antes mencionados. Todas las actividades de las pruebas pasan, antes de la aplicacin piloto, por la revisin de los expertos de los pases participantes, quienes hacen llegar sus observaciones a la CT-LLECE. Las observaciones son revisadas por los Paneles de Expertos y los items son reformulados. Todo tem explcitamente objetado por su inconsistencia con los marcos conceptuales, por el 70% o ms de los pases participantes, es eliminado del banco de items. Luego de la Aplicacin Piloto los items no pueden ser rechazados por razones de adecuacin al marco curricular. e. Elaboracin de un Manual de Procesamiento de Datos y Anlisis de Itemes que es sometido a revisin por parte de los expertos nacionales y por parte del CTC. f. Procesamiento de los items piloteados mediante el modelo de Rasch y, complementariamente, con los modelos de Teora de Respuesta al Item de dos y tres parmetros. g. Los principales criterios para la aceptacin de los items, tanto en la aplicacin piloto como en la definitiva, son: i) los valores de ajuste prximo y lejano (infit y outfit) deben ubicarse entre 0,8 y 1,2; ii) la respuesta correcta debe tener el mayor promedio de habilidad; iii) la discriminacin debe ser igual o superior a 0,7.
ANEXOS
551
h. Los items que presenten un funcionamiento diferencial entre pases (valores inferiores a 1,96 en la prueba t), deben ser cuidadosamente analizados por los Paneles de Expertos y por los expertos nacionales, con el fin de establecer si el comportamiento diferencial obedece a problemas del item, a problemas en la aplicacin de las pruebas o a diferencias en la enseanza de los contenidos y habilidades que estn siendo evaluadas. i. Conformacin de las versiones definitivas de pruebas por parte de los Paneles de Expertos, de modo que la dificultad de los items abarque toda la gama de habilidades de los alumnos en cada bloque, y que se cubra la totalidad de la tabla de especificaciones derivada del marco curricular. Elaboracin de un informe relativo a los contenidos y desempeos que efectivamente evalan las versiones definitivas de cada prueba, explicitando qu aspectos de los documentos marco no han quedado contemplados en las mismas. j. Entrega a cada pas de un Informe Regional y un Informe Nacional sobre el comportamiento de los items, al cabo de la Aplicacin Piloto y de la Aplicacin Definitiva. A partir de los resultados de la Aplicacin Piloto cada pas puede proponer adaptaciones a los items relativas a usos culturales y del lenguaje, sin modificar la intencin evaluativa y la dificultad del tem. Estas adaptaciones son revisadas y aprobadas por los Paneles de Expertos. k. Las estimaciones de puntuaciones para los pases luego de la Aplicacin Definitiva se realizarn con el modelo de Rasch. l. Publicacin en el sitio WEB del LLECE de los Manuales de Procesamiento, de los criterios seguidos por los Paneles de Expertos para la conformacin de las pruebas definitivas, de las observaciones de los pases a los items y de la totalidad de los procedimientos y decisiones tcnicas seguidos para la estimacin de las puntuaciones definitivas.
m. Rplica de los procesamientos y estimaciones desarrollados por la CT-LLECE a partir de la Aplicacin Definitiva, por parte de un Consultor Externo especializado. Elaboracin de un Informe a presentar al CTC y al pleno de CN, con sus recomendaciones.
Consecuencias a. El pleno de CN podr solicitar la revisin de todo el procesamiento de items y pruebas de la Aplicacin Definitiva, si considera que existen defectos, errores o irregularidades de entidad.
552
REPORTE TCNICO
Criterio I.2. INSTRUMENTOS DE MEDICIN - CUESTIONARIOS

Los cuestionarios de factores asociados deben responder a un proyecto de investigacin relevante y adecuado al estado del arte de la investigacin regional e internacional en la materia, cuyos focos principales sern los efectos de las polticas educativas, de la gestin escolar y de la enseanza en el aula, sobre los logros educativos de los alumnos. Los cuestionarios de factores asociados debern ser comprensibles y sencillos de responder para los destinatarios de diversos pases y contextos culturales.
Procedimientos
a. Elaboracin de un Documento Marco de Investigacin que explicite los temas principales que objeto de investigacin en el SERCE, en relacin con los logros educativos de los alumnos. El documento debe incluir una descripcin de los aspectos a estudiar a travs de los cuestionarios de factores asociados, empleando tcnicas cuantitativas, as como los aspectos que sern objeto de estudios complementarios de carcter cualitativo.
b. Elaboracin de una tabla de especificaciones que permita establecer los vnculos entre el marco de investigacin y las preguntas especficas incluidas en los instrumentos.
c. La elaboracin de este Documento y el diseo de los instrumentos est a cargo de la CT-LLECE y de de un Panel de Expertos de la regin, con la participacin del Sistema Regional de Indicadores (SIRI) de UNESCO/ OREALC y de los expertos de los pases participantes.
d. Revisin de los resultados de la aplicacin piloto y formulacin de recomendaciones en relacin a los planes de investigacin, a los instrumentos y preguntas a emplear en la Aplicacin Definitiva y al Plan de Anlisis del Estudio de Factores Asociados, por parte de un Consultor Externo de la regin, especializado en investigacin.
e. El documento marco, los lineamientos de investigacin, los estudios de profundizacin, los procedimientos a seguir en la aplicacin y el Plan de Anlisis, deben contar con el aval del pleno de CN.
f. Entrega a cada pas de un reporte de los datos recogidos a travs de la cuestionarios de factores asociados, tanto en la Aplicacin Piloto como en la Aplicacin Definitiva. Luego de la Aplicacin Piloto los pases pueden introducir las adaptaciones necesarias para que las preguntas de los cuestionarios sean comprensibles en su pas. Las adaptaciones deben ser aprobadas por la CT-LLECE.
ANEXOS
553
g. Los cuestionarios de factores asociados y sus preguntas especficas deben tener, en la Aplicacin Definitiva, tasas de respuesta del orden del 80% de los alumnos participantes en las pruebas. La misma tasa aplica a los cuestionarios para directores y profesores, de modo que sea posible realizar estudios confiables a partir de los datos.
h. Anlisis de la validez y confiabilidad de los ndices dirigidos a relevar informacin sobre constructos complejos, empleando Anlisis Factorial y Teora de Respuesta al Item.
Consecuencias
a. No sern incluidos en la Aplicacin Definitiva aquellos instrumentos cuya aplicacin tenga dificultades prcticas importantes en la mayora de los pases y sus tasas de respuesta sean inferiores al 70% de acuerdo a la experiencia relevada en la Aplicacin Piloto. No sern incluidas en la Aplicacin Definitiva preguntas cuya tasa de respuesta en la Aplicacin Piloto sea inferior al 60% en el conjunto de los pases.
b. El pleno de CN podr solicitar la revisin del Plan de Investigacin de Factores Asociados y la revisin de todos los procesamientos de datos, si considera que existen defectos, errores o irregularidades de entidad.
554
REPORTE TCNICO
Criterio I.3. - DISEO MUESTRAL

Las muestras para la Aplicacin Definitiva en los pases y entidades subnacionales sern sorteadas por la Coordinacin Tcnica siguiendo los criterios establecidos en un Manual de Muestreo para la Aplicacin Definitiva. El diseo muestral garantizar que los resultados de cada pas o entidad subnacional, as como los correspondientes a subuniversos o estratos dentro de los pases, sean confiables y tengan un nivel de error razonable y previamente establecido.
Procedimientos
a. Elaboracin de un Manual de Muestreo para la Aplicacin Definitiva, que regir todos los procedimientos de muestreo y clculo de errores. El Manual de Muestreo ser sometido a la consideracin del CTC y de los pases.
b. El Manual de Muestreo debe definir las poblaciones que sern objeto de este estudio, las exclusiones vlidas y los criterios que deben satisfacer los marcos muestrales que los pases deben enviar a la CT-LLECE, con la informacin relativa a las escuelas que forman parte del universo de este estudio.
c. El Manual de Muestreo debe establecer los tamaos mnimos de muestra para obtener resultados confiables a nivel nacional, as como para los estratos pblico urbano y rural. El estrato pblico urbano debe ser lo suficientemente grande como para permitir una estratificacin sociocultural a posteriori (con fines de anlisis), a partir de los datos recogidos mediante los cuestionarios de factores asociados.
d. El Manual de Muestreo debe establecer qu otros estratos sern objeto de anlisis en el reporte internacional, pero que tienen carcter optativo para los pases, y la cantidad de casos necesarios para obtener datos confiables para dichos estratos optativos. Los pases pueden solicitar que su muestra incluya estratos adicionales con fines de anlisis nacional, pero que no formarn parte del reporte internacional.
e. El Manual de Muestreo debe establecer cul es la proporcin mxima de las poblaciones objeto del estudio que pueden ser excluidas a priori, las razones vlidas para dichas exclusiones y las tasas de respuesta mnimas exigibles a los pases para que sus resultados sean incorporados al Informe Regional.
f. Revisin del cumplimiento de los estndares establecidos en el Manual de Muestreo para la Aplicacin Definitiva en cada pas, por un Consultor Externo de nivel internacional. Elaboracin de un informe relativo
ANEXOS
555
a dicho cumplimiento, incluyendo juicios de valor especficos respecto a la confiabilidad de la informacin de cada pas y recomendaciones acerca del tratamiento a dar a los resultados de cada pas en el Informe Regional. El Informe del Consultor debe ser sometido a la consideracin del CTC y de los CN.
Consecuencias
a. El incumplimiento de los estndares de muestreo tendr dos tipos de consecuencias, segn la gravedad de la situacin: o bien el pas quedar fuera los reportes regionales (o de algunos de sus captulos), o bien sus datos aparecern observados en dichos reportes. El CTC ser la instancia encargada de valorar la gravedad de las desviaciones que ocurran y recomendar a la CT-LLECE el tratamiento a dar a cada pas (ver Criterio II.4). Las determinaciones que adopte la CT-LLECE a este respecto sern sometidas a la ratificacin o rectificacin por parte del Pleno de Coordinadores Nacionales.
b. Todos los incumplimientos y errores que se constaten sern reportados en un anexo del Informe Regional
556
REPORTE TCNICO
Criterio I.4. - PROCEDIMIENTOS DE APLICACIN ESTANDARIZADOS

La aplicacin de las pruebas e instrumentos de factores asociados debe ser realizada de acuerdo a procedimientos estandarizados comunes a todos los pases. Se establecer un sistema de control de la aplicacin definitiva que garantice el cumplimiento de dichos procedimientos en todos los pases participantes (vase el Criterio II.4. Supervisin externa de la Aplicacin Definitiva).
Procedimientos
a. Elaboracin de un Manual de procedimientos para el Coordinador Nacional, un Manual del Aplicador y un instructivo para el director de la escuela, tanto para la Aplicacin Piloto como para la Aplicacin Definitiva. Estos documentos establecen los procedimientos a seguir en la aplicacin de pruebas y cuestionarios. Deben ser aprobados por el pleno de CN y deben incluir una clara distincin entre los criterios y procedimientos de aplicacin cuyo cumplimiento tiene carcter obligatorio, y aquellos que pueden ser adaptados por cada pas de acuerdo a la realidad nacional. b. Elaboracin por parte de cada pas de un Informe de Aplicacin Piloto y de un Informe de Aplicacin Definitiva, de acuerdo a una pauta predefinida. El Informe de la Aplicacin Piloto debe incluir informacin acerca de las dificultades detectadas en los procedimientos de aplicacin y recomendaciones para la Aplicacin Definitiva. c. Revisin por parte de un Consultor Externo del conjunto de Manuales de procedimientos y del sistema de supervisin externa de las Aplicaciones Definitivas.
Consecuencias
a. La CT-LLECE introducir en los Manuales los cambios que resulten necesarios a partir de los Informes de Aplicacin Piloto y de las recomendaciones del Consultor Externo. b. El cumplimiento de los criterios y procedimientos estandarizados en la Aplicacin Definitiva ser objeto de un dispositivo especfico de control de calidad (vase el Criterio II.4. en este documento).
ANEXOS
557
Criterio I.5. - PROCESAMIENTO Y ANLISIS DE LA INFORMACIN

El procesamiento y anlisis de la informacin producida sern realizados por la Coordinacin Tcnica, a partir de un Manual de Procesamiento y un Plan de Anlisis previamente aprobados por el Pleno de Coordinadores Nacionales. Estos documentos deben posibilitar que los pases o investigadores interesados puedan replicar los resultados obtenidos en forma independiente.
Procedimientos
a. Elaboracin de un Manual de Procesamiento de Datos para la Aplicacin Definitiva con anterioridad a la finalizacin de las aplicaciones en los pases. Este documento debe ser refrendado por el CTC, por los expertos de los pases participantes y por un Consultor Internacional especializado. Debe ser aprobado por el Pleno de CN. b. Elaboracin de un Plan de Anlisis con anterioridad a la finalizacin de las aplicaciones en los pases. Este documento debe ser refrendado por el CTC, por los expertos de los pases participantes y por un Consultor Internacional especializado. Debe ser aprobado por el Pleno de CN.
Consecuencias
a. La CT-LLECE deber incorporar al Manual de Procesamiento de Datos y al Plan de Anlisis las recomendaciones emanadas del CTC, de los pases y del Consultor Externo.
558
REPORTE TCNICO
Criterio I.6. - REPORTES DE RESULTADOS

Durante los aos 2007 y 2008 se producirn al menos tres reportes de resultados regionales. Los reportes buscarn focalizar la atencin en lo que los estudiantes son capaces de hacer, en las principales carencias en los aprendizajes y en los desafos que dichas carencias implican para las sociedades y los sistemas educativos latinoamericanos. Si bien se realizarn comparaciones entre pases, se evitar focalizar los reportes en los ordenamientos de pases en funcin de sus promedios. Se propiciar la informacin y reflexin acerca de las consecuencias de los resultados del estudio para las polticas educativas y para las prcticas de enseanza. Los reportes deben ser apropiados en trminos de lenguaje y comprensibilidad para siguientes audiencias principales: educadores, opinin pblica, medios de prensa, responsables de la conduccin de los sistemas educativos.
Procedimientos
a. Elaboracin de un Plan de Reportes de Resultados, con sus respectivos ndices, principales tipos de tablas y grficos de resultados y tipos de anlisis a realizar. Este plan debe ser sometido a la consideracin de los pases participantes con anterioridad a la finalizacin de las aplicaciones definitivas.
b. El Plan de Reportes de Resultados debe ser refrendado por el CTC, por los expertos de los pases participantes y por un Consultor Internacional especializado. Debe ser aprobado por el Pleno de CN.
c. Elaboracin por parte de cada Centro Nacional, en la medida de sus posibilidades, de un Informe Nacional atendiendo a los temas de poltica educativa ms relevantes para su pas. La CT-LLECE, en la medida de sus posibilidades, brindar apoyo en dicha tarea a los pases que lo soliciten.
ANEXOS
559
Criterio I.7. ACCESO A LAS BASES DE DATOS

La Coordinacin Tcnica pondr a disposicin de los pases la base de datos regional resultantes de las Aplicaciones Piloto y Definitiva, con el fin de que los pases puedan replicar los resultados obtenidos y trabajar en la elaboracin de un reporte nacional. La base de datos con todos sus cdigos e instrucciones para su correcto uso deber estar a disposicin de los investigadores hacia fines de 2007. El acceso pblico a las bases de datos actuar como incentivo y control de la calidad del mismo.
Procedimientos a. Las bases de datos resultantes de la Aplicacin Piloto deben ser empleadas exclusivamente para la validacin de las pruebas y cuestionarios, as como para la replicabilidad de los procesamientos en los pases. Teniendo en cuenta los objetivos y caractersticas de la Aplicacin Piloto, estas bases no pueden ser empleadas para otros fines ni por los pases, ni por la CT-LLECE.
b. Entrega a cada CN de la base de datos procesada correspondiente a la Aplicacin Definitiva en su pas, con los resultados centrados en la media del pas, dos meses despus de que haya entregado sus bases de datos originales en forma apropiada a la CT-LLECE. Esta base debe ser empleada por cada pas para revisar sus datos y realizar los primeros anlisis de resultados al interior del pas.
c. Entrega a cada CN de la base de datos regional sobre la cual es elaborado el Primer Informe Regional, con dos meses de anticipacin a la publicacin del mismo, con el fin de que puedan trabajar en la elaboracin de un reporte nacional. Esta base de datos tiene carcter esctrictamente confidencial hasta que sea publicada en Internet por UNESCO/OREALC.
d. Entrega a cada CN de un Reporte Tcnico que describa la totalidad de los procedimientos seguidos a lo largo del Estudio y el cumplimiento de los criterios estipulados en este Documento, tanto por parte de la CT-LLECE como por parte de cada uno de los pases participantes.
e. A partir de fines de 2007 la base de datos regional, resultante de la aplicacin definitiva, con todos los cdigos e instrucciones necesarios para su correcto uso, estar a disposicin de todos los pases y de los investigadores que la soliciten formalmente al LLECE, con el compromiso de entregar una copia de todas las investigaciones o publicaciones que se produzcan a partir de la misma.
560
REPORTE TCNICO
Consecuencias
a. La CT-LLECE no podr publicar el Informe Regional sin el cumplimiento de lo antes estipulado.
b. Los pases podrn ser sancionados como miembros del LLECE, en caso de incumplimiento de las normas estipuladas en relacin al uso de las bases de datos.
ANEXOS
561
PARTE II
ASEGURAMIENTO DE LA CALIDAD EN LA IMPLEMENTACIN DEL ESTUDIO EN LOS PASES
Criterio II.1. - EQUIPO DE TRABAJO

Cada pas participante debe designar un Coordinador Nacional y un equipo tcnico competente en tareas de elaboracin y revisin de pruebas y cuestionarios, construccin de informacin para el marco muestral, organizacin de las actividades de campo y procesamiento y anlisis de la informacin.
Procedimientos
a. Cada Centro Nacional debe contar con un Coordinador Nacional (CN) designado por el Ministro de Educacin como representante ante el UNESCO/OREALC y que posea formacin y experiencia en el rea de evaluaciones estandarizadas. Normalmente el Coordinador Nacional debera ser el responsable de la unidad o sistema nacional de evaluacin. Se puede deslindar las funciones en dos personas distintas, un Coordinador Nacional de carcter poltico-institucional y un Coordinador Tcnico. En los casos en que esto ocurre, el Coordinador Nacional debe comunicar formalmente el nombre y direccin electrnica del Coordinador Tcnico.
b. Las funciones y tareas del CN con relacin al SERCE estn descritas en el Manual respectivo. Se espera que las lleve adelante personalmente o a travs de un Coordinador Tcnico.
c. El CN debe asistir regularmente a las reuniones de Coordinadores Nacionales. En los casos en que deba enviar a otra persona que lo represente, esta ltima debe estar adecuadamente informada de la marcha del Proyecto y de los Acuerdos tomados en las reuniones previas.
d. Se espera que cada pas cuente con un equipo mnimo de trabajo con experiencia previa en este tipo de estudios y con capacidad de aprendizaje. e. Segn las polticas de cada pas, se puede contratar externamente aquellas actividades que sea necesario para el buen desarrollo del Estudio.
f. Las reas tcnicas principales a cubrir son las siguientes: informacin estadstica para marcos muestrales, procesamiento de datos, elaboracin y anlisis de items y pruebas de Lectura, Escritura, Matemtica y Ciencias (para los pases que participan), organizacin de la logstica de operativos de campo a escala nacional, elaboracin de reportes y divulgacin de resultados.
562
REPORTE TCNICO
g. A los efectos de las comunicaciones entre cada pas y la CT-LLECE, cada CN (o el Coordinador Tcnico) debe comunicar formalmente los nombres y las direcciones de correo electrnico de las personas habilitadas para dichas comunicaciones.
h. En los casos en que un Coordinador Nacional deje de desempear la funcin, el hecho debe ser comunicado de inmediato a la CT-LLECE y a la Direccin de UNESCO/OREALC. Del mismo modo, la designacin de un nuevo Coordinador Nacional debe ser comunicada oficialmente por el Ministro de Educacin a la Direccin de UNESCO/OREALC.
Consecuencias
a. La CT-LLECE no realizar ninguna accin de evaluacin directa del equipo con que cuenta cada pas, pero la misma surgir naturalmente del cumplimiento de las tareas que forman parte del SERCE y del cumplimiento de los criterios estipulados en este documento.
b. La CT-LLECE brindar apoyo especfico a aquellos pases en los que se constate dificultades o debilidad en los equipos.
c. La CT-LLECE, con el aval del pleno de CN, podr suspender la participacin de un pas si los cambios continuos de CN y en el equipo de trabajo no garantizan las condiciones bsicas para el desarrollo del Estudio y la confidencialidad y seguridad de los instrumentos.
d. Puede ocurrir que, sin un equipo bsico competente, un pas no logre cumplir con las tareas estipuladas y, por lo tanto, el pas quede fuera de los resultados del estudio.
e. La CT-LLECE solo responder las comunicaciones provenientes de personas formalmente habilitadas para ello. Los acuerdos de trabajo establecidos con estas personas se considerarn como avalados por el CN.
f. La CT-LLECE no enviar comunicaciones ni documentacin a pases que no tengan un CN formalmente designado por la autoridad nacional correspondiente.
ANEXOS
563
Criterio II.2. - PARTICIPACIN EN LA APLICACIN PILOTO

Para participar en la Aplicacin Definitiva del SERCE es requisito haber participado en la Aplicacin Piloto, cuya finalidad es doble: probar el comportamiento de los instrumentos para mejorarlos y probar la capacidad operativa de cada pas para llevar adelante el trabajo de campo de acuerdo a las pautas establecidas en los manuales respectivos.
Procedimientos
a. Cada Centro Nacional debe llevar adelante una Aplicacin Piloto de los instrumentos del SERCE, en una muestra mnima de 1400 alumnos de 3 y 1400 alumnos de 6, siguiendo los procedimientos estipulados en los Manuales para la Aplicacin Piloto.
b. Las muestras para la Aplicacin Piloto no necesitan ser perfectamente aleatorias y representativas, pero s deben cubrir la variedad de realidades de los alumnos del pas. Son sorteadas por cada Centro Nacional siguiendo los instructivos entregados por la CT-LLECE y deben ser aprobadas por esta antes de poner en marcha el operativo.
c. Cada pas puede proponer, en funcin de su realidad local, las adaptaciones que considere necesarias a los procedimientos estndar estipulados en los Manuales de Aplicacin. Las adaptaciones deben ser aprobadas por la CT-LLECE.
d. Cada pas debe elaborar un Informe de la Aplicacin Piloto, en un formato proporcionado por la CTLLECE, describiendo los procedimientos seguidos en la Aplicacin Piloto, las dificultades encontradas y las recomendaciones de cambios para la Aplicacin Definitiva.
e. La CT-LLECE debe elaborar un consolidado de los Informes de Aplicacin Piloto para ser presentado al pleno de CN y al CTC, como base para la elaboracin de los Manuales para la Aplicacin Definitiva.
564
REPORTE TCNICO
Consecuencias
a. Como norma general, no podrn participar en el Estudio pases que no hayan realizado la Aplicacin Piloto en tiempo y forma.
b. Si un pas ha planificado su Aplicacin Piloto, pero no logra llevarla a cabo por razones de fuerza mayor, o la realiza con serios problemas y/o apartamiento de los procedimientos estipulados en los Manuales correspondientes, podr presentar a la CT-LLECE una solicitud formal (por escrito y acompaada de los informes que corresponda) explicando las razones de lo ocurrido. Deber presentar adems un Plan de Trabajo que ofrezca garantas bsicas de que est en condiciones de llevar adelante la Aplicacin Definitiva.
c. La CT-LLECE analizar el informe y formular una recomendacin al pleno de CN, que podr habilitar, por va de excepcin, la participacin del pas en la Aplicacin Definitiva.
d. En estos casos la CT-LLECE realizar un seguimiento y apoyo especfico a la Aplicacin Definitiva en el pas en cuestin.
e. En estos casos el pas no contar parmetros del comportamiento de los items en su pas y deber asumir la versin estndar de los instrumentos elaborada a partir de los parmetros calculados para el resto de los pases.
f. El pleno de CN podr decidir no autorizar la participacin de un pas en la Aplicacin Definitiva si no ha realizado la Aplicacin Piloto y no existen las garantas necesarias de que aquella se podr realizar en forma apropiada.
ANEXOS
565
Criterio II.3. - APLICACIN DE LAS PRUEBAS SERCE

Para la Aplicacin Definitiva del SERCE cada Centro Nacional debe seleccionar y entrenar un nmero suficiente de Aplicadores externos a las escuelas. Los Aplicadores deben ser profesionales con experiencia docente en educacin bsica o estudiantes de educacin prximo a egresar con experiencia de prcticas profesionales en aula. Bajo ningn concepto las pruebas pueden ser aplicadas por personal perteneciente a las escuelas de la muestra. El personal de la escuela no puede estar presente durante la administracin de las pruebas en la aplicacin definitiva. Los Aplicadores deben realizar su labor de acuerdo a las pautas especificadas en el Manual del Aplicador.
Procedimientos
a. Realizacin un Taller de Entrenamiento para los equipos nacionales que incluye los temas de la seleccin, el entrenamiento y el control del trabajo de los Aplicadores, con anterioridad a la Aplicacin Piloto.
b. Seleccin por parte de cada CN de un equipo de Aplicadores, de conformidad con las pautas detalladas en el Manual del Coordinador Nacional.
c. El entrenamiento de los Aplicadores debe tener carcter presencial y una duracin mnima de seis horas, excluyendo el tiempo que demande la organizacin y distribucin de materiales y asignacin de escuelas. Los contenidos bsicos del proceso de entrenamiento se encuentran en anexo al Manual del Coordinador Nacional. Los Aplicadores deben recibir su Manual con una semana de anticipacin a la instancia de entrenamiento.
d. Cada Centro Nacional debe informar sobre el perfil de los Aplicadores empleados y el modo en que los mismos fueron entrenados, en los Informes de Aplicacin Piloto y Aplicacin Definitiva.
e. La aplicacin de las pruebas y dems instrumentos debe ser realizada en cada escuela en dos das consecutivos, siguiendo las pautas de tiempos establecidos en los Manuales del Coordinador Nacional y del Aplicador.
f. Al final de la aplicacin el Director de la escuela debe firmar un protocolo de aval al cumplimiento de los procedimientos estipulados.
g. Supervisin externa internacional de la Aplicacin Definitiva segn se indica en el Criterio II.4.
566
REPORTE TCNICO
Consecuencias
a. El incumplimiento de los procedimientos estandarizados tendr dos tipos de consecuencias, segn la gravedad de la situacin: o bien el pas quedar fuera los reportes regionales (o de algunos de sus captulos), o bien sus datos aparecern observados en dichos reportes. El CTC ser la instancia encargada de valorar la gravedad de las desviaciones que ocurran y recomendar a la CT-LLECE el tratamiento a dar a cada pas (ver Criterio II.4). Las determinaciones que adopte la CT-LLECE a este respecto sern sometidas a la ratificacin o rectificacin por parte del Pleno de Coordinadores Nacionales.
b. Todos los incumplimientos y errores que se constaten sern reportados en un anexo del Informe Regional.
ANEXOS
567
Criterio II.4. - SUPERVISIN EXTERNA DE LA APLICACIN DEFINITIVA

La Aplicacin Definitiva del SERCE debe ser realizada siguiendo los procedimientos estipulados en los Manuales del Coordinador Nacional y del Aplicador. Toda modificacin o adaptacin a dichos procedimientos debe ser previamente discutida y acordada con la Coordinacin Tcnica. La Aplicacin Definitiva debe ser realizada en un perodo mximo de tres semanas, dentro de las ltimas ocho semanas del ao lectivo, evitando en lo posible utilizar la ltima.
Procedimientos
a. Conformacin de un Panel de Observadores Internacionales integrado por Coordinadores Nacionales o personas especializadas en evaluacin propuestas por ellos (que actan en forma honoraria como aporte del pas al Estudio). Los gastos son cubiertos por UNESCO/OREALC. Pueden actuar tambin como Observadores Internacionales los miembros de la CT-LLECE y un Consultor Externo contratado para el control de calidad del SERCE.
b. Visita de una semana a cada pas, a partir de los das previos al inicio de la Aplicacin Definitiva, por un Observador Internacional externo al pas asignado por CT-LLECE.
c. El Observador Internacional debe visitar el Centro Nacional, registrar los procedimientos seguidos y entrenar a entre dos y cinco Monitores Externos que visitarn entre el 5% y el 10% de las aplicaciones de la muestra bsica nacional.
d. El Observador Internacional debe tambin observar algunas aplicaciones en escuelas de la capital y entrevistar a los Aplicadores en dichas escuelas siguiendo un protocolo estndar elaborado por la CT-LLECE.
e. Cada Monitor Externo debe observar una determinada cantidad de aplicaciones y elaborar un informe sobre lo observado, siguiendo un protocolo elaborado por la CT-LLECE.
f. Las escuelas a observar son definidas por la CT-LLECE, teniendo en cuenta la distribucin de la muestra en el territorio del pas.
g. Los Monitores Externos son contratados por UNESCO/OREALC, que se hace cargo de sus remuneraciones y gastos.
568
REPORTE TCNICO
h. A los efectos de la seleccin de los Monitores Externos, cada pas debe proponer a la CT-LLECE una nmina 10 candidatos (y sus CV). Los candidatos deben tener experiencia en educacin pero ser externos al Centro Nacional y al personal central del Ministerio de Educacin. La CT-LLECE selecciona y contrata entre dos y cinco Monitores Externos por pas. Esta cifra podr ser superior en pases de gran extensin territorial.
i. Cada Observador Internacional debe elaborar un Reporte Nacional de Aplicacin a partir de sus observaciones y de los informes elaborados por los Monitores Externos.
j. Elaboracin de un reporte final sobre la calidad de la aplicacin en general y en cada uno de los pases por parte de un Consultor Externo. El reporte debe incluir recomendaciones especficas respecto al tratamiento a dar a cada pas en los reportes de resultados, en funcin de la calidad de la aplicacin. El reporte ser sometido a la consideracin del CTC y de los CN.
k. Elaboracin por parte de la CT-LLECE de un programa de anlisis estadstico que permita identificar patrones de comportamiento anormal en los resultados por escuela (por ejemplo, secciones en que el 100% de los alumnos seleccionan un mismo distractor).
l. Todos los procedimientos descritos aplican tambin para las subentidades nacionales participantes en el SERCE (Nuevo Len y Gois).
Consecuencias
a. La deteccin de irregularidades en la aplicacin de pruebas y cuestionarios tendr dos tipos de consecuencias, segn la gravedad de la situacin: o bien el pas quedar fuera los reportes regionales (o de algunos de sus captulos), o bien sus datos aparecern observados en dichos reportes. El CTC ser la instancia encargada de valorar la gravedad de las desviaciones que ocurran y recomendar a la CT-LLECE el tratamiento a dar a cada pas (ver Criterio II.4). Las determinaciones que adopte la CT-LLECE a este respecto sern sometidas a la ratificacin o rectificacin por parte del Pleno de Coordinadores Nacionales.
b. Todos los incumplimientos y errores que se constaten sern reportados en un anexo del Informe Regional.
ANEXOS
569
Criterio II.5. - CUMPLIMIENTO DE PLAZOS Y CRONOGRAMAS

Tanto los pases como la Coordinacin Tcnica deben ajustarse a los cronogramas de actividades que ordenan el desarrollo del Estudio. Debe respetarse especialmente el perodo definido para la Aplicacin Definitiva.
Procedimientos
a. Elaboracin de los cronogramas generales para el desarrollo de las diferentes etapas y tipos de actividades del Estudio por la CT-LLECE y aprobacin por el pleno de CN.
b. La CT-LLECE debe comunicar a los pases las modificaciones que, por fuerza mayor, deban introducirse al cronograma.
c. Cuando un pas requiera modificar fechas establecidas para tareas concretas (como por ejemplo, enviar adaptaciones a los instrumentos o enviar el marco muestral), debe comunicar el cambio formalmente o solicitar un nuevo plazo.
d. Si un pas necesita cambiar las fechas de la Aplicacin Definitiva, deber comunicarlo a la CT-LLECE con tres meses de antelacin (salvo casos de fuerza mayor imprevisibles).
e. Es de carcter crucial el cumplimiento de plazos para el envo de las bases de datos (criterio II.9.), dado que el retraso de un solo pas podra postergar la totalidad del procesamiento y reporte regional.
570
REPORTE TCNICO
Consecuencias
a. Dado que la CT-LLECE debe atender las demandas de ms de veinte entidades, los pases debern hacerse cargo de las demoras ocasionadas por sus propios incumplimientos. Por ejemplo, si un pas no cumple con el plazo de envo de las adaptaciones a sus instrumentos, la CT-LLECE har todo lo posible por dar respuesta inmediata, pero priorizar a los pases que s estn cumpliendo con sus plazos.
b. El incumplimiento reiterado de plazos por parte de un pas, sumado a la falta de respuesta a los recordatorios enviados por la CT-LLECE, dar lugar a que el Estudio siga adelante sin la participacin del pas en cuestin. Por ejemplo, si un pas o entidad omite reiteradamente enviar su marco muestral o su base de datos, la CTLLECE seguir adelante con el sorteo de las muestras o con el procesamiento de los datos de los pases que s han respondido. Posteriormente, se har lo posible por reincorporar al pas omiso.
c. Si un pas modifica las fechas de aplicacin y no lo comunica con la antelacin estipulada, corre el riesgo de que no pueda realizarse el proceso de observacin externa. Este hecho ser reportado en el Informe Regional.
d. Si un pas retrasa excesivamente el envo de sus bases de datos o stas no se ajustan a los parmetros establecidos, el pas podr quedar fuera del Primer Informe Regional.
ANEXOS
571
Criterio II.6. - ELABORACIN DEL MARCO MUESTRAL NACIONAL

Cada pas debe elaborar sus marcos muestrales para las aplicaciones piloto y definitiva, siguiendo las especificaciones tcnicas indicadas en los respectivos instructivos o manuales de muestreo. Cada pas debe incluir en sus marcos muestrales a todas las escuelas que fueron definidas como parte del universo, as como la informacin sobre la cantidad de aulas y alumnos de 3 y 6 de dichas escuelas con la mayor precisin posible.
Procedimientos
a. Elaboracin de los instructivos y/o manuales para el muestreo en las aplicaciones piloto y definitiva, en los que se especifica la estructura de los datos del marco muestral, los nombres de las variables y el universo de escuelas que debe ser incluido.
b. Los marcos muestrales deben estar completos, con las escuelas adecuadamente identificadas y con la informacin ms reciente disponible.
c. Los marcos muestrales para la Aplicacin Definitiva deben ser enviados a la CT-LLECE con cinco meses de antelacin a la fecha de inicio de la Aplicacin.
d. La CT-LLECE debe enviar la muestra para la Aplicacin Definitiva a cada pas, un mes despus de recibido un marco muestral que satisfaga los criterios estipulados. Las demoras ocasionadas por marcos muestrales incompletos o defectuosos sern responsabilidad de los pases.
e. La CT-LLECE debe consultar otras fuentes disponibles de estadstica educativa para corroborar que la informacin incluida en los marcos muestrales de los pases se ajusta a las cifras disponibles sobre la poblacin en el universo definido para el estudio.
f. Supervisin de los marcos muestrales de los pases y elaboracin de un reporte tcnico por un Consultor externo. Presentacin del Informe al CTC y al pleno de CN.
572
REPORTE TCNICO
Consecuencias
a. La CT-LLECE solicitar a los pases que corrijan o completen su marco muestral en caso de que ste no se ajuste a los criterios estipulados o que se constaten vacos o insuficiencia de informacin.
b. La CT-LLECE no sortear la muestra de escuelas de un pas en tanto su marco muestral no haya sido aprobado. Las consecuencias de las demoras que esto implique en la Aplicacin Definitiva, incluida la posibilidad de que la operacin no pueda realizarse, son responsabilidad del pas.
c. Si luego de la Aplicacin Definitiva se constataran irregularidades graves en el grado en que el marco muestral cubre la poblacin definida como universo de estudio, los datos del pas en cuestin podran quedar observados o excluidos del Informe Regional.
ANEXOS
573
Criterio II.7. - COBERTURA A LOGRAR EN LA APLICACIN DEFINITIVA

En el Manual de Muestreo para la Aplicacin Definitiva se establecen los requisitos que todo pas debe alcanzar en su muestra nacional y en los estratos sobre los que se reportarn resultados. El Manual establece cul es el porcentaje mximo de la poblacin objetivo que puede ser excluido antes de la aplicacin, as como la proporcin mnima de escuelas y de alumnos sorteados que deben participar efectivamente realizando las pruebas, para que los datos sean considerados confiables.
Procedimientos
a. Sorteo de la muestra de escuelas para cada pas, con sus respectivos reemplazos, por parte de la CT-LLECE.
b. Cada pas debe lograr la participacin de al menos el 80% de las escuela de la muestra (incluyendo reemplazos).
c. Cada pas debe lograr la participacin de al menos el 70% de las escuelas titulares (antes de los reemplazos).
d. Cada pas debe lograr la participacin de al menos el 80% de los alumnos de la muestra que se encuentren asistiendo a clases.
e. Los estndares anteriores se aplicarn tambin a los subuniversos sobre los cuales se reporten resultados.
f. Sern excluidas de los anlisis aquellas secciones en las que menos del 75% de los alumnos que asisten efectivamente a clases realicen la prueba (pero los alumnos sern considerados para las estimaciones nacionales y por estrato). Sern excluidos de los anlisis todos los alumnos de 3 o de 6 de las escuelas donde participan de las pruebas menos del 50% de los alumnos que asisten efectivamente a clases en dichos grados (riesgo de seleccin intencional).
574
REPORTE TCNICO
Consecuencias
a. El incumplimiento de los estndares de cobertura muestral tendr dos tipos de consecuencias, segn la gravedad de la situacin: o bien el pas quedar fuera los reportes regionales (o de algunos de sus captulos), o bien sus datos aparecern observados en dichos reportes. El CTC ser la instancia encargada de valorar la gravedad de las desviaciones que ocurran y recomendar a la CT-LLECE el tratamiento a dar a cada pas (ver Criterio II.4). Las determinaciones que adopte la CT-LLECE a este respecto sern sometidas a la ratificacin o rectificacin por parte del Pleno de Coordinadores Nacionales.
b. Todos los incumplimientos y errores que se constaten sern reportados en un anexo del Informe Region
ANEXOS
575
Criterio II.8. - CODIFICACIN DE PREGUNTAS DE RESPUESTA ABIERTA

La codificacin de las preguntas de respuesta abierta de Matemtica y Ciencias debe realizarse siguiendo las pautas establecidas por la Coordinacin Tcnica en el Manual respectivo. La CT revisar la codificacin de una cantidad fija de cuadernillos por entidad, seleccionados aleatoriamente de todos los correctores, con el fin de controlar la calidad y consistencia de la codificacin.
Procedimientos
a. Elaboracin de Manuales de Codificacin de Preguntas de Respuesta Abierta, a partir de las respuestas de los alumnos en la Aplicacin Piloto. por parte de los Paneles de Expertos.
b. Realizacin de dos Talleres de Entrenamiento para la Codificacin de Preguntas de Respuesta Abierta, uno a partir de la Aplicacin Piloto y otro con anterioridad a la Aplicacin Definitiva.
c. Conformacin de equipos nacionales de codificacin de acuerdo a lo estipulado en los Manuales, cuya labor ser supervisada por los especialistas participantes en los Talleres de Entrenamiento.
d. Supervisin cercana y minuciosa de la labor de todos los codificadores por parte de los expertos de los Centros Nacionales.
e. La codificacin de las preguntas de respuesta abierta debe ser realizada dentro de las seis semanas posteriores a la finalizacin de la Aplicacin Definitiva.
f. Con posterioridad al envo de la base de datos de la Aplicacin Definitiva, la CT-LLECE solicitar a cada pas el envo de una determinada cantidad de ejemplares de cada instrumento, con las respuestas de los alumnos. Los alumnos cuyos instrumentos debern ser enviados sern seleccionados por la CT-LLECE en forma aleatoria o en funcin de anomalas detectadas en la base de datos.
g. Los paneles de expertos de la CT-LLECE revisarn la codificacin de respuestas abiertas en esa muestra de cuadernillos de cada pas. Se espera un nivel de consistencia entre ambas codificaciones (nacional y central) del orden del 85%.
576
REPORTE TCNICO
Consecuencias
a. Los pases cuya codificacin no alcance el nivel de consistencia estipulado debern revisar la totalidad de la codificacin realizada.
b. En funcin de los plazos disponibles, esta situacin puede derivar en que las preguntas de respuesta abierta no formen parte de la estimacin de puntajes para los pases mencionados en a.
c. El CTC analizar si, para el caso de pases cuyos puntajes no incluyan las preguntas abiertas, los resultados son comparables con los pases para los que estas preguntas hayan sido incluidas en sus resultados.
ANEXOS
577
Criterio II.9. - CAPTURA DE DATOS Y CONFORMACIN DE BASES DE DATOS

Cada Centro Nacional ser responsable de producir una base de datos sin errores y con una estructura acorde a lo solicitado por la Coordinacin Tcnica. La CT asistir a los pases en esta tarea a travs de un Manual de Captura y Tratamiento de Datos y un programa para realizar la tarea. La CT controlar la calidad de la base de datos de cada pas.
Procedimientos
a. Elaboracin de un Manual de Captura y Tratamiento de Datos que indica la estructura de tablas que deben ser generadas y el modo de emplear los programas de captura ofrecidos por la CT-LLECE (ACCESS). Inclusin en estos programas de controles de consistencia entre los datos.
b. Realizacin de un Taller de entrenamiento en captura de datos de la Aplicacin Definitiva, para los pases que lo necesiten.
c. Cada pas puede emplear los procedimientos de captura de datos y de control de calidad que le resulten ms convenientes, siempre y cuando entregue una base de datos consistente con la estructura estipulada por la CT-LLECE.
d. Se recomienda utilizar como procedimiento de control la sobre-digitacin de todo el material (un crtico digitador recorre toda la base y corrige los errores que encuentra). Tambin es posible re-codificar el 10% del trabajo de cada digitador.
e. Las bases de datos completas deben ser enviadas a la CT-LLECE dentro de las doce semanas posteriores a la finalizacin de la Aplicacin Definitiva.
f. Desarrollo de un programa de control de las bases de datos para identificar eventuales inconsistencias entre los datos, as como patrones de respuesta sospechosos (por ejemplo, todos los alumnos de una escuela seleccionan el mismo distractor en una pregunta).
g. Como segundo procedimiento de control, con posterioridad al envo de la base de datos, la CT-LLECE solicitar a cada pas el envo de una determinada cantidad de ejemplares de cada instrumento, con las respuestas originales de los alumnos. Los alumnos cuyos instrumentos debern ser enviados, sern seleccionados por la CT-LLECE en forma aleatoria o en funcin de anomalas detectadas en la base de datos. Estos instrumentos sern empleados para verificar la calidad de la digitacin.
578
REPORTE TCNICO
h. Los procedimientos de control de calidad de las bases de datos sern realizados durante un lapso de cuatro semanas a partir de la fecha de recepcin de las mismas.
i. Los controles de calidad utilizados, as como los resultados de los mismos, sern descritos en el Reporte Tcnico que ser entregado a los pases junto con la base de datos.
Consecuencias
a. En caso de que se encuentren errores o inconsistencias en las bases de datos, la CT-LLECE tratar con cada pas las correcciones del caso, dentro del lapso de cuatro semanas establecido en el apartado anterior.
b. Si los errores e inconsistencias fuesen de tal magnitud que no puedan resolverse dentro de ese lapso, los resultados del pas en cuestin quedarn fuera del Primer Informe Regional y ser parte de posteriores Informes, una vez que se logre consolidar adecuadamente la base de datos.
c. En casos excepcionales de anomalas extremas en sus bases de datos, un pas podra quedar definitivamente excluido del estudio. Est ltima decisin deber ser avalada por el CTC y el pleno de CN.
ANEXOS
579
Criterio II.10. - CONFIDENCIALIDAD DE LOS INSTRUMENTOS

Las pruebas del SERCE, tanto en su versin piloto como en su versin definitiva, son propiedad de UNESCO/ OREALC y su divulgacin o uso no est permitido bajo ninguna forma, dado que es necesario garantizar la confidencialidad de un conjunto de preguntas que podran ser utilizadas en estudios posteriores, con fines de equiparacin. Los cuestionarios de factores asociados no tiene carcter confidencial. Procedimientos
a. Los Coordinadores Nacionales son responsables de garantizar la confidencialidad de las pruebas en su pas. La confidencialidad de las pruebas forma parte de una Acta de Acuerdo entre UNESCO/OREALC y los Ministerios de Educacin de los pases participantes.
b. Solo puede tener acceso a las pruebas el personal directamente involucrado en las aplicaciones (especialistas en las reas, aplicadores, codificadores, digitadores, imprenta).
c. Todas las personas que tengan acceso a las pruebas deben firmar un compromiso de confidencialidad con un formato estndar proporcionado por la CT-LLECE.
d. El personal de las escuelas en que las pruebas se aplican no puede tener acceso a las mismas.
e. Las pruebas no pueden ser copiadas bajo ninguna forma fuera del Centro Nacional.
f. El Coordinador Nacional debe establecer los mecanismos que aseguren la seguridad del material durante su distribucin para la Aplicacin Piloto.
g. Los archivos electrnicos con las pruebas deben estar protegidos con contrasea.
h. Todos los ejemplares impresos de las pruebas empleados en la Aplicacin Piloto deben ser archivados en forma segura y destruidos antes del inicio de la Aplicacin Definitiva.
i. Todos los ejemplares impresos de las pruebas empleados en la Aplicacin Definitiva deben ser deben ser archivados en forma segura y destruidos al momento de la publicacin del Primer Informe Regional.
580
REPORTE TCNICO
j. Cualquier pas u organizacin que desee emplear las pruebas deber realizar una solicitud formal a UNESCO/ OREALC. La autorizacin se decidir en cada caso en funcin de la relevancia del propsito para el cual se solicita su uso y de las garantas de mantenimiento de la confidencialidad que ofrezca la entidad.
k. La CT-LLECE indicar oportunamente a los pases participantes una lista de preguntas de las pruebas que podrn ser empleadas con fines de divulgacin, las que sern incluidas en los Informes Regionales.
Consecuencias
a. Cualquier filtracin de las pruebas o parte de las mismas deben ser informada en forma inmediata a la CTLLECE.
b. El Pleno de CN establecer las sanciones internas que consider pertinentes con los pases miembros que no cumplan con los acuerdos de confidencialidad.
ANEXOS
581
Criterio II.11. - CONFIDENCIALIDAD DE LOS RESULTADOS PROVISORIOS

Los Coordinadores Nacionales recibirn anticipos del Primer Informe Regional, pero todos los resultados tendrn carcter confidencial hasta el momento en que se presente dicho Informe.
Procedimientos
a. Entrega a los Coordinadores Nacionales de una versin preliminar del Primer Informe Regional para que puedan formular observaciones y recomendaciones, y para que puedan preparar la estrategia de divulgacin en su pas, con dos meses de anticipacin a la primera presentacin de resultados regionales.
b. Esta versin preliminar tendr carcter confidencial y slo podr ser utilizada a nivel del Centro Nacional.
c. En la semana previa a la divulgacin del Primer Informe Regional cada Centro Nacional podr adelantar informacin a las mximas autoridades de su Ministerio de Educacin, pero esta informacin no podr ser divulgada a la prensa.
d. Con anterioridad al envo de la versin preliminar del Primer Informe Regional la UNESCO/OREALC establecer un acuerdo formal con cada Ministerio de Educacin por el cual el Ministerio autoriza la publicacin de los datos de su pas y se compromete a guardar la confidencialidad de los resultados hasta su presentacin pblica por parte de la UNESCO.
Consecuencias
a. Cualquier filtracin de los resultados incluidos en el Primer Informe Regional debe ser informada en forma inmediata a la CT-LLECE.
b. El Pleno de CN establecer las sanciones internas que consider pertinentes con los pases miembros que no cumplan con los acuerdos de confidencialidad.
582
REPORTE TCNICO
Criterio II.12. - TRANSPARENCIA EN LA DIVULGACIN DE RESULTADOS

Los resultados de todos los pases participantes en el SERCE sern divulgados de forma transparente a travs de los Informes Regionales, una vez que cada pas participante haya aprobado los procedimientos tcnicos seguidos en el relevamiento y procesamiento de la informacin.
Procedimientos
a. Una vez concluida la Aplicacin Definitiva y conformada la base de datos regional, cada pas recibir un Reporte Tcnico acerca del cumplimiento de los criterios de calidad estipulados en este documento, junto con la base de datos correspondiente al pas, con las puntuaciones centradas en la media del pas (lo cual significa que el pas podr analizar internamente sus resultados pero no podra conocer su situacin relativa a nivel regional).
b. A partir de lo anterior cada Ministerio de Educacin deber firmar un acuerdo de conformidad con los procedimientos seguidos, su autorizacin a la UNESCO/OREALC para publicar los resultados del pas y su compromiso de guardar la confidencialidad de los resultados hasta la publicacin de los mismos por parte de la UNESCO.
c. Los pases que tengan objeciones a los procedimientos seguidos o al cumplimiento de los criterios de calidad debern formularlos por escrito a la CT-LLECE, que buscar subsanar los problemas detectados.
Consecuencias
a. Cada pas podr objetar el estudio en esta etapa y solicitar que sus resultados sean excluidos de los Informes Regionales.
b. El propsito de estos procedimientos es evitar que la decisin de un pas de no permitir la publicacin de sus resultados est basada en la posicin relativa del pas en el contexto regional. De este modo, el pas debe tomar la decisin sobre la base de su valoracin de los procedimientos tcnicos seguidos en el Estudio.
c. Una vez que un pas ha aprobado los procedimientos tcnicos seguidos, la UNESCO/OREALC quedar autorizada y obligada- a dar a conocer pblicamente todos los resultados.
ANEXOS
583

ReporteTecnicoSERCE PDF

Uploaded by

Document Information

Original Description:

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

ReporteTecnicoSERCE PDF

Uploaded by

Copyright:

Available Formats

Autora

Equipo tcnico del LLECE

Dr. C. Hctor Valds Veloz Coordinador del LLECE

y administracin de datos Calificacin de Items de respuesta abierta Comentario final

136 137 138

468 469 470 471

547 548 548

551 551 553 555 557 558 559 560

Cuadro I.1. Cronograma de la construccin de los instrumentos

Mar Abr 2005

Abr May 2005

May Dic 2005

Jun Dic 2005

May Jun 2006

Abr Oct 2006

I.1. DISEO DE LAS PRUEBAS DE DESEMPEO

I.1.1. MARCO CONCEPTUAL

Cuadro I.1.1.1. Enfoques identificados en el anlisis curricular

Lingstico textual. Gramatical prescriptivo.

Activo constructivista. Interactivo constructivista. Instruccional directivo.

Activo constructivista. Instruccional directivo.

Habilidades para la vida

ESPECIFICACIONES DE LAS PRUEBAS

FORMATO DE LAS PRUEBAS

Nmero de Items cerrados 11, en todos los bloques.

14, en todos los bloques.

1, en todos los bloques.

Cuadro I.1.1.5. Estructura de cuadernillos para lectura, matemtica y ciencias

Bloque en primera posicin

Bloque en segunda posicin

ELABORACIN DE LOS ITEMS

ADAPTACIN LINGSTICA Y TRADUCCIN AL PORTUGUS

PERTINENCIA DE LOS ITEMS

I.1.2. DISEO DE LAS PRUEBAS EN LA FASE PILOTO

Lectura Tercero Matemtica Escritura Lectura Sexto Matemtica Ciencias Escritura

I.1.3. DISEO DE LAS PRUEBAS DEFINITIVAS

PRESENTACIN DEL MODELO DE ANLISIS

ENSAMBLE DE LAS PRUEBAS DEFINITIVAS

ESTRUCTURA DE LAS PRUEBAS DEFINITIVAS

Cuadro I.1.3.3. Especificaciones de la prueba de matemtica para tercer grado PROCESOS

Nmero de items Nmeros Geometra Medicin Estadstica Variacional TOTAL

5,55 13,89 5,56 5,56 4,16 34,72

19,45 8,33 12,50 5,56 4,16 50,00

8,33 1,39 4,16 0,00 1,39 15,27

33,33 23,61 22,22 11,12 9,71 100,00

Cuadro I.1.3.4. Especificaciones de la prueba de lectura para sexto grado PROCESOS

18,75 7,29 26,04

41,67 9,37 51,04

15,63 7,29 22,92

76,05 23,95 100,00

Cuadro I.1.3.5. Especificaciones de la prueba de matemtica para sexto grado PROCESOS

8,33 6,25 4,17 8,33 2,08 29,16

15,63 8,33 11,46 7,29 9,38 52,09

4,17 5,21 6,25 1,04 2,08 18,75

28,13 19,79 21,88 16,66 13,54 100,00

Cuadro I.1.3.6. Especificaciones de la prueba de ciencias para sexto grado PROCESOS

16,66 6,67 6,67 30,00

17,78 17,78 14,44 50,00

5,56 5,56 8,88 20,00

40,00 30,00 30,00 100,00

I.2. DISEO DE LOS CUESTIONARIOS DE CONTEXTO

PRIMER ESTUDIO INTERNACIONAL COMPARATIVO