Informe tcnico

Pruebas de la evaluacin de diagnstico

Elaboracin de las pruebas

1. Determinacin de la naturaleza y finalidad de la evaluacin. 2. Definicin de competencias. 3. Redaccin de tems y elaboracin de los criterios de correccin. 4. Elaboracin de las tablas de especificaciones. 5. Estructuracin del banco de tems. 6. Diseo y desarrollo del estudio piloto. 7. Seleccin de los tems. 8. Puntuacin e interpretacin de las respuestas. 9. Elaboracin de documentacin para aplicadores. 10. Desarrollo de la aplicacin informtica.

1. Determinacin de la naturaleza y finalidad de la evaluacin.

Naturaleza diagnstica. Finalidad formativa. Apoyada en la definicin previa de competencias y sus diferentes niveles. Dirigida a alumnos de 4 de Educacin Primara y 2 de ESO. Administrada, corregida y puntuada por los profesores de cada Centro. Censal y muestral.

2. Definicin de competencias.
Competencia lingstica.
Educacin Primaria. Educacin Secundaria Obligatoria.

Competencia matemtica.
Educacin Primaria. Educacin Secundaria Obligatoria.

3. Redaccin de tems y elaboracin de los criterios de correccin.

Panel de expertos, formados por profesores del rea de enseanza, coordinador por un Inspector. La redaccin de los tems toma como referencia situaciones problema que adoptan diferentes formas. Los tems se redactan hasta completar las diferentes competencias medidas en cada etapa y rea de enseanza. Las respuestas a cada tem (aportadas o construidas por el alumno) siguen un modelo de escala graduada.

4. Elaboracin de las tablas de especificaciones.

En cada una de las reas de enseanza se identificaron tems hasta cubrir todas las competencias definidas:
COMPETENCIA LINGSTICA
SITUACIONES PROBLEMA TEMS

COMPETENCIA MATEMTICA
SITUACIONES PROBLEMA TEMS

EDUCACIN PRIMARIA E.S.O.

15

72

13

54

18

77

34

50

5. Estructuracin del banco de tems.

Se elaboraron 16 modelos de pruebas, cuatro por cada una de las reas de enseanza y etapas consideradas. Todas las competencias objeto de evaluacin contaban con tems en los diferentes modelos construidos. Los diferentes modelos de una misma prueba tenan un nmero similar de tems. La proporcin de tems administrados deba ser al menos el triple de los que formaran las pruebas definitivas.
El supuesto de partida es que las pruebas definitivas se elaborasen eligiendo el mejor de 3 tems.

5. Estructuracin del banco de tems.

Pregunta 1

MODELO A El Piyayo 10.1 (S1, S2, S10, S11, S12) El Piyayo 10.2 (S6)

MODELO B Andy & Lucas 11.1 (S1) Andy & Lucas 11.2 (S1, S2, S3, S10, S11, S12) Sucesos 03.4 (S4, S5, S10, S11, S12, S13) Sucesos 03.2 (S4, S5, S7, S8, S11, S12) Sucesos 03.5 (S12) Desierto 05.1 (S10) Desierto 05.3 (S7, S8, S14) Factura 16.1 (S8) Factura 16.3 (S5, S9, S13) Factura 16.4 (SS8, S11, S12)

MODELO C Andy & Lucas 11.1 (S1) Andy & Lucas 11.2 (S1, S2, S3, S10, S11, S12) Defensor 14.1 (S4, S5, S8) Defensor 14.3 (S5) Defensor 14.5 (S4, S5, S8, S9, S10, S11, S12, S13) Cmic 15.5 (S10) Cmic 15.7 (S11, S14) Acta 06.5 (S11) Acta06.6 (S4, S7, S12, S13) Acta 06.7 (S6)

MODELO D El Piyayo 10.1 (S1, S2, S10, S11, S12) El Piyayo 10.2 (S6)

Diccionario 09.1 (S5) Diccionario 09.7 (S10, S11) Cine 02.1 (S4, S7, S8) Cine 02.3 (S3, S10, S14) Cine 02.4 (S4, S7, S13) Dilogo 08.4 (S3) Dilogo 08.6 (S3, S12) Dilogo 08.8 (S9, S12)

Drogas 13.2 (S4, S5, S8) Drogas 13.4 (S4, S5, S11, S14) Factura 16.3 (S5, S9, S13) Factura 16.4 (S8, S11, S12) Bis (S4, S5, S7, S8, S12) Tranquiln 07.1 (S8) Tranquiln 07.2 (S10) Tranquiln 07.3 (S3, S10)

6 7 8 9 10

6. Diseo y desarrollo del estudio piloto.

Muestra
CENTROS RURALES URBANOS N. BAJO 6 URBANOS N. MEDIO-BAJO 10 TOTAL ALUMNOS

ETAPAS

LEN MAT

EP

20

804

821

ESO

16

700

674

Donde fue necesario, se eligieron al azar 2 grupos de E.P. y 2 grupos de E.S.O.

6. Diseo y desarrollo del estudio piloto.

Aplicacin de las pruebas Duracin 90 minutos.
E.P.: Estructurada en 2 partes, con descanso de 15 minutos.

Aplicacin durante dos das consecutivos, de forma preferente a primera hora de la jornada escolar. Aplicadores:
Inspectores, Profesores de Enseanza Primaria y Educacin Secundaria.

6. Diseo y desarrollo del estudio piloto.

Correccin y tabulacin Correctores:
Equipos formados por inspectores, profesores de Enseanza Primaria y Educacin Secundaria.

Asignacin de puntuaciones segn criterios de correccin previamente fijados. Tabulacin de los datos:
Hojas de clculo.

Primer estudio (deteccin y correccin de errores).

Estudio descriptivo.

7. Seleccin de los tems.

Procedimientos de anlisis Primera aproximacin:
Distribuciones de frecuencias segn niveles de referencia. Correlacin policrica del tem y la puntuacin en la prueba.

Calibracin de los tems:

Mediante modelos lgsticos de dos parmetros (dificultad y discriminacin) para tems politmicos (respuesta graduada): Modelo de crdito parcial y modelo de respuesta graduada.
Bondad de ajuste de las 16 pruebas administradas a los modelos logsticos mediante Chi-cuadrado. Estimacin de parmetros de dificultad y discriminacin del tem. Curva caracterstica del tem y la Funcin de informacin del tem. Curva caracterstica de la prueba.

7. Seleccin de los tems.

Criterios de seleccin Ajuste de la prueba al modelo logstico, = 0,05. Presencia de todos los niveles de respuesta posibles en un tem. tems con niveles de dificultad 1,20 (EP) y 1,60 (ESO). tems con mejores valores de discriminacin entre los que miden una misma competencia. Todas las competencias se miden con algn tem.

8. Puntuacin e interpretacin de las respuestas.

Asumiendo una distribucin normal, las puntuaciones de los sujetos en cada prueba se transforman de una escala original con media cero a una escala con:
Media 500 y desviacin tpica 100. 66,7% de las puntuaciones entre 400 y 600 puntos.

A partir del anlisis de la dificultad de los tems, se han establecido 6 niveles diferentes de competencia, graduados desde 1 a 6.

16 % 9%

25 %

25 %

16 % 9%

366

433

500

567

634
Competencia

Competencia en comunicacin lingstica (lengua espaola). Educacin Secundaria Obligatoria. Nivel 1 366 Nivel 2 367-433 Importantes dficits en cuanto a desarrollo de las competencias lingsticas, que impiden al sujeto aplicarlas para responder con acierto a diferentes situaciones escolares o cotidianas. Competencias deficitarias, aunque con incipiente desarrollo Su aplicacin permite al sujeto responder con acierto parcial a algunas situaciones en las que se desenvuelve. Desarrolla parcialmente algunas competencias: extrae determinadas informaciones de textos escritos y orales, realiza interpretaciones y valoraciones parciales del contenido de un texto, elabora sntesis incompletas, respeta algunas convenciones ortogrficas y de puntuacin, aunque presenta errores importantes. En definitiva, su competencia en comunicacin lingstica es claramente mejorable. Desarrollo aceptable de la mayora de las competencias definidas, aunque presenta deficiencias objeto de correccin. En este nivel puede situarse el alumnado que presenta un grado adecuado de comprensin y expresin. Capta sin grandes dificultades las ideas esenciales de un texto, aplica el dominio de la lengua para resolver las situaciones problema propuestas. No obstante, su nivel de desarrollo competencial no es ptimo, bien porque presenta ciertas deficiencias en la produccin de textos sobre todo en aspectos de cohesin sintctica, de precisin semntica o de correccin ortogrfica, bien porque su comprensin es incompleta, bien porque tiene dificultad para interpretar y valorar ciertos textos. Comprende las relaciones entre las ideas de un texto, identificado su estructura. Elabora un resumen sobre un tema especfico. Reconoce y comprende los rasgos caractersticos de diversos tipos de textos. Produce textos coherentes con la intencin comunicativa y adecuados a la situacin de comunicacin, dotados de coherencia semntica, cohesin sintctica, propiedad lxica y correccin ortogrfica. Alto desarrollo de las competencias en los mbitos de la comprensin oral y escrita, y de la expresin escrita. En este nivel se encuentra el alumnado que aplica las competencias adquiridas

Nivel 3 444-500

Nivel 4 501-567

Nivel 5 568-634

Nivel 6 > 634

9. Elaboracin de documentacin complementaria.

Documento que recoge el Marco terico. Informe tcnico. Manual del aplicador:
Lengua EP. Lengua ESO. Matemticas EP. Matemticas. ESO.

10. Desarrollo de la aplicacin informtica. Una vez corregidas las pruebas en cada Centro, permite conocer para una prueba dada:
Puntuaciones directas individuales. Puntuaciones individuales por dimensiones (p.e. comprensin escrita). Puntuaciones individuales transformadas (500, 100). Puntuaciones directas para cada grupo y Centro. Puntuaciones por dimensiones en el mbito del grupo y del Centro. Puntuaciones transformadas en el mbito del grupo y del Centro.