SABER PRO noviembre 2011 Principales resultados en los mdulos de competencias genricas

Bogot, abril 19 de 2012

Plan de la presentacin

1. Antecedentes
2. Sobre los nuevos exmenes 3. Principales resultados en los mdulos de competencias genricas 4. Informacin de resultados disponible

Antecedentes

LIMITACIONES DE LOS EXMENES APLICADOS HASTA 2008

No todos los estudiantes presentaban el examen Medidas entre programas no eran comparables (excepto en

comprensin lectora e ingls) Restricciones para uso de informacin para toma de decisiones Restringida interpretacin pedaggica de los resultados de los exmenes Problemas tcnicos asociados a tamaos muy reducidos de muestras en buena parte de programas evaluados Ausencia de medida de valor agregado*

Sobre los nuevos exmenes

Propsito de los nuevos exmenes

Apoyar el Sistema de Aseguramiento de la Calidad de la Educacin Superior con mejor informacin para la toma de decisiones:
Evaluar todo el sistema de educacin superior Garantizar la utilidad de los indicadores Garantizar la confiabilidad y la continuidad

Garantizar interpretacin pedaggica

Marco legal Decreto 3963 de 2009

Competencias a evaluar Se deben evaluar las competencias de los estudiantes que estn prximos a culminar los distintos programas de pregrado, en la medida en que puedan ser valoradas con exmenes externos de carcter masivo, incluyendo aquellas genricas que son necesarias para el adecuado desempeo profesional o acadmico independientemente del programa que hayan cursado. Las competencias especficas sern definidas por el MEN con la participacin de la comunidad acadmica, profesional y del sector productivo, teniendo en cuenta los elementos disciplinares fundamentales de la formacin superior que son comunes a grupos de programas en una o ms reas del conocimiento.

Los exmenes estandarizados no pretenden ser la medida de la calidad de la formacin impartida.

Estructura de los exmenes

Los exmenes SABER PRO se estructuran por mdulos (componentes combinables) de evaluacin de dos tipos de competencias:
1. Competencias genricas

2. Competencias especficas comunes a grupos de programas

Competencias
Son el elemento articulador de todos los niveles de formacin y se constituyen en referentes comunes sobre lo que las personas deben saber y saber hacer a lo largo de su trayectoria en el sistema educativo Todas las personas, independientemente de su especializacin, deben desarrollar capacidades para aprender durante toda la vida: comprensin de contextos y situaciones, comunicacin con otros, seleccin y anlisis de gran cantidad de informacin, solucin problemas de distinta naturaleza, en respuesta a entornos retadores y que cambian con extrema rapidez

Las competencias son un saber hacer flexible que se puede actualizar en distintos contextos la capacidad de usar los conocimientos en situaciones distintas de aquellas en las que se aprendieron. Implica la comprensin del sentido de cada actividad, y de sus implicaciones ticas, sociales, econmicas y polticas (MEN, 2006)

Competencias genricas / competencias del siglo XXI

Son transversales a las reas curriculares y del conocimiento (disciplinas); se desarrollan a travs del trabajo concreto en una o ms reas y pueden ser transferidas a otros contextos Son longitudinales: estn presentes en todos los niveles y su complejidad es creciente a lo largo de toda la trayectoria educativa Deben ser desarrolladas por todas las personas, aunque no necesariamente en el mismo nivel

Mdulos de competencias genricas

Lectura crtica
Razonamiento cuantitativo

Escritura
Ingls

Competencias ciudadanas (primera aplicacin: junio de 2012) Todas las personas que presenten el examen toman estas pruebas comunes

Mdulos de competencias genricas

Lectura crtica: desempeos asociados a lectura, pensamiento crtico y entendimiento interpersonal: Leer analtica y reflexivamente Comprender los planteamientos expuestos en un texto e identificar sus perspectivas y juicios de valor Identificar y recuperar informacin presente en uno o varios textos, construir su sentido global, establecer relaciones entre enunciados y evaluar su intencionalidad

Mdulos de competencias genricas

Razonamiento cuantitativo: desempeos relacionados con uso de lenguaje cuantitativo y solucin de problemas Comprensin de conceptos bsicos de las matemticas para analizar, modelar y resolver problemas, aplicando mtodos y procedimientos cuantitativos y esquemticos Interpretacin de datos, la formulacin de problemas y la ejecucin, evaluacin y validacin de procedimientos y estrategias

Mdulos de competencias genricas

Escritura Comunicar ideas por escrito referidas a un tema dado. Los escritos se califican teniendo en cuenta los siguientes criterios: Elaboracin de la intencin y el propsito Claridad de la estructura y la organizacin Manejo del lenguaje y las convenciones

Mdulos de competencias genricas

Ingls
Comunicarse efectivamente en ingls Permiten clasificar a los evaluados en cuatro categoras de desempeo, segn las bandas del Marco Comn Europeo

Mdulos de competencias genricas

Competencias ciudadanas
Conocer y comprender la Constitucin Poltica de Colombia: Comprender qu es la Constitucin Conocer los derechos y deberes que la Constitucin consagra Conocer la organizacin del Estado Valoracin de argumentos: analizar y evaluar la pertinencia y solidez de un enunciado Multi-perspectivismo: reconocer, contrastar y valorar distintas perspectivas Pensamiento sistmico: comprender que los fenmenos sociales y sus soluciones son multidimensionales y reconocer interacciones entre estas dimensiones

Produccin de resultados No se pretende que los estudiantes de todas las formaciones desarrollen las competencias genricas a un mismo nivel, ni an las comunes a grupos de programas Para que las comparaciones tengan sentido y para evitar ordenamientos sobresimplificados, se han conformado grupos de referencia

Grupos de referencia
Agrupacin de programas con caractersticas similares que se defini con base en los siguientes criterios: Clasificacin de programas del Sistema Nacional de Informacin de la Educacin Superior (SNIES) del Ministerio de Educacin Nacional Clasificacin Internacional Normalizada de la Educacin (CINE) de la Unesco

Nmero de evaluados
Se conformaron 30 grupos de referencia

Adems de los resultados individuales en competencias genricas

Resultados agregados
Puntajes promedio y desviaciones estndar Distribuciones por niveles de desempeo (pruebas de escritura e ingls) Distribuciones por quintiles (pruebas de lectura crtica y razonamiento cuantitativo) Grupos de referencia Niveles de formacin (universitaria, tecnolgica, tcnica)

para

Sector (oficial privado) IES Programas Otros: niveles socioeconmicos, situacin de acreditacin *

Las pruebas del mdulo de competencias genricas fueron tomadas por todos los estudiantes por primera vez en noviembre de 2011
Ya se est evaluando toda la educacin superior Hay informacin muy potente para apoyar la toma de decisiones a nivel de las IES Los indicadores para iniciar comparaciones histricas son ms robustos Hay avances importantes en la interpretacin pedaggica de los resultados: niveles de desempeo (escritura e ingls) y quintiles (razonamiento cuantitativo y lectura crtica)

Las pruebas del mdulo de competencias genricas fueron tomadas por todos los estudiantes por primera vez en noviembre de 2011
Falta incorporar a los anlisis: Informacin del nivel acadmico de los estudiantes al ingreso a la educacin superior Informacin de los niveles socio-culturales Los resultados que se presentan a continuacin se limitan a presentar un panorama de las competencias de los egresados; no permiten todava identificar mayores o menores logros de los programas de educacin superior

Principales resultados en los mdulos de competencias genricas

Estadsticas de evaluados en noviembre de 2011

Total evaluados en el mdulo de competencias genricas, por nivel de formacin

Modalidad
Universitarios No universitarios (tcnica y tecnolgica) Normalistas superiores TOTAL

No. Porcentaje evaluados

94.064 47.152 4.583 145.799 65% 32% 3% 100%

Nmero de evaluados por grupo de referencia - Universitarios

30.000 26.398 25.000 20.000 15.000
10.000

18.401

11.889

10.421 6.557 5.789 3.669 2.938 2.399 1.904 1.592

1.235

5.000 0

738

134

Nmero de programas por grupos de referencia - Universitarios

800 700 600 500 400 300 200 100 0 198 117 183 102 48 109 83 99 43 54 3 386 688 601

Nmero de evaluados por grupos de referencia - No Universitarios

14.000 12.241
12.000

11.210

10.000 8.000
6.000

5.018 5.014

4.583 3.007 2.100

1.570 1.418 1.282 1.132

4.000 2.000
-

926

797

555

548

334

Nmero de programas por grupos de referencia - No Universitarios

350 300
250

296

200 150 100 145

192 135 135 79 51 81 50 49 53 20

23

50 10 0

25

14

Nmero de evaluados por sector y grupos de referencia - Universitarios

30.000 28.000 26.000 24.000 22.000 20.000 18.000 16.000 14.000 12.000 10.000 8.000 6.000 4.000 2.000 -

Evaluados

Oficiales

Privados

Nmero de evaluados por sector y grupos de referencia - No universitarios

14.000 12.000

Evaluados

10.000

8.000 6.000 4.000 2.000 -

Oficiales

Privados

Puntajes promedio en los mdulos de competencias genricas

Total nacional

Promedios en las pruebas de los mdulos de competencias genricas, por grupos de referencia - Universitarios
11,5
11,0
Promedio

10,5 10,0
9,5

9,0 8,5

Escritura

Ingls

Lectura crtica

Razonamiento cuantitativo

Puntajes promedio en escritura - universitarios

11,5 11,0 10,5
Promedio

10,89 10,53 10,43

10,30

10,29

10,28

10,26 10,09 10,08 10,08 10,08 10,07 10,01 9,95

10,0 9,5 9,0 8,5

Puntajes promedio en ingls - universitarios

11,5 11,0 10,5 10,0 9,5 9,0 8,5 11,20 10,95 10,94 10,90 10,76 10,70 10,65 10,65 10,33 10,20 10,17 10,15

Promedio

9,96

9,91

Puntajes promedio en lectura crtica - universitarios

11,5 11,0 10,5
Promedio

10,82

10,71

10,65

10,50

10,48

10,43

10,42

10,41

10,38

10,22

10,12

10,12

10,11 9,82

10,0 9,5 9,0 8,5

Puntajes promedio en razonamiento cuantitativo universitarios

11,5 11,0 10,5
Promedio

10,84

10,78

10,76 10,36 10,31 10,29 10,18 10,16

10,14

10,0 9,5 9,0 8,5

9,99

9,98

9,91

9,91 9,63

Promedios en las pruebas del mdulo de competencias genricas, por grupos de referencia - no universitarios
11,0 10,5

Promedio

10,0

9,5 9,0
8,5

Escritura

Ingls

Lectura crtica

Razonamiento cuantitativo

Puntajes promedio en escritura - no universitarios

11,5 11,0
Promedio

10,5 10,0 9,5 9,0 8,5 9,94 9,90 9,84 9,82 9,77 9,71 9,71 9,71 9,66
9,63

9,59

9,59

9,57

9,50

9,47

9,41

Puntajes promedio en lectura crtica - no universitarios

11,5 11,0

Promedio

10,5 10,10

10,0 9,5 9,0 8,5

9,92

9,85

9,81

9,81

9,75

9,74

9,69

9,68

9,59

9,58

9,54

9,47

9,46

9,30 9,08

Puntajes promedio en ingls - no universitarios

11,5 11,0 10,5
Promedio

10,40 10,08 9,90 9,88 9,83 9,78 9,78

10,0 9,5 9,0 8,5

9,73

9,63

9,63

9,55

9,54

9,48

9,45

9,42

9,31

Puntajes promedio en razonamiento cuantitativo - no universitarios

11,5 11,0 10,5
Promedio

10,15
10,0

10,02

9,97

9,89

9,85

9,79

9,76

9,69

9,66

9,64

9,63

9,57

9,51

9,5 9,0 8,5

9,49

9,47

9,35

Ejemplos de preguntas de lectura crtica

Ejemplos de preguntas de lectura crtica

Ejemplos de preguntas de razonamiento cuantitativo

Ejemplos de preguntas de razonamiento cuantitativo

Distribucin por niveles de desempeo en la prueba de ingls

Total nacional

Descripcin de los niveles de desempeo en ingls

Distribucin por niveles de desempeo en ingls - Universitarios

14%
26%

24%

5%
14%

17%
6% 38% 8% 17% 19%

22% 11% 17% 7% 16% 19% 33%

25% 18%

13% 27% 23% 24%

-13%

18% 31% 21% 20%

10% 3% 15%

34%
18%

30%
23%

17%
21%

31% 29% 25%

2% 21%

24%
25%

18% 30% 24%

7% 10% 13%
31%

19% 35%

16% 8%

23% 10%

31%

31%

21% 10%

20% 15%

2%

25%

25%

25%

39%

28%

A1

A-

A2

B1

B+

Distribucin por niveles de desempeo en ingls - No universitarios

8% 2% 8% 16% 38% 5% 16% 21% 33% 26% 43% 37% 23% 24% 28% 16% 63% 53% 31% 27% 42%
56% 46%

1% 5% 13%
37%

1% 10% 1% 4% 32% 1% 3% 8% 36% 20% 39%

1% 12% 21% 38%

1% 7% 11% 39%

1% 8% 2% 6% 36% 4% 12% 37%

20%

1% 10% 4% 10% 37% 4% 10% 38% 19% 39%

2% 12% 19% 37%

37%

34%

50%

47%

30%

30%

A1

A-

A2

B1

B+

Distribucin por niveles de desempeo en la prueba de escritura Total nacional

Descripcin de los niveles de desempeo en escritura

Nivel Caractersticas del escrito
El texto trasciende el estmulo dado, complejizando los planteamientos de manera efectiva tanto a nivel de pensamiento como de recursos lingsticos. Incluye el problema planteado en un dilogo de ideas y posiciones, en una perspectiva ms amplia e intertextual que construye y precisa su sentido. El texto de este nivel es de alto inters y motivacin para el lector, debido a la eficacia del escrito. En el texto se evidencia una planeacin en la escritura en dos aspectos fundamentales. En el primero, el autor piensa en cmo expresar sus ideas de manera efectiva, aplicando diversos recursos textuales para evidenciar sus planteamientos. En el segundo, el autor adecua su discurso para un pblico determinado, lo que le permite prever los conocimientos previos de su lector, su adecuacin del lenguaje y de los conceptos empleados. En el texto se aprecia con claridad la posicin de quien escribe, se expresan con claridad las ideas y hay un uso correcto de las expresiones que permiten conectarlas, lo que le da al texto coherencia completa. Hay un uso adecuado de distintos mecanismos que le dan coherencia y cohesin al texto (signos de puntuacin, conectores). Lo anterior permite que el escrito sea fluido. El texto alcanza unidad, por medio de la progresin temtica, es decir, logra encadenar o relacionar efectivamente las ideas, dndole continuidad al escrito: incorpora informacin nueva vinculndola con la anterior, presentando la informacin en un orden cronolgico, partiendo de temas generales para desglosar temas especficos, entre otras maneras de interrelacionar contenidos. Todo el texto se desarrolla en un mismo eje temtico, aunque pueden presentarse fallas en el uso de conectores. Hay un buen uso del lenguaje, aunque pueden encontrarse errores en la aplicacin de algunas reglas de ortografa y puntuacin. En el texto se encuentra una idea central que se desarrolla de acuerdo con una intencin comunicativa. El texto tambin posee una estructura bsica, en otras palabras, es posible identificar una introduccin al tema que se abordar, un desarrollo y una conclusin. Sin embargo, el texto no incluye toda la informacin necesaria (progresin temtica), su organizacin no es completamente efectiva, o rompe la unidad al incluir temas que no se relacionan con el marco semntico que desarrolla. Se aprecia un uso aceptable del lenguaje (se aplican las reglas gramaticales ms importantes). En el escrito se aprecia el esbozo de una intencin comunicativa, es decir, se ve que quien escribe pretende alcanzar un fin, por medio del escrito busca una reaccin especfica en el lector. Se encuentran problemas de manejo del lenguaje, pero estos no impiden la comprensin de los enunciados. En el escrito se aprecian ideas, pero estas pueden ser incoherentes, o se presentan desarticuladamente. No hubo desarrollo organizado del tema o el escrito pudo ser innecesariamente largo o repetitivo. En el escrito se aborda la tarea propuesta, pero hay problemas en el manejo de la convencin (serios errores de sintaxis, puntuacin o escritura de las palabras) o un desarrollo insuficiente del tema (es tan breve que no se pueden aplicar los criterios de anlisis). No contest o el escrito no fue legible.

8 7 6 5 4 3 2 1
Sin calificacin

Distribucin por niveles de desempeo en escritura - Universitarios

N4

N3

N2

N1

Sin nivel

N5

N6

N7

N8

Distribucin por niveles de desempeo en escritura - No universitarios

N4

N3

N2

N1

Sin nivel

N5

N6

N7

N8

Ejemplo de un texto de nivel 3

Nivel de formacin: tecnolgica Programa: Tecnologa deportiva

Ejemplo de un texto de nivel 5, p. 1

Nivel de formacin: universitaria Programa: Enfermera

Ejemplo de un texto de nivel 5, p. 2

Nivel de formacin: universitaria Programa: Enfermera

Distribucin por quintiles en la prueba de lectura crtica

Total nacional

Distribucin por quintiles en la prueba de lectura crtica - Universitarios

100% 90% 80% 70% 60% 50%
40%

27%

32%

31%

22%

19% 20% 21%

16% 17% 38% 31%

29%

14% 29% 15% 21% 19% 19% 28% 11% 14% 7% 17% 20% 19% 25% 15% 18% 10% 18% 9% 20% 43% 23% 47%

20% 19% 20% 22% 15% 12% 4%

25%

22%

25%

23%

23% 21% 31% 25% 17% 15% 12% 6%

21%

21% 18% 9%

30% 20% 10% 0%

20%

21% 23%
25%

24%

16% 8%

17% 8% 13% 15%

17%

Q1

Q2

Q3

Q4

Q5

Distribucin por quintiles en la prueba de lectura crtica - No universitarios

100% 90% 80%
70% 60% 50%

6% 11% 19%

9% 14% 20%

10% 17%

16% 22%

2% 6% 15%

5% 12% 16%

10% 13%
19%

12%
18%

7% 13% 19%

2% 4% 10% 26%

6% 11% 17%

10% 16% 21%

5% 9% 16%

6%
12%

8% 13% 20%

11% 15% 20%

17%

22% 21%

30% 28% 31%

22% 30% 31% 28%

32% 31% 30%

32% 29%

31%

40% 30% 20% 10% 0% 32%

29%

30%

26%
26% 22%

58%
30%

45%

39%

27% 15%

36% 23%

38%

33%

20%

30%

25%

Q1

Q2

Q3

Q4

Q5

Distribucin por quintiles en la prueba de razonamiento cuantitativo

Total nacional

Distribucin por quintiles en la prueba de razonamiento cuantitativo - Universitarios

100% 90% 80% 70% 60%
50% 40%

30%

24%

18% 17%

28%

23%

16% 31% 49% 15% 23% 18% 22%

15% 16%

9% 11% 22% 24% 47%

17%

17% 48% 17%

20% 22% 25% 23% 23% 18% 16% 10% 16% 20% 21%

18% 21% 24% 22% 16%

13%

16% 19% 21%

13%

24% 25%
22%

20%

25% 19% 17% 10% 7% 19% 17%

10% 6% 21% 19%

30% 20% 10% 0%

18% 16%

15%

22% 33% 17%

11% 6%

24%

22%

Q1

Q2

Q3

Q4

Q5

Distribucin por quintiles en la prueba de razonamiento cuantitativo - No universitarios

100% 90% 80% 70%
60%

7% 13% 24%

10% 14% 26%

8% 13%

13% 16%

4% 10% 24%

8% 12% 23%

17% 17%

23%

7% 10% 25%

3% 7% 19%

4% 10%
21%

10% 17% 26%

3% 9%

7% 12% 24%

14% 17%

19%
18%

23%

25% 24%
26%

20% 25%

27% 24% 23% 27%

50% 40% 30% 20% 10% 0% 31% 25% 29%

26%

26% 29% 28%

23%

25%

26% 23% 36% 23%

28% 20%

23%

22% 35% 29%

19% 30% 35% 20% 14%

21% 19%

45%

38% 24%

22%

Q1

Q2

Q3

Q4

Q5

Resultados por sector (razonamiento cuantitativo)

Puntajes promedio por sector en la prueba de razonamiento cuantitativo - Universitarios

11,5 11,0
10,5
Promedio

10,0 9,5 9,0

8,5

Oficial

Privado

Puntajes promedio por sector en la prueba de razonamiento cuantitativo - No universitarios

11,0 10,5
Promedio

10,0 9,5 9,0 8,5

Oficial

Privado

Informacin de resultados disponible

Mdulos de competencias genricas

Tipo de reporte

Resultados
Puntaje en cada prueba Nivel o quintil Promedio y desviacin estndar del grupo de referencia Promedio y desviacin estndar nacional Puntaje, nivel o quintil de cada evaluado, por programa y grupo de referencia

Disponibilidad Acceso mediante nmero de documento y nmero de registro Acceso mediante cdigo de usuario y contrasea Acceso libre

Individual

Institucional

Agregado

Para: programa, institucin, sector (oficial privado), nivel de formacin (universitario, tcnico y tecnolgico) y grupos de referencia: Puntajes promedio y desviaciones estndar Distribuciones por niveles de desempeo (pruebas de escritura e ingls) Distribuciones por quintiles (pruebas de lectura crtica y razonamiento cuantitativo)

Acceso a resultados institucionales

Acceso a resultados institucionales

Acceso a resultados institucionales

Acceso a resultados institucionales

Acceso a resultados institucionales

Acceso a resultados institucionales

Acceso a resultados institucionales

Mdulos especficos comunes

Tipo de reporte

Resultados Puntaje en cada mdulo Quintil Promedio y desviacin estndar del grupo de referencia Promedio y desviacin estndar nacional Puntaje y quintil de cada evaluado, por programa y grupo de referencia

Disponibilidad Acceso mediante nmero de documento y nmero de registro

Individual

Institucional

Acceso mediante cdigo de usuario y contrasea

Acceso a resultados institucionales

Base de datos con resultados agregados en los mdulos de competencias genricas

Resultados agregados de los mdulos de competencias genricas

Archivo Excel que se puede descargar en www.icfes.gov.co. Nombre del archivo: Tabla resultados agregados
competencias genericas SABER PRO 20112.xls

Los datos estn organizados en tres hojas de trabajo

Primera hoja: Agregado Prueba Grupo: contiene la informacin de resultados agregados de los mdulos de competencias genricas a nivel nacional.

Segunda hoja: Agregado Prueba Grupo Instit: contiene los resultados de cada institucin de educacin superior en los mdulos de competencias genricas.

Tercera hoja: AgregadoPruebaGrupo InstiPrac: contiene los resultados de cada programa en los mdulos de competencias genricas.

Muchas gracias!

www.icfes.gov.co