Baremos DAT-5 en Campus Tlalpan Adrin Gmez Reyes, Elizabeth Nez Gonzlez, Fabiola Nava Badillo, Aketzalli lvarez

Morales, Denisse Rodrguez lvarez, Celid Pea Santibez ciudadsana@gmail.com A. Introduccin El Servicio de Orientacin Educativa tiene entre sus funciones, ofrecer el servicio de Orientacin Vocacional, tanto a los miembros de la comunidad UVM, como a usuarios externos. Usualmente esto implica la aplicacin de una batera psicomtrica, que incluye una evaluacin de las habilidades acadmicas del usuario. La prueba utilizada en SOE desde hace varios aos para dicho fin es el Test de Aptitudes Diferenciales (DAT, por sus siglas en ingls). A pesar de su gran utilidad, consideramos de gran importancia utilizar la versin ms actualizada, DAT-V, que fue adquirida recientemente por el CEDH. Aunque hemos encontrado mejoras importantes en esta edicin de la prueba, tambin hemos encontrado una limitante: los baremos de calificacin utilizados para evaluar el desempeo del usuario estn basados en poblacin espaola, no mexicana. Esto ocasiona que en varias de las escalas los usuarios obtengan puntuaciones ms bajas de lo esperado, debido a la disparidad de los sistemas educativos en ambas naciones. Para esto, basta ver las diferencias obtenidas en las puntuaciones OCDE en el Factbook 2008: Rubro Ciencias Lectura Matemticas Mxico 410 410 406 Espaa 488 461 480

Reporte Facebook 2008, donde 500 es el desempeo obtenido al promediar los resultados de estudiantes de 15 aos en todos los pases de la OCDE. Por ello, y tambin ante recomendacin explcita de los autores en el manual de instrucciones, buscamos generar suficientes aplicaciones en diversos rangos demogrficos, para generar baremos que, de inicio, sean representativos de la poblacin estudiantil en UVM. Esto implica aplicar las subescalas con estudiantes de bachillerato y licenciatura, para abarcar los grupos de edad que ms a menudo utilizan el Servicio de Orientacin Educativa, en cuanto a Orientacin Vocacional se refiere. Una vez obtenida informacin suficiente, pueden generarse nuevos baremos con el uso del software estadstico SPSS 17, disponible en nuestros laboratorios de cmputo. B. Problema o necesidad atendida

En una evaluacin preeliminar con nuestros usuarios (N=28), generamos el nivel promedio para cada subescala, una vez calificada y arrojado el percentil. Los cuadros estadsticos e histogramas se encuentran en el Anexo A: Anlisis Preeliminar B1. Normalidad Todas las subescalas cumplieron con criterios de normalidad, con un rango en los valores p .376-.898, utilizando la prueba Kolmogorov-Smirnov, por lo que el uso de la T de Student de 1 muestra es justificado. B2. Estadsticos descriptivos De ser equivalente el desempeo de esta muestra, al compararse con el desempeo de las normas publicadas en el manual, el promedio de cada subescala oscilara alrededor de 50. Encontramos lo siguiente: 1) La media ms cercana era la subescala numrica, la cual se encuentra a 1.71 puntos por debajo del 50 esperado, y la ms lejana es mecnico, a 12. 62 puntos. El rango de dispersin es de 10.91 unidades. 2) Todas las variaciones eran a la baja. Si fueran nicamente por muestreo, se esperara un comportamiento oscilante. De acuerdo a prueba de signos, la probabilidad de que los 8 factores vayan a la baja nicamente por azar, es slo de 0.38%, lo cual arroja una significancia vlida a un nivel alfa de 0.01. Aunque esta prueba no tiene la potencia ideal, es seal de que efectivamente hay una disparidad. 3) Con T de Student de una muestra, para comparar los promedios con el parmetro espaol (promedio 50), vimos que: a. En trminos estrictos, la nica diferencia estadsticamente significativa se aprecia en la escala mecnica, donde la diferencia de promedios contra parmetro tiene una significancia bilateral p de 0.025, contra alfa de 0.05. b. Sin embargo, hay tendencias importantes en las escalas Verbal (0.211), Abstracta (0.070), Espacial (0.261) y Velocidad (0.202). c. De hecho es tambin importante denotar que ninguna subescala muestra significancias superiores a 0.95, por lo que tampoco podemos hablar de homogeneidad con el parmetro ideal. B3 Prueba T de Student de 1 muestra para determinar nivel de alejamiento contra el parmetro ideal de 50 Al correr la prueba en los promedios de percentiles de todas las subescalas, podemos apreciar lo siguiente: 1) En trminos estrictos, la nica diferencia estadsticamente significativa se aprecia en la escala mecnica, donde la diferencia de promedios contra parmetro tiene una significancia bilateral p de 0.025, contra alfa de 0.05.

2) Sin embargo, hay tendencias importantes en las escalas Verbal (0.211), Abstracta (0.070), Espacial (0.261) y Velocidad (0.202). 3) De hecho es tambin importante denotar que ninguna subescala muestra significancias superiores a 0.95, por lo que tampoco podemos hablar de homogeneidad con el parmetro ideal. C. Justificacin de la innovacin Los Tests de Aptitudes Diferenciales (DAT) han sido diseados para medir la capacidad de los estudiantes para aprender o para actuar eficazmente en un cierto nmero de reas tales como las del razonamiento mecnico, verbal, numrico, o de las relaciones espaciales. Fueron elaborados inicialmente para su aplicacin en los centros de enseanza media, tambin se han utilizado en el consejo educativo y vocacional de adultos as como en la seleccin de empleados. La quinta versin del DAT incluye tests que evalan ocho importantes aptitudes: Razonamiento verbal, Razonamiento numrico, Razonamiento abstracto, Rapidez y exactitud perceptiva, Razonamiento mecnico, relaciones Espaciales, Ortografa y Uso del lenguaje. La adaptacin espaola fue realizada por el departamento I+D de TEA Ediciones, S. A, pero los baremos de calificacin se hicieron con poblacin local. D. Descripcin del proceso de innovacin: D1. Diagnstico Tomando en cuenta que la administracin completa del test toma 118 minutos, y de facto no es recomendable administrarlo de forma completa y continua, en una sola sesin, la alternativa fue administrarlo a grupos independientes con 2 o 3 subescalas por sesin de aplicacin. Consideramos tambin que las sesiones de aplicacin deberan ser de aproximadamente una hora, con 40 minutos reales de desempeo, para evitar que el agotamiento sesgara los resultados, y adems asegurar la cooperacin de los sujetos. Es importante sealar que con excepcin de la escala de Aptitud Acadmica, que se conforma con la suma de los puntajes naturales en Aptitud Verbal y Aptitud Numrica, la conformacin de los baremos para cada subescala puede generarse con tomas muestrales constituidas por una poblacin similar, pero no por sujetos idnticos. D2. Desarrollo Estos hechos nos llevaron a dividir el cuadernillo de aplicacin en tres secciones: 1) Verbal-Numrica. Estas dos subescalas deban aplicarse al mismo sujeto, para generar adecuadamente la de Aptitud Acadmica. 2) Abstracta-Espacial. Basados en la evaluacin preeliminar, y en el uso que tenamos de versiones anteriores del DAT, la escala Abstracta suele

percibirse como una de las ms sencillas para los sujetos, por lo general contestan todos los reactivos, y tienden a obtener mejor desempeo. Por ello se decidi unirla a Espacial, una escala que se percibe ms compleja, en pocas ocasiones se contesta completa en el lmite de tiempo, y los niveles tienden a ser ms bajos. 3) Mecnico-Ortografa-Velocidad y Precisin. La primera escala es la que requiere un mayor uso de operaciones lgicas y anlisis, mientras que las otras dos dependen en mayor medida de habilidad viso-motriz fina y memoria visual. Adems, por las limitantes de tiempo, esta combinacin rene subescalas de 20, 12 y 6 minutos respectivamente, cumpliendo con nuestro lmite de 40 minutos. De igual forma, se generaron plantillas que permitieran calificar las hojas de respuesta y contabilizar el nmero de reactivos completos. Al momento de aplicacin, se entregaban en primer lugar las hojas de respuesta, para asegurar el inicio al mismo tiempo. Se siguieron las recomendaciones del manual para la aplicacin colectiva, incluyendo la descripcin y resolucin de los reactivos ejemplo, para asegurar que el objetivo de la tarea queda claro para el grupo. D3. Instrumentacin y aplicacin Al ubicar los rangos de edad sugeridos en el nivel 1 y 2 de la prueba, el planteamiento inicial era trabajar con estudiantes de bachillerato para el nivel 1, y del tercer semestre de licenciatura para el nivel 2. Este ltimo margen, debido a que estudiantes de primero y tercero han contestado reactivos similares al DAT, como parte de un examen de colocacin cuando son admitidos a la licenciatura. Como primer etapa del proyecto, se decidi aplicar el nivel 1 en bachillerato, para usar esos datos y evaluar la pertinencia del nivel 2 en licenciatura. Posteriormente, planteamos una muestra dividida en dos rubros demogrficos: estudiantes que iniciaban en el primer ao de bachillerato SEP o UNAM, y los del tercer ao de dichos programas acadmicos. Se descart el segundo ao, debido a que los estudiantes en nuestro Campus realizan una evaluacin vocacional con reactivos similares al DAT, por lo que preferimos evitar sesgo por adiestramiento reciente. Al momento de iniciar la recopilacin de datos, el campus tena registrados a 1,892 estudiantes en bachillerato, y 2,037 en el primer semestre de licenciatura. Utilizando el mtodo recomendado por Dawson-Sanders (2005), se estim una muestra con un nivel de confianza del 95% y error mximo aceptable del 5%. La recomendacin aleatorizada era de 190.64 sujetos para licenciatura, y 178.45 para bachillerato. Promediando ambos resultados, y estimando un 5% de muerte experimental, la meta se ajust a 200 mediciones por intervalo demogrfico. Sin embargo, la disponibilidad de grupos, tiempos, y la variabilidad en cuanto al nmero de estudiantes por aplicacin, nos hicieron buscar una alternativa. Para no intervenir de manera innecesaria con sus actividades acadmicas, se opt

por usar un mtodo no probabilstico por cuotas para generar la muestra, aplicando las escalas a estudiantes que asistan a las horas de informacin y organizacin con sus coordinadores. La cantidad meta era de al menos 100 mediciones, por subescala y por sector demogrfico. Este es el monto mnimo necesario para crear un baremo de calificacin, utilizando el mtodo de percentiles (Chaudhuri y Stenger, 2005). E. Resultados de la aplicacin En cuanto a las caractersticas de las respuestas, encontramos que: 1) Para cada una de las subescalas se cuenta con al menos los 100 sujetos requeridos (Rango 100-156) en primer ao. Tenemos cifras similares en tercero (Rango 101-157). 2) Para el primer ao, la proporcin entre el total de reactivos en cada subescala, y el promedio de reactivos correctos est en un rango de 0.38 a 0.61. La escala numrica, con bajo desempeo general, es la mnima. El siguiente mnimo es de 0.47. En el segundo ao, el rango es de 0.42-0.65. Esto nos confirma que el nmero de reactivos tiene una proporcin adecuada para el desempeo visto en este sector. 3) La mayora de las escalas cumplen con criterios de normalidad, utilizando la prueba Kolmogorov-Smirnov, con la excepcin de Numrica (p=.014), Abstracta (.029) y Mecnica (.049) en primer ao, y Numrica (.016) en tercer ao. F. Evidencias de los resultados obtenidos Baremos Primer Ao Verbal Numrico Aptitud Abstracto Espacial Mecnico Ortografa N Media D.E. Percentiles 1 2 3 4 5 10 15 20 25 30 35 40 45 50 55 156 18.5 5.97 0-8 9 10-11 12 13 14-15 16 17 18 19 153 14 5.48 0-5 6 7 8-9 10 11 12 13 14 152 33 8.91 0-15 16-19 20 21 22-23 24-25 26 27 28 29 30 31 32-33 34 100 25 6.81 0-6 7 8 9 10-14 15-17 18 19 20 21-22 23 24 25 100 26 8.83 0-5 6 7 8-15 16 17-18 19-20 21 22-23 24 25 26 27 112 32 7.5 0-15 16 17 18-19 20-21 22-24 25 26 27-29 30 31 32 112 25 5.05 0-11 12 13-14 15-17 18 19 20 21 22 23 24 25 26

60 65 70 75 80 85 90 95 96 97 98 99

20 21 22 23 24 25-26 27-28 29-30 31 32-33 34-38 39-40

15 16 17-18 19-20 21-22 23-26 27 28-32 33-40

35 36 37-38 39-40 41 42-44 45-50 51 52-54 55-57 58-80

26 27 28-29 30 31-33 34 35-36 37-40

28 29-30 31 32-33 34 35 36-38 39-42 43-46 47 48-50

33 34-35 36 37-38 39-40 41-43 44 45 46 47-60

27 28 29 30-31 32 33 34 35-40

Tercer Ao Verbal Numrico Aptitud Abstracto Espacial Mecnico Ortografa N Media D.E. 1 2 3 4 5 10 15 20 25 30 35 40 45 Percentiles 50 55 60 65 70 75 80 85 90 95 96 97 98 99 127 18.23 7.55 0-4 5 6 7 8-9 10 11-12 13 14 15 16 17-18 19 20 21-22 23 24-25 26 27 28-29 30-31 32 33-34 35-37 38-40 157 16.85 5.52 0-2 3-5 6-7 8-9 10-11 12 13 14 15 16 17 18 19 20 21 22 23-25 26-27 28 29-30 31-40 101 34.96 11.7 0-8 9 10-11 12-15 16-21 22-24 25 26 27-28 29 30-31 32-34 35 36-37 38-39 40 41-43 44-45 46-47 48-49 50-54 55-56 57 58-64 65-80 103 24.66 6.23 0-6 7-11 12 13 14-16 17-18 19 20-21 22 23 24 25 26 27 28 29-30 31 32-33 34 35 36 37-40 103 28.48 9.73 0-7 8-11 12 13-15 16-17 18-19 20-21 22-23 24-26 27 28 29 30 31 32-33 34-35 36 37-38 39-41 42-45 46 47 48-49 50 107 33.27 8.34 0-17 18 19-22 23-24 25-26 27 28 29-30 31 32 33-35 36-37 38-39 40-41 42-43 44-45 46-48 49 50-51 52-56 57-60 107 25.65 5.74 0-14 15-18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34-35 36 37 38-40

G. Aplicabilidad En instituciones educativas, para una mejor evaluacin de habilidades acadmicas, y por ende mejor orientacin vocacional. En empresa para una mejor generacin de perfil de puestos. H. Costo-beneficio Al aplicar medidas ms precisas, tericamente podra disminuirse el nmero de bajas de una carrera que no era la ms adecuada para un estudiante. La inversin requerida para generar el baremo fue significativamente menor al costo de un solo ejemplar de la prueba espaola. I. Beneficio social

Al tener parmetros ms precisos respecto a sus propias habilidades, un estudiante puede elegir con mayores elementos la carrera a cursar. Pierde menos recursos en una carrera fallida si puede elegir mejor desde un inicio. En el mbito laboral, una buena definicin de puestos y consecuente perfil de empleado, reduce la rotacin y mejora el desempeo del personal. J. Sugerencias de mejora Si se enlazara a un sistema en lnea y se replicara a diversos campi de la Repblica, nos permitira determinar con mayor precisin los parmetros esperados de los estudiantes por regin y rea. Anexos: