qwertyuiopasdfghjklzxcvbnmqwerty uiopasdfghjklzxcvbnmqwertyuiopasd fghjklzxcvbnmqwertyuiopasdfghjklzx cvbnmqwertyuiopasdfghjklzxcvbnmq wertyuiopasdfghjklzxcvbnmqwertyui opasdfghjklzxcvbnmqwertyuiopasdfg hjklzxcvbnmqwertyuiopasdfghjklzxc vbnmqwertyuiopasdfghjklzxcvbnmq wertyuiopasdfghjklzxcvbnmqwertyui opasdfghjklzxcvbnmqwertyuiopasdfg hjklzxcvbnmqwertyuiopasdfghjklzxc vbnmqwertyuiopasdfghjklzxcvbnmq wertyuiopasdfghjklzxcvbnmqwertyui opasdfghjklzxcvbnmqwertyuiopasdfg hjklzxcvbnmrtyuiopasdfghjklzxcvbn

mqwertyuiopasdfghjklzxcvbnmqwert yuiopasdfghjklzxcvbnmqwertyuiopas
Cmo aplicar el modelo de Rasch a la medicin psico-social? Un enfoque prctico Captulo 2 19/07/2012 E Margaret Wu y Ray Adams Traductor Emilio Ortiz Trepowski

Captulo 2: Una medicin ideal Una medicin ideal Considere un ejemplo donde uno est interesado en la medicin de la habilidad acadmica de los estudios en un campo de dominio. Supongamos que un examen es desarrollado para medir la habilidad de los estudiantes en este campo. Uno quisiera que los puntajes del examen sean precisos y tiles. Por precisos, entendemos que el puntaje que un estudiante obtiene puede ser confiado. Si Toms obtiene 12 de 20 en un examen de geometra, esperamos que este puntaje provee una medida de lo que Toms puede hacer en este examen, y que el si el examen es administrado de nuevo, l probablemente obtendr 12 de 20 nuevamente. Esta nocin de precisin se relaciona con el concepto de confiabilidad en la jerga educacional. Quisiramos tambin que los puntajes del examen sean tiles para algn propsito que tenemos en mente. Por ejemplo, si queremos seleccionar a estudiantes para un curso de especializacin, quisiramos que los puntajes del examen reflejaran la adecuacin de estos estudiantes para la realizacin de este curso ms avanzado. Esta nocin de utilidad se relaciona con el concepto de validez en la jerga educacional. Adicionalmente, quisiramos que los puntajes del examen nos provean con un esquema estable de referencia para la comparacin de estudiantes diferentes. Por ejemplo, si los puntajes de un examen, en una escala de habilidad geomtrica de baja a alta, de Tom, Bev y Ed estn localizados como sigue:

Si le damos a Tom, Bev y Ed otro examen en geometra, esperamos que ellos estarn ubicados en la escala de habilidad geomtrica en la misma forma que se muestra en la figura 1. Esto es, no importa que examen de geometra nosotros administramos, encontraremos que Bev est un poco mejor que Tom en geometra, pero Ed est mucho mejor que ambos Tom y Bev. En 2

esta forma, la medicin est en el nivel de intervalo, donde las declaraciones acerca de las distancias entre estudiantes puede ser hecha, y no slo puede realizarse un ordenamiento de los estudiantes. Estimaciones de Habilidad Basadas en Puntajes Brutos Consideremos ahora la utilizacin de puntajes brutos de un examen (nmero de tems correctos) como una medida de habilidad. Supongamos que los exmenes de geometra son administrados a un grupo de estudiantes, donde el examen 1 es fcil y el examen 2 es difcil. Supongamos que A, B, C y D son cuatro estudiantes con diferente habilidad en geometra. A es un extremadamente buen estudiante en geometra, B es un extremadamente pobre estudiante en geometra, y C y D son estudiantes promedio en geometra. Si el puntaje de los estudiantes A, B, C y D en los dos exmenes son graficados, uno puede obtener la siguiente figura.

Esto es, A, siendo l un excelente estudiante en geometra, es probable que obtenga un alto puntaje tanto en el examen fcil como en el examen difcil. B, siendo l un estudiante bastante pobre en geometra, es probable que punte bajo en ambos exmenes. C y D es probable que

obtengan un puntaje un poco ms alto en el examen fcil y un puntaje un poco ms bajo en el examen ms difcil. En el eje horizontal, donde los puntajes del examen fcil estn localizados, se puede ver que A y C estn ms cerca que B y C en trminos de sus puntajes brutos. Sin embargo, en el eje vertical donde los puntajes del examen ms difcil son localizados, A y C estn ms alejados que C y B. Si ambos exmenes miden la misma habilidad, uno esperara ver la misma distancia entre A y C, sin considerar cul es el examen que se administra. Desde este punto de vista, podemos ver que los puntajes brutos no nos proveen con un marco de referencia estable en trminos de las distancias entre estudiantes en la escala de habilidad. Sin embargo, los puntajes brutos s nos proveen con un marco de referencia estable en trminos del ordenamiento de los estudiantes en la escala de habilidades. En trminos ms tcnicos, uno puede decir que los puntajes brutos proveen una medicin ordinal, y no una medicin de intervalo. Esto no es enteramente verdadero, ya que los puntajes brutos proveen mediciones que se sitan en algn punto intermedio entre la medicin ordinal y la medicin por intervalo. Por ejemplo, a partir de la Figura 2, uno todava puede obtener la conclusin que C y D estn ms cerca uno de otro en trminos de sus habilidades que B y C, digamos. Otra importante observacin es que la relacin entre los puntajes de los dos exmenes no es lineal (no es una lnea recta). Esto es, al mapear los puntajes del examen duro a los puntajes del examen fcil, no hay una transformacin lineal simple tal como una constante aadida o un factor escalar constante. Consecuentemente, las estimaciones de habilidad basadas en puntajes brutos son dependientes de los exmenes administrados. Esta es ciertamente una caracterstica indeseable de una medicin ideal. Relacionando personas con tareas Otra caracterstica de una medicin ideal es que pueden otorgarse significados a los puntajes. Esto es, nosotros quisiramos saber qu es lo que el estudiante puede realmente hacer si el estudiante obtiene un puntaje de, digamos, 55 de 100, en un examen. Por lo tanto, los puntajes de los estudiantes pueden ser relacionados de alguna manera con significados substantivos en trminos de sus habilidades subyacentes. Por ejemplo, uno quisiera hacer declaraciones del siguiente tipo:

Los estudiantes que obtuvieron 55 de 100 en este examen son probablemente hbiles para realizar multiplicaciones de dos dgitos y resolver problemas aritmticos simples. Cuando los porcentajes brutos son usados para medir las habilidades de los estudiantes y las dificultades de los tems, no es inmediatamente obvio cmo uno puede relacionar los puntajes de los estudiantes con los puntajes de los tems. Por ejemplo, la Figura 3 muestra dos escalas, una para la dificultad del tem y una para la habilidad de la persona. La escala de dificultad del tem de la izquierda muestra que los problemas verbales tienen un porcentaje promedio correcto de 25%. Esto es 25% de los estudiantes obtuvieron respuestas correctas en estos tems. En contraste, 90% de los estudiantes correctamente llevaron a cabo adiciones de dos dgitos.

Por otro lado, la escala de habilidad de la persona muestra a los estudiantes que obtuvieron 90% del examen, y aquellos que obtuvieron 70%, 50% y 25% del examen. Estos porcentajes en ambas escalas no son fcilmente mapeadas en ninguna forma. Pueden los estudiantes que obtuvieron 70% en el examen realizar operaciones aritmticas con fracciones vulgares? No podemos hacer ninguna inferencia porque no conocemos que proporcin de tems son adiciones de un solo dgito, aritmtica multi-etapa, o de otro tipo. Puede bien ser el caso que el 70% de los tems son tems de adicin de un dgito, de manera que los estudiantes que 5

obtuvieron 70% de respuestas correctas no pueden realizar otras tareas ms difciles que la adicin de dos dgitos. Incluso si tenemos informacin sobre la composicin del examen en trminos del nmero de tems para cada tipo de problemas, es un difcil trabajo mapear el puntaje de los estudiantes con las tareas. Las habilidades subyacentes para el puntaje de cada estudiante tendrn que ser estudiadas separadamente y descripciones para cada puntaje de los estudiantes tendrn que escribirse. Ningn enfoque sistemtico puede ser aplicado. Cuando un examen diferente es aplicado, un nuevo conjunto de descripciones se desarrollar, dado que no hay una relacin simple y directa entre los puntajes de los estudiantes y los puntajes de los tems. La estimacin de las habilidades con la teora de la respuesta a item La idea principal de la teora de la respuesta a tem es usar un modelo matemtico para predecir la probabilidad de xito de una persona en un tem, dependiendo de la habilidad de la persona y la dificultad del tem. Tpicamente, la probabilidad de xito en un tem para una persona con habilidad variada es graficada como una curva caracterstica del tem (CCI), como se muestra en la Figura 4.

La Figura 4 muestra que, para un estudiante avanzado, la probabilidad de xito en este item es cercana a 1. Para un estudiante muy pobre, la probabilidad de xito en este tem es cercana a cero. Para un estudiante promedio, la probabilidad de xito es 0,5. La lnea azul en puntos muestra la probabilidad de xito en este tem para cada nivel de habilidad. Bajo este modelo, la dificultad del tem est definido como el nivel de habilidad para la cual la probabilidad de xito en el tem es 0,5. En el ejemplo dado en la Figura 4, el nivel de habilidad de la persona promedio es tambin la dificultad de este tem. Definida de esta forma, la nocin de dificultad del tem se relaciona con la dificultad de la tarea en promedio. Obviamente, para una persona muy hbil, el tem de la Figura 4 es muy fcil, y para una persona de muy baja habilidad, el tem es muy difcil. Pero la dificultad del tem est definida en relacin a la habilidad de una persona que tiene una chance de 50-50 de ser exitosa en este item. La Figura 5 muestra curvas caractersticas de item con variada dificultad. Se puede ver que el item con CCI verde es la ms fcil entre los tres, mientras que la CCI azul es la ms difcil. La dificultad de los tres tems estn denotados por 1 , 2 , 3 .

En la medida en que la dificultad del item est definida en relacin a los niveles de habilidad, tanto la dificultad del item como la habilidad de la persona estn definidas en la misma escala. Si conocemos la habilidad de una persona, podemos predecir qu tan probable es que esta persona responda exitosamente un item, sin tener que administrar el item a la persona. Esta es una ventaja de usar una funcin matemtica para modelar la probabilidad de xito. La Figura 6 muestra un ejemplo de encontrar las probabilidades de xito en tres tems si la habilidad de la persona es conocida. Mediante la definicin de la dificultad del item y la habilidad de la persona sobre la misma escala, podemos fcilmente construir interpretaciones de puntajes de habilidad en trminos de las demandas de tareas. La Figura 7 muestra un ejemplo. La escala de habilidad de la persona de la izquierda y la escala de dificultad del item de la derecha estn relacionadas a travs de una funcin matemtica de probabilidad de xito. Si un estudiante tiene una habilidad de , uno fcilmente puede computar las chances de este estudiante de tener xito en los tems 1 a 6, con dificultad 1 ,..., 6 , respectivamente. En la medida que describimos las habilidades subyacentes requeridas para contestar cada item correctamente, podemos describir el nivel de proficiencia del estudiante una vez que hemos localizado al estudiante en la escala.

Notas adicionales La teora de la respuesta al item vista como una transformacin de puntajes brutos El modelo Rasch es una forma particular del modelo de teora de respuesta al item (TRI). El modelo Rasch puede ser visto como la aplicacin de una transformacin a los puntajes brutos de manera que las distancias entre las ubicaciones de dos personas puedan ser preservadas, independientemente de los tems particulares que estn siendo administrados. La lnea curva de la Figura 2 ser linealizada a travs de esta transformacin. La Figura 8 muestra un ejemplo. Note que la distancia entre A y C en el test fcil (eje horizontal) es la misma distancia entre A y C en el examen difcil (escala vertical). Sin embargo, los valores absolutos de los puntajes de Rasch para un individuo pueden no ser los mismos en el examen fcil y en el examen difcil, pero las distancias relativas entre personas son constantes.

Se pueden puntualizar las siguientes ideas con relacin a la transformacin TRI (Rasch) de los puntajes brutos: La transformacin preserva el orden de los puntajes brutos. Esto es, los puntajes Rasch no alteran el orden de las personas establecido por sus puntajes brutos. Tcnicamente, la transformacin se dice que es monotnica. Si uno est slo interesado en ordenar a los estudiantes por su habilidad, o por la dificultad del item, los puntajes brutos servirn. Ninguna transformacin TRI ser necesaria. Hay una relacin de correspondencia uno a uno entre los puntajes brutos y los puntajes Rasch. Esto es el patrn de respuestas correctas/incorrectas no desempea ningn rol en determinar los puntajes Rasch. La correlacin entre los puntajes brutos y los puntajes Rasch estarn cerca de 1, como un resultado de las caractersticas del modelo Rasch. Qu pasa con las transformaciones de los puntajes brutos, como por ejemplo, puntajes estandarizados (puntajes

z ) y ordenamientos de percentiles? Preservan estas

transformaciones las distancias entre las personas? Usando el enfoque de la teora clsica de los exmenes, los puntajes brutos son a veces transformados a puntajes z o a ordenamientos con percentiles. Algunos han establecido la

10

pregunta si estas transformaciones tienen la propiedad de respetar las distancias entre las localizaciones de las personas en la escala de logros. Para los puntajes z , una transformacin es aplicada para lograr que la media de los porcentajes brutos sea cero y su desviacin estndar 1. Esta transformacin es lineal, de manera que la distancia relativa entre dos puntos ser la misma usando los puntajes brutos o los puntajes z . Consecuentemente, los puntajes z sufren del mismo problema que los puntajes brutos. Esto es, los puntajes z en un examen fcil y en un examen difcil no necesariamente preservar las distancias relativas entre estudiantes. La transformacin de los puntajes brutos a ordenamientos de percentiles resolver el problema de producir distancias diferentes entre dos personas en dos diferentes exmenes. Esto es porque los percentiles han eliminado las distancias entre las personas, y las transforman en ordenamientos solamente. As, los percentiles de personas en dos diferentes exmenes bien pueden ser los mismos pero se ha perdido en el proceso las distancias entre las personas! Los puntajes brutos, a pesar de que no estn al nivel de la medicin de intervalo, ofrecen ms que solo escalas de ordenamiento. Ejercicios En SACMEQ, la modelacin en base a la respuesta a tems (TRI) fue usada para producir estimados de las habilidades de los estudiantes. Supongamos que los datos satisfacen el modelo TRI, usted est de acuerdo o en desacuerdo con cada una de las siguientes afirmaciones: 1) Los estudiantes con estimados iguales de habilidad tienen probablemente patrones de respuestas correctas/incorrectas. 2) Los estimados de habilidad tienen la propiedad de las mediciones de intervalo. Esto es, la diferencia en los estimados de habilidad de dos estudiantes proveen un estimado de que tan apartados estn los dos estudiantes en habilidad. 3) Una transformacin fue aplicada a los estimados de habilidad TRI de manera que la media de los puntajes de todos los pases fue 500 y la desviacin estndar fue 100. Esta transformacin preserva la propiedad de intervalo de los puntajes TRI.

11