UNIVERSIDAD NACIONAL EXPERIMENTAL

FRANCISCO DE MIRANDA
REA DE TECNOLOGA COMPLEJO ACADMICO EL SABINO PROGRAMA DE INGENIERA INDUSTRIAL UNIDAD CURRICULAR: PROYECTO DE DISEO II

VALIDEZ Y CONFIABILIDAD DEL INSTRUMENTO

INTEGRANTES: Luis E. Rincn V. V-19.059.361. David J. Reyes C. V-19.648.878. Mara A. Petit P. V-19.879.670. Lenny E. Lquez A. V-19.442.812. Julia S. Flores Y. V-20.254.053. 1. DEFINICIONES DE VALIDEZ: Segn Silva (2010), la validez del instrumento se refiere a la relacin que existe entre lo que ste mide y lo que realmente se quiere medir. Por otra parte, Sampieri (1997), considera que se refiere al grado en que un instrumento realmente mide la variable que pretende medir. En este orden de ideas, para Sabino (1998), la validez del instrumento indica "la capacidad para medir las cualidades para las cuales ha sido construido el instrumento". 2. TIPOS DE EVIDENCIA DE VALIDEZ: La validez es un concepto del cual pueden tenerse diferentes tipos de evidencia, como son: 1) evidencia relacionada con el contenido, 2) evidencia relacionada con el criterio y 3) evidencia relacionada con el constructo. 1) Evidencia relacionada con el contenido La validez de contenido se refiere al grado en que un instrumento refleja un dominio especfico de contenido de lo que se mide. Es el grado en que la medicin representa al concepto medido. Por ejemplo, una prueba de operaciones aritmticas no tendr validez de contenido si incluye slo problemas de resta y excluye problemas de suma, multiplicacin o divisin. Un instrumento de medicin debe contener representados a todos los tems del dominio de contenido de las variables a medir. Hay que considerar que, la validez de contenido no puede expresarse cuantitativamente es ms bien una cuestin de juicio, se estima de manera subjetiva o intersubjetiva empleando, usualmente, el denominado Juicio de Expertos. Los juicios de expertos se pueden obtener por mtodos de experto nico. Se pueden seguir, entre otros, el mtodo de Agregados Individuales, el mtodo Delphi, la tcnica de Grupo Nominal y el mtodo de Consenso Grupal. Mtodo de Agregados Individuales: Se pide individualmente a cada experto que d una estimacin directa de los tems del instrumento. Este es un mtodo econmico porque, al igual que el mtodo Delphi, no exige que se rena a los expertos en un lugar determinado. Puede parecer un mtodo limitado porque los expertos no pueden intercambiar sus opiniones, puntos de vista y experiencia, ya que se les requiere individualmente; no obstante, esta limitacin puede ser precisamente lo que se est buscando para evitar sesgos de los datos ocasionados por conflictos interpersonales, presiones entre los expertos, entre otros. Mtodo Delphi: Este mtodo busca obtener la opinin de los expertos de una manera sistemtica. En un primer momento, cada experto responde de manera individual y annima a un cuestionario. Despus se analizan las respuestas del conjunto de expertos, se remite a cada uno la respuesta mediana obtenida, as como el intervalo intercuartil para cada cuestin y se les pide que reconsideren su juicio anterior, teniendo en cuenta estos datos. Se realiza el procedimiento tres o cuatro veces, y todo juicio individual que quede fuera del intervalo intercuartil en que se mueve el grupo de expertos tiene que estar debidamente justificado o argumentado. La mediana de las respuestas obtenidas en esta ltima vuelta es el valor que se estaba buscando. Tcnica de Grupo Nominal: El primer paso es reunir a los expertos (entre ocho y diez personas) y pedirles que registren, individualmente y sin intercambiar opiniones, sus propias puntuaciones y consideraciones respecto a las probabilidades de error para cada una de las preguntas o tareas que se les detallan. Despus, cada experto expone a los dems las

puntuaciones y principales consideraciones registradas, y al acabar esta ronda, se establecen las coincidencias del grupo. Luego se realiza un debate de cada uno de los apartados de sta. Finalmente cada experto, de manera individual y por escrito, punta y argumenta las probabilidades de error para cada tarea/pregunta considerada. Aunque hay intercambio de pareceres, los juicios se emiten de forma individual y la estimacin final suele ser la media aritmtica del conjunto de las estimaciones dadas por los expertos. Mtodo del Consenso Grupal: Se rene a los expertos en un lugar determinado, se indica al grupo que su tarea consiste en lograr una estimacin de la pertinencia y otros aspectos relacionados con la elaboracin de los tems, que sea satisfactoria para todos los expertos. Con estas instrucciones se maximizan los intercambios de informacin y opiniones dentro del grupo de expertos. 2) Evidencia relacionada con el criterio La validez de criterio establece la validez de un instrumento de medicin comparndola con algn criterio externo. Este criterio es un estndar con el que se juzga la validez del instrumento. Entre ms se relacionen los resultados del instrumento de medicin al criterio, mayor ser su validez. Por ejemplo, un investigador valida un examen sobre manejo de aviones, mostrando la exactitud con que el examen predice qu tan bien Un grupo de pilotos puede operar un aeroplano. Si el criterio se fija en el presente, se habla de validez concurrente (los resultados del instrumento se correlacionan con el criterio en el mismo momento o punto del tiempo). Por ejemplo, un cuestionario para detectar las preferencias del electorado por los distintos partidos contendientes, puede validarse aplicndolo tres o cuatro das antes de la eleccin y sus resultados compararlos con los resultados finales de la eleccin (si no hay fraude desde luego ). Si el criterio se fija en el futuro, se habla de validez predicativa. Por ejemplo, una prueba para determinar la capacidad administrativa de altos ejecutivos se puede validar comparando sus resultados con el futuro desempeo de los ejecutivos medidos. 3) Evidencia relacionada con el constructo Intenta responder la pregunta, hasta dnde el instrumento mide realmente un rasgo determinado

y con cunta eficiencia lo hace? Para estudiar este tipo de validez es necesario que exista una conceptualizacin clara del rasgo estudiado basado en una teora determinada. La teora sugiere las tareas pruebas que son apropiadas para observar el atributo o rasgo y las evidencias a considerarse en la evaluacin, se sugieren los siguientes pasos: Identificar las construcciones que pudieran explicar la ejecucin en el instrumento. Formulacin de hiptesis comprobables a partir de la teora. Recopilacin de los datos para probar las hiptesis.

Validez Total = Validez de Contenido + Validez de Criterio + Validez de Constructo As, la validez de un instrumento de medicin se evala sobre la base de tres tipos de evidencia. Entre mayor evidencia de validez de contenido, validez de criterio y validez de constructo tenga un instrumento de medicin; ste se acerca ms a representar la variable o variables que pretende medir. Cabe agregar que un instrumento de medicin puede ser confiable pero no necesariamente vlido (un aparato por ejemplo puede ser consistente en los resultados que produce, pero no medir lo que pretende). Por ello es requisito que el instrumento de medicin demuestre ser confiable y vlido. De no ser as, los resultados de la investigacin no se pueden tomar en serio. 3. DEFINICIONES DE CONFIABILIDAD: Segn Silva (2010), la confiabilidad se refiere a la estabilidad, consistencia y exactitud de los resultados; es decir, que los resultados obtenidos por el instrumento sean similares si se vuelven a aplicar sobre las mismas muestras en igualdad de condiciones. Para Sampieri (1997), la confiabilidad de un instrumento de medicin se refiere al grado en que su aplicacin repetida al mismo sujeto u objeto, produce iguales resultados. Por otra parte, Tamayo (2007) considera que la confiabilidad "se logra cuando aplicada una prueba repetidamente a un individuo o grupo, o al mismo tiempo por investigadores, da iguales o parecidos resultados". 4. DIFERENCIA VALIDEZ: ENTRE CONFIABILIDAD Y

La confiablidad se diferencia de la validez en que la primera se relaciona con la consistencia, y la ltima, con la precisin. 5. MTODOS DE CLCULO DE CONFIABILIDAD: Existen diversos procedimientos para calcular la confiabilidad de un instrumento de medicin. Todos utilizan frmulas que producen coeficientes de confiabilidad. Estos coeficientes pueden oscilar entre 0 (nula confiabilidad) y 1 (confiabilidad total). Entre ms se acerque el coeficiente a cero (0), hay mayor error en la medicin. La siguiente tabla muestra criterios de decisin: Rango 0,00 a 0,20 0,21 a 0,40 0,41 a 0,60 0,61 a 0,80 0,81 a 1,00 Confiabilidad Muy Baja Baja Media Alta Muy Alta

En este procedimiento no se administra el mismo instrumento de medicin, sino dos o ms versiones equivalentes de ste. Las versiones son similares en contenido, instrucciones, duracin y otras caractersticas. Las versiones, generalmente dos, son administradas a un mismo grupo de personas dentro de un periodo de tiempo relativamente corto. El instrumento es confiable si la correlacin entre los resultados de ambas administraciones es significativamente positiva. Los patrones de respuesta deben variar poco entre las aplicaciones. Mtodo de Mitades Partidas (split-halves): Los procedimientos anteriores (medida de estabilidad y mtodo de formas alternas), requieren cuando menos dos administraciones de la medicin en el mismo grupo de individuos. En cambio, el mtodo de mitades partidas requiere slo una aplicacin de la medicin. Especficamente, el conjunto total de tems (o componentes) es dividido en dos mitades y las puntuaciones o resultados de ambas son comparados. Si el instrumento es confiable, las puntuaciones de ambas mitades deben estar fuertemente correlacionadas. Un individuo con baja puntuacin en una mitad, tender a tener tambin una baja puntuacin en la otra mitad. La confiabilidad vara de acuerdo al nmero de tems que incluya el instrumento de medicin. Cuantos ms tems la confiabilidad aumenta (desde luego, que se refieran a la misma variable). Esto resulta lgico, vemoslo con un ejemplo cotidiano: Si se desea probar qu tan confiable o consistente es la lealtad de un amigo hacia nuestra persona, cuantas ms pruebas le pongamos, su confiabilidad ser mayor. Claro est que demasiados tems provocarn cansancio en el respondiente. Mtodo del Coeficiente de Alfa Cronbach: Este coeficiente desarrollado por J. L. Cronbach requiere de una sola administracin del instrumento de medicin y produce valores que oscilan entre 0 y 1. Su ventaja reside en que no es necesario dividir en dos mitades a los tems del instrumento de medicin, simplemente se aplica y se calcula el coeficiente. Este Coeficiente se aplica en tests con tems de varias alternativas. Se emplea la ecuacin dada a continuacin, donde es el coeficiente de Alfa Cronbach, es el nmero de tems del instrumento, es la varianza del tem y es la varianza total del instrumento.

El grupo a seleccionar no puede pertenecer a la muestra, y a ese mismo se le aplica el instrumento ambas veces. En el caso de que la muestra sea igual a la poblacin, se debe buscar una poblacin con caractersticas similares. Mtodo Test - Retest: Una forma de estimar la confiabilidad de un test o cuestionario es administrarlo dos veces al mismo grupo y correlacionar las puntuaciones obtenidas. Este mtodo tiene la desventaja de que los puntajes pueden verse afectados por el recuerdo, la prctica, entre otros. Este procedimiento no es adecuado para aplicarlo a pruebas de conocimientos sino para la medicin de aptitudes fsicas y atlticas, tests de personalidad y motores. El coeficiente que se obtiene recibe el nombre de coeficiente de estabilidad porque denota la coherencia de las puntuaciones en el tiempo. Para un desarrollo adecuado y sean confiables deben variar entre 0,80 y 0,95. Se emplea la siguiente ecuacin, donde es el coeficiente de correlacin, es la cantidad de sujetos a los que se les aplica el instrumento, corresponde a los valores obtenidos en la primera aplicacin e en la segunda.

Mtodo de Paralelas:

Formas

Alternativas

Cuanto menor sea la variabilidad de respuesta, es decir, que haya homogeneidad en las respuestas dentro de cada tem, mayor ser el coeficiente. Mtodo del Coeficiente KR-20: Kuder y Richardson desarrollaron un coeficiente para estimar la confiabilidad de una medicin con una sola aplicacin del instrumento, el cual se aplica en instrumentos cuyas respuestas son slo dicotmicas, es decir, de dos alternativas, lo que permite examinar cmo ha sido respondido cada tem en relacin a los restantes, su interpretacin es la misma que la del coeficiente alfa. Para calcular el coeficiente , se debe utilizar la siguiente ecuacin, donde es la cantidad de tems que posee el instrumento, es la proporcin de sujetos que pasaron un tem sobre el total de ellos, y es la varianza total del instrumento.

Cultura y Tiempo: A veces se utilizan instrumentos desarrollados en el extranjero que no han sido validados a nuestro contexto. Traducir un instrumento aun cuando adaptemos los trminos a nuestro lenguaje y los contextualicemos no es de ninguna manera validarlo. Es un primer y necesario paso, pero slo es el principio. Por otra parte, hay instrumentos que fueron validados en nuestro contexto pero hace mucho tiempo. Hay instrumentos que hasta el lenguaje nos suena arcaico. Las culturas, los grupos y las personas cambian; y esto debemos tomarlo en cuenta al elegir o desarrollar un instrumento de medicin. No Emptico: En ocasiones el instrumento resulta inadecuado para las personas a las que se les aplica. Utilizar un lenguaje muy elevado para el respondiente, no tomar en cuenta diferencias en cuanto a sexo, edad, conocimientos, capacidad de respuesta, memoria, nivel ocupacional y educativo, motivacin para responder y otras diferencias en los respondientes; son errores que pueden afectar la validez y confiabilidad del instrumento de medicin. Condiciones Ambientales: Si hay ruido, hace mucho fro, el instrumento es demasiado largo o tedioso, son cuestiones que pueden afectar negativamente la validez y la confiabilidad. Normalmente en los experimentos se puede contar con instrumentos de medicin ms largos y complejos que en los diseos no experimentales. Por ejemplo, en una encuesta pblica sera muy difcil poder aplicar una prueba larga o compleja. Administracin y Calificacin del Instrumento: Entre estos factores estn: tiempo insuficiente para responder, ayuda adicional de otros sujetos, en caso de pruebas: las chuletas o copias, la subjetividad en los puntajes de las preguntas. Respuestas de los Sujetos: Algunos factores: bloqueo de los sujetos al responder debido a situaciones emocionales y las respuestas al azar. Naturaleza del Grupo y del Criterio: Debe ser aplicado el instrumento para el grupo al cual fue diseado, puede ser inapropiado para otros grupos.

6. FACTORES QUE AFECTAN LA VALIDEZ Y LA CONFIABILIDAD: Hay diversos factores que pueden afectar la confiabilidad y la validez de los instrumentos de medicin. La improvisacin. Algunas personas creen que elegir un instrumento de medicin o desarrollar uno es algo que puede tomarse a la ligera. Esta improvisacin genera casi siempre instrumentos poco vlidos o confiables y no debe existir en la investigacin social (menos an en ambientes acadmicos). Aun a los investigadores experimentados les toma tiempo desarrollar un instrumento de medicin. Es por ello que los construyen con cuidado, adems, para poder construir un instrumento de medicin se requiere conocer muy bien a la variable que se pretende medir y la teora que la sustenta. Por ejemplo, generar o simplemente seleccionar un instrumento que mida la inteligencia, la personalidad o los usos y gratificaciones de la televisin para el nio, requiere amplios conocimientos en la materia, estar actualizados al respecto y revisar cuidadosamente la literatura correspondiente.