UNIVERSIDAD NACIONAL EXPERIMENTAL FRANCISCO DE MIRANDA VICE-RECTORADO ACADMICO ASOCIACIN VENEZOLANA DE EDUCACIN MATEMATICA CAPTULO FALCN (ASOVEMAT)

ASOVEMAT
CAPITULO FALCN

Lcdo. Anthony Ramos SANTA ANA DE CORO, FEBRERO DE 2010

CONTENIDO
1. Validez

2. Tipos de Validez
3. Factores que afectan la validez de una prueba 4. Importancia de la Validez 5. Confiabilidad 6. Procedimientos para estimar confiabilidad 5.1 Confiabilidad de reaplicacin de pruebas (testretest): Correlacin de Pearson 5.2 Confiabilidad de formas equivalentes (Pruebas Paralelas): Spearman- Pearson

CONTENIDO
5.3 Mtodo Divisin por mitades: Confiabilidad Pearson / Spearman Brown. Confiabilidad Ruln. Confiabilidad Guttman. 5.4 Confiabilidad de consistencia interna (Homogeneidad) Confiabilidad KUDER RICHARDSON (KR 20) Confiabilidad Alfa DE CRONBACH 6. Importancia de la validez y ejemplos.

Longitud

Peso

Tiempo

Psicoeducativas
Es necesario probar empricamente que el instrumento es VLIDO en todos los casos

Qu caractersticas deseamos que prediga? CRITERIO

La exactitud con que pueden hacerse mediciones significativas y adecuadas con un instrumento, en el sentido que mide realmente el rasgo que pretende medir (Ruiz; 2003)

Ausencia se sesgos. Representa la relacin entre lo que se mide y aquello que realmente se quiere medir (Palella y Martins; 2006)

Grado en que un instrumento realmente mide la variable que pretende medir (Hernndez, Fernandez y Baptista; 1998)

TIPOS DE VALIDEZ
Cuan representativo es el comportamiento elegido como muestra del universo que se intenta representar? Qu significado tiene el comportamiento con respecto a los atributos del individuo que son de inters para la medicin?

Validez de Contenido

Validez de Constructo

Hasta donde se puede predecir la actuacin de un sujeto a partir de su ejecucin en la prueba?

Validez Predictiva

EVIDENCIA RELACIONADA CON EL CONTENIDO

No puede ser expresada cuantitativamente (Ruiz; 2003)

Se determina hasta donde los itemes de un instrumento son representativos de las variables que se desea medir (grado de representatividad). Palella y Martins; 2006
Mtodo: Validez de Contenido Tcnica: Juicio de Expertos

tems 1 2 4 5 6 7 8 9 10 11

Congruencia
Si No

Claridad
Si No

Tendenciosidad
Si No

Observaciones
__________________________ __________________________ __________________________ __________________________ __________________________ __________________________ __________________________ __________________________ __________________________ __________________________ __________________________

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

EVIDENCIA RELACIONADA CON EL CONSTRUCTO

Verifica que el instrumento contenga todas las dimensiones, indicadores y variables que se reflejan en la operacionalizacin de variables. (Palella y Matins; 2006)

Hasta donde un instrumento mide realmente un determinado rasgo latente o una caracterstica de las personas ? Con cuanta eficacia lo hace? (Ruiz; 2003)
Mtodo: Validez de Constructo Tcnica: Anlisis Factorial

1. Ruiz (1988) desarroll la escala AC 2000 que mide autoconcepto de alumnos de 6to. grado

Con la Tcnica Anlisis Factorial comprob que las dimensiones (Autoconcepto: social, personal y escolar) tenan soporte emprico en los datos

EVIDENCIA RELACIONADA CON EL CONSTRUCTO

Item 3 6 16 22 26 27 Factor 1 A. Social 0.51 0,63 0,49 0,48 0,64 0,54 Item 4 8 12 25 28 29 30 Factor 2 A. Escolar 0,52 0,43 0,45 0,54 0,57 0,55 0,40 Item 1 2 5 7 9 10 13 Factor 3 A. Personal 0,53 0,48 0,58 0,43 0,57 0,56 0,41

2. Informacin Correlacional. Ruiz (1988)

Instrumento AC - 2000

Escala Auto -.Estima de Coopersmith (1959)

Coeficiente de Correlacin 0,79

EVIDENCIA RELACIONADA CON LA PREDICCIN

Establece la validez de un instrumento de medicin comparndola con algn criterio externo. Entre ms se relacionen los resultados del instrumento con el criterio, mayor ser su validez (Silva; 2009)
Alumno PAA (X) 650 710 682 700 L (Y) 75 87 85 83

Egledis Ronny Frank

Mtodo: Validez Predictiva Tcnica: Anlisis Correlacional

La PAA es un instrumento Vlido

Victor Vanesa
Livana Ruben Maybeth Julio Marbelis

691
705 600 690 709 715

80
82 81 90 90 78

Coeficiente de Correlacin entre X e Y: Spearman: 0,83 Pearson: 0,87

FACTORES QUE AFECTAN LA VALIDEZ

a) Instrucciones imprecisas o vagas b) Estructura de la oracin demasiado difcil c) Preguntas que sugieren las respuestas d)Ambigedad en la formacin de los reactivos e) Pruebas demasiado cortas f) tems incongruentes con el contenido g) Ordenamiento inadecuado a) Tiempo insuficiente para responder b) Ayuda adicional a algunos sujetos c) Subjetividad en la puntuacin

1. Construccin del Instrumento

2. Administracin y Calificacin

3. Respuestas de los sujetos

a) Bloqueo de los sujetos al responder b) Situaciones externas

4. Naturaleza del Grupo o Criterio

Principio: La validez es especfica con respecto a un grupo en particular Ej: comprensin de lectura el alumnos 6to grado y 9no. Grado

Cmo sabemos que estamos haciendo la inferencia correcta?

Un instrumento que no tiene una validez demostrada no vale la pena aplicarlo

IMPORTANCIA DE LA VALIDEZ
Construir un instrumento tcnicamente bien hecho, implica en si mismo una investigacin

Consciencia de usar instrumentos tcnicamente bien calibrados

CONFIABILIDAD
Se refiere al grado en que su aplicacin de un instrumento repetida al mismo sujeto produce iguales resultados Hernndez, Fernndez y Bastita (1998) (p.21) Se refiere a la consistencia de los resultados. En el anlisis de la confiabilidad se busca que los resultados de un cuestionario concuerden con los resultados del cuestionario en otra ocasin. Menndez (2009)

Se refiere al grado en que su aplicacin repetida al mismo sujeto u objeto produce iguales resultados. Silva (2009)
Reproducibilidad

Estabilidad y Predictibilidad

Seguridad

Precisin

Consistencia Interna u Homogeneidad

CONFIABILIDAD

Supuestos Bsicos: La persona no cambia

-Diferentes tiempos (Test Retest) -Diferentes observadores (Confiablidad interobservador) - Diferentes versiones (Confiabilidad en paralelo) Muoz, (2009) Grupo homogneo: Confiabilidad baja Grupo heterogneo: Confiablidad alta

TIPOS DE CONFIABILIDAD
MTODO
Test/retest Formas Equivalentes

TCNICA
Coeficiente r correlacin de Pearson Coeficiente r correlacin de Pearson Pearson/SpearmanBrown. Ruln Guttman

PROPSITO
Consistencia en el tiempo de los puntajes Estabilidad Temporal, consistencia de las respuestas. Homogeneidad de los itemes al medir el constructo

Divisin por dos mitades

Anlisis de homogeneidad de los Itemes

KR 20

Coeficientes de fiabilidad como consistencia interna para itemes dicotmicos (KR20). Homogeneidad de los itemes con escala tipo Lickert.

Alfa de Cronbach

DESCRIPCIN DE LOS MTODOS

Mtodo: TEST RETEST Caractersticas: El investigador debe aplicar el mismo instrumento dos veces al mismo grupo despus de cierto perodo. Debe calcular la confiabilidad del instrumento ANTES de la aplicacin definitiva del mismo. Coeficiente de Correlacin de Pearson altamente positivo = Instrumento confiable.

Debilidades: El periodo de tiempo (corto largo) entre las mediciones puede confundir el coeficiente de confiabilidad.

DESCRIPCIN DE LOS MTODOS

Mtodo: FORMAS EQUIVALENTES Caractersticas: Se administran dos o ms versiones equivalentes de un mismo instrumento. Deben ser similares en contenido, instrucciones, tipos de preguntas y dificultad. Son administradas al mismo grupo en un perodo relativamente corto. Los patrones de respuestas deben variar POCO entre las aplicaciones. Coeficiente de Confiabilidad = Frmula de Correlacin de Pearson. Debilidades: Dificultad para obtener dos pruebas realmente paralelas Implica doble trabajo Confiable solo si la correlacin entre los resultados de ambas aplicaciones es positiva

DESCRIPCIN DE LOS MTODOS

Tcnica: Alfa de Cronbach Caractersticas: Requiere slo una aplicacin del instrumento de medicin. Produce valores que oscilan entre cero (0) y uno (1). No es necesario dividir en mitades los tems del instrumento. Se aplica la medicin y se calcula el coeficiente. Tcnica: Kuder Richardson KR - 20 Permite calcular la confiabilidad con una sola aplicacin del instrumento. No requiere el diseo de pruebas paralelas. Es aplicable slo en instrumentos con tems dicotmicos, que puedan ser codificados con 1 0 (correcto incorrecto, presente ausente, a favor en contra, etc.) .

CONFIABILIDAD DIVISIN DE DOS MITADES Spearman- Brown

Pasos: 1. Dividir los itemes de la prueba en dos partes iguales. 2. Correlacionar las puntuaciones totales de las dos mitades. 3. Multiplicar el coeficiente obtenido por 2 y dividir el trmino 1 ms la correlacin de las dos mitades, como se expresa en la frmula que aparece en la siguiente lamina:

CONFIABILIDAD DIVISIN DE DOS MITADES Spearman- Brown

FORMULA:

rtt= coeficiente de confiabilidad de las mitades. rhh= correlacin de Spearman entre las dos mitades o los puntajes pares e impares.

CONFIABILIDAD DIVISIN DE DOS MITADES Ruln (1939)

FORMULA:

rtt= coeficiente de confiabilidad de las mitades Sd2= varianza de la diferencia de los puntajes pares e impares. St2= Varianza total de la prueba o escala.

CONFIABILIDAD DIVISIN DE DOS MITADES Ruln (1939)

Pasos: 1. Calcula la diferencia de la varianza de las dos mitades para cada sujeto. 2. Dividir la varianza de los puntajes totales. 3. Restar esta proporcin de la unidad (1,00).

CONFIABILIDAD DIVISIN DE DOS MITADES Guttman y Flanagan (1939)

FRMULA:

rtt= coeficiente de confiabilidad Sd2= varianza de la diferencia de los puntajes pares e impares. St2= Varianza total de la prueba o escala.

CONFIABILIDAD GUTTMAN
Alumnos 1 2 3 4 5 6 7 8 9 10 I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 IMPAR PAR TOTAL

2 0 1 1 1 1 0 1 0 1

1,75 2 0,75 1 1 1 0 1 1 1

1 1 1 1 1 0 0 1 0 1

0 1 0,75 1 0 1 0 1 1 1

1 1 1 1 0,75 0,75 0,75 1 0 1

0,75 1 1 0,75 0 0 0 1 1 0

1,75 0,75 2 1 0 1 1,75 1 1 1

IMPARES: 1+3+5+7+9 PARES:2+4+6+8+10

1 0 0 1 1 0 1 1 1 1 0 0 0 1 1,75 1 0 1 0 1 Media Varianza

0 0 2 1 0 0 1 1 0 0

5,75

3,5

9,25

CONFIABILIDAD KUDER-RICHARDSON (KR-20)

PROCEDIMIENTO: Correlacin a travs de proporciones de aciertos y desaciertos y varianza del total de aciertos. APLICABLE EN: Lista de Cotejo y cuestionarios preguntas cerradas con opciones respuestas dicotmicas (SI- NO)

de de

CONFIABILIDAD KUDER-RICHARDSON (KR 20)

K= Nmero de tems. p.q= sumatoria de proporciones de aciertos por desaciertos. S2 T= Varianza del total de aciertos. HOJA DE CLCULO 2 EN EXCEL

CONFIABILIDAD KUDER-RICHARDSON (KR 20)

Sujetos 1 2 3 4 5 6 Total

1 2 3

1 0 1

0 0 1

1 1 1

1 1 0

1 0 1

1 0 1

4
5 p q p.q

1
1

1
1

0
0

1
0

1
0

0
1

5 2 5 4 3

CONFIABILIDAD ALFA DE CRONBACH

PROCEDIMIENTO: Correlacin a travs de la varianza de cada tem asociado por variables y la varianza de las puntuaciones totales.

APLICABLE EN : Escalas de Estimacin, Escala de Lickert, cuestionario de preguntas cerradas con opciones policotmicas , test de aptitud verbal, test de aptitud no verbal , test psicolgico.

CONFIABILIDAD ALFA DE CRONBACH

K= Nmero de tems. S2= Varianza de los puntajes de cada tems. S2T= Varianza de los puntajes totales. Instrumento

HOJA DE CLCULO EN EXCEL

CONFIABILIDAD ALFA DE CRONBACH

Sujetos
1 2 3 4 1 4 1 2 3 2 5 1 5 3 2 3 5 1 3 2 3 4 1 3 Total de Puntajes 15 6

4
4 4 5 21

14
12 12 15 74 S2/Itemes 9,27

5
6 S2/Itemes St 2=11,47

3
5 10 2

1
17

4
10

CONFIABILIDAD ALPHA DE CRONBACH

Se organizan los datos y se calcula la varianza del tem 1 y posteriormente el de los dems tems incluyendo los puntajes totales de la ltima columna:

CONFIABILIDAD
RANGOS 0,81 A 1,00 0,61 A 0,80 0,41 A 0,60 0,21 A 0,40 0,01 A 0,20 MAGNITUD Muy Alta Alta Moderada Baja Muy Baja

Importante: se sugiere repetir la validacin del instrumento puesto que es recomendable que el resultado sea mayor o igual a 0,81

FUENTE: RUIZ (2002).

Una alta confiabilidad, por si sola, no garantiza buenos resultados cientficos. Pero no puede haber buenos resultados cientficos sin instrumentos confiables. Carlos Ruiz Bolvar (2003)