Tema5 2

PSICOMETRA
Tema 5.2
Evaluacin del instrumento de medida:
FIABILIDAD II
TEMA 5.2 : FIABILIDAD II
Salvador Chacn Moscoso

Susana Sanduvete Chaves
Agradecemos a Francisco Pablo Holgado Tello su inestimable colaboracin en la elaboracin de este
material
INDICE
1. La fiabilidad como consistencia interna
1.1. Mtodos basados en la divisin del test en dos mitades
1.1.1. La ecuacin de Spearman-Brown
1.1.2. La frmula de Rulon
1.1.3. La frmula de Guttman-Flanagan
1.2. Mtodos basados en la covariacin entre los tems
1.2.1. Coeficiente alfa de Cronbach
1.2.1.1. Estimador insesgado de alfa
1.2.1.2. Inferencias sobre alfa
1.2.2. Casos particulares del coeficiente alfa
1.3. Coeficientes basados en el anlisis factorial de los tems:
Theta () y Omega ()
1.4. El coeficiente beta () de Raju
2. Estimacin de la puntuacin verdadera de los participantes en

el atributo de inters
2.1. Estimacin basada en la desigualdad de Chebychev
2.2. Estimacin basada en la distribucin normal de los errores
2.3. Estimacin basada en el modelo de regresin lineal
3. Valoracin de la Teora Clsica de los Tests
4. Introduccin a la fiabilidad en los tests referidos al criterio.
5. Otras aproximaciones al estudio de la fiabilidad. La fiabilidad
en la metodologa observacional
6. A modo de sntesis 2
7. Bibliografa bsica
1. LA FIABILIDAD COMO CONSISTENCIA INTERNA
En el tema 5.1, vimos que el coeficiente de fiabilidad (como

estabilidad de las medidas) se obtena a partir de la correlacin
entre formas paralelas de un test, o mediante la correlacin
entre dos aplicaciones del mismo test (test-retest).
En la mayora de las ocasiones, slo es posible llevar a cabo una

nica aplicacin del test (evita problemas asociados con la
repeticin del test y con la dificultad de construir formas
paralelas).
Mtodos que requieren una sola aplicacin del test:

1. Divisin del test en dos mitades.
2. Covariacin entre todos los tems del test.
3
1.1. Mtodos basados en la divisin del test en dos
mitades
Divisin del test en dos mitades: no siempre es fcil, ya que
se requiere que las mitades sean iguales en cuanto a
dificultad y contenido.
Distintos procedimientos:
1. Dividir el test por la mitad. Sin embargo, en muchos test los
tems fciles suelen aparecer al principio.
2. Ordenar los tems por su dificultad: a continuacin asignar los
pares a la forma 1 y los impares a la forma 2.
3. Asignacin aleatoria a cada una de las mitades.

4. Asignar tems a las mitades de forma que estn emparejadas en
contenido.
Tantos coeficientes de fiabilidad como divisiones

4
del test en dos mitades se puedan hacer
mitades
Ecuacin de Spearman-Brown para elementos paralelos: es el
mtodo ms antiguo y fue propuesto casi al mismo tiempo
por Spearman y Brown.
1. Se aplica el test a una muestra de participantes.
2. Se divide el test en dos mitades (paralelas).
3. Se calcula la correlacin. Dicho valor equivale al rxx para cada
una de las mitades habra que aplicar la frmula de
correccin para el caso de un test con longitud doble.

2rXX '
R XX'
1 rXX '
RXX ' coeficiente de fiabilidad cuando se ha duplicado su longitud.
rXX' coeficiente de fiabilidad de las dos mitades.
5
mitades
En la siguiente tabla, se muestran las puntuaciones de una muestra
de participantes en los tems pares e impares de un test.
Participantes par X 1 impar X 2

1 8 4
2 7 7
3 8 6
4 5 4
5 8 7
6 6 6
Total 42 34
Calcular la fiabilidad utilizando la frmula de Spearman-Brown.

6
mitades
Participantes par X 1 imparX 2 X 12 X 22 X1 X 2
1 8 4 64 16 32
2 7 7 49 49 49
3 8 6 64 36 48
4 5 4 25 16 20
5 8 7 64 49 56
6 6 6 36 36 36
Total 42 34 302 202 241
7
mitades
1.1.1. La ecuacin de Spearman-Brown 1. Calcular el
coeficiente de
N X1 X 2 X1 X 2 correlacin entre
rX1 X 2
N X ( X ) N X ( X )
1
2
1
2 2
2 2
2 ambas mitades.
Obtenemos que vale
0,35
6 * 241 42 * 34 1446 1428

rX1 X 2 0,35

6 * 302 42 2 6 * 202 342
48 * 56
2rXX 2 * 0,35
R XX 0,52 2. Aplicamos la
1 rXX 1 0,35 frmula de correccin
de Spearman-Brown.
Obtenemos un valor
de 0,52
8
mitades
1.1.2. La frmula
Ecuacin de Rulonde Rulon se utiliza cuando las dos mitades no
(1939):
son estrictamente paralelas, pero se entiende que son tau-
equivalentes (igualdad de varianzas verdaderas aunque las
varianzas del error no tienen por qu ser iguales); o
congenricas (la V de cada persona en un test es igual a la V
en el otro test mas una constante).
S d2
rXX' 1 2
Sx
d diferencia entre las puntuaciones pares e impares.
Sd2 varianza de las diferencias entre las puntuaciones

pares e impares.
S2x varianza de las puntuaciones empricas de los participantes.
La equivalencia entre Spearman-Brown y Rulon depende del grado de
paralelismo de las formas, de forma que cuanto ms parecidas sean,9
ms se aproximan los valores.
mitades
En la siguiente tabla, se muestra las puntuaciones de una
muestra de participantes en los tems pares e impares de un
test
Participantes X Par Impar

A 4 3 1
B 1 1 0
C 6 3 3
D 2 1 1
E 3 1 2
F 5 2 3
Calcular la fiabilidad utilizando la frmula de Rulon.

10
mitades
Participantes X Par Impar (P-I)=d d2 X2

A 4 3 1 2 4 16
B 1 1 0 1 1 1
C 6 3 3 0 0 36
D 2 1 1 0 0 4
E 3 1 2 -1 1 9
F 5 2 3 -1 1 25
21 11 10 1 7 91
11
mitades
1. Calcularamos la
d
d
1
0,17 varianza de las
N 6 diferencias. En este
S
2 d 2
2 7
d (0,17) 2 1,14
caso es 1,14.
2. Aplicando la frmula
d
N 6 de Rulon obtenemos
que el coeficiente de
X
X

21
3,5 fiabilidad vale 0,61
N 6
SX
2 X 2
2
X
91
(3,5) 2 15,17 12,25 2,92
N 6
S d2 1,14
rXX' 1 2 1 0,61
Sx 2,92
12
mitades
Guttman (1937) y Flanagan (1945): Llegaron de manera
independiente a una frmula equivalente a la de Rulon, pero
de ms fcil aplicacin.
S p2 Si2
rXX' 2 1
S 2
x
S2p y Si2 varianzas de las puntuaciones de los tems pares
e impares respectivamente.
S2x varianza de las puntuaciones empricas de los participantes.
Con los datos del ejercicio anterior, calcular el coeficiente de

fiabilidad utilizando Guttman-Flanagan. 13
mitades
Participantes X Par Impar Par2 Impar2

A 4 3 1 9 1
B 1 1 0 1 0
C 6 3 3 9 9
D 2 1 1 1 1
E 3 1 2 1 4
F 5 2 3 4 9
21 11 10 25 24
S2 = 2,92 Calculado en el ejercicio anterior

14
mitades
p
p 11
1,83
N 6
S
2 p 2
p
2 25 Observamos que
1,832 4,16 3,35 0,81 llegamos al mismo
p
N 6
resultado, sin
i
i 10
1,67 necesidad de
N 6 calcular las
S 2 i 2
i
2 24
1,67 2 4 2,79 1,21
puntuaciones
referidas a las
i
N 6 diferencias.
S p2 S i2 0,81 1,21
rXX '
2 1 2 1 0,61
2
Sx 2,92

15
1.2. Mtodos basados en la covariacin de los tems
Uno de los principales problemas con la divisin

del test en dos mitades, es que existen
numerosas formas de obtener dos mitades,
obteniendo tantas estimaciones del coeficiente de
fiabilidad como diferentes dos mitades puedan
hacerse. Una forma de resolver este problema es
estudiar la covariacin de los tems.
Mtodos:
- Coeficiente alfa de Cronbach, y sus casos
particulares: KR20 y KR21 de Kuder-Richardson
(1937).
16
- Coeficiente alfa de Cronbach: expresa la fiabilidad del test

en funcin del nmero de tems y de la proporcin de la
varianza total del test debida a la covariacin de los tems
cuanto ms covaren los tems, mayor ser la fiabilidad del
test.
n

n
j
S 2
j 1
1
n 1 S x2

n nmero de elementos del test.
n
S
j 1
2
j sumatorio de la varianza de los elementos del test.
S x2 varianza de las puntuaciones del test. 17

Se ha aplicado un test de percepcin visual a 6

participantes. Calcular el valor del coeficiente de
fiabilidad del test.
participantes X1 X2 X3 X4 X5
A 3 4 3 3 4
B 2 3 2 4 4
C 4 2 2 3 3
D 2 1 1 2 1
E 1 1 1 2 1
F 0 0 1 1 1
18
participante X1 X2 X3 X4 X5 X X 12 X 22 X 32 X 42 X 52 X2
A 3 4 3 3 4 17 9 16 9 9 16 289
B 2 3 2 4 4 15 4 9 4 16 16 225
C 4 2 2 3 3 14 16 4 4 9 9 196
D 2 1 1 2 1 7 4 1 1 4 1 49
E 1 1 1 2 1 6 1 1 1 4 1 36
F 0 0 1 1 1 3 0 0 1 1 1 9
12 11 10 15 14 62 34 31 20 43 44 804
19
1. Calcular la varianza de cada
X
X
S2
X X 2 tem
2
N N 2. Calcular la varianza de
12 34 2 las puntuaciones en el
X1 2 S1 2 1,67 test total
2
6 6 3. Calcular el alfa de
11 31 Cronbach
X 2 1,83 S 22 1,832 1,82
6 6
10
X 3 1,67
20
S3 1,67 0,54
2 2 n
S
1 2
2
j

n 1 S X
6 6
15 43
X 4 2,5 S 4 2,52 0,92
2
5 1,67 1,82 0,54 0,92 1,9
6 6 1 0,94
5 1 27,29
14 44
X 5 2,33 S5 2,33 1,9
2 2
6 6
62 804
X 10,33 Sx
2
(10,33) 2 27,29
6 6 20
El estimador insesgado: alfa no es ms que un estimador o
aproximacin al valor real del coeficiente de fiabilidad. Sin
embargo, existe una aproximacin ms exacta de dicho
valor que se expresa mediante la siguiente frmula:
( N 3) 2

N 1
estimador insesgado
valor de alpha de Cronbach

N nmero de participantes de la muestra
, cuando N
En la prctica, a partir de 100 participantes las

diferencias son insignificantes. 21
Ejemplo 1: en una muestra de 150 participantes un test obtiene

un valor de = 0,75. Cul es el valor del estimador
insesgado de alfa?
Ejemplo 2: en una muestra de 20 participantes un test obtiene

un valor de = 0,75. Cul es el valor del estimador

insesgado de alfa?
En qu ejemplo difieren ms alfa y su estimador insesgado?

Por qu?
22
( N 3) 2

N 1
Ejemplo 1: (150 3)0,75 2 0,75

150 1
(20 3)0,75 2
Ejemplo 2: 0,78
20 1
Alfa y su estimador insesgado difieren ms en el ejemplo 2

(0,75 vs 0,78) porque el tamao de la muestra es menor.
23
Alfa proporciona una estimacin del coeficiente de fiabilidad de
un test a partir de la muestra en que se ha aplicado, pero a
veces interesa plantearse si:
1. Puede tomar alfa un valor concreto en la poblacin

a partir del valor muestral obtenido?
2. Existe una diferencia significativa entre el valor de
alfa de dos muestras independientes?
3. Es significativa la diferencia entre dos valores de

alfa para una misma muestra?
- DESARROLLO DE LA TEORA MUESTRAL DEL

COEFICIENTE ALFA (Feldt, 1965; Kristof,1963)
24
1. Puede tomar alfa un determinado valor en la

poblacin a partir del valor muestral obtenido?
Kristof (1963) y Feldt (1965), proponen el siguiente
estadstico basado en la distribucin F
1
F
1
F se distribuye con ( N 1) y (n - 1)(N - 1) grados de libertad

alpha propuesto por la hiptesis para la poblacin.
valor de alpha obtenido en la muestra
N nmero de participantes de la muestra
n nmero de tems
25
Tras aplicar un test de percepcin

espacial de 35 tems a una muestra
de 60 estudiantes, se obtuvo un de
0,83. Es este coeficiente
estadsticamente significativo? (nivel
de confianza: 95%).
26
H0 : 0
1 1 0
F 5,88
1 1 0,83
F , ( N 1), (n -1)(N-1) F( 0.05,( 601),(351)*(601) F( 0.05,59, 2006 ) F( 0.05,30,1000 ) 1,47
5,88 > 1,47 - Se rechaza la hiptesis nula. El

coeficiente alfa es estadsticamente significativo
27
2. Existe una diferencia significativa entre el valor de alfa de

dos muestras independientes?
Feldt (1969), propone el estadstico de contraste W basado en
la distribucin F con (N1-1; y N2 1; grados de libertad) que
permite probar la H0: 1= 2
1 1
W
1 2
W se distribuye con ( N1 1) y (N 2 - 1) grados de libertad
1 y 2 alpha obtenido en cada muestra.
N1 yN 2 nmero de participantes de cada muestra
28
Hemos aplicado un test de razonamiento a una

muestra de 121 participantes, obteniendo un
valor de alfa igual a 0,55. Se aplic el mismo
test a otra muestra de 61 participantes
obtenindose un valor de alfa igual a 0,62.
Existen diferencias estadsticamente
significativas entre los valores de ambos

coeficientes? (N.C. = 95%).
29
H 0 : 1 2
1 1 1 0,55
W 1,18
1 2 1 0,62
F( , N1 1, N 2 -1) F( 0.05,120, 60 ) F( 0.05,100,30) 1,7
1,18 < 1,7 - Se acepta la hiptesis nula. La diferencia

entre ambos coeficientes no es estadsticamente
significativa.
30
3. Es significativa la diferencia entre dos valores de alfa para

una misma muestra?
Feldt (1969), propone el estadstico de contraste t basado en
la distribucin t con (N-2) g.l.
(1 2 ) ( N 2)
t
4(1 )(1 )(1 r )

1 2
2
x1 x 2
t se distribuye segn t de student con ( N 2)grados de libertad

1 y 2 alpha obtenido con las puntuaciones de cada medida
rx21x 2 correlaci n al cuadrado entre las puntuaciones en ambas medidas
31
Aplicamos dos tests de percepcin visual a una

muestra de 125 participantes. La correlacin
entre las puntuaciones de ambos tests es 0,7.
Los valores del coeficiente alfa fueron,
respectivamente, 0,75 y 0,84. La diferencia
entre estos valores es estadsticamente

significativa? (N.C. = 95%).
32
H 0 : 1 2
(1 2 ) ( N 2) (0,84 0,75) 125 2
t 3,5
4(1 )(1 )(1 r )
1 2
2
x1 x 2 [4(1 0,84)(1 0,75)(1 0,7 )
2
t( , N 2) t( 0.05,123) t( 0.05,120) 1,98

3,5 > 1,98 - Se rechaza la hiptesis nula. La diferencia

entre ambos coeficientes es estadsticamente
significativa.
33
Casos particulares de Alpha frmulas de Kuder-Richardson
(1937): hacen referencia a la estimacin de la fiabilidad de un
test en el caso de que los tems sean dicotmicos la
varianza viene determinada por: 2
S h ph qh
Donde ph es la proporcin de aciertos; mientras que qh es la de
errores. En tal caso, alfa se puede definir mediante KR20 ,o KR21
(cuando los tems presentan igual dificultad; es decir, la misma
proporcin de aciertos).
2
KR20
n
1
pq
X
X
n 1 S x
2 n n
KR21 1
Donde; n 1 S x2
Si aplicamos KR21 con
n= es el nmero de tems
p= es la proporcin de aciertos tems cuya dificultad
q= es la proporcin de errores no es la misma, se
S2x= es la varianza total de test. obtendr un valor 34
inferior al de KR20
Supongamos un test compuesto por 6 tems, y al que responden 6
participantes
participant A B C D E F
es
1 1 1 1 1 1 1
2 1 1 1 0 1 1
3 1 0 1 0 1 1
4 0 1 0 1 0 1
5 0 0 0 0 0 0
6 1 0 0 0 0 0
Calcular el coeficiente de fiabilidad utilizando KR20 y KR21
35
participant A B C D E F X X2
es
1 1 1 1 1 1 1 6 36
2 1 1 1 0 1 1 5 25
3 1 0 1 0 1 1 4 16
4 0 1 0 1 0 1 3 9
5 0 0 0 0 0 0 0 0
6 1 0 0 0 0 0 1 1
p 0,6 0,5 0,5 0,3 0,5 0,6

7 3 7
q 0,3 0,5 0,5 0,6 0,5 0,3 S 2
j 1,41
3 7 3
S2 0,2 0,2 0,2 0,2 0,2 0,2
2 5 5 1. Primero
2 5 habra
2 que
calcular la varianza de los
19 87
tems, que al ser dicotmicos 36
es p*q.
KR20
n
1
pq 6
1
1,41
1,2(1 0,32) 1,2 * 0,68 0,82
n 1 2
SX 5 4,45
S
2 X 2
87 2
X 3,17 2 14,5 10,05 4,45
X
N 6 2. Y a continuacin,
X
X 19
3,17
se aplica KR20. Se
observa que el valor
N 6
obtenido es de 0,82
X 2
3,17 2
Como los tems no
X 3,17
n
n 1 6 6 0,8
presentan misma
KR21 1
n 1 S X2 5
dificultad, el valor
4,45
obtenido con KR21
es ms bajo que el
obtenido con KR37 20
1.3. Coeficientes basados en el anlisis factorial de los
tems:
Theta () y Omega ()
Los coeficientes Theta () de Carmines y Omega ()
constituyen dos indicadores de la consistencia interna de los
tems de un test, basados en el Anlisis Factorial de los
tems.
n 1 n h 2j
1 1
n 1 1 n 2 rjh
n nmero de tems del test n nmero de tems del test
1 varianza explicada por h 2j comunalidad estimada del tem j

el 1er factor antes de la rotacin rjh correlacin entre los tems j y h
- En general, para los mismos datos se verifica que

= = cuando los tems son paralelos 38
tems:
Theta () y Omega ()
En la siguiente tabla, aparecen los valores de la varianza
explicada por los 5 factores obtenidos tras someter a un
anlisis factorial a 5 variables. La suma de las
comunalidades es 4,95 y la suma de las correlaciones
entre los tems es 5,1. Calcular el valor de los
coeficientes y .
Factor Varianza explicada

1 3,286
2 1,346
3 0,224
4 0,128
5 0,014
39
tems:
Theta () y Omega ()
n 1 5 1
1 1 0,869
n 1 1 5 1 3,286
n h 2j 5 4,95 0,05 0,05

1 1 a 1 1 0,003 0,997
n 2 r jh 5 2 * 5,1 5 10,2 15,2
Efectivamente, (0,869 < 0,997)
40
1.4. El coeficiente Beta () de Raju
El coeficiente beta () de Raju (1977). Cuando un test se divide en
varios subtests con distinto nmero de tems, infraestima el
coeficiente de fiabilidad si se calcula a partir de la puntuacin total
de cada subtest.
Por el contrario, supera este problema y proporciona una estimacin
de la fiabilidad de un test compuesto por distintos subtest (batera
de tests), a partir de las puntuaciones totales en ellos.
k K=nmero de subtests.
S S
2 2
2
x j
Sx=varianza del test total.
j 1
2
nj
k
2
Sj=varianza de cada subtest.
S 1
2
x
j 1 n nj=nmero de tems de cada subtest.

n= nmero total de tems del test.
Se aplica cuando se desconocen las puntuaciones de los participantes

en los tems de los distintos subtests. Si se conocen los valores de
41
estas puntuaciones, es mejor emplear .
Se ha aplicado un test compuesto por 4

subtests a una muestra de 200
empleados de correos. Los subtests
estn compuestos por A=18; B=30;
C=45 y D=55 tems. La varianza total
del test es 50 y la de los subtest es
S2A 5; S2B 7; SC2 9; y S2D 11

.
Calcular alfa y beta
42
n

n

j 1
S 2j 4 1 5 7 9 11 0,48
1. A partir de las
1 4 1 puntuaciones totales,
n 1 S x2 50 calculamos alfa y

encontramos que vale
0,48
k
S S 2j
2
x
j 1 50 (5 7 9 11)

n k

2
18 2
30
2
45
2
55
2

S 1 j
2
x 50 1
j 1 n
148
148 148 148
50 32 18

50 1 0,1212 0,2032 0,304 2 0,372 2
501 (0,015 0,041 0,092 0,138)
18 18 18 2. Sin embargo,
0,50
50[1 0,286] 50 * 0,714 35,7 cuando aplicamos
de Raju encontramos
que dicho valor es
Slo en el caso de que los distintos subtests contengan 0,50 el mismo
nmero de tems, alfa y beta sern iguales. 43
2. ESTIMACIN DE LA PUNTUACIN VERDADERA DE LOS
PARTICIPANTES EN EL ATRIBUTO DE INTERS
Tras obtener un valor del coeficiente de fiabilidad, la

siguiente pregunta relevante que nos podemos hacer
es:
Cmo hacer estimaciones acerca del valor de la
puntuacin verdadera de un participante?:
1. Desigualdad de Chebychev.
2. Estimacin basada en la distribucin normal de los
errores.
3. Estimacin basada en el modelo de regresin.
44
No asume ningn tipo de distribucin ni de las puntuaciones empricas ni

de los errores de medida y permiti, por primera vez, hacer estimaciones.
Lim X E max
E max S e * k
S e S x 1 rxx '
1
k

errortipoI
45
Se ha administrado un test cuyo rxx = 0,73 a 200

participantes (Media = 52; y Desviacin
tpica = 7). Con los datos obtenidos, estimar
la puntuacin verdadera de un participante
que obtuvo una puntuacin de 65 (NC 95%)
utilizando el mtodo de la desigualdad de

Chebychev.
46
81,38
Lim X E max 65 16,27
48,62
E max S e * k 3,64 * 4,47 16,27
S e S x 1 rxx ' 7 1 0,73 3,64 Intervalo muy
amplio
1 1
k 4,47
0,05
0,05
47
2.2. Estimacin basada en la distribucin normal de los
errores
Asume la distribucin normal de E y de las X empricas
condicionadas a un determinado valor de V.
Lim X E max
E max Z C * S e
Z C ( NC 95%) 1,96
Z C ( NC 99%) 2,58
S e S x 1 rxx '
Con los datos del ejercicio anterior, calcular el intervalo

segn la distribucin normal de los errores
48
2.2. Estimacin basada en la distribucin normal de los
errores
72,13
Lim X E max 65 7,13
57,87
E max Z C * S e 1,96 * 3,64 7,13
Z C ( NC 95%) 1,96
Este intervalo es menos amplio
S e 3,64 que el anterior, debido a que
estamos asumiendo cierta
distribucin de probabilidad en
los datos, cosa que no ocurra
antes.
Se = 3,64 (ya calculado para la
estimacin mediante la
igualdad de Chebychev)
49
Dado que X siempre est afectada por errores de medida (E) podramos
hacer estimaciones puntuales de V, y a posteriori establecer intervalos de
confianza en torno a ella. Es decir, utilizar V en lugar de X para construir
el intervalo de confianza.
Lim V ' E max
V ' rxx ' ( X X ) X
E max Z C * S vx
Z C ( NC 95%) 1,96
Z C ( NC 99%) 2,58
Svx = error tpico de S vx S e rxx '
estimacin de la puntuacin
verdadera
Con los datos del ejemplo anterior, calcular el intervalo segn el mtodo de
regresin.
50
67,55
Lim V ' E max 61,49 6,06
55,43
V ' rxx ' ( X X ) X 0,73(65 52) 52 61,49
E max Z C * S vx 1,96 * 3,09 6,06
Z C ( NC 95%) 1,96
S vx S e rxx ' 3,64 0,73 3,09
Se = 3,64 (ya calculado

para los mtodos
anteriores)
48,62 V 81,38
Si comparamos los intervalos
57,87 V 72,13 obtenidos con los tres mtodos,
vemos que ste ltimo es el menos
55,43 V 67,55 amplio de todos (el ms preciso) 51
3. VALORACIN DE LA TEORA CLSICA DE LOS TEST
Ventajas:
Parsimonia y enjundia psicolgica. Ha sabido dar soluciones
prcticas a una amplia diversidad de situaciones (Muiz,
2001).
Limitaciones:
1. Los supuestos no se pueden comprobar empricamente.
2. Concepto de error de medida:
a) homogneo a lo largo del continuo de aptitud
b) errores independientes
c) concepto general que engloba todas las fuentes de
variabilidad.
3. Medidas estrictamente paralelas.
4. Carcter variante y dependiente de sus ndices.
5. Estimacin de la fiabilidad mltiples procedimientos
52
3. VALORACIN DE LA TEORA CLSICA DE LOS TEST
Encontramos una ventaja inherente a sus propias limitaciones,

ya que dichas limitaciones han promovido el desarrollo de
otras importantes teoras, que han intentado superar:
-Problemas relacionados con el error de medida.
-Dependencia de los instrumentos de medida sobre los

propios objetos de medida y viceversa.
No debemos olvidar que la TCT supone la primera

formulacin matemtica de una teora sobre las
puntuaciones de los tests y, por tanto, su posicin en la
mayora de los programas docentes y manuales que se
publican est ms que justificado
53
4. INTRODUCCIN A LA FIABILIDAD EN LOS TESTS
REFERIDOS AL CRITERIO
Tests Referidos a la Norma (TRN): ordenan a los

participantes respecto a su grupo segn su nivel en el rasgo
medido un participante que ocupa el P90 est por encima del
90% de participantes de su grupo en el rasgo medido por el test.
En los aos 60, en evaluacin educativa, surge la necesidad de

construir tests que evalen directamente el conocimiento de los
estudiantes sobre los objetivos programados, a partir de lo que
surgen los tests referidos al criterio (TRC). Qu tipo de
problemas es capaz de resolver la persona?Qu tipo de
resolucin requiere?Cul es el lmite de la capacidad del

participante?:
Un TRC se utiliza para evaluar el status absoluto del

participante con respecto a algn dominio de conductas
bien definido (Popham, 1978)
54
TRN TRC
Finalidad Diferencias individuales Rendimiento
Construccin Teoras existentes Especificacin del dominio
Seleccin de los tems Maximizar diferencias Segn objetivos
individuales
Significado de las Indicador de la puntuacin Estimador del rendimiento
puntuaciones verdadera del participante en el
dominio
Interpretacin de las Se compara con su grupo Con significado en trminos

puntuaciones normativo absolutos
(Martnez-Arias, p. 657)
55
Impulso de algunos aspectos como:
1. Definir con mayor claridad los objetivos de

inters.
2. Muestrear exhaustivamente los objetivos a
evaluar.
3. Nuevas formas de evaluar la fiabilidad y validez.

4. Establecer los puntos de corte ms apropiados.
5. Detectar los puntos fuertes y dbiles de los
participantes.
56
Fiabilidad: determinar el grado de error presente en las

mediciones.
Objetivo en los TRC: clasificar a las personas entre las

que dominan el criterio y las que no
Fiabilidad consistencia o precisin en las

clasificaciones realizadas por el test
Dos aplicaciones del Una sola aplicacin del

test test
57
Dos aplicaciones: en este caso podemos aplicar el mismo test
a una muestra; o dos formas paralelas.
Fiabilidad perfecta clasificacin idntica en ambas

aplicaciones.
Procedimientos para su evaluacin:

1. Coeficiente p0 de Hambleton y 2. Coeficiente Kappa:
Novick:
Fc Fc Fa
p0 K
N N Fa
Donde: Donde:
Fc= nmero de personas Fc= nmero de personas
clasificadas de manera clasificadas de manera
coincidente por ambos tests. coincidente por ambos tests.
N= nmero total de personas. Fa= coincidencia por azar.
N= nmero total de personas.
58
Test B
Test A Apto No- Total
apto
Apto a b g
No-apto c d h
Total e f N
Fc a d
e* g f *h
Fa
N N
59
Se han aplicado dos tests paralelos de Psicometra a 20 participantes.

Las clasificaciones realizadas se muestran en la siguiente tabla.
Calcular la fiabilidad de la clasificacin utilizando el coeficiente p 0
de Hambleton y Novick y el coeficiente Kappa.
Test B
Test A Apto No-
apto
Apto 2 3
No-apto 1 14
60
Test B
Test A Apto No- Total
apto 1. Aplicando p0 vemos
Apto 2 (a) 3 (b) 5 (g) que los tests coinciden
No-apto 1 (c) 14 (d) 15 (h) en clasificar a 2 aptos
y 14 no-aptos la
Total 3 17 (f) 20 (N) fiabilidad es 0,80
(e)
Fc 16
1. p 0 0,80 2. Aplicando K vemos

N 20
que la fiabilidad se
Fc a d 2 14 16
reduce
considerablemente al
Fc Fa 16 13,5 considerar las
2.K 0,38 coincidencias por azar.
N Fa 20 13,5
e * g f * h 3 * 5 17 *15
Fa 13,5
N N 20 20 61
5. OTRAS APROXIMACIONES AL ESTUDIO DE LA
FIABILIDAD. LA FIABLIDAD EN LA METODOLOGA
OBSERVACIONAL
Fiabilidad: Grado de precisin de la medida, o del instrumento
de medida utilizado.
En Metodologa observacional, por ejemplo, el instrumento de

medida ms comn es un Sistema de categoras que
anlogamente a un test pretende recoger la variabilidad del
comportamiento del participante en el dominio comportamental
que se est estudiando.
Procedimientos ms habituales en su clculo se basan en los

mismos principios utilizados bajo la lgica de los TRC medir
la consistencia en las clasificaciones, en este caso de distintos
observadores: ndice de Acuerdo (aproximacin exploratoria);
Coeficiente Kappa.
62
5. OTRAS APROXIMACIONES AL ESTUDIO DE LA
FIABILIDAD. LA FIABLIDAD EN LA METODOLOGA
OBSERVACIONAL
Slo pretendemos indicar que la fiabilidad no es

exclusiva de la teora de tests, sino que el
problema de la precisin es comn a cualquier
aproximacin cientfica que implique medicin.
Lo exclusivo es que cada aproximacin adapta
el mtodo a sus peculiaridades de estudio
63
7. BIBLIOGRAFA COMENTADA
1. Barbero, I., Garca, E., Vila, E. y Holgado, F. P. (2010).
Psicometra: Problemas resueltos. Madrid: Sanz y Torres.
Se trata de un libro de ejercicios y problemas en el que se incluye
el desarrollo de la solucin. El alumnado podr completar desde
un punto de vista aplicado los conceptos y contenidos vistos en la
parte terica; as como adquirir las destrezas necesarias para la
resolucin de problemas.
2. Barbero, I., Vila, E. y Holgado, F. P. (2010). Psicometra.
Madrid: Sanz y Torres.
En el captulo 4 se introduce el modelo lineal clsico y el
concepto de tests paralelos, as como la interpretacin del

coeficiente de fiabilidad y distintos mtodos para su estimacin; y
el captulo 5 se centra en la fiabilidad de los TRC.
3. Gmez-Benito, J. (1996). Aportaciones de los modelos de
estructuras de covarianza al anlisis psicomtrico. En J. Muiz
(Coord.), Psicometra. Madrid: Universitas.
El captulo 10 define conceptos fundamentales como coeficiente
64
de fiabilidad y tests paralelos desde modelos de ecuaciones
7. BIBLIOGRAFA COMENTADA
4. Martnez Arias, R. (1995). Psicometra: Teora de los Tests
Psicolgicos y Educativos.
El Captulo 3 presenta de una forma clara los conceptos bsicos del
modelo clsico. Los tres primeros apartados del Captulo 4 tambin se
pueden consultar para la preparacin de este tema. Presenta numerosos
ejercicios que permiten aplicar los conocimientos tericos adquiridos.
5. Meli, J. L. (2000). Teora de la Fiabilidad y la Validez. Valencia:
Cristbal Serrano.
En los Captulos 3 y 4 expone el modelo lineal clsico de los errores de
medida, el concepto de coeficiente e ndice de fiabilidad y la definicin de
tests paralelos. El Captulo 6 destaca algunas de las crticas. En el
Captulo 6 se trata la consistencia interna y los factores que afectan a la

estimacin de la fiabilidad.
7. Muiz, J. (1996). Fiabilidad. En J. Muiz (Coord.), Psicometra. Madrid:
Universitas.
En el Captulo 1 se resumen los conceptos fundamentales del modelo
lineal clsico y la definicin de paralelismo.
6. Nunnally, J. C. y Bernstein, I. J. (1995). Teora Psicomtrica. Mxico:
McGraw Hill. 65

Tema5 2

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Tema5 2

Uploaded by

Copyright:

Available Formats

PSICOMETRA

Salvador Chacn Moscoso

2. Estimacin de la puntuacin verdadera de los participantes en

En el tema 5.1, vimos que el coeficiente de fiabilidad (como

En la mayora de las ocasiones, slo es posible llevar a cabo una

Mtodos que requieren una sola aplicacin del test:

3. Asignacin aleatoria a cada una de las mitades.

Tantos coeficientes de fiabilidad como divisiones

correccin para el caso de un test con longitud doble.

Participantes par X 1 impar X 2

Calcular la fiabilidad utilizando la frmula de Spearman-Brown.

Participantes par X 1 imparX 2 X 12 X 22 X1 X 2

6 * 241 42 * 34 1446 1428

Sd2 varianza de las diferencias entre las puntuaciones

Participantes X Par Impar

Calcular la fiabilidad utilizando la frmula de Rulon.

Participantes X Par Impar (P-I)=d d2 X2

Con los datos del ejercicio anterior, calcular el coeficiente de

Participantes X Par Impar Par2 Impar2

S2 = 2,92 Calculado en el ejercicio anterior

Uno de los principales problemas con la divisin

- Coeficiente alfa de Cronbach: expresa la fiabilidad del test

S x2 varianza de las puntuaciones del test. 17

Se ha aplicado un test de percepcin visual a 6

valor de alpha de Cronbach

En la prctica, a partir de 100 participantes las

Ejemplo 1: en una muestra de 150 participantes un test obtiene

Ejemplo 2: en una muestra de 20 participantes un test obtiene

un valor de = 0,75. Cul es el valor del estimador

En qu ejemplo difieren ms alfa y su estimador insesgado?

Ejemplo 1: (150 3)0,75 2 0,75

Alfa y su estimador insesgado difieren ms en el ejemplo 2

1. Puede tomar alfa un valor concreto en la poblacin

3. Es significativa la diferencia entre dos valores de

- DESARROLLO DE LA TEORA MUESTRAL DEL

1. Puede tomar alfa un determinado valor en la

F se distribuye con ( N 1) y (n - 1)(N - 1) grados de libertad

Tras aplicar un test de percepcin

5,88 > 1,47 - Se rechaza la hiptesis nula. El

2. Existe una diferencia significativa entre el valor de alfa de

Hemos aplicado un test de razonamiento a una

significativas entre los valores de ambos

1,18 < 1,7 - Se acepta la hiptesis nula. La diferencia

3. Es significativa la diferencia entre dos valores de alfa para

4(1 )(1 )(1 r )

t se distribuye segn t de student con ( N 2)grados de libertad

Aplicamos dos tests de percepcin visual a una

entre estos valores es estadsticamente

t( , N 2) t( 0.05,123) t( 0.05,120) 1,98

3,5 > 1,98 - Se rechaza la hiptesis nula. La diferencia

Calcular el coeficiente de fiabilidad utilizando KR20 y KR21

p 0,6 0,5 0,5 0,3 0,5 0,6

1 varianza explicada por h 2j comunalidad estimada del tem j

- En general, para los mismos datos se verifica que

Factor Varianza explicada

n h 2j 5 4,95 0,05 0,05

Efectivamente, (0,869 < 0,997)

Se aplica cuando se desconocen las puntuaciones de los participantes

Se ha aplicado un test compuesto por 4

S2A 5; S2B 7; SC2 9; y S2D 11

Tras obtener un valor del coeficiente de fiabilidad, la

No asume ningn tipo de distribucin ni de las puntuaciones empricas ni

Se ha administrado un test cuyo rxx = 0,73 a 200