Avances en Medicin, 6, 2736

2008
VALIDEZ DE CONTENIDO Y JUICIO DE EXPERTOS: UNA
APROXIMACIN A SU UTILIZACIN
Jazmine Escobar-Prez
*
Universidad El Bosque, Colombia
ngela Cuervo-Martnez
*
*
!nstituci"n Universitaria !beroamericana, Colombia
Resumen
El #resente artculo se centra en la validez de contenido, es#ec$icamente, en la utilizaci"n del %uicio de
e&#ertos como #arte del #roceso #ara su estimaci"n' (e #resenta una conce#tualizaci"n de la validez de
contenido, seguida de la de$inici"n ) caracterizaci"n del %uicio de e&#ertos' *inalmente se #ro#one una gua
#ara la realizaci"n del %uicio que inclu)e una #lanilla de cali$icaci"n con indicadores ) la a#licaci"n e
inter#retaci"n de los estadsticos +a##a ) +endall como ndices de concordancia'
Palabras clave, Juicio de e&#ertos, validez de contenido, estadstica +a##a, Coe$iciente de +endall'
Abstract
-.is #a#er $ocuses on t.e content validit), s#eci$icall), on t.e use o$ e&#erts %udgments as #art o$ t.e #rocess
to estimate it' *irst, a content validit) conce#tualization is introduced, $ollo/ed b) t.e de$inition and
c.aracterization o$ t.e e&#erts %udgment' *inall), a guide to carr) out t.e %udgment is #ro#osed including a
grade c.art /it. indicators and t.e a##lication and inter#retation o$ t.e +a##a and +endall statistics as
concordance inde&es'
Key words, E&#erts %udgment, content validit), +a##a0s statistics +endall0s coe$$icient'
Introduccin
Una #regunta que surge cuando se intenta medir el com#ortamiento es qu tan v1lida ) con$iable es la
medici"n' El #resente escrito se centra en la validez de contenido, es#ec$icamente, en la utilizaci"n del
%uicio de e&#ertos como #arte del #roceso #ara su estimaci"n' Esta tcnica debe realizarse de manera
adecuada, )a que muc.as veces constitu)e el 2nico indicador de la validez de contenido' 3ctualmente el
%uicio de e&#ertos es una #r1ctica generalizada que requiere inter#retar ) a#licar sus resultados de manera
acertada, e$iciente ) con toda la rigurosidad metodol"gica ) estadstica, #ara #ermitir que la evaluaci"n
basada en la in$ormaci"n obtenida de la #rueba #ueda ser utilizada con los #ro#"sitos #ara la cual $ue
dise4ada'
5a validez de contenido se establece en di$erentes situaciones, siendo dos de las m1s $recuentes, 6a7 el
dise4o de una #rueba, ) 6b7 la validaci"n de un instrumento que $ue construido #ara una #oblaci"n
di$erente, #ero que se ada#t" mediante un #rocedimiento de traducci"n 6equivalencia sem1ntica7' 8)r9:s,
3##elqvist--(c.midlec.ner ) ;9sa 6<==>7 #lantean que es mu) $recuente que instrumentos que )a .an
sido estandarizados en #ases de .abla inglesa sean utilizados en #ases de .abla no inglesa, #or lo cual se
debe realizar el #roceso de traducci"n, ada#taci"n ) estandarizaci"n del instrumento #ara dic.os #ases'
Estos #rocesos #resentan di$icultades im#ortantes, )a que la sola ada#taci"n del instrumento no
necesariamente genera una equivalencia cultural debido a las barreras del idioma, a signi$icados culturales
*
*acultad de Psicologa Universidad El Bosque, Bogot1-Colombia' E-mail, escobar%azmine?unbosque'edu'co
*
* *acultad de Psicologa !nstituci"n Universitaria !beroamericana, Bogot1-Colombia' E-mail, cuervomla?.otmail'com
28 Escobar-Pre ! "#ervo-Mar$%ne
di$erentes de un constructo #articular o a una variedad de inter#retaciones de un com#ortamiento
observado basado en normas culturales' Es #or esto que se .ace necesario validar dic.os instrumentos en
trminos de su contenido, ) es all donde la evaluaci"n realizada #or e&#ertos cobra es#ecial relevancia,
#ues son ellos quienes deben eliminar los tems irrelevantes ) modi$icar los tems que lo requieran, como
en el caso de e&#resiones idiom1ticas'
En este conte&to surgen los ob%etivos del #resente artculo, 6a7 @ealizar una a#ro&imaci"n a la
conce#tualizaci"n de la validez de contenido ) del %uicio de e&#ertos, 6b7 #ro#oner un #rocedimiento #ara
su realizaci"n, ) 6c7 brindar algunas alternativas estadsticas #ara el an1lisis de los datos obtenidos del
#roceso que #ermitan tomar decisiones'
V!id"# d" cont"nido
5a validez de contenido consiste en qu tan adecuado es el muestreo que .ace una #rueba del universo
de #osibles conductas, de acuerdo con lo que se #retende medir 6Co.en A (/erdi9, <==B7C los miembros
de dic.o universo U #ueden denominarse reactivos o tems' Para autores como Ding ) 8ers.berger
6<==<7, la validez de contenido es un com#onente im#ortante de la estimaci"n de la validez de in$erencias
derivadas de los #unta%es de las #ruebas, )a que brinda evidencia acerca de la validez de constructo )
#rovee una base #ara la construcci"n de $ormas #aralelas de una #rueba en la evaluaci"n a gran escala'
Para establecer un #osible universo de reactivos se requiere tener una adecuada conce#tualizaci"n )
o#eracionalizaci"n del constructo, es decir, el investigador debe es#eci$icar #reviamente las dimensiones a
medir ) sus indicadores, a #artir de los cuales se realizar1n los tems' 5os tems deben ca#turar las
dimensiones que la #rueba #retende medir, #or e%em#lo, en la #rueba de #rocesos lectores 6P@;5EC7 de
Cuetos, @odrguez ) @uano 6<==B7 el constructo &rocesos lec$ores est1 evaluado en las dimensiones de
#rocesos sint1cticos, sem1nticos ) #ragm1ticos' 5os tems seleccionados deben #or tanto medir las
dimensiones del constructo, Un error de validez de contenido sera que la dimensi"n sem1ntica no tuviera
ning2n tem que la evaluara, o que los tems de la dimensi"n sint1ctica s"lo evaluaran una #arte de sta, al
contrastar con lo que se #retende evaluar en dic.a dimensi"n'
El constructo medido #or el instrumento ) el uso que se les dar1 a las #untuaciones obtenidas son
as#ectos $undamentales tanto #ara la estimaci"n como #ara la conce#tualizaci"n de la validez de
contenido' En e$ecto, en la evaluaci"n de un instrumento debe tenerse en cuenta su $unci"n, es decir, si
ser1 utilizado #ara el diagn"stico, la medici"n de .abilidades o la medici"n de desem#e4o, entre otrosC los
ndices de validez #ara una $unci"n de un instrumento no son necesariamente generalizables a otras
$unciones del mismo instrumento 6Ding A 8ers.berger, <==<7' 3 su vez, la validez de contenido no s"lo
#uede variar de acuerdo con las #oblaciones en las cuales ser1 utilizado el instrumento, sino que #uede
estar condicionada #or un dominio #articular del constructoC di$erentes autores #ueden asignarle el mismo
nombre a un constructo, #ero #oseer di$erentes dimensiones ) conce#tualizaciones, #or lo tanto, un
instrumento #uede tener una validez de contenido satis$actoria #ara una de$inici"n de un constructo #ero
no #ara otras' En sntesis, el conce#to esencial de validez de contenido es que los tems de un instrumento
de medici"n deben ser relevantes ) re#resentativos del constructo #ara un #ro#"sito evaluativo #articular
6Mitc.ell, BEFG, citado en Ding A 8ers.berger, <==<7
Juicio d" "$%"rto&
5a validez de contenido generalmente se eval2a a travs de un #anel o un %uicio de e&#ertos, ) en mu)
raras ocasiones la evaluaci"n est1 basada en datos em#ricos 6Ding A 8ers.berger, <==<7' En
concordancia con esto, Ut9in 6<==H7 #lantea que el %uicio de e&#ertos en muc.as 1reas es una #arte
im#ortante de la in$ormaci"n cuando las observaciones e&#erimentales est1n limitadas' Esta aseveraci"n
'alide de con$enido y (#icio de e)&er$os 2*
es #articularmente cierta en el caso de la #sicologa, donde dic.o %uicio se .a convertido en la estrategia
#rinci#al #ara la estimaci"n de la validez de contenido'
El %uicio de e&#ertos se de$ine como una o#ini"n in$ormada de #ersonas con tra)ectoria en el tema, que
son reconocidas #or otros como e&#ertos cuali$icados en ste, ) que #ueden dar in$ormaci"n, evidencia,
%uicios ) valoraciones' 5a identi$icaci"n de las #ersonas que $ormar1n #arte del %uicio de e&#ertos es una
#arte crtica en este #roceso, $rente a lo cual (9%ong ) Ient/or.t 6<===7 #ro#onen los siguientes criterios
de selecci"n, 6a7 E&#eriencia en la realizaci"n de %uicios ) toma de decisiones basada en evidencia o
e&#erticia 6grados, investigaciones, #ublicaciones, #osici"n, e&#eriencia ) #remios entre otras7, 6b7
re#utaci"n en la comunidad, 6c7 dis#onibilidad ) motivaci"n #ara #artici#ar, ) 6d7 im#arcialidad )
cualidades in.erentes como con$ianza en s mismo ) ada#tabilidad' -ambin #lantean que los e&#ertos
#ueden estar relacionados #or educaci"n similar, entrenamiento, e&#eriencia, entre otrosC ) en este caso la
ganancia de tener muc.os e&#ertos disminu)e' ;tros autores como McJartland, Berg, -ebb, 5ee ) @auc.
6<==>7, #ro#onen como criterio b1sico de selecci"n 2nicamente el n2mero de #ublicaciones o la
e&#eriencia' Para una discusi"n sobre educaci"n vs' e&#eriencia en los %ueces, ver (ummers, Iilliamson )
@ead 6<==K7'
De otra #arte, el n2mero de %ueces que se debe em#lear en un %uicio de#ende del nivel de e&#erticia )
de la diversidad del conocimientoC sin embargo, la decisi"n sobre qu cantidad de e&#ertos es la adecuada
vara entre autores' 3s, mientras Jable ) Iol$ 6BEE>7, Jrant ) Davis 6BEEL7, ) 5)nn 6BEFG7 6citados en
McJartland et al' <==>7 sugieren un rango de dos .asta <= e&#ertos, 8)r9:s et al' 6<==>7 mani$iestan que
diez brindaran una estimaci"n con$iable de la validez de contenido de un instrumento' (i un F= M de los
e&#ertos .an estado de acuerdo con la validez de un tem ste #uede ser incor#orado al instrumento
6Noutilainen A 5iu99onen, BEEH, citados en 8)r9:s et al' 6<==>7'
El %uicio de e&#ertos se usa en m2lti#les 1mbitos de la evaluaci"n #sicol"gica, desde la medici"n de la
con$iabilidad de los #ro$esionales en salud mental #ara evaluar la com#etencia de #acientes #siqui1tricos
res#ecto al consentimiento in$ormado 6+itamura A +itamura, <===7, .asta la validaci"n de contenido de
#ruebas estandarizadas de altas es#eci$icaciones' E&isten muc.os e%em#los de la utilizaci"n es#ec$ica del
%uicio de e&#ertos, entre ellos se encuentran ;lea, 3bad ) Ponsoda 6<==<7, quienes dise4aron ) calibraron
un banco de tems 6G>H7 de conocimiento en gram1tica inglesaC ) 5obo et al' 6<==>7, quienes realizaron la
#rimera validaci"n en es#a4ol del mtodo !O-E@MED 6sistema de detecci"n tem#rana de #roblemas
bio#sicosociales7 ) del uso de servicios en #acientes mdico- quir2rgicos, asimismo se encuentran
a#licaciones del %uicio de e&#ertos en el 1rea de detecci"n de riesgos ) $iabilidad de #rocesos'
P&o& %r r"!i#r un 'uicio d" "$%"rto&
Narios autores como (9%ong ) Ient/or.t 6<===7, ) de 3rquer 6BEEH7 .an #ro#uesto diversos #asos
#ara la realizaci"n del %uicio de e&#ertos, 6a7 Pre#arar instrucciones ) #lanillas, 6b7 seleccionar los
e&#ertos ) entrenarlos, 6c7 e&#licar el conte&to, 6d7 #osibilitar la discusi"n, ) 6e7 establecer el acuerdo
entre los e&#ertos #or medio del c1lculo de consistencia' 3dem1s de estos #asos comunes a los di$erentes
autores, se debe instruir claramente al %uez en la dimensi"n ) el indicador que mide cada tem o un gru#o
de ellos' Es de es#ecial relevancia brindar in$ormaci"n sobre el uso que tendr1n los resultados de la
#rueba, )a que como se mencion" en un a#artado anterior, estos est1n estrec.amente relacionados con la
validez de contenido' En e$ecto, utilizaciones di$erentes de las #untuaciones .ar1n que vare la #ertinencia
) su$iciencia de los tems'
(i tomamos el caso de una #rueba de autoestima #ara de#ortistas de alto rendimiento, #or e%em#lo, es
di$erente el valor que se le atribu)e a los tems si la #rueba se va a usar #ara seleccionar a los de#ortistas
que asistir1n a com#etencias de alta e&igencia #or #rimera vez, que si se van a usar #ara describir un #er$il
de los di$erentes as#ectos #sicol"gicos que #ueden tener e$ecto en el desem#e4o del de#ortista' En el
#rimer caso los tems de autoe$icacia 6una dimensi"n de la autoestima7 deben tener una #onderaci"n m1s
30 Escobar-Pre ! "#ervo-Mar$%ne
alta o ser ma)or en n2mero $rente a otras dimensiones como el autoconce#to ) la autoimagenC en el
segundo caso, la #rueba de autoestima debe medir equilibradamente todas las dimensiones'
E&isten varios mtodos #ara la obtenci"n de %uicios de e&#ertos, que #ueden clasi$icarse seg2n si la
evaluaci"n se realiza de manera individual o gru#al' En el #rimer gru#o se encuentran algunos como el
mtodo de agregados individuales ) el mtodo Del#.i, en ambos mtodos cada %uez realiza la evaluaci"n
individualmente, #ero en el Del#.i, luego de analizar las res#uestas se le enva a cada %uez la mediana
obtenida ) se le #ide que reconsidere su %uicio .asta que se logre un consenso 6de 3rquer, BEEH7' (eg2n
Nan Der *els-+ler&, Jossens, (aaticam# ) 8orst 6<==<7 esta tcnica o$rece un alto nivel de interacci"n
entre los e&#ertos, evitando las desventa%as de la din1mica gru#al'
Entre las tcnicas gru#ales se encuentra la nominal ) el consenso, en ambas se requiere reunir a los
e&#ertos, #ero en la 2ltima se e&ige ma)or nivel de acuerdo' Estas tcnicas #ueden tener #roblemas si se
generan discusiones tensas o si e&isten variables individuales como la #ersonalidad ) las .abilidades
sociales de los %ueces que generen sesgos' ;tro #rocedimiento utilizado #ara el %uicio de e&#ertos se basa
en el em#are%amiento de los tems con el dominio' En este caso se entrega a los %ueces una lista de
ob%etivos 6categoras7 ) se les #resenta cada tem en una $ic.a se#arada' El %uez com#ara cada tem con la
lista ) registra el resultado en una .o%a de res#uestas, indicando al lado de cada tem el n2mero del
ob%etivo' 6Martnez, BEEH7' 5a #recisi"n de los %uicios seg2n (te/art, @oebber ) Bosart, 6BEEL7 de#ende
tanto de las caractersticas de los %ueces ) de su e&#eriencia, como de las caractersticas de la tarea' Dentro
de esta 2ltima, la teora cognitiva sugiere tres categoras im#ortantes, 6a7 5a com#le%idad de la estructura
de la tarea, 6b7 la ambigPedad en el contenido de la tarea, ) 6c7 la $orma de la #resentaci"n de la tarea'
(u) %r ! r"!i#cin d" un 'uicio d" "$%"rto&
El %uicio de e&#ertos es un #rocedimiento que nace de la necesidad de estimar la validez de contenido
de una #rueba' Para realizarlo se debe recabar in$ormaci"n de manera sistem1tica' 3 continuaci"n se
#ro#onen una serie de #asos que #ermiten organizar la in$ormaci"n, de manera que el #roceso de %uicio de
e&#ertos sea m1s e$iciente'
B' +e,inir el ob(e$ivo del (#icio de e)&er$os' En este a#artado los investigadores deben tener clara la
$inalidad del %uicio, )a que #uede utilizarse con di$erentes ob%etivos, 6a7 Establecer la equivalencia
sem1ntica de una #rueba que se encuentra validada en otro idioma, 6b7 evaluar la ada#taci"n cultural, es
decir, el ob%etivo de los %ueces es evaluar si los tems de la #rueba miden el mismo constructo en una
cultura distintaC as #or e%em#lo, los tems que midan agresividad en una #rueba validada en el -ibet,
#ueden no estar midiendo lo mismo en 3lemania, ) 6c7 validar contenido en una #rueba dise4ada #or un
gru#o de investigadores'
<' -eleccin de los (#eces' Para ello .an de tomarse en cuenta los criterios es#eci$icados anteriormente
#ara la selecci"n, considerando la $ormaci"n acadmica de los e&#ertos, su e&#eriencia ) reconocimiento
en la comunidad' (e #ro#one un mnimo de cinco %ueces, dos de los cuales deben ser e&#ertos en medici"n
) evaluaci"n, ) #ara el caso de traducciones ) ada#taciones de #ruebas, se requiere #or lo menos un
e&#erto en lingPstica'
>' E)&lici$ar $an$o las di.ensiones co.o los indicadores /#e es$0 .idiendo cada #no de los %$e.s de
la &r#eba' Esto le #ermitir1 al %uez evaluar la relevancia, la su$iciencia ) la #ertinencia del tem' Oo .a)
que dar #or sentado que el %uez 2nicamente con la descri#ci"n del constructo a medir #ueda identi$icarlo
claramente, )a que como se mencion" anteriormente, es #osible que e&istan di$erentes de$iniciones de un
mismo constructo'
K' Es&eci,icar el ob(e$ivo de la &r#eba' El autor debe #ro#orcionar a los %ueces la in$ormaci"n
relacionada con el uso de la #rueba, es decir, #ara qu van a ser utilizados los #unta%es obtenidos a #artir
'alide de con$enido y (#icio de e)&er$os 31
de sta' Esto aumenta la conte&tualizaci"n del %uez res#ecto a la #rueba, incrementando a su vez el nivel
de es#eci$icidad de la evaluaci"nC )a que la validez de los tems est1 directamente relacionada con su
utilizaci"n, #or e%em#lo, #ara .acer un diagn"stico o un tamiza%e, o evaluar desem#e4o, entre otros'
H' Es$ablecer los &esos di,erenciales de las di.ensiones de la &r#eba' Esto s"lo se .ace cuando
algunas de las dimensiones tienen #esos di$erentes' Por e%em#lo, si una #rueba va a ser utilizada #ara el
diagn"stico ) asignaci"n a un #rograma de re.abilitaci"n de una adicci"n, se debe dar ma)or #eso a las
dimensiones que midan la calidad de vida que a las que eval2en #ersonalidad adictiva'
G' +ise2o de &lanillas' 5a #lanilla se debe dise4ar de acuerdo con los ob%etivos de la evaluaci"n' Oo
obstante, en el 3ne&o B #ro#onemos una #lanilla que #uede ser utilizada en la gran ma)ora de %uicios de
e&#ertos, con sus res#ectivos indicadores #ara la cali$icaci"n'
L' "alc#lar la concordancia en$re (#eces' Para esto se utilizan los estadsticos +a##a ) +endall que se
describir1n a continuaci"n' 5a in$ormaci"n sobre cada estadstico, las .i#"tesis de traba%o ) los criterios de
inter#retaci"n, se muestran en la tabla B'
F' Elaboraci"n de las conclusiones del %uicio que ser1n utilizadas #ara la descri#ci"n #sicomtrica de la
#rueba'
E&td)&tico& %r n*!i&i&
Para estimar la con$iabilidad de un %uicio de e&#ertos, es necesario conocer el grado de acuerdo entre
ellos, )a que un %uicio inclu)e elementos sub%etivos 63i9en, <==>7' Cuando la medida de acuerdo obtenida
es alta indica que .a) consenso en el #roceso de clasi$icaci"n o asignaci"n de #unta%es entre los
evaluadores, igualmente da cuenta de la intercambiabilidad de los instrumentos de medici"n )
re#roducibilidad de la medida' 63to, Benavente A 5"#ez, <==G7'
Para determinar el grado de acuerdo entre los %ueces se .an utilizado di$erentes #rocedimientos, una
a#ro&imaci"n inicial $ue calcular el #orcenta%e de acuerdo, medida que resulta insu$iciente )a que no
inclu)e el acuerdo es#erado #or el azar 6Ja9obsson A Iestergren, <==H7' 5uego se inclu)eron medidas de
correlaci"n que eran inter#retadas como ndices de acuerdoC sin embargo un alto ndice de correlaci"n no
necesariamente im#lica que el acuerdo sea alto tambin' 3rtstein ) Poesio 6<==H7 ada#taron un e%em#lo de
Bar9o ) Car#enter 6BELG7 6citados en 3rtstein A Poesio, <==H7 que re$le%a esta situaci"n, En dos
evaluaciones, dos codi$icadores asignaban a cada tem una #untuaci"n entre uno ) diez, en la #rimera
evaluaci"n los codi$icadores 3 ) B est1n com#letamente de acuerdoC en la segunda evaluaci"n los
codi$icadores C ) D est1n en desacuerdo en todos los tems, #ero les asignan valores que est1n linealmente
correlacionados' En los dos casos se obtiene el mismo ndice, con lo que queda claramente e&#resada la
inconveniencia de medidas 2nicamente de correlaci"n #ara la estimaci"n del acuerdo'
Posteriormente se #ro#uso el coe$iciente +a##a, que se convirti" r1#idamente en el ndice de acuerdo
m1s utilizado en ciencias biol"gicas ) sociales' !nicialmente el coe$iciente se utilizaba 2nicamente en
datos nominales, des#us se .izo una generalizaci"n #ara incluir datos ordinales a este nuevo coe$iciente
al que se le denomin" wei34$ed 5-coe,,icien$6 +endall tambin #ro#uso un coe$iciente de acuerdo #ara
datos ordinales, basado en el grado de varianza de la suma de los rangos obtenidos de los di$erentes
%ueces' 3ctualmente se vienen investigando otros #rocedimientos #ara estimar el acuerdo, se est1n
a#licando los modelos log-lineales ) los mi&tos 6mezcla de distribuciones7' En el #rimero se analizan tanto
la estructura del acuerdo como la del desacuerdo que se #resentan en los datos, con este en$oque se #uede
conocer el a%uste del modelo ) se #uede a#licar a datos ordinalesC mientras que en el segundo se inclu)en
variables latentes 63to et al', <==G7'
32 Escobar-Pre ! "#ervo-Mar$%ne
E&td)&tico +%%, Este estadstico genera una medida de acuerdo entre evaluadores ) se utiliza
cuando las variables est1n dadas en una escala nominal, es decir 2nicamente clasi$ican' Por e%em#lo, un
%uez clasi$ica los tems de una #rueba de conocimientos en contestables o no contestables #or una #ersona
que tenga un nivel adecuado de conocimiento en el 1rea, o el caso de #sic"logos clnicos que tienen que
clasi$icar a #acientes entre los que requieren seguimiento #ermanente ) los que no'
El estadstico tiene un rango entre -B ) B, #ero generalmente se ubica entre = ) B' (i el coe$iciente es B
indica acuerdo #er$ecto entre los evaluadores, si es = indica que el acuerdo no es ma)or que el es#erado
#or el azar, ) si el valor del coe$iciente es negativo el nivel se acuerdo es in$erior al es#erado #or el azar
6(im A Irig.t, <==H7' Oo obstante, obtener estos valores e&tremos es im#robable, lo com2n es obtener un
am#lio es#ectro de valores intermedios que se inter#retan teniendo como re$erencia la com#le%idad de la
evaluaci"n ) el n2mero de categoras a evaluar, es decir, la inter#retaci"n es relativa al $en"meno medido'
En el caso de los #sic"logos que deciden cu1les #acientes requieren su#ervisi"n ) cu1les no, como la
com#le%idad de la evaluaci"n es moderada 6con s"lo dos categoras de clasi$icaci"n7, se es#era un alto
acuerdo entre ellos' Un acuerdo de ='HH sera considerado ba%o, ) se #odra in$erir que .a) di$icultad en la
clasi$icaci"n, o que incluso, #ueden tener ambigPedad en los indicadores que les #ermiten decidir en uno u
otro sentido' En otro caso, si en un colegio el ob%etivo es clasi$icar los alumnos con trastornos de
a#rendiza%e ) disca#acidad, #ara identi$icar el n2mero de casos de disle&ia, discalculia, disgra$a,
disca#acidad cognoscitiva, ) disca#acidad sensorialC obtener ='HH se inter#retara como un ndice de
acuerdo moderado, atendiendo a la ma)or com#le%idad de la evaluaci"n' (in embargo si dic.a
clasi$icaci"n se va a realizar con el ob%etivo de enviarlos a tera#ia o a aulas de a#o)o se requiere un
acuerdo ma)or, al igual que si se trata de tems #ara validaci"n de una #rueba'
El coe$iciente de +a##a tiene como venta%a que corrige el #orcenta%e de acuerdo debido al azar ) es
mu) sencillo de calcular' (in embargo, se .an realizado varias crticas #rinci#almente relacionadas con
que el ndice de acuerdo se ve a$ectado #or el n2mero de categoras ) #or la $orma en la que est1n
distribuidas las observaciones'
Co"-ici"nt" d" concordnci . d" +"nd!!, Este coe$iciente se utiliza cuando se quiere conocer el
grado de asociaci"n entre 5 con%untos de rangos 6(iegel A Castellan, BEEH7, #or lo cual es #articularmente
2til cuando se les solicita a los e&#ertos asignarle rangos a los tems, #or e%em#lo de B a K' El mnimo
valor asumido #or el coe$iciente es = ) el m1&imo B, ) su inter#retaci"n es la misma que #ara el
coe$iciente de +a##a' (in embargo, .a) que .acer la salvedad que .a) que revisar la cali$icaci"n dada a
cada tem, )a que #uede .aber una alta concordancia en los as#ectos, un e%em#lo de ello es que el tem no
sea adecuado' ;bviamente en este caso se debe eliminar o modi$icar el tem com#letamente .asta que
a%uste a los ob%etivos de la medici"n de $orma acertada'
(eg2n (iegel ) Castellan 6BEEH7, un valor alto de la w #uede inter#retarse como un re$le%o de que los 5
observadores o %ueces est1n a#licando los mismos est1ndares al asignar rangos a los tems' Esto no
garantiza que los ordenamientos observados sean correctos, )a que todos los %ueces #ueden concordar si
todos est1n utilizando un criterio incorrecto #ara clasi$icar' Es debido a esto 2ltimo que el criterio de
selecci"n de %ueces cobra es#ecial relevancia al igual que la inde#endencia entre los mismos'
Para estimar en (P(( BK el coe$iciente de +a##a siga estos #asos, a7 8aga clic en 3nalizar )
seleccione Estadsticos descri#tivos, b7 8aga clic en -ablas de contingencia, all encontrar1 un cuadro de
di1logo ) c7 8aga clic en Estadsticos ) seleccione +a##a'
Para estimar en (P(( BK el coe$iciente de +endall siga estos #asos, a7 8aga clic en 3nalizar )
seleccione Pruebas no #aramtricas, b7 8aga clic en 5 muestras relacionadas ) seleccione I de +endall )
c7 seleccione +endal 6ver tabla B7'
'alide de con$enido y (#icio de e)&er$os 33
-abla B'
@esumen de estadQsiticos #ara el an1lisis de los datos
COE/ICIENTES ESCALA
DE LOS
DATOS
IN/ORMACIN
0UE PROVEE
1IPTESIS REC1AZO DE 12 E
INTERPRETACIN
Coe$iciente de
concordancia 7 de
+endall
Escala
ordinal'
El grado de
concordancia entre
varios rangos de n
ob%etos o individuos'
3#licable a estudios
inter%uicio o
con$iabilidad
inter#rueba'
8=, 5os rangos son
inde#endientes, no
concuerdan'
8B, 8a) concordancia
signi$icativa entre
los rangos'
(e rec.aza 8= cuando el valor
observado e&cede al valor crtico
6con un R de ='=H7' El (P((
indica el nivel de signi$icancia, )
cuando es in$erior al ='=H, se
rec.aza la 8= ) se conclu)e que
.a) concordancia signi$icativa
entre los rangos asignados #or los
%ueces' 3dem1s se inter#reta la
$uerza de la concordancia, que
aumenta cuando 7 se acerca a B'
Estadstico +a##a
6K7 #ara datos en
escalas nominales'
Escala
nominal
El grado de acuerdo
entre evaluadores
8=, El grado de
acuerdo es =, es
decir no .a)
acuerdo'
8B, E&iste un
acuerdo signi$icativo
entre evaluadores, es
decir + S=
3l igual que en el caso anterior se
rec.aza 8= cuando el valor
observado e&cede al valor crtico
6con un R de ='=H7' El (P((
indica el nivel de signi$icancia, )
cuando es in$erior al ='=H, se
rec.aza la 8= ) se conclu)e que
.a) acuerdo entre los
evaluadores, el valor de 5 brinda
la #ro#orci"n de acuerdo
quit1ndole el acuerdo que #uede
darse #or azar'
R"co3"ndcion"& -in!"&
8a) as#ectos dentro del %uicio de e&#ertos que no #ueden ser controlados #or el investigador, como #or
e%em#lo la com#le%idad o el nivel de di$icultad de la tareaC sin embargo, los $actores de ambigPedad del
contenido de la tarea ) su $orma de #resentaci"n deben mane%arse en el #rocedimiento de %uicio de
e&#ertos de manera que no aumenten el error ni disminu)an la con$iabilidad' ;tro as#ecto a considerar es
que el investigador debe #ro#iciar el conte&to adecuado #ara obtener la ma)or cantidad de in$ormaci"n
#osible de los %ueces e&#ertos ) solicitar o#iniones adicionales sobre la #rueba que #ueden dar
in$ormaci"n sobre as#ectos que no se evaluaron en el %uicio' *inalmente, se debe recordar que aunque una
#rueba obtenga una mu) buena evaluaci"n de los %ueces ) un alto ndice de concordancia, debe estar en
continua revisi"n ) me%oramiento'
R"-"r"nci&
3i9en, 5e/is 6<==>7' 8es$ &sicol3icos y eval#acin' M&ico, Pearson Education'
3rtstein, @' A Poesio, M' 6<==H7' Ka&&a3 9 Al&4a :or ;e$a<' 6-ec.nical @e#ort C(M-K>L7' De#artment o$
Com#uter (cience, Universit) o$ Esse&'
3to, M', Benavente, 3', A 5"#ez, J' J' 6<==G7' 3n1lisis com#arativo de tres en$oques #ara evaluar el acuerdo entre
observadores' Psicot.ema, BF6>7, G>F T GKH'
Co.en, @' A (/erdli9, M' 6<==B7' Pruebas ) evaluaci"n #sicol"gicas, !ntroducci"n a las #ruebas ) a la medici"n' 6KU
ed'7' M&ico, Mc Jra/ 8ill'
Cuetos, *', @odrguez, B A @uano, E 6<==B7' P@;5EC, Batera de evaluaci"n de los #rocesos lectores de los ni4os
de educaci"n #rimaria' Madrid, -E3 Ediciones'
3= Escobar-Pre ! "#ervo-Mar$%ne
de 3rquer, M' 6BEEH7' >iabilidad ?#.ana@ .$odos de c#an$i,icacin, (#icio de e)&er$os' Centro Oacional de
Condiciones de -raba%o' @ecu#erado el > de Junio de <==G, de .tt#,VV///'mtas'esVins.tVnt#Vnt#WK=B'.tm
Ding, C' A 8ers.berger, (' 6<==<7' 3ssessing content validit) and content equivalence using structural equation
modeling' -$r#c$#ral E/#a$ion Modelin3@ A M#l$idisci&linary Ao#rnal, E 6<7, <F>-<EL'
8)r9:s, +', 3##elqvist-(c.midlec.ner, + A ;9sa, 5' 6<==>7' Nalidating an instrument $or clinical su#ervision using
an e&#ert #anel' Bn$erna$ional Ao#rnal o, n#rsin3 s$#dies, K= 6G7, GBE -G<H'
Ja9obsson, U' A) Iestergren, 3' 6<==H7' (tatistical met.ods $or assessing agreement $or ordinal data' -candinavian
Ao#rnal o, s"arin3 -cience, BE6K7, K<L-K>B'
+itamura, -' A +itamura, *' 6<===7' @eliabilit) o$ clinical %udgment o$ #atients0 com#etenc) to give in$ormed
consent, 3 case vignette stud)' Psyc4ia$ry and "linical Ce#rosciences, HK6<7, <KH-<KL'
5obo, E' Bellido, M' Cam#os, @', (az, P', 8u)se, *', De Jonge, P' A 5obo, 3' 6<==>7' Primera validaci"n en
es#a4ol del mtodo !O-E@MED, Un sistema de tem#rana detecci"n de #roblemas bio#sicosociales ) de
consumo de servicios en #acientes mdico-quir2rgicos' "#adernos de Medicina Psicoso.0$ica y Psi/#ia$r%a de
Enlace, GLVGF, FE- EL'
Martnez, @' 6BEEH7' Psicometra, teora de los test #sicol"gicos ) educativos' Madrid, Editorial (ntesis'
McJartland, D' Berg, M', -ebb, (' (', 5ee, E' (' A @auc., (' 6<==>7' ;b%ecti$)ing content validit), Conducting a
content validit) stud) in social /or9 researc.' -ocial 7or5 Desearc4, <L 6<7, EK-B=K'
;lea, J, 3bad, *' J' A Ponsoda, N' 6<==<7' Elaboraci"n de un banco de tems, #redicci"n de la di$icultad ) dise4o de
ancla%e' Me$odolo3%a de las ciencias del co.&or$a.ien$o, 'ol6 Es&ecial, K<L-K>='
(iegel, (' A Castellan, O' J' 6BEEH7 Estadstica no #aramtrica a#licada a las ciencias de la conducta' M&ico, -rillas'
(im, J' A Irig.t, C' 6<==H7 -.e +a##a statistic in reliabilit) studies, Use, inter#retation, and sam#le size
requirements' P4ysical 84era&y, FH 6>7, <HL-<GF'
(9%ong, @' A Ient/ort., B' 6<===7' E)&er$ A#d3e.en$ and ris5 &erce&$ion6 @ecu#erado el BH de Enero de <==G, de
.tt#,VVresearc.'dnv'comVs9%VPa#ersV(9%Ien'#d$
(te/art, -', @oebber, P' A Bosart, 5' 6BEEL7' -.e im#ortance o$ t.e tas9 in anal)zing e&#ert %udgment'
Er3ania$ional ;e4avior and ?#.an +ecision &rocesses, GE 6>7, <=H-<BE'
(ummers, B', Iilliamson, -' A @ead, D' 6<==K7' Does met.od o$ acquisition a$$ect t.e qualit) o$ e&#ert %udgmentX
3 com#arison o$ education /it. on-t.e-%ob learning' Ao#rnal o, Ecc#&a$ional and Er3ania$ional Psyc4olo3y'
LL6<7, <>L-<HF'
Ut9in, 5' N' 6<==G7' 3 met.od $or #rocessing t.e unreliable e&#ert %udgments about #arameters o$ #robabilit)
distributions' YNersi"n Electr"nicaZ' E#ro&ean Ao#rnal o, E&era$ional Desearc4' BLH6B7, >FH->EF'
Nan Der *els-+ler&, !' Jossens, 5' (aaticam#, 8 A 8orst, (' 6<==<7' Elicitation o$ quantitative data $rom a
.eterogeneous E&#ert Panel, *ormal #rocess and a##lication in animal .ealt.' Dis5 Analisis, << 6B7, GL-FB'
Manuscrito recibido en (e#tiembre de <==G
3ce#tado #ara #ublicaci"n en Ooviembre de <==L
'alide de con$enido y (#icio de e)&er$os 3F
An"$o 4: P!ni!!& Juicio d" E$%"rto&
@es#etado %uez, Usted .a sido seleccionado #ara evaluar el
instrumentoWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW que .ace #arte de la investigaci"n
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW' 5a evaluaci"n de los instrumentos es de gran relevancia #ara
lograr que sean v1lidos ) que los resultados obtenidos a #artir de stos sean utilizados e$icientementeC
a#ortando tanto al 1rea investigativa de la #sicologa como a sus a#licaciones' 3gradecemos su valiosa
colaboraci"n'
O;MB@E( [ 3PE55!D;( DE5 JUE\, WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
*;@M3C!]O 3C3D^M!C3 WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
3@E3( DE E_PE@!EOC!3 P@;*E(!;O35WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
-!EMP;WWWWWWWWW C3@J; 3C-U35 WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
!O(-!-UC!]OWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
;b%etivo de la investigaci"n,
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
;b%etivo del %uicio de e&#ertos, WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
;b%etivo de la #rueba, WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
De acuerdo con los siguientes indicadores cali$ique cada uno de los tems seg2n corres#onda'
CATE(ORIA CALI/ICACIN INDICADOR
SU/ICIENCIA
5os tems que #ertenecen a
una misma dimensi"n
bastan #ara obtener la
medici"n de sta'
B Oo cum#le con el criterio 5os tems no son su$icientes #ara medir la dimensi"n
<' Ba%o Oivel 5os tems miden alg2n as#ecto de la dimensi"n #ero no
corres#onden con la dimensi"n total
>' Moderado nivel (e deben incrementar algunos tems #ara #oder evaluar la
dimensi"n com#letamente'
K' 3lto nivel 5os tems son su$icientes
CLARIDAD
El tem se com#rende
$1cilmente, es decir, su
sint1ctica ) sem1ntica son
adecuadas'
B Oo cum#le con el criterio El tem no es claro
<' Ba%o Oivel El tem requiere bastantes modi$icaciones o una
modi$icaci"n mu) grande en el uso de las #alabras de
acuerdo con su signi$icado o #or la ordenaci"n de las
mismas'
>' Moderado nivel (e requiere una modi$icaci"n mu) es#ec$ica de algunos
de los trminos del tem'
K' 3lto nivel El tem es claro, tiene sem1ntica ) sinta&is adecuada'
CO1ERENCIA
El tem tiene relaci"n
l"gica con la dimensi"n o
indicador que est1
midiendo'
B Oo cum#le con el criterio El tem no tiene relaci"n l"gica con la dimensi"n
<' Ba%o Oivel El tem tiene una relaci"n tangencial con la dimensi"n'
>' Moderado nivel El tem tiene una relaci"n moderada con la dimensi"n que
esta midiendo'
K' 3lto nivel El tem se encuentra com#letamente relacionado con la
dimensi"n que est1 midiendo'
RELEVANCIA B Oo cum#le con el criterio El tem #uede ser eliminado sin que se vea a$ectada la
medici"n de la dimensi"n
<' Ba%o Oivel El tem tiene alguna relevancia, #ero otro tem #uede estar
inclu)endo lo que mide ste'
36 Escobar-Pre ! "#ervo-Mar$%ne
El tem es esencial o
im#ortante, es decir debe
ser incluido'
>' Moderado nivel El tem es relativamente im#ortante'
K' 3lto nivel El tem es mu) relevante ) debe ser incluido'
DIMENSIN ITEM SU/ICIENCIA5 CO1ERENCIA RELEVANCIA CLARIDAD O6SERVACIONES
_B
_<
_>
`8a) alguna dimensi"n que .ace #arte del constructo ) no $ue evaluadaX `Cu1lXWWWWWWWWWWWWWWWWWWWWWWWWWWWW
WWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWWW
*Para los casos de equivalencia sem1ntica se de%a una casilla #or tem, )a que se evaluar1 si la traducci"n o el
cambio en vocabulario son su$icientes'