Professional Documents
Culture Documents
Resumen
A pesar de la extensin del uso del coeficiente V de Aiken para medir el acuerdo
interjueces a la hora de construir y validar cuestionarios, su clculo no est incluido en paquetes
estadisticos como SPSS y se tiende a computar a mano, lo que puede resultar engorroso e inducir
a errores. Penfield y Giacobbi (2004) propusieron una mejora en el Mtodo de Aiken utilizando
intervalos de confianza, que pensamos merece la pena seguirse, segn las directrices de la APA
(Deckers, 2001) y de Wilkinson (1999) sobre la cuantificacin de la validez de contenido. El uso
de hojas de clculo difiere de utilizar programas ligados a la plataforma MS Windows como el de
Soto & Segovia (2009), en cuanto a modificabilidad, interaccin y distribucin.
Abstract
Despite the widespread use of factor V Aiken to measure interrater agreement when
constructing and validating questionnaires, their calculation is not included in statistical packages
such as SPSS and tends to compute by hand, which can be cumbersome and leads to errors.
Giacobbi and Penfield (2004) proposed an improved Aiken based method using confidence
intervals, we thought worth followed, and according to the guidelines of the APA (Deckers, 2001)
and Wilkinson (1999) on the quantification of content validity. Using spreadsheets differs from
others associated with the use of MS Windows-based platform programs as Soto & Segovia,
(2009), in terms of modifiability, interactivity and distribution.
Introduccin
Una buena parte de los cuestionarios y escalas que se utilizan en la prctica psicolgica se
han construido en una primera fase sometiendo los tems a prueba de jueces, sin embargo los
grandes paquetes estadsticos no proporcionan una manera rpida de realizar esta prueba, por lo
que en la mayora de las ocasiones se recurre a realizar su clculo a mano, lo que puede resultar
engorroso e inducir a errores. Por otra parte, la utilizacin cada vez ms extendida de
cuestionarios on-line, cuyos resultados se obtienen automticamente en formato de hoja de
clculo -la plataforma de google (Google Drive, n.d.) es un buen ejemplo de ello- lleva a la
conclusin inmediata de desarrollar una hoja de clculo con las frmulas necesarias para realizar
esta prueba de manera automtica y que adems proporcione de un vistazo el criterio de decisin
sobre el mantenimiento o rechazo de cada tem.
Mtodo
Al afrontar la elaboracin de escalas para la medicin de constructos psicolgicos
normalmente el investigador se encuentra con la disyuntiva de utilizar diversas medidas para
evaluar el acuerdo interjueces, tal como se expone en el trabajo de Escurra (1988). Como
sabemos, realmente lo que estamos tratando de evaluar es la validez de contenido, y segn Aiken
(1980) la forma por excelencia de hacerlo es mediante el acuerdo entre jueces entendidos en la
materia.
De acuerdo con Escurra (1988), que analiza el uso de la prueba binomial, el coeficiente V
de Aiken (Aiken, 1980), y el ndice simple de acuerdo, comparando sus resultados concluye que el
ms pertinente para su utilizacin es el V, ya que ya que tiene la facilidad del cmputo del IA y
la posibilidad de la contrastacin estadstica de la PB (Escurra, 1988, p.6), descartando
completamente el ndice de Acuerdo, al carecer este ndice de significacin estadstica, lo que
podra significar arbitrariedad (Escurra, 1988).
De cualquier modo, este ndice V posteriormente debe ser contrastado con una tabla de
valores que ofrece el criterio de retencin o eliminacin del tem en funcin del nmero de jueces,
y de un valor crtico de V= ,5. Para obviar esto, Penfield & Giacobbi Peter R (2004) modificaron
la ecuacin de Aiken para utilizar un mtodo de decisin basado en intervalos de confianza, que
vienen a representar la probabilidad de ocurrencia de un suceso en una poblacin dado un nivel de
confianza determinado por el investigador. Tal como explica Soto en su trabajo, la justificacin
de utilizar intervalos de confianza para la cuantificacin de la validez de contenido va de
acuerdo con el actual nfasis de su uso para reportar hallazgos de investigacin psicolgica
(APA, 2000; Soto & Segovia, 2009; Wilkinson, 1999).
La frmula modificada por Penfield y Giacobbi queda de esta manera:
V=
Xl
(1) siendo X la media de las calificaciones de los jueces, l la mnima calificacin de la
k
(2) y el superior:
La hoja de clculo permite simplemente copiar y pegar las celdas obtenidas de los
cuestionarios online o introducidos en ella manualmente, y ofrece estos clculos de manera
automtica, tan slo se debe elegir el criterio de exclusin de tems, para ello se ofrecen niveles
liberales V0= ,5 (Cicchetti, 1994) o ms restrictivos como V0= ,70 (Charter, 2003) o ms an
como V0= ,80. De igual forma se puede decidir el nivel de confianza del intervalo del desplegable,
existiendo opciones para 90-95-97,5-99 y 99,9%, por simplificacin y para evitar que usuarios
inexpertos manipulen esta celda, pero uno con mnima experiencia en hojas de clculo puede
fcilmente incluir otros niveles.
Se pueden ampliar el nmero de tems con tan solo copiar/pegar las celdas necesarias,
completando el proceso con las celdas inferiores donde se realizan los clculos. El usuario debe
abstenerse de modificar las celdas protegidas o que contengan frmulas, para no alterar los
clculos, para ello, las celdas que no deben modificarse se han sombreado en gris. Tampoco se
debe modificar el formato de celdas ya que no apareceran en rojo los tems fuera de rango.
Deben completarse tambin las casillas de mnimo de escala y del rango de valores de la
misma, se ha preferido mantenerlo as en aras de la flexibilidad y dado que en una hoja de clculo
existe la posibilidad de copiar y pegar, es ms sencillo que mediante frmulas de clculo
automtico.
De un modo muy visual e interactivo se da la posibilidad al investigador, mediante la
modificacin de diversos parmetros, como la significacin o el nmero de jueces, ajustar su
prueba para que cumpla con los requisitos exigidos al planificar la investigacin.
Disponibilidad
La hoja de clculo est disponible en formatos (LibreOffice, 2014) y MS Excel, a
eleccin del usuario y se distribuye bajo licencia Reconocimiento NoComercial (by-nc): Se
permite la generacin de obras derivadas siempre que no se haga un uso comercial. Tampoco se
puede utilizar la obra original con finalidades comerciales (Licencias - Creative Commons,
2014). Cualquier comentario y aportaciones es bienvenido al email del autor.
Pueden ser descargadas desde las url:
https://www.dropbox.com/s/2mfdqqxqyazjbl6/prueba_V.xlsx
https://www.dropbox.com/s/ssyma37ttwduoqn/V_Aiken.ods
Referencias
Aiken, L. R. (1980). Content Validity and Reliability of Single Items or Questionnaires.
Educational and Psychological Measurement, 40(4), 955959.
doi:10.1177/001316448004000419
APA. (2001). APA Format6, (2000), 14.
Cicchetti, D. V. (1994). Guidelines, criteria, and rules of thumb for evaluating normed and
standardized assessment instruments in psychology. Psychological assessment, 6(4), 284.
Deckers, L. (2001). Publication manual of the American psychological association. Allyn &
Bacon.
Escurra, L. M. (1988). Cuantificacin de la validez de contenido por criterio de jueces. Revista de
Psicologa, 6(1-2), 103111.
Google Drive. (n.d.). Retrieved January 24, 2014, from
http://www.google.com/intl/es/drive/apps.html
LibreOffice. (2014). Retrieved January 25, 2014, from http://es.libreoffice.org/