Hacettepe niversitesi Egitim Fakltesi Dergisi (H. U.

Joumal of Education) zel Sayi 2: 264-271 [2012]

LCEK GELTRME ALIMALARINDA KAPSAM GEERLIK LCLERl: KAPSAM GEERLIK NDEKS VE KAPPA S T A T S T G N N KARILATIRILMASI* CONTENT VALIDITY MEASURES IN SCALE DEVELOPMENT STUDIES: COMPARISON OF CONTENT VALIDITY INDEX AND KAPPA STATICS
Halil Y U R D U G L " , Fatma BAYRAK*" ZET: lcme aralannin gelitirilmesi iki acamada ele alinabilir. Bunlar sirasiyla; olme aracinin tasanmi ve pilot uygulama aamasidir. Her iki acamaya zg geerlik kavramlan sz konusudur. zellikle lcme aracmin tasanmi aamasinda kapsam ve grnc geerligi on plana ikarken, pilot uygulama aamasinda ise yapi ve lct geerlikleri ele alinmaktadir. znde ise; kapsam geerligi ayni zamanda yapi geerligi iin bir on kouldur. Kapsam geerlikleri olmeye konu olan alandaki uzman grclerinden elde edilmektedir. Ancak nitel olarak ele alian bu grclerin raporlama ve iletiim gclgnden dolayi nicel ifadelere dnctrme alimalan vardir. Bunlardan ne ikan ilk ikisi ise kapsam geerlik (orani) indeksi ve kappa istatistigidir. Bu alimada her iki kapsam geerlik lcsnn tutarligi ele ahnmitir. Uygulamada bir lcek gelitirme alimasinin tasanm aamasinda 10 uzman grc alinmi ve kapsam geerlik degerleri bu lclere gre elde edilmitir. Daha sonra ise uygulama aamasinda faktr analizinden elde edilen faktr yk degerleri ve ortalama aiklanan varyans degerleri ile tutarliklan aratinlmitir. Eide edilen bulgular tartiilmitir. Anahtar szckler: Kapsam geerligi, lcek gelitirme, kapsam geerlik indeksi, kappa istatistigi ABSTRACT: It can be stated that there are two phases in the scale development process. The first phase is designing the scale; and the other phase is pre-application. There are different validity concepts specific to each phase. Particularly, while content and face validities have leading role in designing scale, the construct and criterion validities have come to the forefront in pre-application phase. In fact, content validity is prerequisite for construct validity. Content validity is often established through qualitative expert reviews. Content validity information often derives from reviews to be undertaken by subject matter experts as qualitative data. However, there are some studies about transforming these qualitative data into quantitative form; because it is difficult to report qualitative reviews of experts. Content Validity Index (CVI) and kappa statistics have come to the forefront in the studies. The purpose of the present study is to examine the consistency of Content Validity Index (CVI) and kappa statistics. For the purpose, in designing phase for a developing scale, data obtained from ten expert judges were analyzed with two approaches. In pr-application, the consistency of Content Validity Index (CVI) and kappa statistics with average variance extracted (AVE) and factor loadings obtained from factor analysis were examined. Keywords: Content validity, constmct validity, scale development, content validity index, kappa statistics

1. GR Egitim ve psikoloji alanindaki aratirmalarda olmelerin gvenirligi ve geerligi nemli konulann bamda gelmektedir. Gvenirlik, lcmelerin turtaliligi ile ilgili bir kavram iken geerlik ise lcmelerin amalanan yapiyi lcme derecesi olarak ifade edilebilir. Ancak bu iki konu zellikle lcmeleri elde etmekte kullanilan lcme aralannin gelitirilme srecinde yer alir. Bilindigi gibi; lcme aralannin gelitirilmesi iki acamada ele alinabilir. Bunlar sirasiyla; olme aracimn tasanmi ve pilot uygulama aamasidir. Her iki acamaya zg birbirinden farkli geerlik kavramlan sz konusudur. zellikle olme aracinin tasanmi aamasinda kapsam ve grnc geerligi on plana ikarken, uygulama aamasinda ise faktriyel, lct (yordama, uygunluk) ve yapi (yakinsama ve raksama) geerlikleri ele alinir. ekil l'de olek gelitirme sreci bir ema olarak verilmitir. Bu srecin ilk aamasi olme aracinin tasanm aamasi olarak adlandinlabilir. Bu aama, olme aracinin olmesi amalanan egitimsel-psikolojik yapinin tanimlanmasi, bu yapiya ilikin grgl gsterge kmesinin (madde havuzu) belirlenmesi ve aday olme aracinin (ynerge ve seenekleriyle birlikte bir) taslaginin

* Bu alima 15-17 Mayis tarihinde duzenlenmi olan "The Intemational Conference on Interdisciplinary Research in Education" isimli konferansta sunuknutur. " Do. Dr., Hacettepe niversitesi, e-posta: yurdugul@hacettepe.edu.tr *** Ara. Gr. Hacettepe niversitesi, e-posta: fbayrak@hacettepe.edu.tr

H.YURDUGL-F.BAYRAK I H. . Egitim Fakltesi Dergisi (H. U. Joumal of Education), zel Sayi 2 (2012), 264-271

265

olutumlma aamasidir. Bu acamada ilgili literature ve konu alani uzmanlanmn grclerine sika bavumlur. Uzman grcleri, zellikle lcme araci taslaginin kapsam ve grnc geerligi ile ilgili bir sreee karilik gelir. Kapsam geerligi, lclecek olan yapinin grgl gstergelerinin (lcek maddeleri) lclmek istenilen yapiyi ne derece de temsil ettiginin belirlenmesidir (Nunnally, 1978; Cannines & Zeller, 1979; Kerlinger, 1986; Pedhazur & Schmelkin, 1991). Anastasia (1988) kapsani geerligini grgl gstergelerin ilgili yapiyi lcp lcmedigi ile ilgili oldugunu, grnc geerliginin ise grgl gstergelerin ilgili yapiyi lcyor grnmesiyle ilgilendigini ifade etmitir; bununla birlikte kapsam ve grnc geerliginin kavram olarak birbirine benzerliklerinden dolayi kafa kantinci oldugunu dile getirmitir. Bazi aratmnacilar kapsam ve grnc geerliginin farkli geerlik trleri oldugunu vurgularken (DeVellis, 1991; Keriinger, 1986) bazi aratimiaeilar ise (Cannines and Zeller, 1979; Nunnally, 1978) grnc geerligini kapsam geerliginin dolayh bir degerlendirilmesi oldugunu belirtmilerdir. Bu tartimalara ek olarak, kapsam geeriiginin ('Leary-Kelly & Vokurka, 1998) ve grnc geeriiginin (Tumer, 1979) yapi geerliginin bir n koulu oldugu ifade edilebilir. Aslinda O'Leary-Kelly ve Vokurka (1998) a) nemli olan geerlik trnn yapi geeriigi oldugunu, b) yapi geeriiginin ise bir srec oldug:unu ve c) bu srecin ilk adiminin ise kapsam geeriigi oldugunu belirtmilerdir. Bir bakima; iyi yapilandmlmi ve iletilmi bir kapsam geeriigi aratirmasinin ncelikle lcme aracinin yapi geerligine hizmet edecegi aiktir.
TASARIM

lclecek zelligin Tanimlanmasi

Madde Havuzunun Olu;turulmasi

Madde Havuzunun Yapilandirilmasi

Aday lcme Aracinin Yapilandinlmasi

LiteratrleBaglantili A$amalar

Kapsam ve Grn; Geerligi

PILOT UYGULAMA UYGULAMA

Psikometrik' zelliklerin Belirlenmesi

Madde Analizi

Diger Yapilarla iliski Arajtirmasi

Gvenirlik Faktriyel Geerlik

Yapi Geerligi

ekil 1: lcek gelitirme sreci ve aamalari lcek gelitirme srecinin tasanm aamasmda ele ahnan geerlik trleri konu alani uzmanlanmn grcleri zerine dayanmaktadir. Ancak uzman grclerinin raporianmasi ve iletiimindeki zorluklardan dolayi bu uzman grclerinin sayisal ifadelere dnctrme alimasi agirhk kazanmi, bu baglamda bazi kapsam geeriik lcleri nerihnictir. Bunlardan bazilan Cohen (1960) tarafindan gelitirilen kappa istatistigi, Tinsley-Weiss'in T indeksi (Tinsley & Weiss, 1975), James, Demaree ve Wolf (1993) tarafindan nerilen rWG indeksi ile rWG(J) indeksleri ve Lindell,' Brandt ve Whitney (1999) tarafmdan nerilen modifiye edilmi rWG(J) indeksleridir. Bunlardan bir kismi, ilgili maddeye kapsam geerligi iin "uygun" diyen uzmanlann oranlanm ele alirken bir kismi da uzman grclerinin uyumu zerine kumludur. Bu aratirma, kapsam geerlik orani/indeksi lcleri ve kappa istatistigi ile sinirlandinlmitir.

266

H.YURDUGL-F.BAYRAK I H. . Egitim Fakltesi Dergisi (H. U. Joumal of

Education),zelSayi2(20l2),264-21l

1.1. Kapsam Geerlik Oranlari ve indeksi Kapsam geerlik orani (KGO), gelitirilecek olekteki maddelerin kapsam geerligine ilikin uzman grclerinin niceliklendirilmesinde kullanilan bir yaklaimdir. Kapsam geerlik indeksi (KG) ise kapsam geerlik oranlan gibi madde bazinda degil tm lcek zerinden elde edilen kapsam geeriik dzeyini gstermektedir. Bir lcek gelitirme alimasinda konu alani uzmani, ilgili maddenin lclecek yapiyi temsil edip etmedigine ilikin I) "tamamen temsil ediyor" (tamamen uygun), II) "olduka temsil ediyor" (olduka uygun), III) "biraz temsil ediyor" (biraz uygun) ve IV) "hi temsil etmiyor" (uygun degil) eklinde grc bildirdigi varsayilsin. Davis (1992) durum I ve II ile grc bildiren uzman sayisinin toplam uzman sayisma oranmi kapsam geerlik oram olarak nitelendirmi ve bu oranin 0.80 ve daha yksek olmasi halinde ilgili maddenin kapsam geerliginin yksek oldugunu ifade etmitir. Davis'in bu basit yaklaiminin yam sira; uzman grclerinin niceliklendirilmesi zerine eitU ahmalar sz konusudur (bkz: James vd., 1984; Lawshe, 1975; Lindell vd., 1999; Tinsley & Weiss, 1975). Bu ahmalardan (hesaplama ve raporlama kolayligi nedeniyle) en ok n plana ikan kapsam geerlik lcs Lawshe (1975) tarafindan gelitirilen kapsam geeriik oram (madde bazinda) ve kapsam geeriik indeksidir (olek bazinda). Lawshe'nin yaklaimda gelitirilmesi amalanan olme aracindaki maddelerin lchnek istenilen zelligi lcp olmedigine ilikin uzman grcleri (her bir madde iin) "gerekli/nemli", "yararii ama nemli degil" ve "gereksiz" eklinde oleklendirilmektedir. Elde edilen uzman grcleri;

KGOi =

(1)

Burada KGOi i. maddenin kapsam geeriik oranini gstermek zere, NG i.madde iin "gerekli" diyen uzman sayisini, N ise toplam uzman sayisini gstermektedir. Buna gre, KGOi, -1.0 ile 1.0 arasinda deger alir. Aratirmaya katilan tm uzmanlar ilgili maddeye "gerekli" eklinde grc bildirirse KGOi=1.0 ya da tm uzmanlar "gerekli" diindaki seeneklere ynelirse KGOi=-1.0 degerini almaktadn-. KGOi'nin pozitif ara degerieri iin 0.05 anlamhlik dzeyinde (madde seiminde kullamlmak zere) minimum/kritik degerier Tablo l'de verihnitir (Lawshe, 1975). Tablo 1: KGO iin madde seimine ynelik kritik degerier Uzman Sayisi Minimum Deger 0.99 5 0.99 6 0.99 7 0.75 8 0.78 9 0.62 10 0.59 11 0.56 12 Uzman Sayisi Minimum Deger 0.54 13 14 0.51 0.49 15 0.42 20 0.37 25 0.33 30 0.31 35 0.29 40

Tablo 1 incelendiginde; megin herhangi bir madde iin 15 uzmamn grclerine dayanarak oluturulmu KGOi degeri 0.49'dan byk ise bu durumda ilgili maddenin aday olme aracinda yer almasi ynnde karar verilir. Bununla birlikte; Wilson, Pan ve Schumsky (2012) yaptiklan bir alimada Lawshe tarafindan nerilen ve Tablo 1 ile verilen kritik degerieri yeniden duzenlemilerdir. Wilson, Pan ve Schumsky (2012) tarafmdan nerilen yeni kritik degerlere ilikin alima bu aratirmanin raporlatinlmasindan sonra yayinlandigi iin bu alimanin kapsami diinda birakilmitir. KGOi maddelerin olekte olmasi ya da olmamasma ilikin kapsam geerligine dayali bir madde istatistigidir. Kapsam geerlik indeksi (KG) ise olekte yer almasina karar verilen maddelerin KGOi ortalamalarmdan elde edilen bir test istatistigidir (Lawshe, 1975). KGO'lan ekil l'de verilen ve olek gelitirme srecinde yer alan tasanm aamasinin bir ilemidir ve madde havuzunun

H.YURDUGUL-F.BAYRAK I H. U. Egitim Fakltesi Dergisi (H. U. Journal of Education), zel Sayi 2 (2012), 264-271

267

yapilandmlmasinda nemli bir yere sahiptir. ster madde bazinda (KG) ve isterse test bazinda (KG) elde edilen bu niceliksel uzman grcleri (kapsam geeriik degerleri) zellikle yapi geerligi srecinin de bir on kouludur (Lawshe, 1985). 1.2. Kappa istatistigi 1960 yihnda Cohen, puanlayicilar arasindaki uyum istatistigi olarak kappa istatistigini gelitirmitir. Cohen (1960) kappa istatistigini puanlayicilar arasindaki cans uyumu (chance aggrement, Pc) ile gzlenen uyum (observed aggrement, Po) arasindaki bagmti zerine yapilandirmitir.

Kappa= ^f^
^ "c

(2)

Cohen'in bu katsayisi iki seenekli dummlar (nominal) ve iki uzmanin ujoimuna yneliktir. Fleiss (1971) kappa istatistigini daha fazla uzmani kapsayacak ekilde gelitirmitir. Ancak kappa istatistigi madde bazinda kapsam geerligi yerine lek bazinda degerler retmektedir. Polit, Beck ve Owen (2007) kappa istatistigini madde bazinda kapsam geerligine uygun haie getirmilerdir.

AT

Kappa=

(3)

(4)

Fleiss (1981), kappa degeri [0,60<kappa<0.74] arasinda oldug:unda uzman gru uyumunun, ilgili madde iin "iyi"; [kappa>0,75] oldu|unda ise uzman grcleri arasindaki uyumun "mkemmel" olarak nitelendirilebilecegini ifade etmitir. Bu ahmada, modifiye edilmi kappa istatistigi ile kapsam geerlik oranlannin bir lek gelitirme ahmasmdaki tutarhklan ele ahnarak incelenmitir. 2. YNTEM Bu aratirmanin uygulama blmnde 10 maddelik bir lek gelitirme ahmasmin tasanm aamasinda maddelere ilikin a) once 5 uzmanin gruu ahnarak bunlar zerinden kapsam geerlik degerieri (Eitlik 1 ve Eitlik 3) hesaplanmi, b) sonra da farkli 5 uzmanin gruu daha ahnarak tekrar kapsam geerlikleri bulunmutur. Daha sonra kapsam geerlik degerlerine gre olumsuz grunen maddeler lekten ikartilmayarak lek gelitirme srecinin uygulama aamasma geilmitir. Burada aday lme araci 132 bireye uygulanmi ve elde edilen sonulara bagh olarak faktriyel geerlik degerlerine ulailmitir. Bu degerlerden madde ayiredicilik indeksine karihk gelen madde ykleri (,) ve madde gvenirligi anlamma da gelen ortalama aiklanan varyans (AVE-Average variance extracted) degeri hesaplanmitir.

i -H

(5)

Uygulama blmnde ncelikle aday lme aracinda yer almasi dcnlen her bir madde iin KGO degerleri hesaplanmi ve sonra Tablo l'de verilen kritik degerleri ile karilatinlarak 0.05

268

H.YURDUGL-F.BAYRAK I H. . Egitim Fakltesi Dergisi (H. U. Joumal of Education), zel Sayi 2 (2012), 264-271

dzeyinde istatistiksel olarak anlamli olanlar belirlenmitir. Daha sonra kappa istatistikleri hesaplanarak Fleiss (1981) tarafindan belirlenen araliklara gre "iyi uyum" ve "mkemmel uyum" kapsammdaki maddeler belirlenmitir.

3. UYGULAMA Tablo 2'de 10 maddeye ilikin 5 uzman gorled vedhnitir. megin I. maddeye 5 uzmandan 4' maddeye "ilgili madde olekte mutlaka olmali" anlamina gelen "gerekli" eklinde gor bildirirken 1 tanesi ise maddenin ilgili boyutu olmede ok da nemli olmadigini ifade etmitir. Bu maddenin KGOi degeri [(4-2.5)/2.5]=0.60 olarak hesaplanmitir. Benzer ekilde PC degeri 0.16 ve kappa deged ise 0.76 olarak hesaplanmitir. Faktr analizi sonucu faktr ykleri (X.) ve AVE degerleri Tablo 2'de rapor edilmitir. Tablo 2: 5 uzmana ilikin geerlik paramtre degerleri
Madde 1 2 3 4 5 6 7 8 9 10 Gerekli 4 3 5 4 4 5 3 5 4 5 Yetersiz 1 1 0 1 0 0 2 0 1 0 Gereksiz 0 1 0 0 1 0 0 0 0 0 KGO 0,60 0,20 1,00+ 0,60 0,60 1,00+ 0,20 1,00+ 0,60 1,00+ PC 0,16 0,31 0,03 0,16 0,16 0,03 0,31 0,03 0,16 0,03 Kappa 0,76** 0,42 1,00** 0,76** 0,76** 1,00** 0,42 1,00** 0,76** 1,00** \ 0,82** 0,69** 0,91** 0,87** 0,82** 0,89** 0,58* 0,92** 0,78** 0,96** AVE 0,75 0,62 0,86 0,80 0,78 0,83 0,38 0,88 0,77 0,88

Tablo 2'de grldg gibi 5 uzmanin gorled dogmltusunda KGO'na gre 0.05 anlamlilik dzeyinde sadece 3., 6., 8. ve 10. maddeler kapsam geerliginde olumlu maddeler olarak belirlenirken; kappa istatistikledne gre L, 3., 4., 5., 6., 8., 9. ve 10. maddelerde uzmanlar arasinda olumlu ynde mkemmel bir uyumdan bahsedilebilir. Uygulama parametrelednden faktr ykledne ve AVE degerlerine bakildiginda, oznde tm maddeledn faktdyel geerlige ynelik istatistiksel olarak anlamli katki yaptigi grlmektedir. Buna ilikin sinamalarda 0.01 (**) ve 0.05 (*) anlamlilik dzeyinde t testi ile test edilmitir. Tablo 2'de vedlen madde bazindaki kapsam geerlik ollerine ek olarak, test bazinda ise kapsam geerlik indeksi (KG) 0.68 olarak hesaplanmitir. Fleiss'in (1971) ok puanlayicih kappa istatistik (multi-rater kappa statistics) degednden ulailan test bazindaki kappa istatistigi ise 0.78 olarak elde edilmitir. Benzer ekilde lcegin uygulanmasindan sonra hesaplanan yapisal gvenirlik (constmct reliability) deged ise 0.77 olarak bulunmutur. Tablo 3'te ise 10 konu alani uzmanin gorled ve bu grclere ilikin kapsam geerlik istatistikled ile uygulama sonucu elde edilen istatistiklere yer vedlmitir. Sonular incelendiginde uzman sayismin 5'ten lO'a ykselmesiyle 5. ve 9. maddelere ilikin KGO degerled anlamli haie gelmitir. Ancak 10 maddenin 4 tanesinin Tablo l'de vedlen kdtik degedere yaklamasina karin istatistiksel olarak anlamli bulunmamitir. Kappa istatistigi iin ise; 10 uzman gorne dayali degerlerde tm maddeler olumlu uyum iinde bulunmu, bunlardan sadece 7. madde "iyi uyum" koniununa ykselmitir. Bu degerler ile faktr yk degerled birlikte incelendiginde kappa istatistiklednin bjik bir tutarlihk iinde oldugu gorlebilir.

H.YURDUGL-F.BAYRAK I H. . Egitim Fakltesi Dergisi (H. U. Journal of Education), zel Sayi 2 (2012), 264-271

269

Tablo 3: 10 uzmana ilikin geerlik paramtre degerleri

Madde 1 2 3 4 5 6 7 8 9 10 Gerekli 8 8 9 8 9 10 7 9 8 10 Yetersiz 2 1 1 1 0 0 2 1 1 0 Gereksiz 0 1 0 1 1 0 1 0 1 0 KGO PC 0,60 0,04 0,60 0,04 0,80-1- 0,01 0,60 0,04 0,80+ 0,01 1,00+ 0,00 0,40 0,12 0,80+ 0,01 0,60+ 0,04 1,00+ 0,00 Kappa 0,79** 0,79** 0,90** 0,79** 0,90** 1,00** 0,66* 0,90** 0,79** 1,00** AVE 0,75 0,62 0,86 0,80 0,78 0,83 0,38 0,88 0,77 0,88

0,82** 0,69** 0,91** 0,87** 0,82** 0,89** 0,58* 0,92** 0,78** 0,96**

Tablo 3'te verilen degere ilikin test bazinda kapsam geerlik indeksi 0.72, kappa istatistigi 0.81 ve uygulama sonucu elde edilen yapisal gvenirligin nceki verilen degerinin 0.77 oldugu grlrse, uzman sayisinin artmasiyla KG degerinin gvenirlik degerine yaklatigi, kappa istatistiginin de yapisal gvenirlik degerini atigi grlebilir. 4. SONU ve NERILER lcek gelitirme srecinde kapsam geerligi yapi geerligi iin bir on kouldur. Ayni zamanda, bir olek gelitirme srecinin pilot alimasi -on uygulama- olanagi olmadigi dummlarda kapsam geerligi tek bama da kullanilabilmektedir. Ancak kapsam geerliklerinin (uzman grclerine dayali oldugunda dolayi) raporlama ve iletiim gclg nedeniyle nicel ifadelere dnctrlmesi gerekmektedir. Bu konuda nitel yapidaki uzman grclerini nicel ifadelere dnctren katsayilann bainda Lawshe (1975) tarafmdan nerilen kapsam geerlik oram ve kapsam geerlik indeksi gelmektedir. Bu katsayinin bu denli popler olmasinin nedenlerinin bainda basit, anlailabilir ve kolay hesaplanabilir yapida olmasi gelmektedir. Ancak bu aratirma gostermitir ki; kapsam geerlik oranlari, az sayidaki uzmanlarla yapilan alimalarda kappa istatistigine gre daha dck degerler retmekte, ayrica istatistiksel olarak da maddelerin olekte yer alip almamasina ilikin kararlar bakimindan daha az tutarlilik gstermektedir. Burada tartiilmasi gereken bir diger konu da kapsam geerlik oranlannin saglam istatistik olup olmamasindan daha ok maddelerin olekte kalip kalmamasina ynelik kritik degerlerdir. Nicel degerler olarak kapsam geerlik oranlan ve/veya indekslerinin uzman sayisma bagh olarak arti gstermesine karin istatistiksel anlamlilik olarak bu niceliksel artilann uygun bulunmamasi Tablo l'deki minimum/kritik degerleri tartiilir haie getirmektedir. Zira son zamanlarda bu degerlerin yeniden yapilandinlmasi zerine ahmalar devam etmektedir (Wilson, Pan & Schumsky; 2012). Diger taraftan, madde bazindaki kappa istatistigi ise kapsam geerlik oranlanna gre daha tutarli sonular retmektedir. Bu sonulara gre aratirmacilara uzman sayilarmin az oldugiu durumlarda kapsam geerlik oranlari yerine kappa istatistigi nerilebilir. Bu neri, aratirma bulgularinda yer alan kappa degerleri, kappa degerlerinin degerlendirilmesi ve ayni zamanda uygulama aamasindaki istatistikler ile tutarhligina dayali olarak yapilmaktadir. megin; madde gvenirlik degerlerinin (jAVE) yapi geerligi iin 0.5 degerinden yksek olmasi nerilir (Fomell & Larcker; 1981). Tablo 3 incelendiginde yalnizca 7. maddenin AVE degeri (AVE7=0.38) 0.5'ten kck bulunmutur. Bu maddenin kappa degerine gre yapilan degerlendirmede ise (geri kalan tm maddeler zerinden "mkemmel" bir uyum sz konusu iken) bu maddede sadece "iyi" uyumdan sz etmek olanaklidir (0.66*).

270

H.YURDUGL-F.BAYRAK I H. . Egitim Fakltesi Dergisi (H. U. Journal of Education), zel Sayi 2 (2012), 264-271

KAYNAKLAR Anastasi,A. (1988). Psychological Testing. (5th edition). New York: MacMillan Pub. Co. Inc. Carmines, E.G., Zeller, R.A. (1979). Reliability and Validity Assessment, Quantitative Applications in the Social Sciences, Series No. 07-017. Sage Publications, Beverly Hills. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20 (1), 37-46. Davis, L.L. (1992). Instrument review: Getting the most from a panel of experts. Applied Nursing Research, 5, 194-197. DeVellis, R. F. (1991). Scale development.Theory and applications. Applied Social Research Methods Series, Volume 26. Newbury Park, CA: Sage Publications. Fleiss, J. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76, 378-382. Fleiss, J. (1981). Statistical methods for rates and proportions (2nd ed.). New York: John Wiley. Fomell, C , & Larcker, D. (1981). Evaluating Structural Equation Models with Unobservable Variable and Measurement Error. Joumal of Marketing Research, 18, 39-50. James, L. R., Demaree, R. G., & Wolf, G. (1984). Estimating within-group interrater reliability with and without response bias. Joumal of Applied Psychology, 69, 85-98. James, L. R., Demaree, R. G., & Wolf, G. (1993). Rwg: An assessment of within-group interrater agreement. Joumal of Applied Psychology, 78, 306-309. Kerlinger, F.N. (1986). Foundations of Behavioral Research, 3rd edn. Holt, Rinehart and Winston, New York. Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28, 563-575. Lawshe, C. H. (1985). Inferences from personnel tests and their validity. Journal of Applied Psychology, 70(1), 237-238. Lindell, M. K., Brandt, C. J., & Whitney, D. J. (1999). A revised index of interrater agreement for multiitem ratings of a single target. Applied Psychological Measurement, 23, 127-135. Nunnally, J.C. (1978). Psychometric Theory, 2nd edn. McGraw-Hill, New York. O'Leary-Kelly, S.W. & Vokurka, R.J. (1998). The empirical assessment of construct validity. Joumal of Operations Management, 16: 387-405. Pedhazur, E.J., & Schmelkin, L.P. (1991). Measurement, Design, and Analysis: An Integrated Approach. Lawrence Erlbaum Associates, Publishers, Hillsdale, NJ. Polit, D.F., Beck, C , & Owen, S.V. (2007). Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Research in Nursing & Health, 30 (4), 459-467. Tinsley, H. E. A., & Weiss, D. J. (1975). Interrater reliability and agreement of subjective judgments. Joumal of Counseling Psychology, 22, 358-376. Tumer, S. (1979). The concept of face validity. Quality and Quantity, 13: 85-90. Wilson, F. R., Pan, W., & Schumsky, D. A. (2012). Recalculation of the Critical Values for Lawshe's Content Validity Ratio. Measurement and Evaluation in Counseling and Development, DOI: 10.1177/0748175612440286.

Extended Abstract
It can be stated that there are two phases in the scale development process. The first phase is designing the scale; and the other phase is pre-application. There are different validity concepts specific to each phase. Particularly, while content and face validities have leading role in designing scale, the constmet and criterion validities have come to the forefront in pre-application phase. In fact, content validity is prerequisite for constmct validity. Content validity is often established through qualitative expert reviews. Content validity information often derives from reviews to be undertaken by subject matter experts as qualitative data. However, there are some studies about transforming these qualitative data into quantitative form; because it is difficult to report qualitative reviews of experts. Some of these studies are Kappa Statistics developed by Cohen (1960), T index of Tinsley-Weiss (Tinsley & Weiss, 1975), rWG and rWG(r) indexes proposed by James, Demaree ve Wolf (1993) and modified rWG(J) proposed by Lindell, Brandt and Whitney (1999). While some of them deal with the ratio of experts saying that the item is appropriate for content validity, and some are established on agreement of experts. This study was limited with Content Validity Index/ratio(CVI/CVR) and kappa statistics.

H.YURDUGL-F.BAYRAK/ H. . Egitim Fakltesi Dergisi (H. U. Journal of Education), zel Sayi 2 (2012), 264-271

271

CVRi is an item statistic based on content validity related to whether the item must be in the scale or not. On the other hand Content Validity Index (CVI) is a test statistic obtained by the mean of items' CVR decided to put in the scale. (Lawshe, 1975). Kappa is a statistic based on interrater agreement. It was modified for content validity on the basis of item by Polit, Beck and Owen (2007) based on the studies of Cohen (1960) and Fleiss (1971). They also stated that kappa value can be interpreted according to the classification of Fleiss (1981): (60<kappa<0.74: expert agreement for related item is "good"; kappa>0,75: expert agreement for related item is "perfect" ). In this research, consistency of modified kappa statistic and content validity ratio in developing scale process was examined. In the application phase of research, in the design phase for developing scale with 10 item a) first 5 experts' reviews were taken related with each item, and the value of content validity was calculated, b) next 5 different experts' reviews were taken too and the value of content validity was calculated again. The application phase of developing scale was begun without none of the items which seemed inappropriate for the content validity values was deleted. Draft scale was implemented to 132 people and then the data factor validity values (factor loading and AVEAverage variance extracted) were calculated. Table 3: Validity values based on 5 experts' reviews
Item 1 2 3 4 5 6 7 8 9 10 Essential 4 3 5 4 4 5 3 5 4 5 Inefficient 1 1 0 1 0 0 2 0 1 0 Unneccessary 0 1 0 0 1 0 0 0 0 0 KGO 0,60 0,20 1,00+ 0,60 0,60 1,00+ 0,20 1,00+ 0,60 1,00+ PC 0,16 0,31 0,03 0,16 0,16 0,03 0,31 0,03 0,16 0,03 Kappa 0,76** 0,42 1,00** 0,76** 0,76** 1,00** 0,42 1,00** 0,76** 1,00**

X
0,82** 0,69** 0,91** 0,87** 0,82** 0,89** 0,58* 0,92** 0,78** 0,96**

AVE 0,75 0,62 0,86 0,80 0,78 0,83 0,38 0,88 0,77 0,88

Table 4: Validity values based on 10 experts' reviews

Item 1 2 3 4 5 6 7 8 9 10 Essential 8 8 9 8 9 10 7 9 8 10 Inefficient 2 1 1 1 0 0 2 1 1 0 Unneccessary 0 1 0 1 1 0 1 0 1 0 KGO 0,60 0,60 0,80+ 0,60 0,80+ 1,00+ 0,40 0,80+ 0,60+ 1,00+ PC 0,04 0,04 0,01 0,04 0,01 0,00 0,12 0,01 0,04 0,00 Kappa 0,79** 0,79** 0,90** 0,79** 0,90** 1,00** 0,66* 0,90** 0,79** 1,00** X 0,82** 0,69** 0,91** 0,87** 0,82** 0,89** 0,58* 0,92** 0,78** 0,96** AVE 0,75 0,62 0,86 0,80 0,78 0,83 0,38 0,88 0,77 0,88

According to the result, content validity ratio, makes lower value with regard to kappa statistic in the studies which were done with experts in small numbers; in addition it shows less consistency in deciding whether the item must be in the scale or not. Another topic to be discussed here is the minimum value for whether the item must be in the scale or not rather than content validity ratios. Likewise the studies on modifying these minimum values have been continuing recently (Wilson, Pan & Schumsky; 2012). On the other hand, the item based kappa statistic is producing more consistent results than the content validity ratio. According to these results, instead of content validity ratio, kappa statistic can be suggested to the researchers in case of having experts in small numbers.

Copyright of Hacettepe University Journal of Education is the property of Hacettepe University Journal of Education and its content may not be copied or emailed to multiple sites or posted to a listserv without the copyright holder's express written permission. However, users may print, download, or email articles for individual use.