KLASİK TEST KURAMI VE GENELLENEBİLİRLİK KURAMINDAN PUANLAYICILAR ARASI TUTARLILIĞIN FARKLI YÖNTEMLERE GÖRE KARŞILAŞTIRILMASI THE COMPARISON OF INTERRATER RELIABILITY BY USING ESTIMATING TECNIQUES IN CLASSICAL TEST THEORY AND GENERALIZABILITY THEORY BULUT YILDIZTEKİN Hacettepe Üniversitesi Lisansüstü Eğitim-Öğretim ve Sınav Yönetmeliğinin Eğitim Bilimleri Anabilim Dalı, Eğitimde Ölçme ve Değerlendirme Bilim Dalı için Öngördüğü Yüksek Lisans Tezi Olarak Hazırlanmıştır. 2014 ii KLASİK TEST KURAMI VE GENELLENEBİLİRLİK KURAMINA GÖRE PUANLAYICILAR ARASI TUTARLIĞIN KARŞILAŞTIRILMASI Bulut YILDIZTEKİN ÖZ Bu araştırmada 7. Sınıf matematik öğrencilerine uygulanan ve problem çözme becerisini ölçen açık uçlu sorular, analitik ve bütünsel dereceli iki ayrı puanlama anahtarı kullanılarak 5 farklı matematik öğretmeni tarafından puanlanmıştır. Elde edilen puanların Klasik test kuramı (KTK) ve Genellenebilirlik kuramına (GK) göre güvenirlik kestirimleri yapılmış ve puanlayıcılar arası tutarlık dereceleri belirlenmeye çalışılmıştır. İki kuramdan farklı tekniklerle belirlenen güvenirlik ve tutarlık düzeylerinde farklılaşma olup olmadığı ve kullanılan tekniklerden hangisinin daha fazla bilgi sunduğu belirlenmeye çalışılmıştır. Araştırma için Ankara ilindeki bir ortaokulun 7. sınıfında öğrenim gören 84 öğrenci seçilmiştir. Bu öğrencilere 2013-2014 Eğitim-Öğretim yılı bahar döneminde, tam ve rasyonel sayılarda problem çözme becerisini ölçen 6 adet açık uçlu sorudan oluşan bir test uygulanmıştır. Elde edilen cevaplar alanında uzman 5 matematik öğretmeni tarafından, analitik ve bütünsel dereceli puanlama anahtarları kullanılarak (ADPA-BDPA) 20-25 gün arayla puanlanmıştır. Araştırmanın verileri elde edildikten sonra Klasik test kuramından, Pearson momentler çarpımı korelasyon katsayısı (PMÇKK), Spearman sıra farkları korelasyon katsayısı (SSFKK), Cronbach Alpha, Kappa ve Krippendorf Alpha katsayıları ile Genellenebilirlik kuramından b x m x p çapraz deseninde değişkenlik kaynakları ve yüzdeleri belirlenerek güvenirlik analizleri yapılmıştır. Araştırma sonucuna göre, KTK ve GK ‘na göre elde edilen güvenirlik katsayıları birbirine parelel ve oldukça yüksektir. Ancak Kappa istatistiği orta düzeyde uyumu işaret etmektedir. Yine aynı sonuçlarda genellenebilirlik kuramında oluşturulan birey, madde ve puanlayıcı deseninden ( b x m x p ) elde edilen sonuçlarda da puanlayıcıların iki farklı dereceli puanlama anahtarı kullanarak verdikleri puanlar arasında değişkenliğe etki etmedikleri görülmüştür. Ayrıca puanlayıcılar arası tutarlık düzeyinin yüksek olduğu ve analitik dereceli puanlama anahtarı ile elde iii edilen puanların tutarlığının bütünsel dereceli puanlama anahtarı ile elde edilen puanların tutarlığından göreceli olarak daha yüksek olduğu belirlenmiştir.. Anahtar sözcükler:Problem çözme becerisi, klasik test kuramı, genellenebilirlik kuramı,kappa tekniği , krippendorf alfa, güvenirlik, puanlayıcılar arası tutarlık, analitik ve bütünsel dereceli puanlama anahtarları. Danışman:Doç. Dr. Duygu ANIL, Hacettepe Üniversitesi, Eğitim BilimleriAnabilim Dalı, Eğitimde Ölçme ve Değerlendirme Bilim Dalı iv THE COMPARISON OF INTERRATER RELIABILITY BY USING ESTIMATING TECHNIQUES IN CLASSICAL TEST THEORY AND GENERALIZABILITY THEORY Bulut YILDIZTEKİN ABSTRACT In this research, analytical and holistic rubrics, which evaluate the problem solving ability of seventh grade students,were used to be scored by five different mathematics teachers. The reliability analysis of obtained scores from raters have been made with respect to Classical test theory and Generalizability theory and interrater agreement level has been examined. Whether there is any difference between reliability coefficents and interrater agreement level obtained from different techniques from two theories and which tecniques used to gather more information was determined. In this research the convenient sample is used. The sample consists of 84 seventh grade students in Ankara. The data collection instrument includes 6 open-ended questions which measures the problem solving ability about integers and rational numbers in 2013-2014 spring semester. Student’s answers were scored with respect to analytical and holistic rubrics by five mathematics teachers in Ankara following twenty- twenty five days. For data analysis, pearson product-moment correlation coefficient (PPMCC), spearman’s rank correlation coeeficient (SRCC), cronbach alpha, kappa statistics and krippendorf alpha coefficient in the classical test theory and crossed design b x m x p which examines sources of variation and percentages in the generalizability theory are used to determine reliability and interrater agreement level. Consequently, it was found that the obtained reliability coefficients with respect to classical test theory and generalizability theory are parallel and relatively high. However, the kappa statistics states middle level agreement. Furthermore, the crossed design (b x m x p) also states that raters does not have effect on variation between scores obtained from them according to two rubrics. Finally, inter rater agreement level between teachers is high and the consistency of the scores obtained from analytical rubric is relatively higher than the consistency of the scores obtained from holistic rubric. v Keywords: Problem solving ability, classical test theory, generalizability theory, kappa statistics, krippendorf alpha coefficients, interrater agreement level, analytical and holistic rubrics. Advisor:Doç. Dr. Duygu ANIL, Hacettepe University, Department of Educational sciences Division ofEducational Measurement and Assessment vi vii TEŞEKKÜR Tez çalışmam boyunca değerli katkı ve yorumlarıyla beni yönlendiren danışmanım Doç. Dr. Duygu ANIL’ a teşekkürlerimi sunarım. Ölçme ve Değerlendirme alanına ilk adım attığım günden itibaren yardım ve desteğini esirgemeyen çok kıymetli hocam Prof. Dr. Selahattin Gelbal’ a teşekkürü borç bilirim. Eleştiri ve önerileriyle çalışmama katkıda bulunan çok değerli jüri üyelerim Doç. Dr. Şeref TAN’ a, Doç. Dr. Burcu ATAR’ a ve Yrd. Doç. Dr. Derya ÇOBANOĞLU AKTAN’ a şükranlarımı sunarım. Tez çalışmam boyunca bilgi ve birikimini benimle paylaşan Ar. Gör. Levent YAKAR’ a, her zaman yanımda hissettiğim Ar. Gör. Sinan YAVUZ’ a, görüşleri ve dostluğu ile yanımda olan Ar. Gör. Haydar KARAMAN’ a, tüm oda ve mesai arkadaşlarıma (Hepsinin yeri ayrı ) ayrı ayrı teşekkürü borç bilirim. Çalışmam sürecinde geçirdiği rahatsızlıkla tüm ailemizi üzen, ancak kısa sürede iyileşmesiyle bizi de hayata bağlayan kız kardeşime, hep yanımda, yüreğimde olan kardeşlerime, emektar anne ve babama teşekkür ederim. Tez döneminden önce, tez süresince ve tez döneminden sonra da desteğini yüreğimde hissettiğim, sevgisi, sabrı ve güveniyle hep yanımda olan çok kıymetli eşime ve henüz doğmamış olan fakat varlığıyla beni heyecanlandıran tatlılar tatlısı kızıma teşekkür ederim. Yüksek lisans eğitimim süresince maddi katkılarıyla çalışmanın ilerlemesine yardımcı olan TÜBİTAK’ a teşekkürlerimi sunarım. Çalışmaya özveri ve ciddiyetle destek veren çok değerli öğrenci, öğretmen ve uzman arkadaşlarıma, ismini sayamadığım dostlarıma ve emeği geçen herkese teşekkür ederim. viii İÇİNDEKİLER ÖZ .......................................................................................................... iii ABSTRACT ........................................................................................................... v ETİK BEYANNAMESİ…………………………………………………………………...vii TEŞEKKÜR.. …………………………………………………………………………….viii İÇİNDEKİLER ......................................................................................................... ix ÇİZELGELER DİZİNİ .............................................................................................. xi ŞEKİLLER DİZİNİ .................................................................................................. xii SİMGELER VE KISALTMALAR DİZİNİ ................................................................. xii 1. GİRİŞ ........................................................................................................... 1 1.1. Problem Durumu .......................................................................................... 2 1.1.1. Problem ve Problem Çözme Becerileri ................................................. 3 1.1.2. Performansa Dayalı Durum Belirleme ................................................... 4 1.1.3. Performansa Dayalı Durum Belirlemede Puanlama Yöntemleri……….4 1.1.3.1. Dereceli Puanlama Anahtarları ...................................................... 4 1.1.3.1.1. Bütünsel Dereceli Puanlama Anahtarı .................................... 6 1.1.3.1.2. Analitik Dereceli Puanlama Anahtarı ...................................... 7 1.2. Araştırmanın Amacı ve Önemi ..................................................................... 8 1.3. Problem Cümlesi .......................................................................................... 8 1.3.1. Alt Problemler ....................................................................................... 9 1.4. Sayıltılar ..................................................................................................... 10 1.5. Sınırlılıklar .................................................................................................. 10 1.6. Araştırmanın Kuramsal Temelleri ............................................................... 10 1.6.1 Puanlayıcılar Arası Güvenirliğini Kestirme Yöntemleri ......................... 10 1.6.2. Klasik Test Kuramı .............................................................................. 12 1.6.2.1 Kappa Tekniği ............................................................................... 13 1.6.2.1.1 İki Puanlayıcı ve İki Kategori İçin Kappa İstatistiği Hesaplama ............................................................................... 13 1.6.2.1.2 İki Puanlayıcı ve İkiden Fazla Kategori İçin Kappa İstatistiği Hesaplama ................................................................ 15 1.6.2.1.3 İkiden Fazla Puanlayıcı ve İkiden Fazla Kategori İçin Kappa İstatistiği Hesaplama .................................................... 17 1.6.2.1.4 Kappa İstatistiğinin Yorumlanması......................................... 18 1.6.2.1.5 Kappa İstatistiğinin Tercih Sebepleri...................................... 18 1.6.2.1.6 Kappa İstatistiğinin Sınırlılıkları .............................................. 19 1.6.2.2 Krippendorff Alfa Tekniği ............................................................... 19 1.6.2.2.1 Krippendorff Alfasının İki Puanlayıcı ve İki Kategori ile Hesaplanması .......................................................................... 20 1.6.2.2.2 Krippendorff Alfa İstatistiğinin Yorumlanması ........................ 21 1.6.2.2.3 Krippendorff Alfa İstatistiğinin Tercih Sebepleri ..................... 21 1.6.2.2.4 Krippendorff Alfa İstatistiğinin Sınırlılıkları ............................. 21 1.6.3. Genellenebilirlik Kuramı ...................................................................... 21 1.6.3.1. Genellenebilirlik Çalışması ve Karar Çalışması ........................... 22 1.6.3.2. Çaprazlanmış Desen Yuvalanmış Desen .................................... 23 ix 2. İLGİLİ ARAŞTIRMALAR .................................................................................... 26 2.1. Yurtiçinde Yapılan İlgili Araştırmalar .................................................... 26 2.2. Yurtdışında Yapılan İlgili Araştırmalar .................................................. 32 3. YÖNTEM ……………………………………………………………………………..35 3.1. Araştırmanın Yöntemi................................................................................. 35 3.2. Çalışma Grubu ........................................................................................... 35 3.3. Veri Toplama Araçları................................................................................. 36 3.3.1. Açık Uçlu Sorulardan Oluşan Yazılı Formu ....................................... 36 3.3.2. Analitik Dereceli ve Bütünsel Dereceli Puanlama Anahtarları ........... 37 3.3.3. Veli Onay Formu ve Gönüllü Katılım Formu ..................................... 37 3.4. Verilerin Analizi .......................................................................................... 38 3.4.1. Pearson Momentler Çarpımı Korelasyon Katsayısı Spearman Sıra Farkları Korelasyon Katsayısı ................................................... 38 3.4.2. Kappa İstatistiği................................................................................. 38 3.4.3. Krippendorf Alfa Tekniği .................................................................... 38 3.4.3. Genellenebilirlik Kuramı .................................................................... 39 3.5. Araştırmanın İç ve Dış Geçerliği ................................................................. 39 3.5.1. Araştırmanın İç Geçerliği .................................................................. 39 3.5.2. Araştırmanın Dış Geçerliği ................................................................ 39 4. BULGULAR VE TARTIŞMA .............................................................................. 41 4.1. Betimsel İstatistikler.................................................................................... 41 4.2. Birinci Alt Probleme İlişkin Bulgular ve Yorumları ....................................... 43 4.3. İkinci Alt Probleme İlişkin Bulgular ve Yorumları ........................................ 49 4.4. Üçüncü Alt Probleme İlişkin Bulgular ve Yorumları .................................... 54 5. SONUÇ ve ÖNERİLER ..................................................................................... 57 5.1. Bulgulardan Elde Edilen Sonuçlar .............................................................. 57 5.1.1. Birinci Alt Problemin Sonuçları .......................................................... 57 5.1.2. İkinci Alt Problemin Sonuçları ........................................................... 58 5.1.3. Üçüncü Alt Problemin Sonuçları ....................................................... 59 5.2. Öneriler ...................................................................................................... 60 5.2.1. Araştırmaya Dönük Öneriler ............................................................. 60 5.2.2. Uygulamaya Dönük Öneriler ............................................................. 61 KAYNAKÇA…………............................................................................................. 62 EKLER DİZİNİ ....................................................................................................... 68 Ek–1:Uygulama Soruları ................................................................................... 69 Ek–2: Uzman Görüşü Anketi ........................................................................... ..71 Ek–3:Etik Komisyonu Onay Belgesi .................................................................. 72 Ek–4: Öğretmen Gönüllü katılım Formu ............................................................ 73 Ek–5: Veli Onay Formu ..................................................................................... 75 Ek–6: Analitik Dereceli Puanlama Anahtarı ....................................................... 77 Ek–7: Bütünsel Dereceli Puanlama Anahtarı .................................................... 78 Ek–8: Kappa İstatistiği İçin Kullanılan Makro..................................................... 79 Ek–9: Krippendorff Alfa İstatistiği İçin Kullanılan Makro .................................... 82 ÖZGEÇMİŞ ........................................................................................................... 89 x