Jurnal Penelitian dan Evaluasi Pendidikan Volume 21, No 2, December 2017 (12-23) Online: http://journal.uny.ac.id/index.php/jpep ANALISIS KUALITAS SOAL DI PERGURUAN TINGGI BERBASIS APLIKASI TAP Akbar Iskandar 1 *, Muhammad Rizal 1 1STMIK AKBA Makassar 1Jln. Perintis Kemerdekaan, Tamalanrea, Tamalanrea Jaya, Makassar, Sulsel, Indonesia * Corresponding Author. Email: [email protected] Abstrak Tujuan penelitian ini adalah untuk menemukan butir instrumen yang berkualitas berdasarkan tingkat validitas, reliabilitas, tingkat kesukaran, daya beda dan pengecoh. Jenis penelitian ini adalah jenis penelitian ex post facto. Objek penelitian semua jawaban hasil tes calon mahasiswa baru tahun 2014-2016. Data dikumpulkan dengan metode Observasi, wawancara dan dokumentasi. Teknik analisis data secara kualitatif dan kuantitatif. Hasil penelitian menunjukkan bahwa untuk validitas isi ditemukan nilai validitas isi (vi) sebesar 0,42 termasuk kategori sedang. Selanjutnya tampak bahwa nilai koefisien reliabilitas instrumen sebesar 0,514. Jumlah butir soal yang sukar sebanyak 57,5%, kategori sedang sebanyak 42,5% dan tidak terdapat soal kategori mudah. Selain itu, butir soal yang memiliki daya beda sangat baik sebanyak 5%, baik sebanyak 20%, perlu revisi sebanyak 13,75%, tidak baik sebanyak 61,25%. Sedangkan option yang tidak berfungsi dengan baik pada saat dijadikan sebagai pengecoh sebanyak 5 butir soal, akan tetapi terdapat 40 butir soal yang harus direvisi karena option pengecoh malah dianggap sebagai kunci jawaban oleh peserta yang pintar. Kata kunci: validitas, reliabilitas, tingkat kesukaran, daya beda,pengecoh,TAP ANALYSIS OF EXAMINATION INSTRUMENTS QUALITY AT UNIVERSITY BASED ON TAP APPLICATION Abstract This study is aimed at finding the items of quality instruments based on the level of validity, reliability, difficulty, differentiation, and distraction. This study was an ex post facto research. The object of research was all the answers of enrollment test results of prospective students in 2014-2016. The data were collected by using observation, interview, and documentation methods, and the data were analyzed using both qualitative and quantitative technique. The results of the research show that the value of the content validity found is 0.42, which belongs to medium category. Furthermore, it appears that the value of the instrument reliability coefficient is 0.514. The number of the question items which belongs to difficult category is 57.5%, medium category is 42.5%, and no item is in easy category. In addition, the percentage of the question items that belong to the category of very good, good, need a little revision, and not good, in terms of the items’ differentiation, are respectively 5%, 20%, 13.75%, and 61.25%. Further, the options that do not work properly when used as distractors are 5 items, but there are 40 items that must be revised because the distractive option is even considered as the key answer by smart participants. Keywords: validity, reliability, difficulty level, differentiation, distraction, TAP Permalink/DOI: http://dx.doi.org/10.21831/pep.v22i1.15609 Jurnal Penelitian dan Evaluasi Pendidikan ISSN: 1410-4725 (print) ISSN: 2338-6061 (online) Jurnal Penelitian dan Evaluasi Pendidikan Volume 22, No 1, June 2018 Pendahuluan dan penggunaan beragam alat penilaian Aplikasi Test Analisys Program (TAP) untuk memperoleh informasi tentang sejauh merupakan salah satu program yang dapat mana hasil belajar peserta didik atau keter- digunakan dalam bidang pengukuran untuk capaian kompetensi (rangkaian kemampu- menganalisis kualitas butir sebuah instru- an) peserta didik. Sehingga hasil dari proses men. Hasil analisisnya dapat dijadikan seba- penilaian melahirkan keputusan-keputusan gai sumber informasi akurat dan sebagai da- yang berkaitan dengan mahasiswa meliputi sar pengambilan keputusan, apakah instru- penempatan mahasiswa pada program pen- men tersebut baik atau tidak. didikan yang berbeda, pemberian nilai pada Salah satu penyebab rusaknya mutu mahasiswa, membimbing dan mengarahkan pendidikan adalah hasil tes masuk yang mahasiswa, pemilihan mahasiswa untuk tidak akurat. Untuk itu, penilaian yang benar mengikuti program-program pendidikan, akan memberikan informasi yang tepat serta pemberian penghargaan dan sertifikat ter- hadap kompetensi mahasiswa. mondorong dalam meningkatkan motivasi dan prestasi dalam pembelajaran mahasis- Kata tes berasal dari bahasa latin wa. Hal ini dijelaskan oleh Iskandar (2013, testum, yang berarti alat untuk mengukur p. 37) yang menyatakan bahwa sistem tes tanah. Sehingga Tes dapat didefinisikan se- dan penilaian yang baik akan mondorong bagai sejumlah pertanyaan yang membutuh- mahasiswa dalam meningkatkan motivasi kan jawaban atau sejumlah pernyataan yang dan prestasi dalam pembelajaran. harus diberikan tanggapan guna mengukur Namun yang sering terjadi dalam du- tingkat kemampuan seseorang atau mengu- nia pendidikan, kita sering dihadapkan pada ngkap aspek tertentu dari orang yang di- masalah pengambilan keputusan, apakah kenai tes. seorang mahasiswa harus mengulang materi Tes didefinisikan sebagai suatu instru- tertentu, pantas lulus ataukah harus tidak men atau prosedur sistematik untuk meng- lulus. Hal tersebut bukanlah pekerjaan yang observasi dan menjelaskan satu atau bebe- mudah. Dibutuhkan pertimbangan yang rapa karakteristik siswa dengan mengguna- matang agar dapat menghasilkan suatu ke- kan suatu skala numerik atau skema klasifi- putusan yang benar dan tepat sehingga tidak kasi (Nitko & Brookhart, 2007, p. 7). Selan- merugikan mahasiswa. Untuk itu, keputusan jutnya Sax (1980, p. 13) berpendapat bahwa yang tepat dan benar sangat dipengaruhi “ a test may be defined as a task or series of tasks oleh kualitas instrumen yang digunakan. Jika used to obtain systematic observations presumed to kualitas instrumen jelek maka pengambilan be representative of educational or psychological keputusan juga dipastikan akan jelek. traits or attributes”. Instrumen merupakan suatu alat yang Analisis butir tes pada umumnya di- digunakan untuk mengukur suatu obyek pe- maksudkan untuk mengetahui besar kecil- nelitian, oleh karena itu instrumen tersebut nya indeks tingkat kesulitan, indeks daya be- harus memenuhi kriteria yang baik. Persya- da dan efektivitas pengecoh butir-butir soal ratan instrumen yang baik setidaknya me- yang bersangkutan. Analisis tes dapat dila- menuhi syarat valid dan reliabel. Disamping kukan dengan menggunakan salah satu dari memenuhi syarat valid dan reliabel juga ha- dua cara, tergantung teori tes mana yang rus memperhatikan karakteristik butir yaitu digunakan. Teori tes tersebut dapat berupa tingkat kesukaran, daya beda, dan keber- teori tes klasik atau teori tes modern fungsian pengecoh. Hal tersebut sesuai de- (Suryabrata, 2002, p. 24). ngan pendapat Mansyur, Rasyid, & Suratno Analisis kualitas tes merupakan suatu (2015, p. 30) yang mengatakan bahwa untuk tahap yang harus ditempuh untuk menge- memperoleh informasi yang akurat maka di- tahui derajat kualitas suatu tes, baik secara butuhkan instrumen yang sahih dan handal. keseluruhan maupun butir soal yang men- Menurut (Sudrajat, 2008) penilaian jadi bagian dari tes tersebut. Dalam penilai- (assessment) adalah penerapan berbagai cara an hasil belajar, tes diharapkan dapat meng- Analisis Kualitas Soal Di Perguruan Tinggi Berbasis ... − 13 Akbar Iskandar, Muhammad Rizal Jurnal Penelitian dan Evaluasi Pendidikan gambarkan sampel perilaku dan menghasil- soal yang dapat dijawab benar oleh siswa- kan nilai yang objektif serta akurat. Jika tes siswa yang pandai saja (Arikunto, 2009, p. yang digunakan dosen kurang baik, maka 26). Butir soal yang tidak memiliki daya hasil yang diperoleh pun tentunya kurang pembeda diduga terlalu mudah atau terlalu baik pula. Hal ini dapat merugikan mahasis- sulit maka perlu diperbaiki atau diganti de- wa itu sendiri, artinya hasil yang diperoleh ngan pertanyaan lain. mahasiswa menjadi tidak objektif. Oleh se- Penentuan daya beda butir biasanya bab itu, tes yang digunakan harus memiliki dilakukan dengan menggunakan indeks ko- kualitas yang baik. Tes hendaknya disusun relasi, diskriminasi, dan indeks keselarasan berdasarkan prinsip dan prosedur penyu- item. Dari ketiga cara tersebut yang paling sunan tes. Setelah digunakan perlu diketahui sering digunakan adalah indeks korelasi. apakah tes tersebut berkualitas baik atau Ada dua macam teknik korelasi yang biasa tidak maka perlu dilakukan analisis kualitas digunakan untuk menghitung nilai daya tes (Arifin, 2012, p. 22). beda, yaitu: (1) teknik point biserial, (2) teknik Hasil observasi pendahuluan pada biserial (Mansyur, Rasyid, & Suratno, 2009, lokasi penelitian ditemukan bahwa soal yang p. 155). Untuk memudahkan perhitungan digunakan dalam penerimaan calon maha- daya pembeda butir soal, Suprananta (2004) siswa baru tidak melalui analisis secara em- (Mansyur & Rasyid, 2007, p. 161) memberi- pirik (uji validitas, reliabilitas, tingkat kesu- kan formula umum dengan rumus sebagai karan, daya beda,dan pengecoh). Hal ter- berikut : sebut diungkapkan salah seorang petugas pelaksana tes. Sehingga bisa dipastikan bah- D= wa informasi yang dikumpulkan dari tes yang diberikan, mengandung bias atau tidak sesuai dengan apa yang diinginkan. Keterangan : Salah satu syarat instrumen tes yang D : Indeks daya beda butir soal baik harus melihat daya beda (diskriminasi) ∑X : Banyaknya peserta tes yang A suatu butir tes dimana daya beda ini diguna- menjawab benar kelompok atas kan untuk membedakan antara peserta tes ∑X : Banyaknya peserta tes yang B yang berkemampuan tinggi dan berkemam- menjawab benar kelompok bawah puan rendah. Daya beda butir dapat dike- n : Banyaknya peserta tes pada A tahui dengan melihat besar kecilnya indeks kelompok atas diskriminasi. Adapun fungsi dari daya pem- n : Banyaknya peserta tes pada B beda tersebut adalah mendeteksi perbedaan kelompok bawah individual yang sekecil-kecilnya di antara para peserta tes. Ramdani (2012, p. 28) juga Dari rumus di atas dapat dimaknai mengungkapkan daya pembeda sebuah soal bahwa daya beda adalah perbedaan antara bertujuan untuk menunjukkan kemampuan proporsi kelompok atas yang menjawab soal tersebut atau membedakan antara benar butir tes dengan proporsi kelompok mahasiswa yang pandai dengan yang kurang bawah yang menjawab benar butir tes. Ru- pandai. mus tersebut dapat digunakan untuk meng- Suatu soal yang dapat dijawab benar hitung daya beda butir soal dalam bentuk oleh mahasiswa pandai maupun oleh maha- pilihan ganda. siswa kurang pandai, maka soal itu tidak Koefisien daya beda butir soal berge- baik karena tidak mempunyai daya beda. rak dari -1,00 sampai +1,00 maksudnya ada- Demikian pula jika semua mahasiswa, baik lah jika suatu butir memiliki korelasi negatif, pandai maupun kurang pandai tidak dapat maka dapat dikatakan bahwa butir tersebut menjawab dengan benar maka soal tersebut menyesatkan, karena subjek yang terdiri dari juga tidak memiliki daya pembeda. Soal yang kelompok pandai menjawab salah soal yang baik dan mempunyai daya pembeda adalah ada daripada subjek pada kelompok kurang 14 − Volume 22, No 1, June 2018 Jurnal Penelitian dan Evaluasi Pendidikan Volume 22, No 1, June 2018 pandai, sehingga harus didrop atau dibuang. ∑ Pi = Untuk menyatakan bahwa besaran daya beda dapat berfungsi dengan baik, ada be- Pi : tingkat kesukaran butir soal berapa patokan yang dapat digunakan. ∑Xi : Jumlah peserta tes yang menjawab Butir soal yang diterima harus memi- benar liki indeks daya beda > 0,30 atau lebih. Bu- Smi : Skor maksimum tir dengan indeks daya beda kurang dari an- N : Jumlah peserta tes tara 0,10 sampai 0,30 perlu direvisi, dan jika daya bedanya < 0,10 maka butir tersebut Kriteria yang digunakan untuk me- harus dibuang. Sejalan dengan hal ini, Croc- nentukan jenis tingkat kesukaran butir soal ker & Algina (1986) (Mansyur & Rasyid, disajikan dalam Tabel 2. 2007, p. 155) memberikan patokan indeks daya beda seperti Tabel 1. Tabel 2. Tingkat Kesukaran Butir Soal Tabel 1. Indeks Daya Beda Butir Nilai P Kategori p < 0,30 Sukar Indeks Daya Kriteria Butir 0,30 ≤ p ≤ 0,70 Sedang Beda p > 0,70 Mudah 0,40 ≤ D ≤ 1,0 Sangat Baik 0,3 ≤ D < 0,4 Baik Dari penjelasan di atas ada beberapa 0,2 ≤ D < 0,3 Cukup dan perlu sedikit revisi hal yang bisa disimpulkan berkaitan dengan D < 0,2 Tidak Baik indeks kesukaran butir yaitu bahwa nilai p bagi suatu butir hanya menunjukkan indeks Selain syarat daya beda juga harus bagi kelompok yang diuji. Harga p ini bisa memperhatikan tingkat kesukaran butir berubah jika tes diujikan pada kelompok karena soal yang baik adalah soal yang tidak yang berbeda. Selain itu, indeks kesukaran terlalu mudah atau tidak terlalu sukar. Soal yang dihasilkan dari rumus ini adalah indeks yang terlalu mudah tidak merangsang maha- kesukaran yang berlaku bagi kelompok se- siswa untuk mempertinggi usaha memecah- cara keseluruhan, bukan perorangan. Indeks kannya. Sebaliknya, soal yang terlalu sukar kesukaran bagi tiap peserta tes tidak bisa akan menyebabkan mahasiswa berputus asa disimpulkan dengan melihat indeks propor- dan tidak mempunyai semangat untuk men- si menjawab benar p. coba lagi karena berada di luar jangkauan- Setiap tes pilihan ganda memiliki satu nya. Bilangan yang menunjukkan sukar dan pertanyaan serta beberapa pilihan jawaban. mudahnya suatu soal disebut dengan indeks Di antara pilihan jawaban yang ada, hanya kesukaran. Adapun besarnya indeks kesukar- satu yang benar. Selain jawaban yang benar an adalah antara 0,00 sampai dengan 1,00 tersebut, juga ada jawaban salah, yang di- (Mansyur et al., 2009, p. 20; Rofiah, Ami- kenal dengan distractor (pengecoh). Dengan nah, & Ekawati, 2013, p. 4). Indeks kesu- demikian, efektivitas pengecoh adalah sebe- karan ini menunjukkan taraf kesukaran soal. rapa baik pilihan yang salah tersebut dapat Soal dengan indeks kesukaran 0,00 menun- mengecoh peserta tes yang memang tidak jukkan bahwa soal itu terlalu sukar, sebalik- mengetahui kunci jawaban yang tersedia. nya indeks 1,00 menunjukkan bahwa soal- Semakin banyak peserta tes yang memilih nya terlalu mudah. pengecoh tersebut, maka distaktor itu dapat Proporsi menjawab benar p (proportion menjalankan fungsinya dengan baik. Krite- correct) adalah indeks kesukaran soal yang ria pengecoh yang baik adalah apabila pe- paling sederhana dan sering digunakan da- ngecoh tersebut dipilih oleh paling sedikit lam menentukan besaran indeks. Rumus un- 5% dari peserta tes (Hamzah & Koni, 2012, tuk menentukan besarnya indeks kesukaran p. 120). secara matematis dirumuskan oleh Mansyur et al. (2009, p. 21) sebagai berikut: Analisis Kualitas Soal Di Perguruan Tinggi Berbasis ... − 15 Akbar Iskandar, Muhammad Rizal Jurnal Penelitian dan Evaluasi Pendidikan Distractor (pengecoh) berfungsi untuk pengamatan langsung di lapangan, yang ada mengidentifikasi peserta tes yang berke- hubungannya dengan masalah penelitian ini; mampuan tinggi. Pengecoh dikatakan ber- (2) wawancara, yaitu pengumpulan data fungsi efektif apabila dipilih lebih banyak yang dilakukan dengan cara mengadakan ta- oleh peserta tes yang berasal dari kelompok nya jawab secara langsung, yang ada hu- bawah (berkemampuan rendah), sebaliknya bungannya dengan masalah penelitian ini; apabila pengecoh itu dipilih lebih banyak (3) dokumentasi, yaitu pengumpulan daya oleh peserta tes yang mempunyai kemam- melalui referensi-referensi tertulis berupa puan tinggi, maka pengecoh itu tidak ber- jawaban hasil tes mahasiswa, buku-buku, fungsi sebagaimana mestinya. Bila pengecoh bahan ajar, dan lain-lain yang sangat relevan. dipilih secara merata, maka termasuk penge- Teknik analisis data dilakukan secara coh yang baik, apabila pengecoh lebih ba- kualitatif dan kuantitatif. Analisis kualitatif nyak dipilih oleh peserta tes dari kelompok menggunakan format penelaahan oleh pa- atas dibandingkan dengan kelompok bawah kar dan analisis secara kuantitatif dengan maka termasuk pengecoh yang menyesatkan menampilkan hasil analisis secara klasik (Supranata, 2006, p. 32). yaitu dengan melihat, tingkat kesukaran, da- Dengan demikian maka pengecoh ya beda dan efektivitas pengecoh setiap soal yang tidak memenuhi kriteria sebagai pe- atau item melalui program aplikasi TAP. ngecoh yang baik, karena tidak satupun di- Adapun kriteria yang digunakan da- antara peserta tes yang memilihnya sebaik- lam membedakan daya beda merujuk pada nya diganti dengan pengecoh lain yang lebih pada tabel 1, sedangkan tingkat kesukaran menarik untuk dipilih oleh peserta tes. Agar butir soal merujuk pada pada Tabel 2. Pe- semua opsi dalam setiap butir soal dapat ngecoh dinyatakan telah dapat menjalankan berfungsi secara efektif, maka penyusunan fungsinya dengan baik apabila dipilih oleh pengecoh harus dilakukan sedemikian rupa sekurang-kurangnya 5 % dari seluruh peser- sehingga tidak terlalu mencolok sebagai opsi ta tes (Sudijono, 2009, p. 14). Tingkat va- yang salah. Pengecoh-pengecoh yang baik liditas tes dapat dilihat dengan mengikuti adalah yang serupa tetapi tidak sama dengan kriteria validitas isi dari (Gregory, 2007, p. opsi benar sehingga mempunyai peluang 221) yaitu sebagai berikut. untuk dipilih oleh peserta tes yang tidak berhati-hati. 0,8 – 1 = Validitas sangat tinggi 0,6 – 0,79 = Validitas tinggi 0,40 – 0,59 = Validitas sedang Metode Penelitian 0,20 – 0,39 = Validitas rendah Penelitian ini termasuk dalam kategori 0,00 – 0,19 = Validitas sangat rendah jenis penelitian Ex Post Facto yaitu pe- nelitian empiris yang sistematis dimana Selanjutnya kriteria yang digunakan peneliti tidak mengendalikan variabel bebas dalam menentukan reliabilitas tes yaitu jika secara langsung karena eksistensi dari varia- hasil analisis memiliki nilai reliabilitas lebih bel tersebut telah terjadi, atau karena pada besar atau sama dengan 0,70 maka dikata- dasarnya variabel tersebut tidak dapat di- kan reliabel (Linn dalam Mansyur et al., manipulasi, Karlinger (Emzir, 2011, p. 18). 2009, p. 24). Penelitian ini dilakukan pada perguruan tinggi STMIK AKBA yang ada di Kota Hasil Penelitian dan Pembahasan Makassar Propinsi Sulawesi Selatan dengan objek penelitian semua jawaban hasil tes Analisis kualitatif dilakukan untuk calon mahasiswa baru tahun 2014-2016. mereview butir soal dari aspek materi, kon- Untuk memperoleh data di lapangan, struksi, dan bahasa sehingga diketahui vali- peneliti menggunakan beberapa teknik ditas instrumen tes berdasarkan pandangan yaitu: (1) observasi, yaitu pengumpulan data para pakar. Aspek-aspek yang diperhatikan yang dilakukan dengan cara mengadakan dalam memvalidasi instrumen ini adalah: 16 − Volume 22, No 1, June 2018 Jurnal Penelitian dan Evaluasi Pendidikan Volume 22, No 1, June 2018 petunjuk, cakupan soal, bahasa. Tabel 3 Berdasar pada hasil analisis tersebut adalah rangkuman hasil validasi instrumen tampak bahwa nilai koefisien reliabilitas in- tes untuk setiap aspek pengamatan. Dari strumen ini lebih kecil dari batas bawah r- hasil penilaian para ahli yang berjumlah 2 eliabilitas yang telah ditentukan yaitu sebe- orang dosen sebagai pakar bidang tes, se- sar 0,70 menurut Linn (Mansyur et al., 2009, hingga instrumen tersebut dapat digunakan p. 24), sehingga instrumen tersebut tidak dengan melakukan revisi terlebih dahulu. memenuhi kriteria reliabel dan berada pada level reliabilitas cukup (fair) (0,40 ≤ Қ ≤ Tabel 3. Hasil Penilaian Ahli Tes 0,60: cukup), (Fleiss dalam Widhiarso, 2012, p. 15). Rater 1 Rater 2 Hasil Tabulasi Silang Selanjutnya analisis kuantitatif dilaku- 1 3 C kan dengan menggunakan Program TAP, 2 2 A yang secara otomatis menganalisis butir in- 3 3 D strumen tes seperti tingkat kesukaran, daya 4 2 B beda, efektivitas pengecoh, reliabilitas tes 3 3 D serta beberapa statistik data lainya (ukuran 3 2 B dari data hasil tes). Hasil analisis secara des- 2 3 C kriptif untuk semua butir soal dapat dilihat pada Tabel 5. Berdasarkan hasil tabulasi silang 2x2 tersebut maka selanjutnya dimasukkan ke Tabel 5. Hasil Analisis Dekriptif Skor dalam rumus Gregory maka Peserta Tes hasilnya sebesar 0,28. Sehingga instrumen Kriteria Hasil analisis ini memenuhi kriteria validitas isi pada kate- Jumlah peserta tes 300 gori rendah, (Gregory, 2007, p. 221). Hasil Kemungkinan skor total 80 penilaian dari 2 orang dosen sebagai pakar Skor maksimal 35 IT dapat dilihat seperti pada Tabel 4. Skor minimum 11 Tabel 4. Hasil Penilaian Ahli IT Median 22 Mean 22.33 Rater 1 Rater 2 Dari Tabulasi Standar deviasi 4.546 Silang Variance 20.66 2 1 A 3 2 B Berdasarkan hasil analisis pada Tabel 3 4 D 5, tampak bahwa jumlah responden yang 2 3 C mengikuti tes ini sebanyak 300 orang. Jika 3 3 D seorang peserta tes menjawab semua soal 3 2 B dengan benar maka skor maksimal yang 3 3 D mungkin diperoleh sebesar 80. Akan tetapi dari hasil tes tersebut, skor maksimal yang Berdasarkan hasil analisis validitas isi diperoleh responden sebesar 35, skor mini- dengan menggunakan rumus Gregory dite- mal sebesar 11, median 22, mean 22.33, mukan nilai Vi sebesar 0,42. Sehingga in- standar deviasi 4.54 dan variance sebesar strumen ini memenuhi validitas isi kategori 20.66. Selanjutnya hasil analisis butir soal sedang. Setelah melewati tahap uji validitas secara deskriptif dapat dilihat pada Tabel 6. dilanjutkan dengan uji reliabilitas yang ber- Terkait dengan Tabel 6. tampak bah- tujuan untuk melihat tingkat kesepakatan wa jumlah butir soal yang dianalisis seba- validator ahli melalui analisis ICC (Intraclass nyak 80 butir dan tidak ada butir yang hi- Correlation Coefficients) dan hasil analisis lang. Kemudian dari hasil analisis tersebut ditemukan sebesar Қ=0,514. ditemukan rerata tingkat kesulitan butir soal Analisis Kualitas Soal Di Perguruan Tinggi Berbasis ... − 17 Akbar Iskandar, Muhammad Rizal Jurnal Penelitian dan Evaluasi Pendidikan sebesar 0,279 yang menandakan bahwa soal na indeks reliabilitas lebih kecil dari 0,4 (Қ yang digunakan dalam penerimaan calon < 0,4) atau masuk kategori Bad, Fleiss (Fleiss mahasiswa baru, termasuk dalam kategori dalam Widhiarso, 2012, p. 15). Untuk me- sulit, selanjutnya rerata daya beda butir se- lengkapi penyataan sebelumnya, maka hasil besar 0,130. Daya beda dihitung berdasar- analisis tingkat kesukaran setiap butir soal kan pembagian dua kelompok peserta tes dapat dilihat pada Tabel 7. yaitu kelompok atas dan kelompok bawah. Tingkat kesukaran berdasar pada be- sarnya indeks korelasi yang berkisar antara 0 Tabel 6. Hasil Analisis Deskriptif Butir Soal sampai 1. Makin tinggi indeks korelasi maka butir soal tersebut semakin mudah dan se- Kriteria Hasil makin kecil indeks korelasi maka butir soal Analisis tersebut semakin sulit. Mansyur et al. (2009, Jumlah butir soal 80 p. 20) membedakan tingkat kesukaran soal Rerata tingkat kesulitan butir 0,279 ke dalam tiga kategori yaitu soal yang me- Rerata daya beda butir 0,130 miliki p ≤ 0,3 biasanya disebut sebagai soal Koefisisen reliabilitas (KR20) 0,281 sukar, soal yang memiliki p ≥ 0,7 biasanya Kesalahan pengukuran 3,83 disebut soal mudah, adapun soal yang me- miliki p antara 0,3 sampai 0,7 disebut seba- Kelompok atas dikategorikan sebagai gai soal yang sedang. testee yang tergolong sebagai anak yang Merujuk pada Tabel 7, jumlah butir pandai sedangkan peserta tes yang berada soal yang masuk kategori sukar sebanyak 46 pada kelompok bawah dikategorikan seba- butir soal (57,5% ), butir soal yang berada gai testee yang tergolong kurang pandai, se- pada kategori sedang sebanyak 34 butir atau dangkan angka 0,130 tersebut menunjukkan sebesar (42,5%) sedangkan butir soal yang bahwa rata-rata butir soal tidak mampu berada pada kategori mudah tidak ada. Dari membedakan antara calon mahasiswa pan- hasil analisis tersebut kelihatan jumlah soal dai dengan yang kurang pandai. Karena be- yang sukar lebih banyak dibandingkan de- sar kecilnya daya beda dapat diketahui mela- ngan butir soal yang sedang, tetapi perlu di- lui hasil analisis diskriminasi butir dengan ketahui bahwa hasil analisis tersebut bukan membandingkan hasil analisis dengan krite- satu-satunya indikator bahwa soal yang ria yang telah ada. sukar atau mudah adalah jelek, karena dalam Lebih lanjut, dengan menggunakan analisis butir soal terdapat beberapa kategori KR 20 diperoleh nilai kesalahan baku peng- yang harus diperhatikan seperti tingkat ke- ukuran sebesar 3,83 dan tingkat reliabilitas sukaran dan daya beda untuk menilai apa- instrumen tes sebesar 0,281 hal ini menan- kah butir tersebut baik atau tidak. Hasil ana- dakan bahwa tingkat keajekan instrumen tes lisis daya beda dapat dilihat pada Tabel 8. yang digunakan dalam kategori buruk kare- Tabel 7. Hasil Analisis Tingkat Kesukaran Kategori Butir soal Jumlah 3, 4, 6, 7, 9, 10, 11, 12, 13, 14, 16, 19, 20, 22, 23, 24, 26, 28, 29, Sukar 31, 34, 27, 38, 29, 43, 45, 47, 48, 49, 50, 52, 53, 54, 56, 57, 60, 46 (57,5%) P < 0,30 61, 64, 67, 69, 70, 71, 72, 75, 77, 78. Sedang 1, 2, 5, 8, 15, 17, 18, 21, 25, 27, 30, 32, 33, 35, 36, 40, 41, 42, 44, 34 (42,5%) 0,30 ≤ p ≤ 0,70 46, 51, 55, 58, 59, 62, 63, 65, 66, 68, 73, 74, 76, 79, 80. Mudah - - P > 0,70 Total soal 80 80 (100%) 18 − Volume 22, No 1, June 2018 Jurnal Penelitian dan Evaluasi Pendidikan Volume 22, No 1, June 2018 Tabel 8. Hasil Analisis Daya Beda Kategori Butir Soal Jumlah Sangat baik 2, 32, 33, 50 4 (5%) 0,40 ≤ D ≤ 1,0 Baik 8, 9, 24, 25, 30, 35, 36, 45, 48, 52, 54, 63, 68, 74, 79, 16 (20%) 0,3 ≤ D < 0,4 80 Perlu sedikit revisi 1, 15, 17, 42, 44, 51, 55, 56, 58, 62, 66. 11 (13,75%) 0,2 ≤ D < 0,3 3, 4, 5, 6, 7, 10, 11, 12, 13, 14, 16, 18, 19, 20, 21, 22, Tidak baik 23, 26, 27, 28, 29, 31, 34, 37, 38, 39, 40, 41, 43, 46, 49 (61, 25%) D < 0,2 47, 49, 53, 57, 59, 60, 61, 64, 65, 67, 69, 70, 71, 72, 73, 75, 76, 77, 78. Total soal 80 80 (100%) Berdasarkan hasil analisis pada Tabel butir soal akan menurun, karena peluang 8, tampak bahwa jumlah butir soal yang me- peserta tes untuk menjawab dengan benar miliki daya beda yang sangat baik sebanyak semakin meningkat. 4 butir soal (5%) yang berarti bahwa butir Berdasarkan hasil analisis yang tertera soal tersebut mampu membedakan antara pada Tabel 9, tampak bahwa jumlah butir peserta tes yang pandai dan peserta tes yang soal yang memiliki pengecoh yang baik kurang pandai. Selanjutnya, terdapat 20% untuk option A yaitu sebanyak 68 butir soal yang memiliki daya beda pada kategori baik dan terdapat 2 butir soal yang memiliki yang berarti butir-butir soal tersebut dapat option A tidak berfungsi sebagai pengecoh membedakan antara peserta tes yang pandai yaitu butir soal 27, 28 dan 10 butir soal dengan peserta tes yang kurang pandai. menempatkan option A sebagai kunci. Se- Selain butir soal yang memiliki daya lanjutnya pada option B terdapat 55 butir beda kategori sangat baik dan kategori baik soal yang berfungsi sebagai pengecoh dan juga terdapat butir soal yang memiliki daya 25 butir soal yang menempatkan kunci ber- beda pada kategori cukup, sebanyak 11 ada pada option B. butir (13,75%) yang berarti harus melewati Lebih lanjut, terdapat 62 butir soal tahap revisi. Jika butir-butir soal ini telah yang menggunakan option C berfungsi se- direvisi maka butir soal tersebut dapat di- bagai pengecoh dan 3 butir soal yang meng- gunakan. Sedangkan jumlah butir soal yang gunakan option C tidak berfungsi dengan berada pada kategori tidak baik sebanyak 49 baik yaitu pada butir 1, 6, 31 dan 15 butir butir yaitu sebesar (61,25%) sehingga harus soal yang menjadikan option C sebagai dibuang. kunci. Lebih lanjut, terdapat 51 butir soal Selanjutnya, untuk melihat pengecoh yang menggunakan option D sebagai pe- butir soal yang berfungsi pada Tabel 9. ngecoh dan semuanya berfungsi dengan Rendahnya daya beda biasanya dise- baik. Selain itu, 29 butir soal yang menjadi- babkan oleh tingkat keberfungsian pengecoh kan option D sebagai kunci. Untuk meleng- butir soal, selain itu pengecoh juga membe- kapi penyajian keberfungsian pengecoh pa- rikan dampak terhadap tingkat kesukaran da Tabel 9 dapat pula dilihat Tabel 10 untuk butir soal karena jika terdapat satu atau dua melihat letak kunci jawaban pada setiap pengecoh pada suatu butir soal yang tidak butir soal. berfungsi maka indeks tingkat kesukaran Analisis Kualitas Soal Di Perguruan Tinggi Berbasis ... − 19 Akbar Iskandar, Muhammad Rizal Jurnal Penelitian dan Evaluasi Pendidikan Tabel 9. Keberfungsian Pengecoh Pengecoh Pengecoh Menjadi tidak Butir yang Jumlah Butir soal Jumlah kunci berfungsi soal berfungsi dengan baik dengan baik 1, 2, 3, 5, 6, 8, 9, 11, 12, 13, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 29, 30, 31, 32, 27, 33, 35, 36, 38, 39, 41, 42, 44, 45, 47, 48, 10 A 2 A 68 28. 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80. 2, 3, 4, 6, 7, 9, 10, 12, 13, 14, 16, 18, 19, 20, 22, 23, 25, 26, 28, 30, 31, 32, 34, 36, 25 B - - B 37, 38, 40, 41, 43, 45, 46, 48, 49, 50, 52, 55 53, 54, 56, 57, 58, 60, 61, 63, 64, 66, 67, 68, 69, 71, 72, 74, 75, 77, 78, 79. 2, 4, 5, 7, 8, 9, 10, 11, 12, 14, 15, 17, 18, 20, 21, 23,24, 25,26, 27, 28, 29, 30, 32, 33, 1, 6, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 15 C 3 C 62 31. 45, 46, 47, 48, 50, 51, 52, 54, 55, 56, 58, 59, 60, 62, 63, 65, 66, 68,70, 71, 73, 74, 76, 77, 79, 80. 1, 3, 4, 5, 7, 8, 10, 11, 13, 14, 15, 16, 17, 19, 21, 22, 24, 26, 27, 29, 31, 33, 34, 35, 29 D - - D 37, 39, 40, 42, 43, 44, 46, 47, 49, 51, 53, 51 55, 57, 59, 61, 62, 64, 65, 67, 69, 70, 72, 73, 75, 76, 78, 80. Tabel 10. Tampilan Kunci Jawaban dalam Aplikasi TAP ============================ CORRECT ANSWERS (Item#-Key): ============================ # 1-2 # 2-4 # 3-3 # 4-1 # 5-2 # 6-4 # 7-1 # 8-2 # 9-4 #10-1 #11-2 #12-4 #13-3 #14-1 #15-2 #16-3 #17-2 #18-4 #19-3 #20-4 #21-2 #22-3 #23-4 #24-2 #25-4 #26-1 #27-2 #28-4 #29-2 #30-4 #31-2 #32-4 #33-2 #34-1 #35-2 #36-4 #37-1 #38-4 #39-2 #40-1 #41-4 #42-2 #43-1 #44-2 #45-4 #46-1 #47-2 #48-4 #49-3 #50-4 #51-2 #52-4 #53-3 #54-4 #55-2 #56-4 #57-3 #58-4 #59-2 #60-4 #61-3 #62-2 #63-4 #64-3 #65-2 #66-4 #67-3 #68-4 #69-3 #70-2 #71-4 #72-3 #73-2 #74-4 #75-3 #76-2 #77-4 #78-3 #79-4 #80-2 Berdasarkan Tabel 10 dalam penyaji- jawaban pada setiap soal, terkadang ada hal- an kunci jawaban setiap butir soal yang ada hal yang menyebabkan letak kunci jawaban pada CORRECT ANSWERS (Item#-Key) , tersebut tidak sesuai dengan teori pengem- seperti pada butir soal 1 letak kunci jawab bangan tes seperti pada contoh butir soal berada pada option B (2), sedangkan pada nomor 3 yang disajikan pada Tabel 11. soal butir nomor 2 letak kunci jawaban Dari hasil analisis pada soal nomor 3 berada pada option D (4) dan seterusnya. di atas tampak bahwa letak kunci jawaban Akan tetapi pada setiap peletakan kunci yang telah ditentukan berada pada option 3 20 − Volume 22, No 1, June 2018 Jurnal Penelitian dan Evaluasi Pendidikan Volume 22, No 1, June 2018 (C), akan tetapi peletakan kunci jawaban Tampak pada Tabel 11. Jumlah butir yang terletak pada option C tersebut tidak soal yang memiliki kunci jawaban yang tidak sesuai dan dianggap bahwa option 2 (B) sesuai yaitu sebanyak 40 butir soal karena lebih pantas menjadi kunci daripada option pengecoh yang sedianya dijadikan sebagai 3 (C) karena sebagian besar peserta tes yang alat untuk mengelabui peserta tes malah pintar menganggap option 2 (B) sebagai dianggap bisa menjadi kunci jawaban karena kunci jawabannya, berbeda dengan option 3 pengecoh lebih banyak dipilih oleh peserta (C) yang banyak dipilih oleh peserta tes ku- tes yang pintar daripada peserta tes yang ku- rang pintar sehingga harus direvisi/dibuang. rang pintar, sedangkan untuk kunci jawaban Selain butir soal nomor 3 juga terdapat butir dalam setiap butir soal malah banyak dipilih soal yang lain memiliki hal yang sama, oleh peserta yang kurang pintar. seperti yang tampak pada Tabel 11. Tabel 11. Letak Kunci Jawaban Item Group Option 1 Option 2 Option 3 Option 4 ---- ----- ------------ ------------ ------------ ------------ 3 TOTAL 95 (0.317) 112 (0.373) 46*(0.153) 47 (0.157) High 28 (0.337) 41 (0.494) 7 (0.084) 7 (0.084) Low 36 (0.343) 28 (0.267) 17 (0.162) 24 (0.229) Diff -8(-0.006) 13#(0.227) -10(-0.078) -17(-0.144) Tabel 12. Pemilihan Option sebagai Letak Kunci Jawaban Saran Letak kunci Saran pengganti Letak kunci Butir soal Butir soal pengganti (*) (#) (*) (#) 4 Option 1 Option 4 46 Option 1 Option 2, 4 6 Option 4 Option 2 47 Option 2 Option 1 7 Option 1 Option 3, 4 49 Option 3 Option 2 10 Option 1 Option 2 53 Option 3 Option 1, 2 11 Option 2 Option 3, 4 57 Option 3 Option 1, 2 13 Option 3 Option 1,2 59 Option 2 Option 4 14 Option 1 Option 4 60 Option 4 Option 2, 3 16 Option 3 Option 4 61 Option 3 Option 4 19 Option 3 Option 2 64 Option 3 Option 1, 2 21 Option 2 Option 1 65 Option 2 Option 4 22 Option 3 Option 1 67 Option 3 Option 1, 2 26 Option 1 Option 2 69 Option 3 Option 2 27 Option 2 Option 1, 4 70 Option 2 Option 4 28 Option 4 Option 2 71 Option 4 Option 2 29 Option 2 Option 4 72 Option 3 Option 4 31 Option 2 Option 1 73 Option 2 Option 1, 3 34 Option 1 Option 4 75 Option 3 Option 2 37 Option 1 Option 4 76 Option 2 Option 3, 4 39 Option 2 Option 1 78 Option 3 Option 2, 4 43 Option 1 Option 3, 4 3 Option 3 Option 2 Analisis Kualitas Soal Di Perguruan Tinggi Berbasis ... − 21 Akbar Iskandar, Muhammad Rizal