Membaca Output Hasil Analisis Program Quest

Tulisan sebelumnya telah menjelaskan bagaimana cara menganalisis item dengan program Quest, mulai dari membuat data file sampai menjalankan program Quest. Dari hasil analisis dengan Quest kita telah memperoleh empat file output, yakni TPAsh, TPAit, TPAca, TPAtn yang semuanya memiliki format .out. Sekarang kita akan melihat satu per satu file tersebut dan melihat informasi apa yang bisa kita peroleh dari masing-masing file tersebut.

Hasil Analisis Secara Simultan
Hasil analisis secara simultan dapat dilihat pada file TPAsh.out. File ini menyajikan ringkasan statistik analisis item dan analisis subjek kita.


Data di atas merupakan rangkuman statistik item dan subjek kita. Data ini menyajikan mean, SD, mean INFIT dan OUTFIT dan juga reliabilitas baik itu pada item maupun subjek. Dari data tersebut diketahui nilai person reliability adalah 0,51 dan nilai item reliability adalah 0,94. Hal ini menunjukkan bahwa konsistensi jawaban dari subjek kita masih lemah, namun kualitas butir soal dalam instrumen aspek reliabilitasnya cukup baik. Temuan ini serupa dengan yang dihasilkan dari analisis dengan winstep
 
Selain menyajikan data statistik, Quest juga mampu menyajikan peta item dan person. Bagian sebelah kanan merupakan nomor item, sedangkan bagian sebelah kiri adalah pesebaran subjek dimana setiap tanda silang mewakili 50 subjek. Pesebaran item dan subjek disusun dengan skala yang sama sehingga secara umum dapat kita ketahui bahwa soal yang ada memiliki tingkat kesulitan yang lebih tinggi daripada kemampuan subjek. Item nomer 38 merupakan item yang paling sulit, dan secara teoritis tidak ada subjek yang mampu menjawab soal tersebut karena kemampuannya masih di bawah tingkat kesulitan soal tersebut.


Tampilan di atas merupakan distribusi item berdasarkan kecocokannya dengan model. Parameter yang digunakan adalah INFIT MNSQ. Garis putus-putus secara vertikal menandakan rentang nilai INFIT MNSQ yang diterima, yakni antara 0,77 – 1,30 (Adam & Khoo, 1996). Dari gambar tersebut dapat kita ketahui bahwa semua item berada di range nilai yang diterima, sehingga semua item fit dengan model.

Hasil Analisis tentang Item
Hasil analisis tentang item dapat dilihat di dalam file TPAit.out. File ini merupakan versi lengkap dari gambar sebelumnya yang memuat kecocok item dengan model.


Dari gambar di atas dapat diketahui bahwa item nomer 1, dari 185 orang yang menjawab, ada 38 orang yang menjawab dengan benar. Sedangkan angka 0,58 merupatan tingkat kesulitan item (b). Semakin tinggi nilainya, semakin sulit soal tersebut. Untuk nilai b semakin mendekati -2 berarti item tersebut terlalu mudah, begitu juga sebaliknya, semakin mendekati 2 berarti item tersebut terlalu sulit.  Nilai INFIT dan OUTFIT adalah untuk menguji ketepatan item dengan model. Dalam Quest ditetapkan suatu item akan fit dengan model jika nilai INFIT MNSQ berkisar antara 0,77 – 1,33 (Adam & Khoo, 1996). Ada juga yang menggunakan pengujian berdasar nilai INFIT t, yakni menggunakan kisaran antara -2 sampai +2 (Bond & Fox, 2007).

Hasil Analisis Tentang Subjek
Hasil analisis tentang item dapat dilihat di dalam file TPAca.out.


Dari gambar di atas dapat diketahui bahwa subjek nomer 1 (001LK) memiliki skor mentah 13 (jawaban benar 13) dari 40 soal yang dia kerjakan. Estimates merupakan nilai abilitas (θ) setelah dikalibrasikan.  Untuk subjek nomer 1 nilai abilitasnya yaitu -0,82. Semakin tinggi nilai abilitasnya, semakin pintar orang tersebut.  Nilai INFIT dan OUTFIT juga berfungsi sama dengan pada analisis item, yakni untuk menguji ketepatan subjek dengan model. Dalam Quest ditetapkan suatu subjek akan fit dengan model jika nilai INFIT MNSQ berkisar antara 0,77 – 1,33 (Adam & Khoo, 1996). Ada juga yang menggunakan pengujian berdasar nilai INFIT t, yakni menggunakan kisaran antara -2 sampai +2 (Bond & Fox, 2015).

Hasil Analisis tentang Item dengan Teori Klasik
Salah satu kelebihan Quest yaitu mampu menganalisis tes dalam pendekatan modern maupun klasik secara bersamaan. Untuk melihat hasil analisis Teori Tes klasik dapat dilihat pada file TPAtn.out.

Dari gambar di atas kita dapat melihat tiga parameter analisis item pada teori tes klasik, yakni tingkat kesulitan, daya diskriminasi, dan efektivitas distraktor. Pada Quest, tingkat kesulitan dituliskan dalam bentuk persen, bukan proporsi seperti di iteman. Pada contoh di atas item 1 memiliki tingkat kesulitan 20,5% atau 0,20. Hal ini berarti item cukup sulit. Ingat, pada analsis klasik, indeks tingkat kesulitan yang rendah menandakan item yang sulit. Daya diskriminasi item nomer 1 adalah 0,16 (dilihat dari nilai pt-biserial). Hal ini berarti item nomer 1 masih perlu diperbaiki. Untuk melihat efektivitas distraktor, kita lihat presentase subjek dalam memilih opsi yang ada. Pada nomer 1, ternyata semua opsi distraktor dipilih oleh subjek dan pt-biserialnya lebih rendah dari kunci (kunci diberi tanda *). Hal ini menandakan distraktor kita sudah berfungsi dengan baik. Panduan menilai item dari pendekatan teori klasi dapat dibaca ulang disini. Selain tiga parameter teori klasik, output ini juga masih menyajikan hasil analisis tes modern yakni adanya tresholds/nilai logit/tingkat kesulitan Rasch, error, dan INFIT MNSQ.


Selain pada level item, output file ini juga menyajikan informasi mengenai instrumen tes. Dari gambar dapat diketaui tes memiliki nilai mean 13,10 dengan SD 4,09. Reliabilitas internal consistency (Alpha) adalah 0,54 yang berarti tes masih perlu diperbaiki. Di situ juga disebutkan bahwa perhitungan mean, SD, dan Reliabilitas Alpha di kasus ini mengasumsikan jawaban yang kosong diskor sebagai jawaban salah (0).

Referensi
Adam, R.J. & Khoo S.T. (1996). Acer Quest: The Interactive Test Analysis System. Victoria: The Australia Council for Educational Research, 2010, Hlm 1-24


Bond, T. G., & Fox, C. M. (2015). Applying the Rasch Model Fundamental Measurement in the Human Sciences, Third Edition. New York: Routledge

Mahasiswa PhD di ELTE, Hungaria. Dosen Psikologi di UMM, Indonesia.

Share this

Related Posts

Previous
Next Post »

8 komentar

Write komentar
October 11, 2018 at 11:24 PM delete

misi mas mau nanya dibagian "Dalam Quest ditetapkan suatu subjek akan fit dengan model jika nilai INFIT MNSQ berkisar antara 0,77 – 1,33 (Adam & Khoo, 1996)."
yang di maksud fit dengan model itu maksud ny telah memenuhi asumsi-asumsi IRT (unidimensi, independensi lokal, dan invarian) ya?
mohon jawabannya terima kasih

Reply
avatar
October 12, 2018 at 8:18 PM delete

Bukan, fit disini maksudnya subjek berperilaku konsisten sesuai dengan model. Artinya subjek dengan kemampuan dibawah tingkat kesulitan item, akan menjawab salah item tersebut, dan subjek di atas tingkat kesulitan item akan menjawab benar. Semakin banyak subjek yang berperilaku konsisten akan semakin fit

Reply
avatar
October 15, 2018 at 12:01 AM delete

terima kasih mas
maaf saya salah copas dan kurang teliti karena seharusnya yang saya copas bagian 'item' bukan 'subjek' jadi pertanyaan saya tidak nyambung
arinya jika item fit itu item yang sudah memenuhi asumsi-asumsi IRT ya?

Reply
avatar
October 15, 2018 at 7:34 PM delete

Bukan, item yang fit artinya item tersebut berperilaku konsisten sesuai model. Item fit bisa mengindikasikan terpenuhi/tidaknya asumsi, tapi pada dasarnya asumsi diverifikasi dengan teknik yang lain (misal: unidimensionalitas dgn analisis faktor)

Reply
avatar
October 16, 2018 at 7:23 AM delete

wah terima kasih banyak mas saya jadi dapat pencerahan
apa boleh saya minta kontak mas hanif agar saya bisa bertanya lebih?
karena saya sedang melakukan penelitian tentang IRT

Reply
avatar
June 18, 2019 at 12:00 AM delete

Tidak berbagi link untuk download Quest ya mas? hehehe

Reply
avatar
October 18, 2020 at 10:29 PM delete

Permisi mas, saya mau bertanya kalau saya menganalisis soal essay daya diskriminasinya yang dilihat yang mana ya? Kemudian untuk tingkat kesulitan juga saya lihat yang mana ya? Terimakasih

Reply
avatar
August 23, 2022 at 8:33 AM delete

Assalamualaikum bg. Boleh bagi Link untuk Program Quest nya?

Reply
avatar
Tulisan sebelumnya telah menjelaskan bagaimana cara menganalisis item dengan program Quest, mulai dari membuat data file sampai menjalankan program Quest. Dari hasil analisis dengan Quest kita telah memperoleh empat file output, yakni TPAsh, TPAit, TPAca, TPAtn yang semuanya memiliki format .out. Sekarang kita akan melihat satu per satu file tersebut dan melihat informasi apa yang bisa kita peroleh dari masing-masing file tersebut.

Hasil Analisis Secara Simultan
Hasil analisis secara simultan dapat dilihat pada file TPAsh.out. File ini menyajikan ringkasan statistik analisis item dan analisis subjek kita.


Data di atas merupakan rangkuman statistik item dan subjek kita. Data ini menyajikan mean, SD, mean INFIT dan OUTFIT dan juga reliabilitas baik itu pada item maupun subjek. Dari data tersebut diketahui nilai person reliability adalah 0,51 dan nilai item reliability adalah 0,94. Hal ini menunjukkan bahwa konsistensi jawaban dari subjek kita masih lemah, namun kualitas butir soal dalam instrumen aspek reliabilitasnya cukup baik. Temuan ini serupa dengan yang dihasilkan dari analisis dengan winstep
 
Selain menyajikan data statistik, Quest juga mampu menyajikan peta item dan person. Bagian sebelah kanan merupakan nomor item, sedangkan bagian sebelah kiri adalah pesebaran subjek dimana setiap tanda silang mewakili 50 subjek. Pesebaran item dan subjek disusun dengan skala yang sama sehingga secara umum dapat kita ketahui bahwa soal yang ada memiliki tingkat kesulitan yang lebih tinggi daripada kemampuan subjek. Item nomer 38 merupakan item yang paling sulit, dan secara teoritis tidak ada subjek yang mampu menjawab soal tersebut karena kemampuannya masih di bawah tingkat kesulitan soal tersebut.


Tampilan di atas merupakan distribusi item berdasarkan kecocokannya dengan model. Parameter yang digunakan adalah INFIT MNSQ. Garis putus-putus secara vertikal menandakan rentang nilai INFIT MNSQ yang diterima, yakni antara 0,77 – 1,30 (Adam & Khoo, 1996). Dari gambar tersebut dapat kita ketahui bahwa semua item berada di range nilai yang diterima, sehingga semua item fit dengan model.

Hasil Analisis tentang Item
Hasil analisis tentang item dapat dilihat di dalam file TPAit.out. File ini merupakan versi lengkap dari gambar sebelumnya yang memuat kecocok item dengan model.


Dari gambar di atas dapat diketahui bahwa item nomer 1, dari 185 orang yang menjawab, ada 38 orang yang menjawab dengan benar. Sedangkan angka 0,58 merupatan tingkat kesulitan item (b). Semakin tinggi nilainya, semakin sulit soal tersebut. Untuk nilai b semakin mendekati -2 berarti item tersebut terlalu mudah, begitu juga sebaliknya, semakin mendekati 2 berarti item tersebut terlalu sulit.  Nilai INFIT dan OUTFIT adalah untuk menguji ketepatan item dengan model. Dalam Quest ditetapkan suatu item akan fit dengan model jika nilai INFIT MNSQ berkisar antara 0,77 – 1,33 (Adam & Khoo, 1996). Ada juga yang menggunakan pengujian berdasar nilai INFIT t, yakni menggunakan kisaran antara -2 sampai +2 (Bond & Fox, 2007).

Hasil Analisis Tentang Subjek
Hasil analisis tentang item dapat dilihat di dalam file TPAca.out.


Dari gambar di atas dapat diketahui bahwa subjek nomer 1 (001LK) memiliki skor mentah 13 (jawaban benar 13) dari 40 soal yang dia kerjakan. Estimates merupakan nilai abilitas (θ) setelah dikalibrasikan.  Untuk subjek nomer 1 nilai abilitasnya yaitu -0,82. Semakin tinggi nilai abilitasnya, semakin pintar orang tersebut.  Nilai INFIT dan OUTFIT juga berfungsi sama dengan pada analisis item, yakni untuk menguji ketepatan subjek dengan model. Dalam Quest ditetapkan suatu subjek akan fit dengan model jika nilai INFIT MNSQ berkisar antara 0,77 – 1,33 (Adam & Khoo, 1996). Ada juga yang menggunakan pengujian berdasar nilai INFIT t, yakni menggunakan kisaran antara -2 sampai +2 (Bond & Fox, 2015).

Hasil Analisis tentang Item dengan Teori Klasik
Salah satu kelebihan Quest yaitu mampu menganalisis tes dalam pendekatan modern maupun klasik secara bersamaan. Untuk melihat hasil analisis Teori Tes klasik dapat dilihat pada file TPAtn.out.

Dari gambar di atas kita dapat melihat tiga parameter analisis item pada teori tes klasik, yakni tingkat kesulitan, daya diskriminasi, dan efektivitas distraktor. Pada Quest, tingkat kesulitan dituliskan dalam bentuk persen, bukan proporsi seperti di iteman. Pada contoh di atas item 1 memiliki tingkat kesulitan 20,5% atau 0,20. Hal ini berarti item cukup sulit. Ingat, pada analsis klasik, indeks tingkat kesulitan yang rendah menandakan item yang sulit. Daya diskriminasi item nomer 1 adalah 0,16 (dilihat dari nilai pt-biserial). Hal ini berarti item nomer 1 masih perlu diperbaiki. Untuk melihat efektivitas distraktor, kita lihat presentase subjek dalam memilih opsi yang ada. Pada nomer 1, ternyata semua opsi distraktor dipilih oleh subjek dan pt-biserialnya lebih rendah dari kunci (kunci diberi tanda *). Hal ini menandakan distraktor kita sudah berfungsi dengan baik. Panduan menilai item dari pendekatan teori klasi dapat dibaca ulang disini. Selain tiga parameter teori klasik, output ini juga masih menyajikan hasil analisis tes modern yakni adanya tresholds/nilai logit/tingkat kesulitan Rasch, error, dan INFIT MNSQ.


Selain pada level item, output file ini juga menyajikan informasi mengenai instrumen tes. Dari gambar dapat diketaui tes memiliki nilai mean 13,10 dengan SD 4,09. Reliabilitas internal consistency (Alpha) adalah 0,54 yang berarti tes masih perlu diperbaiki. Di situ juga disebutkan bahwa perhitungan mean, SD, dan Reliabilitas Alpha di kasus ini mengasumsikan jawaban yang kosong diskor sebagai jawaban salah (0).

Referensi
Adam, R.J. & Khoo S.T. (1996). Acer Quest: The Interactive Test Analysis System. Victoria: The Australia Council for Educational Research, 2010, Hlm 1-24


Bond, T. G., & Fox, C. M. (2015). Applying the Rasch Model Fundamental Measurement in the Human Sciences, Third Edition. New York: Routledge

8 comments

  1. misi mas mau nanya dibagian "Dalam Quest ditetapkan suatu subjek akan fit dengan model jika nilai INFIT MNSQ berkisar antara 0,77 – 1,33 (Adam & Khoo, 1996)."
    yang di maksud fit dengan model itu maksud ny telah memenuhi asumsi-asumsi IRT (unidimensi, independensi lokal, dan invarian) ya?
    mohon jawabannya terima kasih

    ReplyDelete
    Replies
    1. Bukan, fit disini maksudnya subjek berperilaku konsisten sesuai dengan model. Artinya subjek dengan kemampuan dibawah tingkat kesulitan item, akan menjawab salah item tersebut, dan subjek di atas tingkat kesulitan item akan menjawab benar. Semakin banyak subjek yang berperilaku konsisten akan semakin fit

      Delete
    2. terima kasih mas
      maaf saya salah copas dan kurang teliti karena seharusnya yang saya copas bagian 'item' bukan 'subjek' jadi pertanyaan saya tidak nyambung
      arinya jika item fit itu item yang sudah memenuhi asumsi-asumsi IRT ya?

      Delete
    3. Bukan, item yang fit artinya item tersebut berperilaku konsisten sesuai model. Item fit bisa mengindikasikan terpenuhi/tidaknya asumsi, tapi pada dasarnya asumsi diverifikasi dengan teknik yang lain (misal: unidimensionalitas dgn analisis faktor)

      Delete
    4. wah terima kasih banyak mas saya jadi dapat pencerahan
      apa boleh saya minta kontak mas hanif agar saya bisa bertanya lebih?
      karena saya sedang melakukan penelitian tentang IRT

      Delete
  2. Tidak berbagi link untuk download Quest ya mas? hehehe

    ReplyDelete
  3. Permisi mas, saya mau bertanya kalau saya menganalisis soal essay daya diskriminasinya yang dilihat yang mana ya? Kemudian untuk tingkat kesulitan juga saya lihat yang mana ya? Terimakasih

    ReplyDelete
  4. Assalamualaikum bg. Boleh bagi Link untuk Program Quest nya?

    ReplyDelete

Artikel Lainnya