Penetapan suatu tes bahasa ke dalam Kerangka Acuan Bersama Eropa untuk Bahasa (CEFR) merupakan suatu proses validasi yang kompleks. Klaim bahwa suatu tes sesuai dengan tingkat CEFR tertentu bukanlah fakta yang dapat diamati secara langsung, melainkan harus didukung oleh bukti teoretis dan empiris. Pengumpulan dan evaluasi bukti ini berlangsung dalam kerangka validasi klaim validitas yang bersangkutan.
(lihat Dewan Eropa, 2009, hlm. 7)Jika, sebagai pengambil keputusan, Anda memerlukan bukti kemampuan berbahasa dari seorang pelamar untuk tujuan tertentu, Anda umumnya akan diberikan sertifikat bahasa atau hasil tes yang sesuai. Dokumen tersebut pada dasarnya berisi hasil pengukuran yang ditentukan berdasarkan kondisi metodologis dan terkait ujian tertentu. Jika Anda menggunakannya, misalnya, dalam prosedur resmi untuk menilai kompetensi bahasa, dokumen tersebut dapat berfungsi sebagai bukti (lihat Pasal 26 Ayat 1 Kalimat 1 dan Kalimat 2 No. 3 Undang-Undang Prosedur Administrasi Jerman). Namun, hasil pengukuran tersebut hanya memperoleh signifikansinya melalui interpretasi yang profesional dan berbasis bukti. Oleh karena itu, pertanyaan krusialnya bukanlah hanya hasil apa yang tertulis di atas kertas, tetapi atas dasar ilmiah apa hasil pengukuran ini dapat dievaluasi secara andal.
Validitas interpretasi tersebut sebagian besar bergantung pada apakah proses pengujian yang mendasarinya berlandaskan ilmiah, dapat diandalkan secara teknis, dan terkontrol secara organisasi. Oleh karena itu, yang penting bukanlah sekadar nilai pengukuran, tetapi kualitas keseluruhan sistem yang menghasilkannya.
Untuk menilai keandalan sertifikat bahasa, oleh karena itu perlu untuk memeriksa kondisi di mana data tes dikumpulkan, diproses, dan diinterpretasikan. Proses terkontrol ini menghasilkan bukti yang diperlukan untuk memungkinkan evaluasi ilmiah terhadap kualitas tes.
Namun, bukti-bukti individual ini belum cukup untuk menjadi justifikasi yang meyakinkan bagi interpretasi hasil tes. Hanya melalui integrasi sistematisnya dalam argumen validasi, barulah muncul dasar yang dapat dipahami secara ilmiah mengapa pernyataan spesifik tentang kompetensi bahasa seseorang dapat disimpulkan dari hasil tes yang konkret.
Bagian-bagian berikut ini pertama-tama menjelaskan infrastruktur pembuatan bukti – yaitu, standar, proses, dan mekanisme kontrol yang digunakan untuk menghasilkan bukti yang andal. Selanjutnya, bagian ini menjelaskan bagaimana bukti ini secara sistematis diintegrasikan dalam pendekatan validasi kami dan atas dasar ilmiah apa interpretasi hasil pengujian kami didasarkan.
Untuk secara objektif menunjukkan bahwa sertifikat bukanlah janji kosong, sebuah organisasi pengujian membutuhkan bukti empiris yang kuat (data psikometrik, analisis reliabilitas, dokumentasi validasi). Penelitian pengujian modern menekankan premis utama: tidak ada "tes yang valid" atau "hasil tes yang valid" secara inheren—validitas hanya dapat dicapai melalui interpretasi dan penggunaan hasil tersebut untuk tujuan tertentu.
Hanya sistem manajemen mutu yang komprehensif dan metodis yang dapat menjamin bahwa penyedia tes terus menerus menghasilkan data mentah yang bersih dan tidak bias, yang sangat penting untuk membenarkan interpretasi yang valid tentang kemampuan berbahasa. Karena bukti tersebut hanya dapat dipercaya jika tidak dihasilkan secara sembarangan, diperlukan arsitektur sistem yang ketat dan independen. Arsitektur ini bertumpu pada lima pilar:
Standar adalah seperangkat aturan terdokumentasi yang menjelaskan persyaratan, kriteria, atau rekomendasi untuk proses, prosedur, atau layanan tertentu. Standar menciptakan kerangka kerja umum untuk secara sistematis memastikan kualitas, keterbandingan, transparansi, dan ketertelusuran. Standar dapat dikembangkan dan dipublikasikan oleh berbagai pemangku kepentingan dan berfungsi untuk mendefinisikan praktik terbaik, persyaratan teknis, dan tolok ukur kualitas secara transparan dan mudah dipahami.
Deutschtest.digital mendasarkan pengembangan, administrasi, evaluasi, dan jaminan kualitas berkelanjutan dari tes bahasanya pada persyaratan DIN ISO 29992. Dengan ISO 29992 ("Evaluasi hasil layanan pembelajaran"), komite standar internasional ISO/TC 232 ("Layanan Pendidikan dan Pembelajaran") telah menerbitkan standar khusus yang ditujukan untuk organisasi yang menyediakan layanan pembelajaran dan mengembangkan, memilih, atau menerapkan penilaian. Standar internasional ISO 29992 telah diadopsi ke dalam sistem standar nasional oleh Institut Standardisasi Jerman (DIN) sebagai DIN ISO 29992.
Standar ini merumuskan persyaratan kualitas spesifik untuk perencanaan, pengembangan, administrasi, dan evaluasi asesmen, dan secara eksplisit mencakup pengukuran kemampuan berbahasa sesuai dengan Kerangka Acuan Bersama Eropa untuk Bahasa (CEFR). Tidak seperti pedoman yang murni bersifat teoritis tes, ISO 29992 terutama berasal dari logika manajemen layanan yang terjamin kualitasnya. Bagi Deutschtest.digital, standar ini membentuk kerangka kerja organisasi dan metodologis utama untuk penjaminan kualitas. Standar ini mendukung kami dalam menghasilkan bukti yang andal, mendokumentasikan proses pengujian secara transparan, dan memastikan kualitas tes bahasa kami yang konsisten sesuai dengan standar yang dapat diverifikasi dan dilacak. Pada saat yang sama, standar ini memberikan kepastian hukum, kelembagaan, dan metodologis yang komprehensif kepada para pengambil keputusan.
Persyaratan ISO 29992 disusun ke dalam bab-bab utama berikut:
DIN ISO 29992 tidak hanya memberikan kerangka kerja mutu formal kepada Deutschtest.digital, tetapi juga menciptakan dasar sistematis untuk pengembangan, administrasi, dan peninjauan berkelanjutan terhadap tes bahasa kami. Keuntungan utama dari penerapan standar ini terutama terletak pada bidang-bidang berikut:
Memastikan arsitektur keamanan yang mengikat: Standar ini mendefinisikan persyaratan untuk rencana keamanan yang terstruktur. Organisasi yang menerapkan DIN ISO 29992 harus secara sistematis menerapkan langkah-langkah pencegahan terhadap manipulasi (pencegahan penipuan) dan menjaga integritas tugas serta keamanan informasi dan identitas melalui proses yang telah ditentukan.
Jaminan mutu berkelanjutan melalui manajemen siklus hidup: Dengan mensyaratkan proses pemeliharaan dan pemantauan berkelanjutan (rencana pemeliharaan), ISO 29992 mendukung jaminan mutu pengujian jangka panjang. Alih-alih tinjauan satu kali, standar ini menganggap evaluasi dan peningkatan prosedur pengujian secara berkelanjutan sebagai komponen penting dari jaminan mutu. Hal ini memungkinkan perubahan dalam kualitas pengujian diidentifikasi sejak dini dan dikoreksi melalui langkah-langkah yang didukung secara empiris.
Keterkaitan teknis dengan Kerangka Acuan Bersama Eropa (CEFR): Struktur standar ini memungkinkan transfer persyaratan kualitas umum secara sistematis ke diagnostik bahasa. Hal ini memungkinkan persyaratan ISO 29992 untuk dikaitkan dengan deskripsi kompetensi berbasis teori dari Kerangka Acuan Bersama Eropa untuk Bahasa (CEFR) dan memungkinkan penetapan hasil tes ke tingkat bahasa dapat dibenarkan secara komprehensif.
Penjelasan yang transparan mengenai interpretasi dan penggunaan hasil: ISO 29992 mensyaratkan penyajian yang jelas tentang hubungan antara hasil penilaian dan interpretasinya. Hal ini memberikan dasar untuk deskripsi yang dapat dipahami secara ilmiah tentang kesimpulan apa yang dapat ditarik dari hasil pengujian dan untuk tujuan apa sertifikat tersebut dapat digunakan.
Dasar untuk argumen validasi yang berlandaskan sains: Keunggulan utama ISO 29992 adalah mendukung pembuatan dan dokumentasi bukti yang relevan secara terstruktur. Dikombinasikan dengan metode psikometrik, hal ini menciptakan basis bukti yang kuat yang dapat digunakan untuk mengembangkan argumen validasi yang berlandaskan sains. Argumen ini memungkinkan interpretasi dan penggunaan hasil tes untuk dibenarkan secara transparan, komprehensif, dan dengan bukti profesional yang kuat.
Lembaga sertifikasi independen adalah organisasi eksternal dan tidak memihak yang memverifikasi dan mengkonfirmasi bahwa suatu organisasi memenuhi persyaratan atau standar kualitas yang ditentukan. Lembaga ini tidak mengevaluasi kinerja organisasi yang disertifikasi itu sendiri, melainkan melakukan audit independen terhadap proses, struktur, dan bukti yang terdokumentasi. Penilaian eksternal ini menciptakan lapisan kepercayaan tambahan, karena jaminan kualitas bukanlah tanggung jawab organisasi itu sendiri semata.
Ciri utama sertifikasi independen adalah pemisahan antara penilaian dan keputusan sertifikasi. Peninjauan proses dan bukti dilakukan oleh auditor ahli, sedangkan keputusan sertifikasi akhir dibuat oleh badan independen. Hal ini menghindari penilaian mandiri dan potensi konflik kepentingan, sehingga menjamin objektivitas dan kredibilitas sertifikasi.
Untuk penjaminan mutu eksternal, kami berkolaborasi dengan badan sertifikasi independen DeuZert . DeuZert menjamin integritas, kredibilitas, dan penerimaan penuh atas keputusan sertifikasinya. Dengan lebih dari dua dekade keahlian, DeuZert memiliki pengetahuan spesialis yang komprehensif di sektor pendidikan dan sertifikasi.
Nilai tambah utama dari sertifikasi independen oleh DeuZert terletak pada kenyataan bahwa kualitas proses yang diimplementasikan tidak hanya dinilai oleh organisasi itu sendiri, tetapi juga melalui tinjauan ahli eksternal. Hal ini menciptakan tingkat kepercayaan tambahan bagi para pengambil keputusan. Aspek-aspek berikut ini sangat relevan:
Setelah berhasil menyelesaikan proses audit, DeuZert telah menerbitkan sertifikat kesesuaian dengan DIN ISO 29992 kepada kami . Dokumen ini menegaskan bahwa prosedur yang diterapkan di Deutschtest.digital untuk perencanaan, pengembangan, pelaksanaan, dan evaluasi asesmen di bidang kemampuan berbahasa Jerman memenuhi persyaratan standar dan telah dievaluasi sebagai bagian dari audit eksternal independen.
Dengan demikian, sertifikat kesesuaian berfungsi sebagai bukti formal bahwa Deutschtest.digital menyelaraskan proses pengujiannya dengan standar yang diakui secara internasional untuk penilaian hasil pembelajaran. Sertifikat ini menegaskan implementasi sistematis prosedur yang sesuai dengan standar untuk memastikan transparansi, keterbandingan, dan kualitas hasil pengujian.
Lihat sertifikatStandar internasional menetapkan pemisahan yang ketat antara penilaian dan pengambilan keputusan sertifikasi. Tinjauan aktual terhadap organisasi pengujian (audit) dilakukan oleh auditor independen yang berkualifikasi tinggi. Mereka memeriksa bukti empiris, mengevaluasi arsitektur sistem dalam praktiknya, dan mendokumentasikan temuan mereka dalam laporan audit, yang berfungsi sebagai dasar faktual netral untuk keputusan selanjutnya dari badan sertifikasi.
Audit pengawasan dilakukan oleh jaringan pakar pendidikan, penguji, auditor, dan asesor berpengalaman yang bertindak atas nama DeuZert. Penggunaan tim yang sangat khusus ini memastikan bahwa evaluasi proses dan bukti kami tidak hanya bersifat administratif, tetapi juga dilakukan dengan tingkat keahlian tertinggi dalam teori pengujian konten dan bahasa.
Peraturan audit adalah aturan prosedural yang mengikat dan secara tepat mendefinisikan bagaimana badan sertifikasi harus melakukan audit. Peraturan ini mengatur proses peninjauan dokumen, pengambilan sampel, wawancara, dan audit di lokasi atau sistem untuk mencegah kesewenang-wenangan dan menjamin kualitas audit yang dapat direproduksi.
Prosedur audit untuk ISO 29992 tunduk pada persyaratan standar utama DIN EN ISO/IEC 17065. Standar ini tidak mengatur pengujian itu sendiri, melainkan metode kerja, independensi, dan kompetensi badan sertifikasi. Hal ini memastikan bahwa audit eksternal bebas dari konflik kepentingan komersial atau internal. Hasilnya adalah konfirmasi eksternal independen atas implementasi proses pengujian dan penilaian yang sesuai dengan standar, berdasarkan landasan profesional dan metodologis yang terdokumentasi secara transparan.
Penilaian kemampuan berbahasa yang baik memerlukan dasar data yang andal. Bukti kualitas tes terutama bergantung pada kategori bukti utama berikut:
Dokumen-dokumen ini menetapkan landasan strategis dan kontraktual sebelum pengembangan tes yang sebenarnya dimulai. Dokumen-dokumen ini mencatat analisis kebutuhan sistematis dari kelompok sasaran serta perjanjian yang mengikat mengenai tujuan pasti dari tes tersebut.
Kategori ini mencakup cetak biru terperinci dan protokol pengujian untuk jaminan kualitas konten. Hal ini menunjukkan bahwa setiap item pengujian memenuhi spesifikasi teknis dan tingkat CEFR yang ditargetkan.
Mereka menjamin proses ujian yang sepenuhnya seragam, terstandarisasi, dan anti-kecurangan di semua lokasi pengujian. Ini termasuk panduan untuk pengawas ujian, pemeriksaan identitas kandidat yang ketat, dan rencana keamanan TI yang terperinci.
Dokumen-dokumen ini mengatur pemberian poin secara objektif, bebas kesalahan, dan tidak bias. Dokumen ini berisi kunci jawaban, pedoman penilaian untuk penguji, dan bukti keakuratan prosedur evaluasi otomatis.
Dokumen-dokumen ini menunjukkan kualifikasi profesional, akademis, dan diagnostik dari seluruh personel pengujian dan penilaian. Selain itu, dokumen-dokumen ini mendokumentasikan pelatihan sistematis dan konsep kursus penyegaran berkala untuk memastikan standar penilaian yang seragam.
Mereka memberikan bukti ilmiah dan statistik tentang kualitas psikometrik sebenarnya dari tes tersebut. Bukti tersebut mencakup perhitungan tentang akurasi pengukuran (reliabilitas), keadilan di seluruh subkelompok, dan struktur dimensi yang sesuai dengan teori.
Proses-proses ini mengontrol pemantauan kualitas berkelanjutan dan pembaruan rutin pengujian selama operasi. Proses ini menetapkan metrik statistik untuk siklus hidup tugas guna memastikan bahwa material yang digunakan diganti secara tepat waktu dan terstandarisasi.
Mereka menjaga hak, martabat, dan perlindungan kandidat ujian selama seluruh proses. Ini termasuk pedoman banding dan pengaduan yang transparan, dukungan pengguna yang mudah dipahami, dan konsep keamanan data yang ketat.
Bukti yang dihasilkan dalam arsitektur penjaminan mutu pada awalnya terdiri dari bukti-bukti individual mengenai kualitas dan fungsionalitas prosedur pengujian. Hanya melalui integrasi sistematisnya dalam argumen validasi, muncul pembenaran yang komprehensif mengapa pernyataan spesifik tentang kompetensi bahasa seseorang dapat disimpulkan dari hasil tes.
Jika para pengembang tes mempertimbangkan kriteria kualitas ilmiah secara terpisah, mereka berisiko kehilangan pandangan terhadap logika dan tujuan menyeluruh dari tes tersebut. Kualitas tes bahasa tidak hanya dihasilkan dari tugas-tugas individual atau parameter statistik, tetapi dari interaksi semua komponen prosedur pengujian. Dalam penelitian pengujian bahasa modern, validitas suatu tes dipahami—dipengaruhi, antara lain, oleh karya Bachman & Palmer, Michael Kane, dan Carol Chapelle—sebagai konsep kualitas yang komprehensif dan multidimensional. Pertanyaan krusial bukanlah apakah kriteria kualitas individual terpenuhi, tetapi apakah kesimpulan yang diambil dari hasil tes dapat dibenarkan secara keseluruhan.
Pertanyaan ini sangat penting karena hasil tes bahasa seringkali memiliki konsekuensi yang luas terhadap keputusan pendidikan, karier, dan tempat tinggal. Oleh karena itu, penyedia tes memikul tanggung jawab profesional dan etis yang khusus. Mereka tidak hanya harus memastikan kualitas prosedur pengujian mereka, tetapi juga mampu menunjukkan kualitas ini secara transparan. Justru dari kebutuhan inilah konsep yang disebut argumen validitas berkembang dalam penelitian validitas modern.
Secara historis, pendekatan ini muncul pada tahun 1990-an dan 2000-an sebagai respons inovatif terhadap model validitas ilmiah yang sebelumnya sangat abstrak, yang menawarkan sedikit panduan konkret untuk praktik pengujian di dunia nyata. Peneliti Amerika Michael Kane menerapkan teori argumentasi praktis dari filsuf Stephen Toulmin pada teori pengujian. Linguis terkenal Carol Chapelle kemudian mengembangkan logika ini lebih lanjut secara khusus untuk penelitian pengujian bahasa – ia terkenal di dunia karena validasi perintisnya terhadap TOEFL iBT yang dimulai pada tahun 2008. Ia menyempurnakan model tersebut menjadi rangkaian tujuh langkah inferensi yang tepat, yang saat ini mewakili pendekatan modern yang mapan untuk justifikasi dan dokumentasi interpretasi tes secara sistematis.
Manfaat penting dari pendekatan ini terletak pada pembebasan organisasi pengujian bahasa dari peran pasif sebagai "penerbit sertifikat " semata. Alih-alih hanya menyerahkan dokumen individual yang tidak terorganisir atau daftar periksa yang kaku kepada otoritas akreditasi atau pengambil keputusan kementerian, penyedia tes sekarang dapat mengambil peran "advokasi " yang aktif dan proaktif. Hal ini memungkinkan mereka untuk memperdebatkan validitas, keadilan, dan kepastian hukum ujian mereka kepada para pengambil keputusan secara independen, transparan, dan dengan cara yang tidak dapat disangkal secara ilmiah, membuktikannya sendiri melalui rangkaian bukti yang dibangun secara sistematis.
Dengan demikian, argumen validasi menggambarkan pendekatan terstruktur yang digunakan untuk membenarkan validitas hasil tes. Titik awalnya adalah asumsi bahwa setiap tes membuat klaim tentang kemampuan berbahasa seseorang. Misalnya, jika seseorang diberi level B1 dari Kerangka Acuan Bersama Eropa untuk Bahasa (CEFR), ini menyiratkan bahwa mereka memiliki keterampilan berbahasa yang didefinisikan untuk level ini. Argumen validasi memiliki tugas untuk secara sistematis mendukung dan membenarkan klaim ini secara komprehensif.
Hal ini melibatkan pembangunan rangkaian penalaran yang koheren yang dimulai dari tugas-tugas pengujian, melalui administrasi dan evaluasi, hingga interpretasi hasil. Untuk setiap langkah, landasan teoretis dan bukti empiris (yang disebut pendukung) digunakan untuk menunjukkan bahwa asumsi yang dibuat dapat dibenarkan. Dengan demikian, argumen validasi menghubungkan bukti ilmiah dengan keputusan pengujian praktis dan menjelaskan mengapa hasil pengujian tertentu dapat dianggap sebagai bukti yang bermakna dari kompetensi bahasa yang telah ditentukan. Dengan cara ini, argumen validasi menciptakan dasar untuk kepercayaan, transparansi, dan akuntabilitas hukum dari tes bahasa.
Untuk memberikan bukti profesional yang tak terbantahkan tentang kualitas suatu tes bahasa, diagnostik modern mengikuti struktur logis yang jelas. Hanya ketika bukti empiris ada untuk masing-masing dari tujuh level ini, suatu tes dianggap sepenuhnya dapat diandalkan untuk aplikasi praktis.
Berikut ini kami sajikan arsitektur metodologis dari argumen validasi kami untuk penilaian kemampuan berbahasa Jerman. Karena argumen validasi selalu diarahkan pada domain target tertentu, tingkat kemampuan yang ditentukan, dan tujuan tertentu, basis bukti yang mendasarinya harus secara khusus terstruktur untuk interpretasi dan penggunaan hasil tes yang dimaksud. Arsitektur yang disajikan di bawah ini menggambarkan bagaimana kesimpulan (inferensi) individual dalam argumen validasi saling terkait dan jenis bukti (pendukung) apa yang diperlukan untuk secara ilmiah mendukung pernyataan yang dihasilkan. Argumen validasi lengkap dengan semua bukti empiris dan statistik akan melampaui cakupan presentasi ini. Oleh karena itu, dokumen bukti yang sesuai dicantumkan di sini sebagai contoh.
| kategori | Unser Qualitätsanspruch | Dokumen bukti (pendukung) |
|---|---|---|
| Deskripsi domain | Persyaratan linguistik dan situasi komunikatif yang relevan dari kelompok sasaran telah diidentifikasi secara akurat dan lengkap. | Spesifikasi domain target |
| perwakilan | Butir-butir soal tes secara memadai mewakili ranah yang didefinisikan dalam spesifikasi tes dengan mencakup konten dan tingkat kognitif yang dibutuhkan dalam proporsi yang tepat. | Alat Pemetaan/Cetakan Ujian |
| Relevanz | Butir-butir soal tes relevan dari segi isi dan dikalibrasi secara tepat sesuai dengan tingkat kompetensi yang diinginkan; butir-butir soal tersebut tidak mengandung sumber kesulitan yang tidak sesuai dan bukan merupakan bagian dari konstruk yang diukur. | Protokol peninjauan item, evaluasi item menggunakan lembar penilaian (termasuk bukti pengecekan level CEFR) |
| Kontrol kualitas | Proses pengembangan mencakup mekanisme kontrol editorial sistematis yang memastikan bahwa tugas-tugas yang menunjukkan kekurangan kualitatif, ambiguitas, atau bias budaya harus direvisi atau dibuang. | Protokol kontrol kualitas barang (peninjauan barang) |
Dalam literatur teori tes psikometrik dan bahasa, penggunaan cetak biru tes dan alat pemetaan merupakan metodologi wajib untuk memastikan validitas isi dan menunjukkan representasi yang tepat dari domain target. Standar untuk Pengujian Pendidikan dan Psikologis secara eksplisit merekomendasikan pembuatan struktur logis yang memetakan butir-butir tes ke domain isi (pemetaan).
Untuk memastikan cakupan ini dalam praktik, Alderson (2005) secara eksplisit mendefinisikan spesifikasi tes sebagai "cetak biru" yang harus diikuti oleh penulis tes dan item untuk menetapkan validitas konstruk suatu tes. Fulcher dan Davidson (2007) juga menyebut spesifikasi tes secara harfiah sebagai "cetak biru generatif."
| Unser Qualitätsanspruch | Dokumen bukti (pendukung) |
|---|---|
| Peraturan ujian berkualitas tinggi, berisi pedoman komprehensif dan tepat yang memastikan administrasi ujian yang terstandarisasi dan seragam secara ketat, serta peraturan yang mengikat untuk akomodasi yang adil dan sesuai dengan konstruksi (aksesibilitas). Pengawas ujian secara tegas memvalidasi identitas kandidat sesuai dengan pedoman yang berlaku menggunakan prosedur otentikasi yang andal dan terus memantau lingkungan ujian (pengawasan ruangan), sehingga secara struktural mencegah penggunaan perwakilan dan pertukaran informasi yang tidak sah. | Peraturan ujian, buku panduan pelaksanaan penilaian - kontrol ruangan & verifikasi identitas |
| Lingkungan ujian yang anti-kecurangan – terlepas dari apakah ujian berlangsung secara tatap muka atau digital – secara andal mencegah akses ke alat bantu yang tidak sah dan sepenuhnya menghilangkan upaya kecurangan melalui mekanisme kontrol yang sesuai dengan format (staf pengawas fisik, peramban aman, pengawasan jarak jauh). | Daftar persyaratan keamanan fisik dan elektronik, rencana darurat jika terjadi pelanggaran peraturan keamanan, dan langkah-langkah penanggulangan terhadap aktivitas tidak sah oleh peserta ujian. |
Identifikasi peserta tes yang jelas dan pemantauan lingkungan pengujian yang lancar merupakan syarat mutlak (preferensi penting) dari setiap prosedur pengujian yang sah secara hukum. Jika prosedur organisasi cacat dan identitas fisik peserta tes tidak dapat dikaitkan secara jelas dengan kinerja tes, semua pernyataan selanjutnya mengenai isi dan validitas statistik menjadi tidak valid.
| Unser Qualitätsanspruch | Dokumen bukti (pendukung) |
|---|---|
| Aturan dan kriteria yang tepat ada untuk semua metode evaluasi dan proses pencatatan hasil, sehingga menjamin objektivitas dan keandalan prosedural. Skala penilaian, berdasarkan tingkat referensi CEFR (pernyataan "Can-Do") dan disesuaikan dengan konteks spesifik, merupakan indikator yang valid dari sub-kompetensi bahasa yang diukur. | Buku panduan untuk melakukan penilaian, buku panduan spesifikasi penilaian: persyaratan minimum untuk perangkat lunak pengujian, kriteria penilaian untuk kinerja produktif. |
| Para asesor memiliki kualifikasi profesional yang diperlukan (misalnya, gelar universitas yang relevan) dan pengalaman mengajar yang relevan. | Sertifikat referensi kualifikasi asesor |
| Program pelatihan sistematis ini membekali para asesor dengan keterampilan yang diperlukan untuk menerapkan pedoman penilaian secara konsisten dan akurat. | Sertifikat pelatihan para asesor |
| Kontrol kualitas manual sistematis dan pemeriksaan kelayakan oleh spesialis yang berkualifikasi (campur tangan manusia) memverifikasi keakuratan proses evaluasi otomatis dan kebenaran kunci solusi. | Bukti akurasi pemrosesan teknis dari evaluasi mesin. |
| Evaluasi kinerja ujian bersifat independen dari ketelitian individual para penguji dan bebas dari bias sistematis terhadap tugas-tugas tertentu atau kelompok orang tertentu. | Konfirmasi kualitas evaluasi objektif (analisis Rasch multifaset) Nilai target: Infit/Outfit MNSQ 0,5–1,5; Bias penilai |t| ≤ 2,0. |
Dalam literatur teori psikometri dan tes bahasa, validitas penilaian kinerja diharuskan bergantung pada kriteria standar yang berlandaskan eksternal (pengukuran berbasis kriteria). Untuk mengecualikan standar subjektif, skala penilaian harus selaras secara tepat dengan sistem referensi berbasis teori yang telah ditetapkan.
| Unser Qualitätsanspruch | Dokumen bukti (pendukung) | Nilai target psikometrik |
|---|---|---|
| Butir-butir soal tes memiliki diskriminasi butir yang cukup untuk secara efektif dan andal membedakan antara kandidat dengan kemampuan bahasa yang lebih tinggi dan lebih rendah. | Bukti diskriminasi item statistik | Diskriminasi terkoreksi rit ≥ 0,30 (rentang target ≥ 0,40–0,50); frekuensi pemilihan distraktor > 5% dengan korelasi point-biserial negatif. |
| Tingkat kesulitan tugas-tugas tes tersebut secara memadai mencakup seluruh rentang kemampuan populasi sasaran. | Bukti tingkat kesulitan item yang sesuai | Tingkat kesulitan item P = 0,20 hingga 0,80 (P ≈ 0,50 optimal); probabilitas menebak P_chance = 0,25 dengan 4 pilihan. |
| Butir-butir tes berfungsi secara invarian di seluruh subkelompok yang relevan (tidak ada bias karena jenis kelamin atau bahasa pertama). | Konfirmasi keadilan tes (Fungsi Butir Diferensial / DIF) | Kategori ETS A (DIF < 1,0 atau p > 0,05; dapat diabaikan/cukup baik). |
| Unser Qualitätsanspruch | Dokumen bukti (pendukung) | Nilai target psikometrik |
|---|---|---|
| Konsistensi di seluruh bentuk tes: Hasil pengujian konsisten di berbagai versi pengujian (stabilitas level). | Bukti kualitas kesetaraan bentuk tes (reliabilitas tes paralel) | Reliabilitas bentuk paralel r ≥ 0,80 (skala pendek r ≥ 0,70); tidak ada perbedaan rata-rata yang signifikan (uji kesetaraan). |
| Konsistensi di seluruh tugas: Butir-butir tes bersifat homogen (konsistensi internal). | Bukti konsistensi internal dan homogenitas | Cronbach's α atau McDonald's ω ≥ 0,85 (target ≥ 0,90; skala pendek < 20 item: α ≥ 0,75). |
| Unser Qualitätsanspruch | Dokumen bukti (pendukung) | Nilai target psikometrik |
|---|---|---|
| Penilaian kinerja ujian oleh satu penguji bersifat stabil dan konsisten dari waktu ke waktu (konsistensi penilaian). Selain itu, penilaian oleh penguji yang berbeda tidak menunjukkan perbedaan yang signifikan dalam ketelitian (netralitas). | Bukti empiris tentang konsistensi dan netralitas penilaian. | Netralitas penilaian: p > 0,05 dan Cohen's d < 0,20 (atau ηp² parsial < 0,01); Antar penilai: ICC ≥ 0,85 (0,75–0,84 dapat diterima), κ_w ≥ 0,75; Dalam penilai: ICC ≥ 0,75, κ_w ≥ 0,75. |
| Unser Qualitätsanspruch | Dokumen bukti (pendukung) | Nilai target psikometrik |
|---|---|---|
| Representasi konstruksi: Struktur internal hasil tes sesuai dengan konstruk yang didefinisikan secara teoritis (GER). | Bukti empiris mengenai dimensi konstruk (EFA/CFA). | EFA: KMO ≥ 0,80, Bartlett p <0,05, biaya λ ≥ 0,60 (min. > 0,30); CFA: RMSEA ≤ 0,05 (hingga 0,08), SRMR ≤ 0,08, CFI dan TLI ≥ 0,95 (min. ≥ 0,90). |
| Jaringan nomologis: Hasil tes berkorelasi dengan prosedur tes standar yang telah ditetapkan (kriteria eksternal). | Bukti empiris validitas kriteria (kriteria eksternal) | Validitas konvergen: r ≥ 0,60 (target r ≥ 0,70, p < 0,01); rcorr yang dikoreksi atenuasi ≥ 0,80; diskriminan: r < 0,30. |
| Unser Qualitätsanspruch | Dokumen bukti (pendukung) | Nilai target psikometrik / analisis |
|---|---|---|
| Indikator kinerja domain target: Hasil tes berkorelasi dengan kemampuan sebenarnya untuk bertindak dalam praktik. | Dokumen yang menunjukkan validitas konkuren (penilaian guru) / Dokumen yang menunjukkan validitas prediktif (validasi praktis oleh para ahli terkait) | Validitas konkordansi r ≥ 0,40 (penilaian guru); validitas prediktif r ≥ 0,30 (pengalaman praktis). |
| Perbandingan kinerja: Butir-butir tes dan kriteria evaluasi sesuai dengan standar yang telah ditetapkan dalam bidang sasaran. | Konfirmasi relevansi kriteria melalui validasi ahli. | Perbandingan ahli secara sistematis. |
| Keaslian dan kesesuaian: Materi dan format masukan sesuai dengan kebutuhan praktis yang umum. | Konfirmasi keaslian situasional (analisis masukan). | Kesesuaian situasional yang tinggi antara materi masukan dan genre teks (ulasan ahli). |
| Hasil pengujian bahasa tidak menunjukkan penyimpangan struktural yang signifikan dari sampel pengujian yang sebenarnya. | Bukti empiris kesetaraan kinerja struktural (MANOVA). | MANOVA tidak signifikan (p > 0,05); ηp² parsial univariat < 0,01 (rentang toleransi 0,01 hingga < 0,06; tidak dapat diterima ≥ 0,06). |
| Para peserta tes menerapkan strategi pemecahan masalah kognitif yang relevan dengan konstruk (pemahaman yang sebenarnya, bukan tebakan). | Bukti proses mental yang sesuai dengan konstruk (analisis proses). | Analisis proses. |
| Unser Qualitätsanspruch | Dokumen bukti (pendukung) | Nilai target psikometrik |
|---|---|---|
| Kesesuaian / Kegunaan: Para pemangku kepentingan (universitas, dosen) menganggap hasil tersebut bermanfaat untuk pengambilan keputusan yang dapat dibenarkan. | Bukti penerapan praktis dari hasil pengujian. | Tingkat penerimaan yang tinggi dalam survei pemangku kepentingan (tingkat persetujuan ≥ 80–85%). |
| Aturan pengambilan keputusan: Nilai ambang batas adalah hasil dari prosedur penetapan standar yang memenuhi syarat. | Kerangka penilaian - Prosedur penetapan standar / Nilai ambang batas. | Nilai ambang batas/definisi batas yang disahkan secara profesional menurut metode Angoff atau Bookmark. |
| Kualitas dan konsistensi klasifikasi: Klasifikasi sebagian besar sesuai dengan penilaian referensi independen. | Bukti akurasi klasifikasi (nilai ambang batas). | Akurasi klasifikasi ≥ 0,90; Indeks reliabilitas Φ ≥ 0,70; Minimisasi tingkat positif/negatif palsu. |
| Interpretasi dan komunikasi: Hasil pengujian dapat diinterpretasikan dengan jelas bagi para pemangku kepentingan. | Konfirmasi mengenai kemampuan interpretasi dan kegunaan laporan hasil. | Tingkat pemahaman yang tinggi terhadap laporan skor dalam survei kegunaan (tingkat persetujuan ≥ 85%). |
| Keakuratan aplikasi: Para pengambil keputusan secara konsisten menerapkan aturan pengambilan keputusan yang telah ditetapkan dalam operasional mereka. | Bukti kepatuhan terhadap aplikasi. | Penggunaan/verifikasi yang sesuai melalui audit log sistem (pemindaian kode QR). |
| Unser Qualitätsanspruch | Dokumen bukti (pendukung) |
|---|---|
| Konsekuensi nyata dari penggunaan tes tersebut benar-benar mencapai manfaat yang diharapkan, sementara efek samping negatif tetap minimal. | Bukti konsekuensi dari hasil pengujian (Manfaat Pengguna & Dampak Balik) |
| Hak, martabat, dan data sensitif peserta tes dilindungi oleh pedoman yang ketat (termasuk prosedur pengaduan). | Pedoman banding, manual untuk sistem manajemen informasi. |
| Penerapan tes ini memiliki efek positif yang berdampak pada sistem pendidikan (fokus pada keterampilan daripada strategi tes). | Bukti konsekuensi dari hasil pengujian (dampak makro & manfaat sosial) |
Dalam teori pengujian modern, penerapan prosedur banding dan pedoman keamanan informasi tidak dipandang sebagai tindakan administratif semata, melainkan sebagai instrumen metodologis wajib untuk memastikan validitas konsekuensial (bdk. Messick, 1989; 1995). Prosedur arbitrase yang diatur berfungsi sebagai pemeriksaan balik kualitatif yang diperlukan untuk mengidentifikasi varians yang tidak relevan dengan konstruk.
Anda perlu memuat konten reCAPTCHA untuk mengirimkan formulir. Harap dicatat bahwa ini melibatkan pertukaran data dengan penyedia pihak ketiga.
Informasi lebih lanjutAnda saat ini sedang melihat konten sementara dari Turnstile . Untuk mengakses konten sebenarnya, klik tombol di bawah ini. Harap dicatat bahwa ini akan melibatkan berbagi data dengan pihak ketiga.
Informasi lebih lanjutAnda saat ini sedang melihat konten placeholder dari reCAPTCHA . Untuk mengakses konten sebenarnya, klik tombol di bawah ini. Harap dicatat bahwa ini akan melibatkan berbagi data dengan pihak ketiga.
Informasi lebih lanjut