Kalite, geçerlilik ve sistem mimarisi | Deutschtest.digital

Karar vericiler için bilgi: Deutschtest.digital'in geçerlilik argümanı – Modern dil tanılamaları yoluyla kanıta dayalı karar güveni

Bir dil testinin Avrupa Ortak Dil Referans Çerçevesi'ne (CEFR) atanması karmaşık bir doğrulama sürecini temsil eder. Bir testin belirli bir CEFR seviyesine karşılık geldiği iddiası doğrudan gözlemlenebilir bir olgu değildir, ancak teorik ve ampirik kanıtlarla desteklenmelidir. Bu kanıtların toplanması ve değerlendirilmesi, ilgili geçerlilik iddiasının doğrulanması çerçevesinde gerçekleşir.

(Avrupa Konseyi, 2009, s. 7'ye bakınız)

Dil sertifikası, ölçülen değerleri belgelemektedir. Doğru yorumlama çok önemlidir!

Karar verici olarak, belirli bir amaç için bir başvuru sahibinden dil yeterliliği kanıtı talep ediyorsanız, genellikle size bir dil sertifikası veya ilgili bir sınav sonucu sunulacaktır. Bu belge esasen, belirli metodolojik ve sınavla ilgili koşullar altında belirlenmiş bir ölçüm sonucunu içerir. Bunu, örneğin, dil yeterliliğini değerlendirmek için resmi bir prosedürde kullanıyorsanız, kanıt olarak kullanılabilir (Alman İdari Usul Kanunu'nun 26. Bölümünün 1. Paragrafının 1. Cümlesi ve 2. Cümlesinin 3. Maddesine bakınız). Ancak, bu tür bir ölçüm sonucu, ancak profesyonelce sağlam ve kanıta dayalı bir yorumla önem kazanır. Bu nedenle, önemli olan soru, sadece kağıda yazılan sonuç değil, bu ölçüm sonucunun hangi bilimsel temelde güvenilir bir şekilde değerlendirilebileceğidir.

Bu tür bir yorumun geçerliliği büyük ölçüde, temel test süreçlerinin bilimsel olarak sağlam, teknik olarak güvenilir ve organizasyonel olarak kontrol altında olup olmadığına bağlıdır. Bu nedenle, önemli olan sadece ölçüm değeri değil, onu üreten tüm sistemin kalitesidir.

Test sonuçlarının delil değeri ve ilgili amaç için kabulü, kurumsal kökenlerinden değil, bilimsel kalitelerinin ve doğru yorumlanmalarının mantıksal bir sonucudur (bkz. AERA, APA & NCME, 2014; Chapelle, 2021; Cronbach, 1988; Kane, 2013; Messick, 1989).

Bir dil sertifikasının güvenilirliğini değerlendirmek için, test verilerinin toplanma, işlenme ve yorumlanma koşullarını incelemek gereklidir. Bu kontrollü süreçler, test kalitesinin bilimsel olarak değerlendirilmesini sağlayacak gerekli kanıtları üretir.

Ancak, bu tek tek kanıtlar henüz bir test sonucunun yorumlanması için kesin bir gerekçe oluşturmamaktadır. Sadece bu kanıtların bir doğrulama argümanı içinde sistematik olarak entegre edilmesiyle, bir kişinin dil yeterliliği hakkındaki belirli bir ifadenin somut bir test sonucundan nasıl çıkarılabileceğine dair bilimsel olarak anlaşılabilir bir temel ortaya çıkar.

Aşağıdaki bölümler öncelikle kanıt üretme altyapısını – yani güvenilir kanıtların üretildiği standartları, süreçleri ve kontrol mekanizmalarını – açıklamaktadır. Ardından, bu kanıtların doğrulama yaklaşımımıza nasıl sistematik olarak entegre edildiğini ve test sonuçlarımızın yorumlanmasının hangi bilimsel temele dayandığını açıklamaktadır.

1. Güvenilir kanıt üretmeye yönelik altyapı

Bir sertifikanın boş bir vaat olmadığını objektif olarak göstermek için, bir test kuruluşunun sağlam ampirik kanıtlara (psikometrik veriler, güvenilirlik analizleri, geçerlilik dokümantasyonu) ihtiyacı vardır. Modern test araştırmaları temel bir önermeyi vurgular: doğuştan "geçerli testler" veya "geçerli test sonuçları" yoktur; geçerlilik ancak bu sonuçların belirli bir amaç için yorumlanması ve kullanılması yoluyla elde edilebilir.

Sadece metodik olarak kapsamlı bir kalite yönetim sistemi, bir test sağlayıcısının sürekli olarak temiz, tarafsız ham veriler üretmesini garanti edebilir; bu da dil yeterliliğinin geçerli bir yorumunu haklı çıkarmak için elzemdir. Bu tür kanıtlar ancak keyfi olarak üretilmediği takdirde güvenilir olduğundan, titiz ve bağımsız bir sistem mimarisi gereklidir. Bu mimari beş temel üzerine kuruludur:

a) Standart

Bilgi kutusu / Tanım: Standart nedir?

Standart, belirli süreçler, prosedürler veya hizmetler için gereksinimleri, kriterleri veya önerileri açıklayan, belgelenmiş bir kurallar bütünüdür. Kalite, karşılaştırılabilirlik, şeffaflık ve izlenebilirliği sistematik olarak sağlamak için ortak bir çerçeve oluşturur. Standartlar çeşitli paydaşlar tarafından geliştirilebilir ve yayınlanabilir ve en iyi uygulamaları, teknik gereksinimleri ve kalite ölçütlerini şeffaf ve anlaşılır bir şekilde tanımlamaya hizmet eder.

Deutschtest.digital hangi standardı kullanıyor?

Deutschtest.digital, dil testlerinin geliştirilmesi, yönetimi, değerlendirilmesi ve sürekli kalite güvencesini DIN ISO 29992 gerekliliklerine dayandırmaktadır. ISO 29992 ("Öğrenme hizmetlerinin sonuçlarının değerlendirilmesi") ile uluslararası standartlar komitesi ISO/TC 232 ("Eğitim ve Öğrenme Hizmetleri"), öğrenme hizmetleri sunan ve değerlendirmeler geliştiren, seçen veya uygulayan kuruluşlara yönelik özel bir standart yayınlamıştır. Uluslararası standart ISO 29992, Alman Standardizasyon Enstitüsü (DIN) tarafından DIN ISO 29992 olarak ulusal standartlar sistemine dahil edilmiştir.

Bu standart, değerlendirmelerin planlanması, geliştirilmesi, yönetimi ve değerlendirilmesi için özel kalite gereksinimleri formüle eder ve Avrupa Ortak Dil Referans Çerçevesi'ne (CEFR) göre dil yeterliliğinin ölçülmesini açıkça içerir. Tamamen test teorisine dayalı kılavuzlardan farklı olarak, ISO 29992 öncelikle kalite güvenceli hizmet yönetimi mantığından kaynaklanır. Deutschtest.digital için, kalite güvencesi için merkezi organizasyonel ve metodolojik çerçeveyi oluşturur. Güvenilir kanıtlar üretmemize, test süreçlerini şeffaf bir şekilde belgelememize ve doğrulanabilir ve izlenebilir standartlara göre dil testlerimizin tutarlı kalitesini sağlamamıza yardımcı olur. Aynı zamanda, karar vericilere kapsamlı yasal, kurumsal ve metodolojik kesinlik sağlar.

ISO 29992 neleri içerir?

ISO 29992 standardının gereklilikleri aşağıdaki ana bölümler halinde yapılandırılmıştır:

  • Bölüm 1 Standardın uygulama kapsamı belirtilmiştir. İki ana uygulama alanı belirtilmiştir: (1) bireysel öğrenci sonuçlarının ölçülmesi ve (2) öğrenme ilerlemesinin belirlenmesi.
  • Bölüm 2 Bu ifade, diğer standartlara yapılan atıfları belirtir (ISO 29992:2021 standardında bu atıflar bulunmamaktadır).
  • Bölüm 3 Teşhis/performans ölçümüyle ilgili bir dizi teknik terimi tanımlar.
  • Bölüm 4 Bu standart, tanı araçlarının (metinde sürekli olarak "değerlendirme" olarak anılır) planlanmasına ilişkin özel öneriler sunmaktadır. DIN ISO 29992:2021-04'e göre, planlama aşaması, ihtiyaç analizi, kaynak planlama belgeleri ve tanı aracının uygulama kapsamı; araca dayalı kararlar; sonuçlarının yorumlanması; tanı aracının kullanımının amaçlanan sonuçları; aracın amaçları ile kullanılan değerlendirme metodolojisi arasındaki ilişki; sonuçlar, yorumları, kullanımları ve sonuçları arasındaki ilişki; test sonuçlarının iletilmesi; kullanım koşulları, zamanlama ve maliyetler; değerlendirme prosedürleri; değerlendirme ortamı (örneğin, tesisler); değerlendirmeye katılım için ön koşullar ve öğrenme çıktılarını değerlendirmede kullanılan araçlar ve yöntemler için geçerli standartlar; kalite güvence prosedürleri; değerlendirmenin geliştirilmesi ve/veya uygulanmasında yer alan paydaşlar; tanı aracı için bir operasyonel plan ve prosedür kuralları ile tanı aracının bulunabilirliği ve test spesifikasyonları gerekliliklerinin kapsanma derecesi hakkında bilgi içeren bir çerçeve belgesi içermelidir.
  • Bölüm 5 Bu belge, tanı aracının geliştirilmesi için bir dizi öneri içermektedir. Bunlar arasında, aracın kullanım zamanlaması (öğrenme sürecinden önce, sırasında veya sonra); test geliştiricilerinin nitelikleri; test maddelerinin/sınav sorularının formatı; ve tanı aracının uygulanmasına ilişkin mekansal, zamansal, organizasyonel ve teknik özellikler gibi hususlar yer almaktadır. Ayrıca, nesnellik, güvenilirlik ve geçerlilik gibi test kalitesi kriterleri; test maddelerinin/sınav sorularının geliştirme süreci; tanı aracının sonuçlarının belirlenmesine yönelik prosedürler; sonuçların nasıl ve ne zaman iletileceğine ilişkin çerçeve; sonuçlara itiraz etme prosedürleri ve teknik dokümantasyon gereklilikleri konusunda da rehberlik sağlamaktadır.
  • Bölüm 6 Bu, bir tanı aracının idari yönlerine odaklanmaktadır. Bunun unsurları arasında uygulama yönergeleri; test güvenliğini sağlamaya yönelik bir plan; tanı aracının uygulanmasını denetleyen kişilerin nitelikleri ve sorumlulukları; ve değerlendiricilerin nitelikleri yer almaktadır.
  • Bölüm 7 Bu, bir tanı aracının operasyonel kullanımını ifade eder. Güvenilirlik ve geçerlilik kanıtları; tanı aracının uygulanmasına ilişkin düzenlemeler; ve test metodolojik kalite yönetimi ve ilgili süreçler için istatistiksel prosedürler gibi operasyonel kullanıma ilişkin belgeler gereklidir. Ayrıca, Bölüm 7, mevcut bir tanı prosedürünün nasıl sürekli olarak revize edileceği ve daha da geliştirileceğine dair ayrıntılı bir plan gerektirmektedir.
  • Bölüm 8 Bu bölüm, adalet konusunu ele almaktadır. Bu bakış açısıyla, tanı aracı sağlayıcısı ile test adayları arasında imzalanacak resmi bir anlaşma gibi özellikler özetlenmektedir. Bu anlaşma, örneğin, test ücretleri, ilgili tarafların hak ve yükümlülükleri, katılım şartları, tanı aracının açıklaması, veri koruma bilgileri ve zaman çizelgesiyle ilgili ayrıntıları içermelidir. 8. Bölüm ayrıca ayrımcılığın yasaklanmasını; test adaylarının haklarını; tanı aracının tarafsızlığını; tanı aracıyla ilgili olanlar için davranış kurallarını ve test adaylarına sunulan bilgileri ele almaktadır.
  • Bölüm 9 DIN ISO 29992:2021-04 standardı, tanı araçlarının kullanımına ilişkin etik hususları daha ayrıntılı olarak ele almaktadır. Bu bağlamda, ilgili tüm tarafların sorumluluklarının net bir şekilde tanımlanmasını gerektirir. Ayrıca, tanı aracı hakkında doğru ve eksiksiz bilgi verilmesini talep eder. Son olarak, bir tanı aracı, toplanan verilerin gizliliği, verilerin korunması ve güvenliği ile iletişim kanallarının güvenliği gibi çeşitli bilgi güvenliği yönlerini garanti etmelidir. Nihayetinde, bir iletişim yönetim sistemi de planlanmalı ve belgelenmelidir.
  • Anhang A Bir tanı prosedürü için teknik dokümantasyonda yapılandırılmış bir şekilde toplanması gereken bilgileri belirtir. Bu, tanı cihazının planlama ve geliştirilmesinden operasyonel uygulamasına kadar tüm yaşam döngüsüyle ilgili tüm belgeleri içerir. İlgili belgeler arasında ihtiyaç analizi; tanı cihazının kullanım çerçevesi; puanlama özellikleri; tanı cihazının uygulanmasına ilişkin kılavuz; ilgili kişiler için eğitim kılavuzu; değerlendiriciler için formlar; değerlendiricilerin/gözetmenlerin, gözetmenlerin vb. nitelik ve eğitimine ilişkin özellikler; test maddelerinin geliştirilmesine ilişkin prosedürlere dair belgeler; tanı cihazının test denetimleri ve doğrulama çalışmalarına ilişkin dokümantasyon; düzenli kalite güvencesine dair kanıtlar; bireysel test maddelerinin psikometrik kalitesine dair kanıtlar; uygun olmayan test maddelerinin elenmesi üzerine odaklanan prosedürlere dair kanıtlar; sonuçların manuel olarak puanlanmasına ilişkin doğrulama ve prosedürlere dair kanıtlar; ve canlı puanlamanın test özelliklerine uygunluğuna dair kanıtlar yer almaktadır. Makine tabanlı değerlendirmelerin güvenilirliğine dair kanıtlar; tahkim ve itiraz prosedürüne dair kanıtlar; ve yeniden değerlendirme durumunda izlenecek prosedüre ilişkin kanıtlar da bu kapsamdadır. Bu çok geniş kapsamlı kanıt yelpazesi, tanı cihazının kullanıcılarının cihazın kullanımında nasıl desteklenmesi gerektiğine dair teknik dokümantasyon gereklilikleriyle daha da tamamlanmaktadır. Teknik verilerin ve dokümantasyonun saklanmasına ilişkin ayrıntılar, standardın esas bölümünü tamamlamaktadır.
DIN ISO 29992'nin başlıca avantajları nelerdir?

DIN ISO 29992, Deutschtest.digital'e yalnızca resmi bir kalite çerçevesi sağlamakla kalmaz, aynı zamanda dil testlerimizin geliştirilmesi, yönetimi ve sürekli gözden geçirilmesi için sistematik bir temel oluşturur. Bu standardın uygulanmasının başlıca avantajları özellikle aşağıdaki alanlarda yatmaktadır:

Bağlayıcı bir güvenlik mimarisinin sağlanması: Standart, yapılandırılmış bir güvenlik planı için gereksinimleri tanımlar. DIN ISO 29992'yi uygulayan kuruluşlar, tanımlanmış süreçler aracılığıyla manipülasyona (dolandırıcılığın önlenmesi) karşı önleyici tedbirleri sistematik olarak uygulamalı ve görevlerin bütünlüğünün yanı sıra bilgi ve kimlik güvenliğini de korumalıdır.

Yaşam döngüsü yönetimi yoluyla sürdürülebilir kalite güvencesi: ISO 29992, sürekli bir bakım ve izleme süreci (bakım planı) gerektirerek test kalitesinin uzun vadeli güvencesini destekler. Standart, tek seferlik bir inceleme yerine, test prosedürlerinin sürekli değerlendirilmesini ve iyileştirilmesini kalite güvencesinin temel bir bileşeni olarak ele alır. Bu, test kalitesindeki değişikliklerin erken tespit edilmesini ve deneysel olarak desteklenen önlemlerle düzeltilmesini sağlar.

Ortak Avrupa Dil Referans Çerçevesi (CEFR) ile teknik bağlantı: Standardın yapısı, genel kalite gereksinimlerinin dil teşhisine sistematik olarak aktarılmasını mümkün kılar. Bu, ISO 29992'nin gereksinimlerinin Ortak Avrupa Dil Referans Çerçevesi'nin (CEFR) teoriye dayalı yeterlilik tanımlarıyla ilişkilendirilmesini ve test sonuçlarının dil seviyelerine atanmasının anlaşılır bir şekilde gerekçelendirilmesini sağlar.

Sonuçların yorumlanması ve kullanımının şeffaf bir şekilde gerekçelendirilmesi: ISO 29992, değerlendirme sonuçları ile bunların yorumlanması arasındaki ilişkinin açık bir şekilde sunulmasını gerektirir. Bu, bir test sonucundan hangi sonuçların çıkarılabileceğine ve bir sertifikanın hangi amaçlarla kullanılabileceğine dair bilimsel olarak anlaşılabilir bir açıklama için temel oluşturur.

Bilimsel olarak sağlam bir doğrulama argümanının temeli: ISO 29992'nin en önemli avantajlarından biri, ilgili kanıtların yapılandırılmış bir şekilde oluşturulmasını ve belgelenmesini desteklemesidir. Psikometrik yöntemlerle birleştiğinde, bu, bilimsel olarak sağlam bir doğrulama argümanının geliştirilebileceği güçlü bir kanıt tabanı oluşturur. Bu argüman, test sonuçlarının yorumlanmasının ve kullanılmasının şeffaf, anlaşılır ve sağlam profesyonel kanıtlarla gerekçelendirilmesini sağlar.

b) Bağımsız bir belgelendirme kuruluşu

Bilgi kutusu / Tanım: Bağımsız bir belgelendirme kuruluşu nedir?

Bağımsız bir belgelendirme kuruluşu, bir kuruluşun belirtilen kalite gereksinimlerini veya standartlarını karşıladığını doğrulayan ve teyit eden harici, tarafsız bir kuruluştur. Belgelendirilen kuruluşun kendi performansını değerlendirmez, bunun yerine belgelenmiş süreçlerinin, yapılarının ve kanıtlarının bağımsız bir denetimini gerçekleştirir. Bu dış değerlendirme, kalite güvencesinin yalnızca kuruluşun kendi sorumluluğu olmadığı için ek bir güven katmanı oluşturur.

Bağımsız sertifikasyonun temel özelliklerinden biri, değerlendirme ile sertifikasyon kararının birbirinden ayrılmasıdır. Süreçlerin ve kanıtların incelenmesi uzman denetçiler tarafından yapılırken, nihai sertifikasyon kararı bağımsız bir kuruluş tarafından verilir. Bu, öz değerlendirmeleri ve potansiyel çıkar çatışmalarını önleyerek sertifikasyonun objektifliğini ve güvenilirliğini sağlar.

Deutschtest.digital hangi bağımsız kuruluşla işbirliği yapıyor?

Dış kalite güvencesi için bağımsız belgelendirme kuruluşu DeuZert ile işbirliği yapıyoruz . DeuZert, belgelendirme kararlarının tam bütünlüğünü, güvenilirliğini ve kabul edilebilirliğini garanti eder. Yirmi yılı aşkın uzmanlığıyla DeuZert, eğitim ve belgelendirme sektöründe kapsamlı uzmanlık bilgisine sahiptir.

DeuZert tarafından verilen bağımsız sertifikasyonun avantajları nelerdir?

DeuZert'in bağımsız sertifikasyonunun en önemli katma değeri, uygulanan süreçlerin kalitesinin yalnızca kuruluşun kendisi tarafından değerlendirilmemesi, aynı zamanda dış uzman incelemesine tabi tutulmasıdır. Bu, karar vericiler için ek bir güven düzeyi yaratır. Aşağıdaki hususlar özellikle önemlidir:

  • Kurumsal bağımsızlık ve objektif değerlendirme: DeuZert, bağımsız bir belgelendirme kuruluşu olarak faaliyet gösterir ve şeffaf test prosedürleri kullanarak tanımlanmış gereksinimlerin uygulanmasını değerlendirir. Denetlenen kuruluş ile harici değerlendirme kuruluşu arasındaki ayrım, öz değerlendirmeleri önler ve belgelendirme kararının objektifliğini güçlendirir.
  • Sürekli kalite güvencesi, gözetim denetimleri yoluyla sağlanır: Uygulanan prosedürlerin kalitesi bir kez değerlendirilmez, düzenli incelemelerle sürekli olarak izlenir. Bu dış kontrol, metodolojik ve organizasyonel gerekliliklerin sürekli olarak karşılanmasını ve daha sonraki gelişmelerin sistematik olarak gözden geçirilmesini sağlar.
Deutschtest.digital'in DIN ISO 29992 standardına uygun olduğunu resmi olarak belgeleyen kanıt nedir?

Denetim sürecinin başarıyla tamamlanmasının ardından DeuZert, bize DIN ISO 29992 uygunluk sertifikası vermiştir . Bu belge, Deutschtest.digital'de Almanca dil becerileri alanındaki değerlendirmelerin planlanması, geliştirilmesi, yürütülmesi ve değerlendirilmesi için uygulanan prosedürlerin standardın gerekliliklerini karşıladığını ve bağımsız bir dış denetimin parçası olarak değerlendirildiğini doğrulamaktadır.

Uygunluk belgesi, Deutschtest.digital'in test süreçlerini öğrenme sonuçlarının değerlendirilmesi için uluslararası kabul görmüş bir standarda uygun hale getirdiğinin resmi kanıtı niteliğindedir. Şeffaflığı, karşılaştırılabilirliği ve test sonuçlarının kalitesini sağlamak için standartlara uygun prosedürlerin sistematik olarak uygulandığını teyit eder.

Sertifikayı görüntüle

c) Bağımsız uzmanlar ve denetçiler

Bilgi kutusu / Tanım: Denetçilerin rolü

Uluslararası standartlar, değerlendirme ve sertifikasyon karar alma süreçleri arasında kesin bir ayrım öngörmektedir. Test kuruluşunun fiili incelemesi (denetim), bağımsız, yüksek nitelikli denetçiler tarafından gerçekleştirilir. Bu denetçiler, deneysel kanıtları inceler, sistem mimarisini pratikte değerlendirir ve bulgularını bir denetim raporunda belgeler; bu rapor, sertifikasyon kuruluşunun sonraki kararı için tarafsız bir olgusal temel oluşturur.

Deutschtest.digital'de denetimleri kim yürütüyor?

Denetimler, DeuZert adına hareket eden deneyimli eğitim uzmanları, sınav görevlileri, denetçiler ve değerlendiricilerden oluşan bir ağ tarafından yürütülmektedir. Bu son derece uzmanlaşmış ekibin kullanılması, süreçlerimizin ve kanıtlarımızın değerlendirilmesinin yalnızca idari değil, aynı zamanda içerik ve dil testi teorisinde en üst düzey uzmanlıkla gerçekleştirilmesini sağlar.

d) Denetim prosedürüne ilişkin düzenlemeler

Bilgi kutusu / Tanım: Denetim sürecini düzenleyen yönetmelikler nelerdir?

Denetim yönetmelikleri, bir belgelendirme kuruluşunun denetimi nasıl yürütmesi gerektiğini kesin olarak tanımlayan bağlayıcı usul kurallarıdır. Keyfi uygulamaları önlemek ve tekrarlanabilir denetim kalitesini garanti etmek için belge incelemeleri, örnekleme, görüşmeler ve yerinde veya sistem denetimleri sürecini düzenlerler.

ISO 29992 standardına göre sertifikasyon için hangi denetim düzenlemeleri geçerlidir?

ISO 29992 denetim prosedürü, genel standart olan DIN EN ISO/IEC 17065'in gerekliliklerine tabidir. Bu standart, testin kendisini değil, belgelendirme kuruluşunun çalışma yöntemlerini, bağımsızlığını ve yetkinliğini düzenler. Bu, dış denetimin ticari veya iç çıkar çatışmalarından arınmış olmasını sağlar. Sonuç olarak, şeffaf bir şekilde belgelenmiş profesyonel ve metodolojik bir temele dayalı olarak, test ve değerlendirme süreçlerinin standartlara uygun şekilde uygulanmasının bağımsız bir dış onayı elde edilir.

e) Kanıt

Dil becerilerinin doğru bir şekilde değerlendirilmesi, güvenilir bir veri tabanı gerektirir. Test kalitesine ilişkin kanıtlar öncelikle aşağıdaki temel kanıt kategorilerine dayanır:

1. Planlama ve kavram belgeleri

Bu belgeler, gerçek test geliştirme süreci başlamadan önce stratejik ve sözleşmesel temeli oluşturur. Hedef grubun sistematik ihtiyaç analizlerini ve testin kesin amacına ilişkin bağlayıcı anlaşmaları belgelendirirler.

2. Şartname ve görev inceleme belgeleri

Bu kategori, içerik kalite güvencesi için ayrıntılı planlar ve test protokolleri içermektedir. Bunlar, her bir test öğesinin teknik özelliklere ve hedeflenen CEFR seviyesine uygun olduğunu göstermektedir.

3. Yönetim ve güvenlik belgeleri

Tüm sınav merkezlerinde tamamen tek tip, standartlaştırılmış ve hileye karşı korumalı bir sınav süreci garanti ederler. Bu, gözetmenler için kılavuzlar, adayların sıkı kimlik kontrolleri ve ayrıntılı BT güvenlik planlarını içerir.

4. Değerlendirme ve puanlama protokolleri

Bu belgeler, puanların objektif, hatasız ve tarafsız bir şekilde verilmesini düzenler. Cevap anahtarlarını, sınav görevlileri için değerlendirme yönergelerini ve otomatik değerlendirme prosedürlerinin doğruluğuna dair kanıtları içerirler.

5. Yeterlilik ve eğitim sertifikaları

Bu belgeler, tüm test ve değerlendirme personelinin mesleki, akademik ve tanısal yeterliliklerini göstermektedir. Ayrıca, tek tip değerlendirme standartlarını sağlamak için sistematik eğitim ve düzenli yenileme kursu konseptini belgelemektedir.

6. Kalite ve doğrulama raporlarına ilişkin ampirik kanıtlar

Testin gerçek psikometrik kalitesine dair bilimsel ve istatistiksel kanıtlar sunarlar. Ölçüm doğruluğu (güvenilirlik), alt gruplar arası adalet ve teoriye uygun boyutlu yapıya ilişkin hesaplamaları içerirler.

7. Bakım ve revizyon süreçleri

Bu süreçler, işletme sırasında sürekli kalite izlemesini ve testlerin düzenli olarak yenilenmesini kontrol eder. Sarf malzemelerinin zamanında ve standartlaştırılmış bir şekilde değiştirilmesini sağlamak için görevlerin yaşam döngüsü için istatistiksel ölçütler tanımlarlar.

8. Adalet, hakkaniyet ve temyizler

Sınav sürecinin tamamı boyunca adayların haklarını, saygınlığını ve güvenliğini korurlar. Bu, şeffaf itiraz ve şikayet yönergelerini, kolay anlaşılabilir kullanıcı desteğini ve sıkı veri güvenliği kavramlarını içerir.

2. Kanıt tabanından doğrulama argümanına: Test yorumlarının bilimsel gerekçelendirilmesi

Kalite güvence mimarisi içinde üretilen kanıtlar, başlangıçta test prosedürünün kalitesi ve işlevselliğiyle ilgili bireysel kanıt parçalarını oluşturur. Ancak bu kanıtların bir doğrulama argümanı içinde sistematik olarak entegre edilmesiyle, bir kişinin dil yeterliliği hakkındaki belirli bir ifadenin bir test sonucundan neden çıkarılabileceğine dair anlaşılabilir bir gerekçe ortaya çıkar.

Doğrulama argümanı nedir?

Test geliştiricileri bilimsel kalite kriterlerini izole bir şekilde ele alırlarsa, testin genel mantığını ve amacını gözden kaçırma riskiyle karşı karşıya kalırlar. Bir dil testinin kalitesi yalnızca bireysel görevlerden veya istatistiksel parametrelerden değil, test prosedürünün tüm bileşenlerinin etkileşiminden kaynaklanır. Modern dil testi araştırmalarında, bir testin geçerliliği bu nedenle –başka isimlerin yanı sıra Bachman & Palmer, Michael Kane ve Carol Chapelle'in çalışmalarından etkilenerek– kapsamlı ve çok boyutlu bir kalite kavramı olarak anlaşılmaktadır. Kritik soru, bireysel kalite kriterlerinin karşılanıp karşılanmadığı değil, bir test sonucundan çıkarılan sonuçların genel olarak haklı çıkarılıp çıkarılamayacağıdır.

Bu soru özellikle önemlidir çünkü dil testlerinin sonuçları genellikle eğitim, kariyer ve ikamet kararları üzerinde geniş kapsamlı sonuçlar doğurur. Bu nedenle test sağlayıcıları özel bir mesleki ve etik sorumluluk taşırlar. Sadece test prosedürlerinin kalitesini sağlamakla kalmamalı, aynı zamanda bu kaliteyi şeffaf bir şekilde de gösterebilmelidirler. Modern geçerlilik araştırmalarında sözde geçerlilik argümanı kavramı tam da bu ihtiyaçtan doğmuştur.

Tarihsel olarak, bu yaklaşım 1990'lar ve 2000'lerde, gerçek dünya test uygulamaları için somut bir rehberlik sunmayan, daha önce oldukça soyut olan bilimsel geçerlilik modellerine çığır açan bir yanıt olarak ortaya çıktı. Amerikalı araştırmacı Michael Kane, filozof Stephen Toulmin'in pratik argümantasyon teorisini test teorisine uyguladı. Ünlü dilbilimci Carol Chapelle daha sonra bu mantığı özellikle dil testi araştırmaları için daha da geliştirdi; 2008'den itibaren TOEFL iBT'nin öncü geçerlilik çalışmasıyla dünyaca ünlüdür. Modeli, bugün test yorumlarının sistematik gerekçelendirilmesi ve belgelendirilmesine yönelik yerleşik modern bir yaklaşımı temsil eden, yedi kesin çıkarım adımından oluşan kusursuz bir zincire dönüştürdü.

Bu yaklaşımın en önemli faydası, dil sınavı kuruluşlarını yalnızca "sertifika veren" pasif rolünden kurtarmasıdır . Sınav sağlayıcıları, akreditasyon makamlarına veya bakanlık karar vericilerine düzensiz bireysel belgeler veya katı kontrol listeleri sunmak yerine, artık aktif ve proaktif bir "savunuculuk rolü " üstlenebilirler. Bu, sınavlarının geçerliliğini, adilliğini ve hukuki kesinliğini karar vericilere bağımsız, şeffaf ve bilimsel olarak tartışılmaz bir şekilde savunmalarını ve bunu sistematik olarak oluşturulmuş bir kanıt zinciriyle kendileri ispatlamalarını sağlar.

Dolayısıyla, doğrulama argümanı, test sonuçlarının geçerliliğini gerekçelendirmek için kullanılan bu yapılandırılmış yaklaşımı tanımlar. Başlangıç ​​noktası, her testin bir kişinin dil yeterliliği hakkında bir iddiada bulunduğu varsayımıdır. Örneğin, bir kişiye Avrupa Ortak Dil Referans Çerçevesi'nin (CEFR) B1 seviyesi atanırsa, bu, o kişinin bu seviye için tanımlanan dil becerilerine sahip olduğu anlamına gelir. Doğrulama argümanının görevi, bu iddiayı sistematik olarak desteklemek ve anlaşılır bir şekilde gerekçelendirmektir.

Bu, test görevlerinden başlayarak uygulama ve değerlendirme aşamalarına ve sonuçların yorumlanmasına kadar uzanan tutarlı bir akıl yürütme zinciri oluşturmayı içerir. Her bir adım için, yapılan varsayımların haklı olduğunu göstermek amacıyla teorik temeller ve ampirik kanıtlar (destekleyici veriler) kullanılır. Doğrulama argümanı böylece bilimsel kanıtları pratik test kararlarıyla birleştirir ve belirli bir test sonucunun tanımlanmış bir dil yeterliliğinin anlamlı bir kanıtı olarak neden kabul edilebileceğini şeffaf hale getirir. Bu şekilde, dil testlerinin güven, şeffaflık ve yasal sorumluluğu için temel oluşturur.

Bir doğrulama argümanını oluşturan mantıksal zincirleme reaksiyonlar nelerdir?

Bir dil testinin kalitesine dair tartışılmaz profesyonel kanıt sunmak için, modern tanı yöntemleri açık ve mantıksal bir yapı izler. Bir testin pratik uygulamada tamamen güvenilir kabul edilmesi için, bu yedi seviyenin her biri için ampirik kanıtın mevcut olması gerekir.

Pratik önem (alan tanımı): Bu ilk adım, hedef ortamda (örneğin günlük yaşam, iş veya eğitim) gerçekten var olan dil gereksinimlerinin hassas bir analizini içerir. Bu, testin yalnızca amaçlanan amaç için (örneğin entegrasyon veya iş piyasasına erişim) kesinlikle gerekli olan becerileri değerlendirmesini sağlar.
Nesnellik ve hatasız ölçüm (değerlendirme): Bu belge, performans değerlendirmesinin ve test puanı oluşturmanın katı, objektif kurallara göre yapıldığını göstermektedir. Standartlaştırılmış koşullar ve istatistiksel analizler, puanlamanın mümkün olduğunca hatasız, şeffaf, manipülasyona karşı korunaklı ve dışsal bireysel etkilerden bağımsız olmasını sağlar. Bu nedenle her katılımcı aynı, adil standartlara göre değerlendirilir.
Güvenilirlik (genelleme): Bu adım, test sonucunun istikrarlı olduğunu ve şansa bağlı olmadığını göstermeye yarar. Yüksek genelleştirilebilirlik, sonucun tutarlı kalması anlamına gelir; yani hangi görev varyantının kullanıldığına, hangi değerlendirici tarafından değerlendirildiğine veya sınavın hangi günde yapıldığına tamamen bağımsızdır.
Standartlara uygunluk (beyan): Burada, test puanlarının amaçlanan mesleki anlamı doğru bir şekilde yansıttığı bilimsel olarak kanıtlanmıştır. Bir sertifika "B1" seviyesini gösteriyorsa, performansın teoriye uygun olarak Ortak Avrupa Dil Referans Çerçevesi'nin (CEFR) yeterlilik tanımlarına karşılık geldiği şüphe götürmez bir şekilde ampirik olarak kanıtlanmalıdır.
Tahmin gücü (ekstrapolasyon): Bu durum, test performansının gerçek dünyadaki yeterliliğin güvenilir bir göstergesi olduğunu kanıtlamaktadır. Testi geçenler, Almanya'da başarılı bir şekilde eğitim görmek veya çalışmak için gerekli dil becerilerine sahip olduklarını açıkça göstermektedirler.
Karar kesinliği (kullanım): Bu aşamada, bilimsel temellere dayalı geçme puanları belirlenir. Bu, bir sınavı "geçme" kurallarının adil ve uygun olmasını sağlar; böylece nitelikli bireylerin haksız yere engellenmesi (yanlış negatifler) veya yetersiz bilgiye sahip kişilerin yanlışlıkla onaylanması (yanlış pozitifler) önlenir.
Etki değerlendirmesi (sonuçlar): Son olarak, test kullanımının toplumsal ve bireysel etkileri değerlendirilecektir. Test prosedürünün uzun vadede olumlu, öğrenmeyi teşvik edici etkiler sağlaması ve belirli insan grupları için (örneğin, kökenleri veya ana dilleri nedeniyle) sistematik bir dezavantaj yaratmaması sağlanacaktır.
Deutschtest.digital'in doğrulama argümanının mimarisi

Aşağıda, Almanca dil yeterliliğinin değerlendirilmesi için kullandığımız doğrulama argümanının metodolojik mimarisini sunuyoruz. Bir doğrulama argümanı her zaman belirli bir hedef alana, tanımlanmış bir yeterlilik seviyesine ve belirli bir amaca yönelik olduğundan, temel kanıt tabanı, test sonucunun amaçlanan yorumu ve kullanımı için özel olarak yapılandırılmalıdır. Aşağıda sunulan mimari, bir doğrulama argümanı içindeki bireysel sonuçların (çıkarımların) nasıl bağlantılı olduğunu ve ortaya çıkan ifadeleri bilimsel olarak desteklemek için ne tür kanıtların (destek) gerekli olduğunu göstermektedir. Tüm ampirik ve istatistiksel kanıtları içeren eksiksiz bir doğrulama argümanı bu sunumun kapsamını aşacaktır. Bu nedenle, ilgili kanıt belgeleri burada örnek olarak listelenmiştir.

1 Alan tanımı
İDDİA: Test maddeleri, ilgili dil bilgisi ve becerilerinin son derece güvenilir ve hassas bir şekilde değerlendirilmesini sağlar. Gerekli dil işlevleri, hedef alandaki gerçek dünya dil kullanımını büyük ölçüde temsil eder ve Avrupa Ortak Dil Referans Çerçevesi'nde (CEFR) tanımlanan yeterlilik alanlarına karşılık gelir.
kategori Kalite standartlarımız Kanıt belgesi (destekleyici belge)
Alan açıklaması Hedef grubun ilgili dilsel gereksinimleri ve iletişim durumları doğru ve eksiksiz bir şekilde belirlenmiştir. Hedef alan belirtimi
temsil Test soruları, test şartnamesinde tanımlanan alanı, gerekli içerik ve bilişsel düzeyleri doğru oranlarda kapsayarak yeterince temsil etmektedir. Sınav Planı/Haritalama Araçları
Relevanz Test soruları içerik açısından ilgili ve istenen yeterlilik seviyesine göre hassas bir şekilde ayarlanmıştır; ölçülen yapının bir parçası olmayan uygunsuz zorluk kaynakları içermezler. Madde inceleme protokolleri, derecelendirme formları kullanılarak madde değerlendirmesi (CEFR seviye kontrolünün kanıtı dahil)
kalite kontrolü Geliştirme süreci, niteliksel eksiklikler, belirsizlikler veya kültürel önyargılar sergileyen görevlerin mutlaka gözden geçirilmesini veya reddedilmesini sağlayan sistematik editoryal kontrol mekanizmalarını içerir. Ürün kalite kontrol protokolü (ürün incelemesi)

Bilimsel arka plan

Psikometrik ve dil testi teorisi literatüründe, test şablonlarının ve eşleme araçlarının kullanımı, içerik geçerliliğini sağlamak ve hedef alanın uygun şekilde temsil edildiğini göstermek için zorunlu bir metodolojidir. Eğitimsel ve Psikolojik Test Standartları, test maddelerini içerik alanına eşleyen mantıksal bir yapı oluşturmayı (eşleme) açıkça önermektedir.

Bu kapsamın pratikte sağlanması için Alderson (2005), test özelliklerini, test ve madde yazarlarının bir testin yapı geçerliliğini oluşturmak için izlemesi gereken "plan" olarak açıkça tanımlar. Fulcher ve Davidson (2007) de test özelliklerine kelimenin tam anlamıyla "üretken planlar" olarak atıfta bulunur.

2 değerlendirme
İDDİA: Test sonuçları, katılımcıların sınavdaki performansını yüksek ölçüm doğruluğuyla, doğru, objektif ve kusursuz bir şekilde özetlemektedir.

Bölüm 1: Uygulama Koşulları ve Kurcalamaya Karşı Koruma

Kalite standartlarımız Kanıt belgesi (destekleyici belge)
Sınav yönetmelikleri yüksek kalitede olup, sınav uygulamasının kesinlikle standartlaştırılmış ve tekdüze olmasını sağlayan kapsamlı ve kesin yönergeler ile adil ve yapıya uygun düzenlemeler (erişilebilirlik) içermektedir. Gözetmenler, geçerli yönergelere uygun olarak güvenilir kimlik doğrulama prosedürleri kullanarak adayların kimliklerini kesin olarak doğrulamakta ve sınav ortamını sürekli olarak izlemekte (sınav salonu kontrolü), böylece vekil adayların ve yetkisiz bilgi alışverişinin yapısal olarak önlenmesini sağlamaktadır. Sınav yönetmeliği, değerlendirme yapma kılavuzu - oda kontrolü ve kimlik doğrulama
Sınavın yüz yüze veya dijital ortamda yapılmasına bakılmaksızın, kurcalamaya karşı dayanıklı bir sınav ortamı, yetkisiz yardımlara erişimi güvenilir bir şekilde engeller ve format uyumlu kontrol mekanizmaları (fiziksel gözetmenler, güvenli tarayıcı, uzaktan gözetmenlik) aracılığıyla hile girişimlerini tamamen ortadan kaldırır. Fiziksel ve elektronik güvenlik gereksinimleri listesi, güvenlik düzenlemelerinin ihlali durumunda acil durum planı, sınav adayları tarafından yetkisiz faaliyetlere karşı alınacak önlemler.

Test katılımcılarının kesin olarak belirlenmesi ve test ortamının sorunsuz bir şekilde izlenmesi, yasal olarak geçerli herhangi bir test prosedürünün olmazsa olmaz ön koşulunu (conditio sine qua non) oluşturur. Organizasyonel prosedürler kusurluysa ve test katılımcısının fiziksel kimliği test performansıyla kesin olarak ilişkilendirilemiyorsa, içerik ve istatistiksel geçerlilikle ilgili tüm sonraki açıklamalar geçersiz hale gelir.

Bölüm 2 ve 3: Kalite puanlaması, protokoller ve değerlendiriciler

Kalite standartlarımız Kanıt belgesi (destekleyici belge)
Tüm değerlendirme yöntemleri ve sonuç kayıt süreci için kesin kurallar ve kriterler mevcuttur; bu da nesnellik ve prosedürel güvenilirliği sağlar. CEFR referans seviyelerine ("Yapabilirim" ifadeleri) dayanan ve belirli bağlamlara uyarlanan değerlendirme ölçekleri, ölçülen dil alt yeterliliklerinin geçerli göstergelerini temsil eder. Değerlendirme yapma kılavuzu, değerlendirme şartnameleri kılavuzu: test yazılımı için minimum gereksinimler, verimli performans için değerlendirme kriterleri.
Değerlendiriciler gerekli mesleki niteliklere (örneğin, ilgili üniversite diplomaları) ve ilgili öğretim deneyimine sahiptir. Değerlendiricinin niteliklerine ilişkin referanslar
Sistematik eğitim programı, değerlendiricilere değerlendirme yönergelerini tutarlı ve doğru bir şekilde uygulamak için gerekli becerileri kazandırır. Değerlendiricilerin eğitim sertifikaları
Nitelikli uzmanlar tarafından gerçekleştirilen sistematik manuel kalite kontrolleri ve mantıksal doğrulamalar (insan müdahalesi), otomatik değerlendirme süreçlerinin doğruluğunu ve çözüm anahtarlarının geçerliliğini teyit eder. Makine değerlendirmesinin teknik işlem doğruluğunun kanıtı
Sınav performansının değerlendirilmesi, sınav görevlilerinin bireysel titizliğinden bağımsızdır ve belirli görevlere veya insan gruplarına yönelik sistematik önyargılardan arındırılmıştır. Nesnel değerlendirme kalitesinin doğrulanması (çok yönlü Rasch analizi)

Hedef değerler: Infit/Outfit MNSQ 0,5–1,5; Değerlendirici yanlılığı |t| ≤ 2,0.

Psikometrik ve dil testi teorisi literatüründe, performans değerlendirmelerinin geçerliliğinin standartlaştırılmış, dışsal olarak belirlenmiş kriterlere (kriter referanslı ölçüm) dayanması gerekmektedir. Öznel standartları dışlamak için, derecelendirme ölçeklerinin, yerleşik, teoriye dayalı bir referans sistemiyle tam olarak uyumlu olması gerekir.

Bölüm 4: Deneysel Kalite / İstatistiksel Bütünlük

Kalite standartlarımız Kanıt belgesi (destekleyici belge) Psikometrik hedef değerler
Test soruları, dil yeterliliği daha yüksek ve daha düşük olan adaylar arasında etkili ve güvenilir bir şekilde ayrım yapabilecek yeterli ayırt edici özelliğe sahiptir. İstatistiksel madde ayrımcılığının kanıtı Düzeltilmiş ayrım katsayısı rit ≥ 0,30 (hedef aralığı ≥ 0,40–0,50); negatif nokta-biserial korelasyon ile %5'ten büyük dikkat dağıtıcı seçim sıklığı.
Test görevlerinin zorluk seviyeleri, hedef popülasyonun tüm performans aralığını yeterince kapsamaktadır. Uygun madde zorluğuna dair kanıt Soru zorluğu P = 0,20 ila 0,80 (P ≈ 0,50 optimal); 4 seçenekle tahmin etme olasılığı P_chance = 0,25.
Test maddeleri, ilgili alt gruplar arasında değişmez bir şekilde işlev görür (cinsiyet veya ana dil nedeniyle herhangi bir önyargı yoktur). Testin adilliğinin doğrulanması (Farklılaştırılmış Madde Fonksiyonu / DIF) ETS kategori A (DIF < 1,0 veya p > 0,05; önemsiz/orta).
3 Genelleme
İDDİA: Test sonuçları, test adaylarının gerçek ve istikrarlı performansını yüksek güvenilirlik derecesiyle yansıtır; çünkü bu sonuçlar, belirli test sürümü veya testi uygulayan kişi gibi rastgele faktörlerden bağımsız olarak kanıtlanabilir.

Test formatları ve görevleri arasında tutarlılık

Kalite standartlarımız Kanıt belgesi (destekleyici belge) Psikometrik hedef değerler
Test formları arasında tutarlılık: Test sonuçları farklı test sürümlerinde tutarlıdır (seviye istikrarı). Test formu eşdeğerliğinin kalitesinin kanıtı (paralel test güvenilirliği) Paralel formlar güvenilirliği r ≥ 0,80 (kısa ölçekler r ≥ 0,70); anlamlı ortalama farkı yok (eşdeğerlik testi).
Görevler arasında tutarlılık: Test maddeleri homojendir (iç tutarlılık). İç tutarlılık ve homojenliğin kanıtı Cronbach'ın α'sı veya McDonald'ın ω'sı ≥ 0,85 (hedef ≥ 0,90; 20 maddeden az kısa ölçekler: α ≥ 0,75).

Değerlendiriciler arasında tutarlılık

Kalite standartlarımız Kanıt belgesi (destekleyici belge) Psikometrik hedef değerler
Tek bir değerlendirici tarafından yapılan sınav performansı değerlendirmesi zaman içinde istikrarlı ve tutarlıdır (değerlendirmelerin tutarlılığı). Ayrıca, farklı değerlendiriciler tarafından yapılan değerlendirmeler, titizlik açısından önemli bir farklılık göstermemektedir (tarafsızlık). Yargıların tutarlılığı ve tarafsızlığına dair ampirik kanıtlar Yargı tarafsızlığı: p > 0,05 ve Cohen's d < 0,20 (veya kısmi ηp² < 0,01); Değerlendiriciler arası: ICC ≥ 0,85 (0,75–0,84 kabul edilebilir), κ_w ≥ 0,75; Değerlendirici içi: ICC ≥ 0,75, κ_w ≥ 0,75.
4 Erklärung
İDDİA: Test sonuçları, CEFR'nin seviye tanımlarında belirtildiği gibi, dil yeterliliğinin temel yapısını yüksek bir olasılıkla yansıtmaktadır.
Kalite standartlarımız Kanıt belgesi (destekleyici belge) Psikometrik hedef değerler
Yapısal temsil: Test sonuçlarının iç yapısı, teorik olarak tanımlanmış yapıya (GER) karşılık gelmektedir. Yapısal boyutluluğun ampirik kanıtı (EFA/CFA). EFA: KMO ≥ 0,80, Bartlett p < 0,05, yükler λ ≥ 0,60 (min. > 0,30); CFA: RMSEA ≤ 0,05 (0,08'e kadar), SRMR ≤ 0,08, CFI ve TLI ≥ 0,95 (min. ≥ 0,90).
Nomolojik ağ: Test sonuçları, yerleşik standartlaştırılmış test prosedürleriyle (harici kriter) örtüşmektedir. Ölçüt geçerliliğine dair ampirik kanıtlar (dış ölçüt) Yakınsak geçerlilik: r ≥ 0,60 (hedef r ≥ 0,70, p < 0,01); zayıflama düzeltilmiş rcorr ≥ 0,80; ayırt edici: r < 0,30.
5 extrapolation
İDDİA: Dil testinde kaydedilen performans, adayların gerçekçi uygulama durumlarındaki (örneğin, akademik çalışmalarda veya günlük profesyonel yaşamda) gerçek dil yeterlilikleri hakkında yüksek derecede tahmin gücüyle geçerli sonuçlar çıkarmaya olanak tanır.
Kalite standartlarımız Kanıt belgesi (destekleyici belge) Psikometrik hedef değerler / analiz
Hedef alan performans göstergeleri: Test sonuçları, pratikteki gerçek eylem yeteneğiyle doğru orantılıdır. Eş zamanlı geçerliliği gösteren belge (öğretmen değerlendirmesi) / Öngörücü geçerliliği gösteren belge (ilgili uzmanlar tarafından yapılan pratik doğrulama) Uyum geçerliliği r ≥ 0,40 (öğretmen değerlendirmesi); öngörü geçerliliği r ≥ 0,30 (pratik deneyim).
Performansın karşılaştırılabilirliği: Test maddeleri ve değerlendirme kriterleri, hedef alanın belirlenmiş standartlarına uygundur. Kriterlerin uygunluğunun uzman onayıyla teyit edilmesi. Sistematik uzman karşılaştırması.
Orijinallik ve uyumluluk: Giriş materyalleri ve formatları, tipik pratik gereksinimlere karşılık gelmektedir. Durumsal gerçekliğin doğrulanması (girdi analizi). Girdi materyalleri ve metin türleri arasında yüksek düzeyde durumsal uyum (uzman değerlendirmesi).
Dil performansları, gerçek performans örneklerinden önemli bir yapısal sapma göstermemektedir. Yapısal performans eşdeğerliğine ilişkin ampirik kanıtlar (MANOVA). MANOVA anlamlı değil (p > 0,05); tek değişkenli kısmi ηp² < 0,01 (tolerans aralığı 0,01 ila < 0,06; kabul edilemez ≥ 0,06).
Test katılımcıları, konuyla ilgili bilişsel problem çözme stratejilerini (tahmin etmek yerine gerçek anlayış) uygularlar. Yapısal uyumlu zihinsel süreçlere dair kanıtlar (süreç analizi). Süreç analizleri.
6 kullanım
İDDİA: Test sonuçları, CEFR tabanlı yerleştirme ve sertifikasyonlarla ilgili adil ve objektif kararlar alınması için güvenilir bir temel sağlamaktadır. Ayrıca, dil öğretimine yönelik hedefli destek için değerli teşhis bilgileri sunmaktadır.
Kalite standartlarımız Kanıt belgesi (destekleyici belge) Psikometrik hedef değerler
Uygunluk / Faydalılık: Paydaşlar (üniversiteler, öğretim üyeleri) sonuçları haklı kararlar almak için faydalı bulmaktadır. Test sonuçlarının pratik uygulanabilirliğinin kanıtı. Paydaş anketlerinde yüksek kabul oranı (onay oranı ≥ %80-85).
Karar kuralları: Geçme puanları, nitelikli bir standart belirleme prosedürünün sonucudur. Değerlendirme çerçevesi - Standart belirleme prosedürleri / Geçme puanları. Angoff veya Bookmark yöntemine göre profesyonel olarak onaylanmış geçme puanları / sınır değerlerinin tanımlanması.
Sınıflandırma kalitesi ve tutarlılığı: Sınıflandırmalar büyük ölçüde bağımsız bir referans değerlendirmesine karşılık gelir. Sınıflandırma doğruluğunun kanıtı (kesme puanları). Sınıflandırma doğruluğu ≥ 0,90; Güvenilirlik endeksi Φ ≥ 0,70; Yanlış pozitif/negatif oranlarının en aza indirilmesi.
Yorumlanabilirlik ve iletişim: Test sonuçları paydaşlar için açık ve anlaşılır bir şekilde yorumlanabilir. Sonuç raporlarının yorumlanabilirliği ve kullanışlılığının teyidi. Kullanılabilirlik anketlerinde puan raporlarının yüksek anlaşılabilirliği (onay oranı ≥ %85).
Uygulama doğruluğu: Karar vericiler, faaliyetlerinde yerleşik karar kurallarını tutarlı bir şekilde uygularlar. Başvuru şartlarına uyulduğuna dair kanıt. Sistem günlük denetimleri (QR kod taramaları) yoluyla uyumlu kullanım/doğrulama.
7 sonuçları
İDDİA: Test sonuçlarının kullanımı, adil sınıflandırmaları ve erişim fırsatlarını garanti altına alarak ve öğretim uygulamaları üzerinde olumlu bir etki yaratarak tüm paydaşlar için olumlu sonuçlar doğurma olasılığı yüksektir.
Kalite standartlarımız Kanıt belgesi (destekleyici belge)
Test kullanımının gerçekleşen sonuçları, amaçlanan faydaları sağlarken, olumsuz yan etkiler minimum düzeyde kalmıştır. Test sonuçlarının etkilerine dair kanıtlar (Kullanıcı Faydası ve Geri Bildirim)
Test katılımcılarının hakları, saygınlığı ve hassas verileri, sıkı yönergeler (şikayet prosedürleri de dahil olmak üzere) ile korunmaktadır. Bilgi yönetim sistemi için itiraz yönergeleri ve kılavuzu.
Bu testin uygulanması, eğitim sistemi üzerinde olumlu bir geri bildirim etkisi yaratmaktadır (test stratejileri yerine becerilere odaklanma). Test sonuçlarının etkilerine dair kanıtlar (makro etki ve sosyal fayda)

Modern test teorisinde, itiraz prosedürlerinin ve bilgi güvenliği yönergelerinin uygulanması, yalnızca idari bir işlem olarak değil, sonuçsal geçerliliği sağlamak için zorunlu bir metodolojik araç olarak görülmektedir (bkz. Messick, 1989; 1995). Düzenlenmiş bir tahkim prosedürü, yapısal olarak ilgisiz varyansı belirlemek için gerekli bir niteliksel karşı kontrol görevi görür.

🔤 Dil