Bir dil testinin Avrupa Ortak Dil Referans Çerçevesi'ne (CEFR) atanması karmaşık bir doğrulama sürecini temsil eder. Bir testin belirli bir CEFR seviyesine karşılık geldiği iddiası doğrudan gözlemlenebilir bir olgu değildir, ancak teorik ve ampirik kanıtlarla desteklenmelidir. Bu kanıtların toplanması ve değerlendirilmesi, ilgili geçerlilik iddiasının doğrulanması çerçevesinde gerçekleşir.
(Avrupa Konseyi, 2009, s. 7'ye bakınız)Karar verici olarak, belirli bir amaç için bir başvuru sahibinden dil yeterliliği kanıtı talep ediyorsanız, genellikle size bir dil sertifikası veya ilgili bir sınav sonucu sunulacaktır. Bu belge esasen, belirli metodolojik ve sınavla ilgili koşullar altında belirlenmiş bir ölçüm sonucunu içerir. Bunu, örneğin, dil yeterliliğini değerlendirmek için resmi bir prosedürde kullanıyorsanız, kanıt olarak kullanılabilir (Alman İdari Usul Kanunu'nun 26. Bölümünün 1. Paragrafının 1. Cümlesi ve 2. Cümlesinin 3. Maddesine bakınız). Ancak, bu tür bir ölçüm sonucu, ancak profesyonelce sağlam ve kanıta dayalı bir yorumla önem kazanır. Bu nedenle, önemli olan soru, sadece kağıda yazılan sonuç değil, bu ölçüm sonucunun hangi bilimsel temelde güvenilir bir şekilde değerlendirilebileceğidir.
Bu tür bir yorumun geçerliliği büyük ölçüde, temel test süreçlerinin bilimsel olarak sağlam, teknik olarak güvenilir ve organizasyonel olarak kontrol altında olup olmadığına bağlıdır. Bu nedenle, önemli olan sadece ölçüm değeri değil, onu üreten tüm sistemin kalitesidir.
Bir dil sertifikasının güvenilirliğini değerlendirmek için, test verilerinin toplanma, işlenme ve yorumlanma koşullarını incelemek gereklidir. Bu kontrollü süreçler, test kalitesinin bilimsel olarak değerlendirilmesini sağlayacak gerekli kanıtları üretir.
Ancak, bu tek tek kanıtlar henüz bir test sonucunun yorumlanması için kesin bir gerekçe oluşturmamaktadır. Sadece bu kanıtların bir doğrulama argümanı içinde sistematik olarak entegre edilmesiyle, bir kişinin dil yeterliliği hakkındaki belirli bir ifadenin somut bir test sonucundan nasıl çıkarılabileceğine dair bilimsel olarak anlaşılabilir bir temel ortaya çıkar.
Aşağıdaki bölümler öncelikle kanıt üretme altyapısını – yani güvenilir kanıtların üretildiği standartları, süreçleri ve kontrol mekanizmalarını – açıklamaktadır. Ardından, bu kanıtların doğrulama yaklaşımımıza nasıl sistematik olarak entegre edildiğini ve test sonuçlarımızın yorumlanmasının hangi bilimsel temele dayandığını açıklamaktadır.
Bir sertifikanın boş bir vaat olmadığını objektif olarak göstermek için, bir test kuruluşunun sağlam ampirik kanıtlara (psikometrik veriler, güvenilirlik analizleri, geçerlilik dokümantasyonu) ihtiyacı vardır. Modern test araştırmaları temel bir önermeyi vurgular: doğuştan "geçerli testler" veya "geçerli test sonuçları" yoktur; geçerlilik ancak bu sonuçların belirli bir amaç için yorumlanması ve kullanılması yoluyla elde edilebilir.
Sadece metodik olarak kapsamlı bir kalite yönetim sistemi, bir test sağlayıcısının sürekli olarak temiz, tarafsız ham veriler üretmesini garanti edebilir; bu da dil yeterliliğinin geçerli bir yorumunu haklı çıkarmak için elzemdir. Bu tür kanıtlar ancak keyfi olarak üretilmediği takdirde güvenilir olduğundan, titiz ve bağımsız bir sistem mimarisi gereklidir. Bu mimari beş temel üzerine kuruludur:
Standart, belirli süreçler, prosedürler veya hizmetler için gereksinimleri, kriterleri veya önerileri açıklayan, belgelenmiş bir kurallar bütünüdür. Kalite, karşılaştırılabilirlik, şeffaflık ve izlenebilirliği sistematik olarak sağlamak için ortak bir çerçeve oluşturur. Standartlar çeşitli paydaşlar tarafından geliştirilebilir ve yayınlanabilir ve en iyi uygulamaları, teknik gereksinimleri ve kalite ölçütlerini şeffaf ve anlaşılır bir şekilde tanımlamaya hizmet eder.
Deutschtest.digital, dil testlerinin geliştirilmesi, yönetimi, değerlendirilmesi ve sürekli kalite güvencesini DIN ISO 29992 gerekliliklerine dayandırmaktadır. ISO 29992 ("Öğrenme hizmetlerinin sonuçlarının değerlendirilmesi") ile uluslararası standartlar komitesi ISO/TC 232 ("Eğitim ve Öğrenme Hizmetleri"), öğrenme hizmetleri sunan ve değerlendirmeler geliştiren, seçen veya uygulayan kuruluşlara yönelik özel bir standart yayınlamıştır. Uluslararası standart ISO 29992, Alman Standardizasyon Enstitüsü (DIN) tarafından DIN ISO 29992 olarak ulusal standartlar sistemine dahil edilmiştir.
Bu standart, değerlendirmelerin planlanması, geliştirilmesi, yönetimi ve değerlendirilmesi için özel kalite gereksinimleri formüle eder ve Avrupa Ortak Dil Referans Çerçevesi'ne (CEFR) göre dil yeterliliğinin ölçülmesini açıkça içerir. Tamamen test teorisine dayalı kılavuzlardan farklı olarak, ISO 29992 öncelikle kalite güvenceli hizmet yönetimi mantığından kaynaklanır. Deutschtest.digital için, kalite güvencesi için merkezi organizasyonel ve metodolojik çerçeveyi oluşturur. Güvenilir kanıtlar üretmemize, test süreçlerini şeffaf bir şekilde belgelememize ve doğrulanabilir ve izlenebilir standartlara göre dil testlerimizin tutarlı kalitesini sağlamamıza yardımcı olur. Aynı zamanda, karar vericilere kapsamlı yasal, kurumsal ve metodolojik kesinlik sağlar.
ISO 29992 standardının gereklilikleri aşağıdaki ana bölümler halinde yapılandırılmıştır:
DIN ISO 29992, Deutschtest.digital'e yalnızca resmi bir kalite çerçevesi sağlamakla kalmaz, aynı zamanda dil testlerimizin geliştirilmesi, yönetimi ve sürekli gözden geçirilmesi için sistematik bir temel oluşturur. Bu standardın uygulanmasının başlıca avantajları özellikle aşağıdaki alanlarda yatmaktadır:
Bağlayıcı bir güvenlik mimarisinin sağlanması: Standart, yapılandırılmış bir güvenlik planı için gereksinimleri tanımlar. DIN ISO 29992'yi uygulayan kuruluşlar, tanımlanmış süreçler aracılığıyla manipülasyona (dolandırıcılığın önlenmesi) karşı önleyici tedbirleri sistematik olarak uygulamalı ve görevlerin bütünlüğünün yanı sıra bilgi ve kimlik güvenliğini de korumalıdır.
Yaşam döngüsü yönetimi yoluyla sürdürülebilir kalite güvencesi: ISO 29992, sürekli bir bakım ve izleme süreci (bakım planı) gerektirerek test kalitesinin uzun vadeli güvencesini destekler. Standart, tek seferlik bir inceleme yerine, test prosedürlerinin sürekli değerlendirilmesini ve iyileştirilmesini kalite güvencesinin temel bir bileşeni olarak ele alır. Bu, test kalitesindeki değişikliklerin erken tespit edilmesini ve deneysel olarak desteklenen önlemlerle düzeltilmesini sağlar.
Ortak Avrupa Dil Referans Çerçevesi (CEFR) ile teknik bağlantı: Standardın yapısı, genel kalite gereksinimlerinin dil teşhisine sistematik olarak aktarılmasını mümkün kılar. Bu, ISO 29992'nin gereksinimlerinin Ortak Avrupa Dil Referans Çerçevesi'nin (CEFR) teoriye dayalı yeterlilik tanımlarıyla ilişkilendirilmesini ve test sonuçlarının dil seviyelerine atanmasının anlaşılır bir şekilde gerekçelendirilmesini sağlar.
Sonuçların yorumlanması ve kullanımının şeffaf bir şekilde gerekçelendirilmesi: ISO 29992, değerlendirme sonuçları ile bunların yorumlanması arasındaki ilişkinin açık bir şekilde sunulmasını gerektirir. Bu, bir test sonucundan hangi sonuçların çıkarılabileceğine ve bir sertifikanın hangi amaçlarla kullanılabileceğine dair bilimsel olarak anlaşılabilir bir açıklama için temel oluşturur.
Bilimsel olarak sağlam bir doğrulama argümanının temeli: ISO 29992'nin en önemli avantajlarından biri, ilgili kanıtların yapılandırılmış bir şekilde oluşturulmasını ve belgelenmesini desteklemesidir. Psikometrik yöntemlerle birleştiğinde, bu, bilimsel olarak sağlam bir doğrulama argümanının geliştirilebileceği güçlü bir kanıt tabanı oluşturur. Bu argüman, test sonuçlarının yorumlanmasının ve kullanılmasının şeffaf, anlaşılır ve sağlam profesyonel kanıtlarla gerekçelendirilmesini sağlar.
Bağımsız bir belgelendirme kuruluşu, bir kuruluşun belirtilen kalite gereksinimlerini veya standartlarını karşıladığını doğrulayan ve teyit eden harici, tarafsız bir kuruluştur. Belgelendirilen kuruluşun kendi performansını değerlendirmez, bunun yerine belgelenmiş süreçlerinin, yapılarının ve kanıtlarının bağımsız bir denetimini gerçekleştirir. Bu dış değerlendirme, kalite güvencesinin yalnızca kuruluşun kendi sorumluluğu olmadığı için ek bir güven katmanı oluşturur.
Bağımsız sertifikasyonun temel özelliklerinden biri, değerlendirme ile sertifikasyon kararının birbirinden ayrılmasıdır. Süreçlerin ve kanıtların incelenmesi uzman denetçiler tarafından yapılırken, nihai sertifikasyon kararı bağımsız bir kuruluş tarafından verilir. Bu, öz değerlendirmeleri ve potansiyel çıkar çatışmalarını önleyerek sertifikasyonun objektifliğini ve güvenilirliğini sağlar.
Dış kalite güvencesi için bağımsız belgelendirme kuruluşu DeuZert ile işbirliği yapıyoruz . DeuZert, belgelendirme kararlarının tam bütünlüğünü, güvenilirliğini ve kabul edilebilirliğini garanti eder. Yirmi yılı aşkın uzmanlığıyla DeuZert, eğitim ve belgelendirme sektöründe kapsamlı uzmanlık bilgisine sahiptir.
DeuZert'in bağımsız sertifikasyonunun en önemli katma değeri, uygulanan süreçlerin kalitesinin yalnızca kuruluşun kendisi tarafından değerlendirilmemesi, aynı zamanda dış uzman incelemesine tabi tutulmasıdır. Bu, karar vericiler için ek bir güven düzeyi yaratır. Aşağıdaki hususlar özellikle önemlidir:
Denetim sürecinin başarıyla tamamlanmasının ardından DeuZert, bize DIN ISO 29992 uygunluk sertifikası vermiştir . Bu belge, Deutschtest.digital'de Almanca dil becerileri alanındaki değerlendirmelerin planlanması, geliştirilmesi, yürütülmesi ve değerlendirilmesi için uygulanan prosedürlerin standardın gerekliliklerini karşıladığını ve bağımsız bir dış denetimin parçası olarak değerlendirildiğini doğrulamaktadır.
Uygunluk belgesi, Deutschtest.digital'in test süreçlerini öğrenme sonuçlarının değerlendirilmesi için uluslararası kabul görmüş bir standarda uygun hale getirdiğinin resmi kanıtı niteliğindedir. Şeffaflığı, karşılaştırılabilirliği ve test sonuçlarının kalitesini sağlamak için standartlara uygun prosedürlerin sistematik olarak uygulandığını teyit eder.
Sertifikayı görüntüleUluslararası standartlar, değerlendirme ve sertifikasyon karar alma süreçleri arasında kesin bir ayrım öngörmektedir. Test kuruluşunun fiili incelemesi (denetim), bağımsız, yüksek nitelikli denetçiler tarafından gerçekleştirilir. Bu denetçiler, deneysel kanıtları inceler, sistem mimarisini pratikte değerlendirir ve bulgularını bir denetim raporunda belgeler; bu rapor, sertifikasyon kuruluşunun sonraki kararı için tarafsız bir olgusal temel oluşturur.
Denetimler, DeuZert adına hareket eden deneyimli eğitim uzmanları, sınav görevlileri, denetçiler ve değerlendiricilerden oluşan bir ağ tarafından yürütülmektedir. Bu son derece uzmanlaşmış ekibin kullanılması, süreçlerimizin ve kanıtlarımızın değerlendirilmesinin yalnızca idari değil, aynı zamanda içerik ve dil testi teorisinde en üst düzey uzmanlıkla gerçekleştirilmesini sağlar.
Denetim yönetmelikleri, bir belgelendirme kuruluşunun denetimi nasıl yürütmesi gerektiğini kesin olarak tanımlayan bağlayıcı usul kurallarıdır. Keyfi uygulamaları önlemek ve tekrarlanabilir denetim kalitesini garanti etmek için belge incelemeleri, örnekleme, görüşmeler ve yerinde veya sistem denetimleri sürecini düzenlerler.
ISO 29992 denetim prosedürü, genel standart olan DIN EN ISO/IEC 17065'in gerekliliklerine tabidir. Bu standart, testin kendisini değil, belgelendirme kuruluşunun çalışma yöntemlerini, bağımsızlığını ve yetkinliğini düzenler. Bu, dış denetimin ticari veya iç çıkar çatışmalarından arınmış olmasını sağlar. Sonuç olarak, şeffaf bir şekilde belgelenmiş profesyonel ve metodolojik bir temele dayalı olarak, test ve değerlendirme süreçlerinin standartlara uygun şekilde uygulanmasının bağımsız bir dış onayı elde edilir.
Dil becerilerinin doğru bir şekilde değerlendirilmesi, güvenilir bir veri tabanı gerektirir. Test kalitesine ilişkin kanıtlar öncelikle aşağıdaki temel kanıt kategorilerine dayanır:
Bu belgeler, gerçek test geliştirme süreci başlamadan önce stratejik ve sözleşmesel temeli oluşturur. Hedef grubun sistematik ihtiyaç analizlerini ve testin kesin amacına ilişkin bağlayıcı anlaşmaları belgelendirirler.
Bu kategori, içerik kalite güvencesi için ayrıntılı planlar ve test protokolleri içermektedir. Bunlar, her bir test öğesinin teknik özelliklere ve hedeflenen CEFR seviyesine uygun olduğunu göstermektedir.
Tüm sınav merkezlerinde tamamen tek tip, standartlaştırılmış ve hileye karşı korumalı bir sınav süreci garanti ederler. Bu, gözetmenler için kılavuzlar, adayların sıkı kimlik kontrolleri ve ayrıntılı BT güvenlik planlarını içerir.
Bu belgeler, puanların objektif, hatasız ve tarafsız bir şekilde verilmesini düzenler. Cevap anahtarlarını, sınav görevlileri için değerlendirme yönergelerini ve otomatik değerlendirme prosedürlerinin doğruluğuna dair kanıtları içerirler.
Bu belgeler, tüm test ve değerlendirme personelinin mesleki, akademik ve tanısal yeterliliklerini göstermektedir. Ayrıca, tek tip değerlendirme standartlarını sağlamak için sistematik eğitim ve düzenli yenileme kursu konseptini belgelemektedir.
Testin gerçek psikometrik kalitesine dair bilimsel ve istatistiksel kanıtlar sunarlar. Ölçüm doğruluğu (güvenilirlik), alt gruplar arası adalet ve teoriye uygun boyutlu yapıya ilişkin hesaplamaları içerirler.
Bu süreçler, işletme sırasında sürekli kalite izlemesini ve testlerin düzenli olarak yenilenmesini kontrol eder. Sarf malzemelerinin zamanında ve standartlaştırılmış bir şekilde değiştirilmesini sağlamak için görevlerin yaşam döngüsü için istatistiksel ölçütler tanımlarlar.
Sınav sürecinin tamamı boyunca adayların haklarını, saygınlığını ve güvenliğini korurlar. Bu, şeffaf itiraz ve şikayet yönergelerini, kolay anlaşılabilir kullanıcı desteğini ve sıkı veri güvenliği kavramlarını içerir.
Kalite güvence mimarisi içinde üretilen kanıtlar, başlangıçta test prosedürünün kalitesi ve işlevselliğiyle ilgili bireysel kanıt parçalarını oluşturur. Ancak bu kanıtların bir doğrulama argümanı içinde sistematik olarak entegre edilmesiyle, bir kişinin dil yeterliliği hakkındaki belirli bir ifadenin bir test sonucundan neden çıkarılabileceğine dair anlaşılabilir bir gerekçe ortaya çıkar.
Test geliştiricileri bilimsel kalite kriterlerini izole bir şekilde ele alırlarsa, testin genel mantığını ve amacını gözden kaçırma riskiyle karşı karşıya kalırlar. Bir dil testinin kalitesi yalnızca bireysel görevlerden veya istatistiksel parametrelerden değil, test prosedürünün tüm bileşenlerinin etkileşiminden kaynaklanır. Modern dil testi araştırmalarında, bir testin geçerliliği bu nedenle –başka isimlerin yanı sıra Bachman & Palmer, Michael Kane ve Carol Chapelle'in çalışmalarından etkilenerek– kapsamlı ve çok boyutlu bir kalite kavramı olarak anlaşılmaktadır. Kritik soru, bireysel kalite kriterlerinin karşılanıp karşılanmadığı değil, bir test sonucundan çıkarılan sonuçların genel olarak haklı çıkarılıp çıkarılamayacağıdır.
Bu soru özellikle önemlidir çünkü dil testlerinin sonuçları genellikle eğitim, kariyer ve ikamet kararları üzerinde geniş kapsamlı sonuçlar doğurur. Bu nedenle test sağlayıcıları özel bir mesleki ve etik sorumluluk taşırlar. Sadece test prosedürlerinin kalitesini sağlamakla kalmamalı, aynı zamanda bu kaliteyi şeffaf bir şekilde de gösterebilmelidirler. Modern geçerlilik araştırmalarında sözde geçerlilik argümanı kavramı tam da bu ihtiyaçtan doğmuştur.
Tarihsel olarak, bu yaklaşım 1990'lar ve 2000'lerde, gerçek dünya test uygulamaları için somut bir rehberlik sunmayan, daha önce oldukça soyut olan bilimsel geçerlilik modellerine çığır açan bir yanıt olarak ortaya çıktı. Amerikalı araştırmacı Michael Kane, filozof Stephen Toulmin'in pratik argümantasyon teorisini test teorisine uyguladı. Ünlü dilbilimci Carol Chapelle daha sonra bu mantığı özellikle dil testi araştırmaları için daha da geliştirdi; 2008'den itibaren TOEFL iBT'nin öncü geçerlilik çalışmasıyla dünyaca ünlüdür. Modeli, bugün test yorumlarının sistematik gerekçelendirilmesi ve belgelendirilmesine yönelik yerleşik modern bir yaklaşımı temsil eden, yedi kesin çıkarım adımından oluşan kusursuz bir zincire dönüştürdü.
Bu yaklaşımın en önemli faydası, dil sınavı kuruluşlarını yalnızca "sertifika veren" pasif rolünden kurtarmasıdır . Sınav sağlayıcıları, akreditasyon makamlarına veya bakanlık karar vericilerine düzensiz bireysel belgeler veya katı kontrol listeleri sunmak yerine, artık aktif ve proaktif bir "savunuculuk rolü " üstlenebilirler. Bu, sınavlarının geçerliliğini, adilliğini ve hukuki kesinliğini karar vericilere bağımsız, şeffaf ve bilimsel olarak tartışılmaz bir şekilde savunmalarını ve bunu sistematik olarak oluşturulmuş bir kanıt zinciriyle kendileri ispatlamalarını sağlar.
Dolayısıyla, doğrulama argümanı, test sonuçlarının geçerliliğini gerekçelendirmek için kullanılan bu yapılandırılmış yaklaşımı tanımlar. Başlangıç noktası, her testin bir kişinin dil yeterliliği hakkında bir iddiada bulunduğu varsayımıdır. Örneğin, bir kişiye Avrupa Ortak Dil Referans Çerçevesi'nin (CEFR) B1 seviyesi atanırsa, bu, o kişinin bu seviye için tanımlanan dil becerilerine sahip olduğu anlamına gelir. Doğrulama argümanının görevi, bu iddiayı sistematik olarak desteklemek ve anlaşılır bir şekilde gerekçelendirmektir.
Bu, test görevlerinden başlayarak uygulama ve değerlendirme aşamalarına ve sonuçların yorumlanmasına kadar uzanan tutarlı bir akıl yürütme zinciri oluşturmayı içerir. Her bir adım için, yapılan varsayımların haklı olduğunu göstermek amacıyla teorik temeller ve ampirik kanıtlar (destekleyici veriler) kullanılır. Doğrulama argümanı böylece bilimsel kanıtları pratik test kararlarıyla birleştirir ve belirli bir test sonucunun tanımlanmış bir dil yeterliliğinin anlamlı bir kanıtı olarak neden kabul edilebileceğini şeffaf hale getirir. Bu şekilde, dil testlerinin güven, şeffaflık ve yasal sorumluluğu için temel oluşturur.
Bir dil testinin kalitesine dair tartışılmaz profesyonel kanıt sunmak için, modern tanı yöntemleri açık ve mantıksal bir yapı izler. Bir testin pratik uygulamada tamamen güvenilir kabul edilmesi için, bu yedi seviyenin her biri için ampirik kanıtın mevcut olması gerekir.
Aşağıda, Almanca dil yeterliliğinin değerlendirilmesi için kullandığımız doğrulama argümanının metodolojik mimarisini sunuyoruz. Bir doğrulama argümanı her zaman belirli bir hedef alana, tanımlanmış bir yeterlilik seviyesine ve belirli bir amaca yönelik olduğundan, temel kanıt tabanı, test sonucunun amaçlanan yorumu ve kullanımı için özel olarak yapılandırılmalıdır. Aşağıda sunulan mimari, bir doğrulama argümanı içindeki bireysel sonuçların (çıkarımların) nasıl bağlantılı olduğunu ve ortaya çıkan ifadeleri bilimsel olarak desteklemek için ne tür kanıtların (destek) gerekli olduğunu göstermektedir. Tüm ampirik ve istatistiksel kanıtları içeren eksiksiz bir doğrulama argümanı bu sunumun kapsamını aşacaktır. Bu nedenle, ilgili kanıt belgeleri burada örnek olarak listelenmiştir.
| kategori | Kalite standartlarımız | Kanıt belgesi (destekleyici belge) |
|---|---|---|
| Alan açıklaması | Hedef grubun ilgili dilsel gereksinimleri ve iletişim durumları doğru ve eksiksiz bir şekilde belirlenmiştir. | Hedef alan belirtimi |
| temsil | Test soruları, test şartnamesinde tanımlanan alanı, gerekli içerik ve bilişsel düzeyleri doğru oranlarda kapsayarak yeterince temsil etmektedir. | Sınav Planı/Haritalama Araçları |
| Relevanz | Test soruları içerik açısından ilgili ve istenen yeterlilik seviyesine göre hassas bir şekilde ayarlanmıştır; ölçülen yapının bir parçası olmayan uygunsuz zorluk kaynakları içermezler. | Madde inceleme protokolleri, derecelendirme formları kullanılarak madde değerlendirmesi (CEFR seviye kontrolünün kanıtı dahil) |
| kalite kontrolü | Geliştirme süreci, niteliksel eksiklikler, belirsizlikler veya kültürel önyargılar sergileyen görevlerin mutlaka gözden geçirilmesini veya reddedilmesini sağlayan sistematik editoryal kontrol mekanizmalarını içerir. | Ürün kalite kontrol protokolü (ürün incelemesi) |
Psikometrik ve dil testi teorisi literatüründe, test şablonlarının ve eşleme araçlarının kullanımı, içerik geçerliliğini sağlamak ve hedef alanın uygun şekilde temsil edildiğini göstermek için zorunlu bir metodolojidir. Eğitimsel ve Psikolojik Test Standartları, test maddelerini içerik alanına eşleyen mantıksal bir yapı oluşturmayı (eşleme) açıkça önermektedir.
Bu kapsamın pratikte sağlanması için Alderson (2005), test özelliklerini, test ve madde yazarlarının bir testin yapı geçerliliğini oluşturmak için izlemesi gereken "plan" olarak açıkça tanımlar. Fulcher ve Davidson (2007) de test özelliklerine kelimenin tam anlamıyla "üretken planlar" olarak atıfta bulunur.
| Kalite standartlarımız | Kanıt belgesi (destekleyici belge) |
|---|---|
| Sınav yönetmelikleri yüksek kalitede olup, sınav uygulamasının kesinlikle standartlaştırılmış ve tekdüze olmasını sağlayan kapsamlı ve kesin yönergeler ile adil ve yapıya uygun düzenlemeler (erişilebilirlik) içermektedir. Gözetmenler, geçerli yönergelere uygun olarak güvenilir kimlik doğrulama prosedürleri kullanarak adayların kimliklerini kesin olarak doğrulamakta ve sınav ortamını sürekli olarak izlemekte (sınav salonu kontrolü), böylece vekil adayların ve yetkisiz bilgi alışverişinin yapısal olarak önlenmesini sağlamaktadır. | Sınav yönetmeliği, değerlendirme yapma kılavuzu - oda kontrolü ve kimlik doğrulama |
| Sınavın yüz yüze veya dijital ortamda yapılmasına bakılmaksızın, kurcalamaya karşı dayanıklı bir sınav ortamı, yetkisiz yardımlara erişimi güvenilir bir şekilde engeller ve format uyumlu kontrol mekanizmaları (fiziksel gözetmenler, güvenli tarayıcı, uzaktan gözetmenlik) aracılığıyla hile girişimlerini tamamen ortadan kaldırır. | Fiziksel ve elektronik güvenlik gereksinimleri listesi, güvenlik düzenlemelerinin ihlali durumunda acil durum planı, sınav adayları tarafından yetkisiz faaliyetlere karşı alınacak önlemler. |
Test katılımcılarının kesin olarak belirlenmesi ve test ortamının sorunsuz bir şekilde izlenmesi, yasal olarak geçerli herhangi bir test prosedürünün olmazsa olmaz ön koşulunu (conditio sine qua non) oluşturur. Organizasyonel prosedürler kusurluysa ve test katılımcısının fiziksel kimliği test performansıyla kesin olarak ilişkilendirilemiyorsa, içerik ve istatistiksel geçerlilikle ilgili tüm sonraki açıklamalar geçersiz hale gelir.
| Kalite standartlarımız | Kanıt belgesi (destekleyici belge) |
|---|---|
| Tüm değerlendirme yöntemleri ve sonuç kayıt süreci için kesin kurallar ve kriterler mevcuttur; bu da nesnellik ve prosedürel güvenilirliği sağlar. CEFR referans seviyelerine ("Yapabilirim" ifadeleri) dayanan ve belirli bağlamlara uyarlanan değerlendirme ölçekleri, ölçülen dil alt yeterliliklerinin geçerli göstergelerini temsil eder. | Değerlendirme yapma kılavuzu, değerlendirme şartnameleri kılavuzu: test yazılımı için minimum gereksinimler, verimli performans için değerlendirme kriterleri. |
| Değerlendiriciler gerekli mesleki niteliklere (örneğin, ilgili üniversite diplomaları) ve ilgili öğretim deneyimine sahiptir. | Değerlendiricinin niteliklerine ilişkin referanslar |
| Sistematik eğitim programı, değerlendiricilere değerlendirme yönergelerini tutarlı ve doğru bir şekilde uygulamak için gerekli becerileri kazandırır. | Değerlendiricilerin eğitim sertifikaları |
| Nitelikli uzmanlar tarafından gerçekleştirilen sistematik manuel kalite kontrolleri ve mantıksal doğrulamalar (insan müdahalesi), otomatik değerlendirme süreçlerinin doğruluğunu ve çözüm anahtarlarının geçerliliğini teyit eder. | Makine değerlendirmesinin teknik işlem doğruluğunun kanıtı |
| Sınav performansının değerlendirilmesi, sınav görevlilerinin bireysel titizliğinden bağımsızdır ve belirli görevlere veya insan gruplarına yönelik sistematik önyargılardan arındırılmıştır. | Nesnel değerlendirme kalitesinin doğrulanması (çok yönlü Rasch analizi) Hedef değerler: Infit/Outfit MNSQ 0,5–1,5; Değerlendirici yanlılığı |t| ≤ 2,0. |
Psikometrik ve dil testi teorisi literatüründe, performans değerlendirmelerinin geçerliliğinin standartlaştırılmış, dışsal olarak belirlenmiş kriterlere (kriter referanslı ölçüm) dayanması gerekmektedir. Öznel standartları dışlamak için, derecelendirme ölçeklerinin, yerleşik, teoriye dayalı bir referans sistemiyle tam olarak uyumlu olması gerekir.
| Kalite standartlarımız | Kanıt belgesi (destekleyici belge) | Psikometrik hedef değerler |
|---|---|---|
| Test soruları, dil yeterliliği daha yüksek ve daha düşük olan adaylar arasında etkili ve güvenilir bir şekilde ayrım yapabilecek yeterli ayırt edici özelliğe sahiptir. | İstatistiksel madde ayrımcılığının kanıtı | Düzeltilmiş ayrım katsayısı rit ≥ 0,30 (hedef aralığı ≥ 0,40–0,50); negatif nokta-biserial korelasyon ile %5'ten büyük dikkat dağıtıcı seçim sıklığı. |
| Test görevlerinin zorluk seviyeleri, hedef popülasyonun tüm performans aralığını yeterince kapsamaktadır. | Uygun madde zorluğuna dair kanıt | Soru zorluğu P = 0,20 ila 0,80 (P ≈ 0,50 optimal); 4 seçenekle tahmin etme olasılığı P_chance = 0,25. |
| Test maddeleri, ilgili alt gruplar arasında değişmez bir şekilde işlev görür (cinsiyet veya ana dil nedeniyle herhangi bir önyargı yoktur). | Testin adilliğinin doğrulanması (Farklılaştırılmış Madde Fonksiyonu / DIF) | ETS kategori A (DIF < 1,0 veya p > 0,05; önemsiz/orta). |
| Kalite standartlarımız | Kanıt belgesi (destekleyici belge) | Psikometrik hedef değerler |
|---|---|---|
| Test formları arasında tutarlılık: Test sonuçları farklı test sürümlerinde tutarlıdır (seviye istikrarı). | Test formu eşdeğerliğinin kalitesinin kanıtı (paralel test güvenilirliği) | Paralel formlar güvenilirliği r ≥ 0,80 (kısa ölçekler r ≥ 0,70); anlamlı ortalama farkı yok (eşdeğerlik testi). |
| Görevler arasında tutarlılık: Test maddeleri homojendir (iç tutarlılık). | İç tutarlılık ve homojenliğin kanıtı | Cronbach'ın α'sı veya McDonald'ın ω'sı ≥ 0,85 (hedef ≥ 0,90; 20 maddeden az kısa ölçekler: α ≥ 0,75). |
| Kalite standartlarımız | Kanıt belgesi (destekleyici belge) | Psikometrik hedef değerler |
|---|---|---|
| Tek bir değerlendirici tarafından yapılan sınav performansı değerlendirmesi zaman içinde istikrarlı ve tutarlıdır (değerlendirmelerin tutarlılığı). Ayrıca, farklı değerlendiriciler tarafından yapılan değerlendirmeler, titizlik açısından önemli bir farklılık göstermemektedir (tarafsızlık). | Yargıların tutarlılığı ve tarafsızlığına dair ampirik kanıtlar | Yargı tarafsızlığı: p > 0,05 ve Cohen's d < 0,20 (veya kısmi ηp² < 0,01); Değerlendiriciler arası: ICC ≥ 0,85 (0,75–0,84 kabul edilebilir), κ_w ≥ 0,75; Değerlendirici içi: ICC ≥ 0,75, κ_w ≥ 0,75. |
| Kalite standartlarımız | Kanıt belgesi (destekleyici belge) | Psikometrik hedef değerler |
|---|---|---|
| Yapısal temsil: Test sonuçlarının iç yapısı, teorik olarak tanımlanmış yapıya (GER) karşılık gelmektedir. | Yapısal boyutluluğun ampirik kanıtı (EFA/CFA). | EFA: KMO ≥ 0,80, Bartlett p < 0,05, yükler λ ≥ 0,60 (min. > 0,30); CFA: RMSEA ≤ 0,05 (0,08'e kadar), SRMR ≤ 0,08, CFI ve TLI ≥ 0,95 (min. ≥ 0,90). |
| Nomolojik ağ: Test sonuçları, yerleşik standartlaştırılmış test prosedürleriyle (harici kriter) örtüşmektedir. | Ölçüt geçerliliğine dair ampirik kanıtlar (dış ölçüt) | Yakınsak geçerlilik: r ≥ 0,60 (hedef r ≥ 0,70, p < 0,01); zayıflama düzeltilmiş rcorr ≥ 0,80; ayırt edici: r < 0,30. |
| Kalite standartlarımız | Kanıt belgesi (destekleyici belge) | Psikometrik hedef değerler / analiz |
|---|---|---|
| Hedef alan performans göstergeleri: Test sonuçları, pratikteki gerçek eylem yeteneğiyle doğru orantılıdır. | Eş zamanlı geçerliliği gösteren belge (öğretmen değerlendirmesi) / Öngörücü geçerliliği gösteren belge (ilgili uzmanlar tarafından yapılan pratik doğrulama) | Uyum geçerliliği r ≥ 0,40 (öğretmen değerlendirmesi); öngörü geçerliliği r ≥ 0,30 (pratik deneyim). |
| Performansın karşılaştırılabilirliği: Test maddeleri ve değerlendirme kriterleri, hedef alanın belirlenmiş standartlarına uygundur. | Kriterlerin uygunluğunun uzman onayıyla teyit edilmesi. | Sistematik uzman karşılaştırması. |
| Orijinallik ve uyumluluk: Giriş materyalleri ve formatları, tipik pratik gereksinimlere karşılık gelmektedir. | Durumsal gerçekliğin doğrulanması (girdi analizi). | Girdi materyalleri ve metin türleri arasında yüksek düzeyde durumsal uyum (uzman değerlendirmesi). |
| Dil performansları, gerçek performans örneklerinden önemli bir yapısal sapma göstermemektedir. | Yapısal performans eşdeğerliğine ilişkin ampirik kanıtlar (MANOVA). | MANOVA anlamlı değil (p > 0,05); tek değişkenli kısmi ηp² < 0,01 (tolerans aralığı 0,01 ila < 0,06; kabul edilemez ≥ 0,06). |
| Test katılımcıları, konuyla ilgili bilişsel problem çözme stratejilerini (tahmin etmek yerine gerçek anlayış) uygularlar. | Yapısal uyumlu zihinsel süreçlere dair kanıtlar (süreç analizi). | Süreç analizleri. |
| Kalite standartlarımız | Kanıt belgesi (destekleyici belge) | Psikometrik hedef değerler |
|---|---|---|
| Uygunluk / Faydalılık: Paydaşlar (üniversiteler, öğretim üyeleri) sonuçları haklı kararlar almak için faydalı bulmaktadır. | Test sonuçlarının pratik uygulanabilirliğinin kanıtı. | Paydaş anketlerinde yüksek kabul oranı (onay oranı ≥ %80-85). |
| Karar kuralları: Geçme puanları, nitelikli bir standart belirleme prosedürünün sonucudur. | Değerlendirme çerçevesi - Standart belirleme prosedürleri / Geçme puanları. | Angoff veya Bookmark yöntemine göre profesyonel olarak onaylanmış geçme puanları / sınır değerlerinin tanımlanması. |
| Sınıflandırma kalitesi ve tutarlılığı: Sınıflandırmalar büyük ölçüde bağımsız bir referans değerlendirmesine karşılık gelir. | Sınıflandırma doğruluğunun kanıtı (kesme puanları). | Sınıflandırma doğruluğu ≥ 0,90; Güvenilirlik endeksi Φ ≥ 0,70; Yanlış pozitif/negatif oranlarının en aza indirilmesi. |
| Yorumlanabilirlik ve iletişim: Test sonuçları paydaşlar için açık ve anlaşılır bir şekilde yorumlanabilir. | Sonuç raporlarının yorumlanabilirliği ve kullanışlılığının teyidi. | Kullanılabilirlik anketlerinde puan raporlarının yüksek anlaşılabilirliği (onay oranı ≥ %85). |
| Uygulama doğruluğu: Karar vericiler, faaliyetlerinde yerleşik karar kurallarını tutarlı bir şekilde uygularlar. | Başvuru şartlarına uyulduğuna dair kanıt. | Sistem günlük denetimleri (QR kod taramaları) yoluyla uyumlu kullanım/doğrulama. |
| Kalite standartlarımız | Kanıt belgesi (destekleyici belge) |
|---|---|
| Test kullanımının gerçekleşen sonuçları, amaçlanan faydaları sağlarken, olumsuz yan etkiler minimum düzeyde kalmıştır. | Test sonuçlarının etkilerine dair kanıtlar (Kullanıcı Faydası ve Geri Bildirim) |
| Test katılımcılarının hakları, saygınlığı ve hassas verileri, sıkı yönergeler (şikayet prosedürleri de dahil olmak üzere) ile korunmaktadır. | Bilgi yönetim sistemi için itiraz yönergeleri ve kılavuzu. |
| Bu testin uygulanması, eğitim sistemi üzerinde olumlu bir geri bildirim etkisi yaratmaktadır (test stratejileri yerine becerilere odaklanma). | Test sonuçlarının etkilerine dair kanıtlar (makro etki ve sosyal fayda) |
Modern test teorisinde, itiraz prosedürlerinin ve bilgi güvenliği yönergelerinin uygulanması, yalnızca idari bir işlem olarak değil, sonuçsal geçerliliği sağlamak için zorunlu bir metodolojik araç olarak görülmektedir (bkz. Messick, 1989; 1995). Düzenlenmiş bir tahkim prosedürü, yapısal olarak ilgisiz varyansı belirlemek için gerekli bir niteliksel karşı kontrol görevi görür.
Formu göndermek için reCAPTCHA içeriğini yüklemeniz gerekiyor . Lütfen bunun üçüncü taraf sağlayıcılarla veri alışverişini içerdiğini unutmayın.
Daha fazla bilgiŞu anda Turnstile'dan yer tutucu içerik görüntülüyorsunuz . Gerçek içeriğe erişmek için aşağıdaki düğmeye tıklayın. Lütfen bunun üçüncü taraflarla veri paylaşımını içereceğini unutmayın.
Daha fazla bilgiŞu anda reCAPTCHA'dan yer tutucu içerik görüntülüyorsunuz . Gerçek içeriğe erişmek için aşağıdaki düğmeye tıklayın. Lütfen bunun üçüncü taraflarla veri paylaşımını içereceğini unutmayın.
Daha fazla bilgi