Kvaliteta, valjanost i arhitektura sustava | Deutschtest.digital

Informacije za donositelje odluka: Argument validacije Deutschtest.digital – Pouzdanost u odlučivanju temeljena na dokazima putem moderne jezične dijagnostike

Dodjeljivanje jezičnog testa Zajedničkom europskom referentnom okviru za jezike (CEFR) predstavlja složen proces validacije. Tvrdnja da test odgovara određenoj razini CEFR-a nije izravno uočljiva činjenica, već mora biti potkrijepljena teorijskim i empirijskim dokazima. Prikupljanje i evaluacija tih dokaza odvija se u okviru validacije odgovarajuće tvrdnje o valjanosti.

(vidi Vijeće Europe, 2009., str. 7)

Jezični certifikat dokumentira izmjerene vrijednosti. Ispravno tumačenje je ključno!

Ako kao donositelj odluke od podnositelja zahtjeva zahtijevate dokaz o jezičnom znanju u određenu svrhu, općenito će vam se predočiti jezični certifikat ili odgovarajući rezultat testa. Takav dokument u biti sadrži rezultat mjerenja utvrđen pod određenim metodološkim i ispitnim uvjetima. Ako ga koristite, na primjer, u službenom postupku za procjenu jezične kompetencije, može poslužiti kao dokaz (vidi članak 26. stavak 1. rečenicu 1. i rečenicu 2. br. 3. Zakona o upravnom postupku). Međutim, takav rezultat mjerenja dobiva na značaju samo kroz profesionalno utemeljeno i na dokazima utemeljeno tumačenje. Stoga ključno pitanje nije samo koji je rezultat napisan na papiru, već na kojoj znanstvenoj osnovi se taj rezultat mjerenja može pouzdano procijeniti.

Je li takvo tumačenje valjano uvelike ovisi o tome jesu li temeljni procesi testiranja znanstveno utemeljeni, tehnički pouzdani i organizacijski kontrolirani. Stoga nije važna sama izmjerena vrijednost, već kvaliteta cijelog sustava koji je generira.

Dokazna vrijednost rezultata ispitivanja i njihovo prihvaćanje za odgovarajuću svrhu logična su posljedica znanstvene kvalitete i njihove ispravne interpretacije, a ne njihovog institucionalnog podrijetla (usp. AERA, APA i NCME, 2014.; Chapelle, 2021.; Cronbach, 1988.; Kane, 2013.; Messick, 1989.).

Kako bi se procijenila pouzdanost jezičnog certifikata, potrebno je ispitati uvjete pod kojima se podaci testa prikupljaju, obrađuju i interpretiraju. Ovi kontrolirani procesi generiraju potrebne dokaze koji omogućuju znanstvenu procjenu kvalitete testa.

Međutim, ovi pojedinačni dokazi još ne predstavljaju konačno opravdanje za tumačenje rezultata testa. Tek njihovom sustavnom integracijom unutar argumenta validacije nastaje znanstveno razumljiva osnova za to zašto se specifična tvrdnja o jezičnoj kompetenciji osobe može izvesti iz konkretnog rezultata testa.

Sljedeći odjeljci prvo objašnjavaju infrastrukturu generiranja dokaza – odnosno standarde, procese i kontrolne mehanizme putem kojih se proizvode pouzdani dokazi. Nakon toga opisuju kako se ti dokazi sustavno integriraju u naš pristup validaciji i na kojoj znanstvenoj osnovi se temelji tumačenje rezultata naših ispitivanja.

1. Infrastruktura za generiranje pouzdanih dokaza

Kako bi se objektivno pokazalo da certifikat nije prazno obećanje, organizacija za testiranje treba robusne empirijske dokaze (psihometrijske podatke, analize pouzdanosti, dokumentaciju o validaciji). Moderna istraživanja testiranja naglašavaju središnju premisu: ne postoje inherentno "validni testovi" ili "validni rezultati testova" - valjanost se može postići samo tumačenjem i korištenjem tih rezultata u određenu svrhu.

Samo metodički sveobuhvatan sustav upravljanja kvalitetom može jamčiti da pružatelj testova kontinuirano generira čiste, nepristrane sirove podatke, što je bitno za opravdanje tako valjane interpretacije jezične vještine. Budući da su takvi dokazi pouzdani samo ako se ne generiraju proizvoljno, potrebna je rigorozna, neovisna arhitektura sustava. Ta arhitektura počiva na pet stupova:

Stup a) Standard

Info okvir / Definicija: Što je standard?

Standard je dokumentirani skup pravila koji opisuje zahtjeve, kriterije ili preporuke za određene procese, postupke ili usluge. Stvara zajednički okvir za sustavno osiguranje kvalitete, usporedivosti, transparentnosti i sljedivosti. Standarde mogu razvijati i objavljivati ​​različite zainteresirane strane, a služe za definiranje najboljih praksi, tehničkih zahtjeva i mjerila kvalitete na transparentan i razumljiv način.

Koji standard koristi Deutschtest.digital?

Deutschtest.digital temelji razvoj, administriranje, evaluaciju i kontinuirano osiguranje kvalitete svojih jezičnih testova na zahtjevima norme DIN ISO 29992. S normom ISO 29992 ("Evaluacija ishoda usluga učenja"), međunarodni odbor za norme ISO/TC 232 ("Usluge obrazovanja i učenja") objavio je namjensku normu namijenjenu organizacijama koje pružaju usluge učenja te razvijaju, odabiru ili primjenjuju procjene. Međunarodna norma ISO 29992 usvojena je u nacionalni sustav normi od strane Njemačkog instituta za normizaciju (DIN) kao DIN ISO 29992.

Standard formulira specifične zahtjeve kvalitete za planiranje, razvoj, administriranje i evaluaciju procjena te izričito uključuje mjerenje jezične vještine prema Zajedničkom europskom referentnom okviru za jezike (CEFR). Za razliku od isključivo teorijskih smjernica za testiranje, ISO 29992 prvenstveno proizlazi iz logike upravljanja uslugama osigurane kvalitete. Za Deutschtest.digital, on čini središnji organizacijski i metodološki okvir za osiguranje kvalitete. Podržava nas u generiranju pouzdanih dokaza, transparentnom dokumentiranju procesa testiranja i osiguravanju dosljedne kvalitete naših jezičnih testova prema provjerljivim i sljedivim standardima. Istovremeno, donositeljima odluka pruža sveobuhvatnu pravnu, institucionalnu i metodološku sigurnost.

Što uključuje ISO 29992?

Zahtjevi norme ISO 29992 strukturirani su u sljedeća glavna poglavlja:

  • Kapitel 1 Naveden je opseg primjene standarda. Spominju se dvije glavne primjene: (1) mjerenje individualnih rezultata učenika i (2) određivanje napretka u učenju.
  • Kapitel 2 odnosi se na reference na druge norme (koje nisu prisutne u slučaju norme ISO 29992:2021).
  • Kapitel 3 definira niz tehničkih pojmova vezanih uz dijagnostiku/mjerenje performansi.
  • Kapitel 4 Ovaj standard daje specifične preporuke u vezi s planiranjem dijagnostičkih instrumenata (u tekstu dosljedno nazvanih "procjena"). Prema DIN ISO 29992:2021-04, faza planiranja trebala bi uključivati ​​analizu potreba, dokumente za planiranje resursa i okvirni dokument koji sadrži informacije o opsegu primjene dijagnostičkog instrumenta; odluke donesene na temelju instrumenta; tumačenje njegovih rezultata; namjeravane posljedice korištenja dijagnostičkog instrumenta; odnos između ciljeva instrumenta i korištene metodologije procjene; ​​odnos između rezultata, njihovih tumačenja, upotrebe i posljedica; komunikaciju rezultata testiranja; uvjete korištenja, raspored i troškove; postupke procjene; ​​okruženje procjene (npr. prostorije); preduvjete za sudjelovanje u procjeni i primjenjive standarde za instrumente i metode korištene u procjeni ishoda učenja; postupke osiguranja kvalitete; dionike uključene u razvoj i/ili provedbu procjene; ​​operativni plan za dijagnostički instrument; i pravila postupka, kao i dostupnost dijagnostičkog instrumenta i stupanj pokrivenosti zahtjeva specifikacija testa.
  • Kapitel 5 Sadrži niz preporuka za razvoj dijagnostičkog instrumenta. To uključuje aspekte kao što su vrijeme korištenja instrumenta (prije, tijekom ili nakon procesa učenja); kvalifikacije programera testova; format ispitnih pitanja/ispitnih zadataka; te prostorne, vremenske, organizacijske i tehničke specifikacije za primjenu dijagnostičkog instrumenta. Nadalje, pruža smjernice o kriterijima kvalitete testa objektivnosti, pouzdanosti i valjanosti; procesu razvoja ispitnih zadataka/ispitnih pitanja; postupcima za određivanje rezultata dijagnostičkog instrumenta; okviru za način i vrijeme komunikacije rezultata; postupcima za osporavanje rezultata; i zahtjevima za tehničku dokumentaciju.
  • Kapitel 6 Ovo se usredotočuje na administrativne aspekte dijagnostičkog instrumenta. Aspekti toga uključuju smjernice za primjenu; plan za osiguranje sigurnosti testa; kvalifikacije i odgovornosti osoba koje nadziru primjenu dijagnostičkog instrumenta; te kvalifikacije ocjenjivača.
  • Kapitel 7 Ovo se odnosi na operativnu upotrebu dijagnostičkog instrumenta. Potrebni su dokumenti koji se odnose na operativnu upotrebu, kao što su dokazi o pouzdanosti i valjanosti; propisi za primjenu dijagnostičkog instrumenta; te statistički postupci za upravljanje kvalitetom metodologije ispitivanja i srodni procesi. Nadalje, Poglavlje 7 zahtijeva detaljan plan o tome kako će se postojeći dijagnostički postupak kontinuirano revidirati i dalje razvijati.
  • Kapitel 8 Ovaj odjeljak bavi se pitanjem pravednosti. Iz te perspektive, ocrtava značajke poput formalnog sporazuma koji se sklapa između pružatelja dijagnostičkog instrumenta i kandidata za testiranje. Taj sporazum trebao bi uključivati, na primjer, informacije o naknadama za testiranje, pravima i obvezama uključenih strana, uvjetima sudjelovanja, opisu dijagnostičkog instrumenta, informacijama o zaštiti podataka i detaljima u vezi s vremenskim okvirom. Poglavlje 8 nadalje se bavi zabranom diskriminacije; pravima kandidata za testiranje; neutralnošću dijagnostičkog instrumenta; kodeksima ponašanja za one koji su uključeni u dijagnostički instrument; i informacijama koje su dostupne kandidatima za testiranje.
  • Kapitel 9 DIN ISO 29992:2021-04 bavi se daljnjim etičkim razmatranjima u vezi s korištenjem dijagnostičkih instrumenata. U tom smislu, zahtijeva jasnu definiciju odgovornosti svih uključenih strana. Nadalje, zahtijeva istinite i točne informacije o dijagnostičkom instrumentu. Konačno, dijagnostički instrument trebao bi jamčiti različite aspekte sigurnosti informacija, kao što su povjerljivost prikupljenih podataka, zaštita i sigurnost podataka te sigurnost komunikacijskih kanala. U konačnici, sustav upravljanja komunikacijom također treba biti planiran i dokumentiran.
  • Anhang A Specificira informacije koje treba prikupljati na strukturiran način u tehničkoj dokumentaciji za dijagnostički postupak. To uključuje sve dokumente koji se odnose na cijeli životni ciklus dijagnostičkog instrumenta, od planiranja i razvoja instrumenta do operativne primjene. Relevantni dokumenti uključuju analizu potreba; okvir za korištenje dijagnostičkog instrumenta; specifikacije bodovanja; priručnik za primjenu dijagnostičkog instrumenta; priručnik za obuku uključenih; obrasce za ocjenjivače; specifikacije za kvalifikaciju i obuku ispitivača/ocjenjivača, nadzornika itd.; dokumente o postupcima za razvoj ispitnih pitanja; dokumentaciju o revizijama testova i studijama validacije dijagnostičkog instrumenta; dokaze o redovitom osiguranju kvalitete; dokaze o psihometrijskoj kvaliteti pojedinačnih ispitnih pitanja; dokaze o postupcima usmjerenima na uklanjanje neprikladnih ispitnih pitanja; dokaze o provjeri i postupcima za ručno bodovanje rezultata; i dokaze o usklađenosti bodovanja uživo sa specifikacijama testa. Dokaze o pouzdanosti strojnih evaluacija; dokaze o arbitražnom i žalbenom postupku; i dokaze o postupku u slučaju ponovnih evaluacija. Ovaj vrlo širok raspon dokaza dodatno je dopunjen zahtjevima za tehničku dokumentaciju o tome kako bi korisnici dijagnostičkog instrumenta trebali biti podržani u njegovoj primjeni. Detalji o pohranjivanju tehničkih podataka i dokumentacije zaključuju sadržajni dio norme.
Koje su ključne prednosti norme DIN ISO 29992?

DIN ISO 29992 pruža Deutschtest.digital ne samo formalni okvir kvalitete, već i stvara sustavnu osnovu za razvoj, administriranje i kontinuirano preispitivanje naših jezičnih testova. Ključne prednosti primjene ovog standarda leže posebno u sljedećim područjima:

Osiguravanje obvezujuće sigurnosne arhitekture: Standard definira zahtjeve za strukturirani sigurnosni plan. Organizacije koje primjenjuju DIN ISO 29992 moraju sustavno provoditi preventivne mjere protiv manipulacije (sprečavanje prijevara) i štititi integritet zadataka kao i sigurnost informacija i identiteta putem definiranih procesa.

Održivo osiguranje kvalitete kroz upravljanje životnim ciklusom: Zahtijevanjem kontinuiranog procesa održavanja i praćenja (plan održavanja), ISO 29992 podržava dugoročno osiguranje kvalitete testiranja. Umjesto jednokratnog pregleda, standard smatra kontinuiranu evaluaciju i poboljšanje postupaka testiranja bitnom komponentom osiguranja kvalitete. To omogućuje rano prepoznavanje promjena u kvaliteti testiranja i ispravljanje empirijski potkrijepljenim mjerama.

Tehnička povezanost sa Zajedničkim europskim referentnim okvirom (CEFR): Struktura standarda omogućuje sustavni prijenos općih zahtjeva kvalitete na jezičnu dijagnostiku. To omogućuje povezivanje zahtjeva norme ISO 29992 s teorijski utemeljenim opisima kompetencija Zajedničkog europskog referentnog okvira za jezike (CEFR) i omogućuje sveobuhvatno opravdanje raspoređivanja rezultata testova jezičnim razinama.

Transparentno opravdanje tumačenja i korištenja rezultata: ISO 29992 zahtijeva jasan prikaz odnosa između rezultata procjene i njihovog tumačenja. To pruža osnovu za znanstveno razumljiv opis zaključaka koji se mogu izvući iz rezultata ispitivanja i u koje svrhe se certifikat može koristiti.

Osnova za znanstveno utemeljen argument validacije: Ključna prednost norme ISO 29992 jest ta što podržava strukturirano generiranje i dokumentiranje relevantnih dokaza. U kombinaciji s psihometrijskim metodama, to stvara robusnu bazu dokaza na kojoj se može razviti znanstveno utemeljen argument validacije. Ovaj argument omogućuje transparentno, razumljivo i stručno opravdanje tumačenja i korištenja rezultata testova.

Stup b) Neovisno tijelo za certifikaciju

Info okvir / Definicija: Što je neovisno tijelo za certificiranje?

Neovisno certifikacijsko tijelo je vanjska, nepristrana organizacija koja provjerava i potvrđuje da organizacija ispunjava određene zahtjeve ili standarde kvalitete. Ne ocjenjuje vlastitu učinkovitost certificirane organizacije, već provodi neovisnu reviziju njezinih dokumentiranih procesa, struktura i dokaza. Ova vanjska procjena stvara dodatni sloj povjerenja, jer osiguranje kvalitete nije isključivo odgovornost same organizacije.

Ključna značajka neovisne certifikacije je odvojenost procjene i odluke o certifikaciji. Pregled procesa i dokaza provode stručni revizori, dok konačnu odluku o certifikaciji donosi neovisno tijelo. Time se izbjegavaju samoprocjene i potencijalni sukobi interesa, osiguravajući objektivnost i vjerodostojnost certifikacije.

S kojim neovisnim tijelom surađuje Deutschtest.digital?

Za vanjsko osiguranje kvalitete surađujemo s neovisnim certifikacijskim tijelom DeuZert . DeuZert jamči potpuni integritet, vjerodostojnost i prihvaćanje svojih odluka o certifikaciji. S više od dva desetljeća iskustva, DeuZert posjeduje sveobuhvatno stručno znanje u sektoru obrazovanja i certificiranja.

Koje su prednosti neovisne certifikacije od strane DeuZerta?

Ključna dodana vrijednost neovisne certifikacije od strane DeuZerta leži u činjenici da kvalitetu implementiranih procesa ne procjenjuje isključivo sama organizacija, već je podložna vanjskoj stručnoj reviziji. To stvara dodatnu razinu povjerenja za donositelje odluka. Sljedeći aspekti su posebno važni:

  • Institucionalna neovisnost i objektivna evaluacija: DeuZert djeluje kao neovisno certifikacijsko tijelo i procjenjuje provedbu definiranih zahtjeva koristeći transparentne postupke testiranja. Odvojenost revidirane organizacije i vanjskog tijela za procjenu sprječava samoprocjene i jača objektivnost odluke o certifikaciji.
  • Kontinuirano osiguranje kvalitete putem nadzornih audita: Kvaliteta implementiranih postupaka ne procjenjuje se jednokratno, već se kontinuirano prati redovitim pregledima. Ova vanjska kontrola osigurava dosljedno ispunjavanje metodoloških i organizacijskih zahtjeva te sustavno preispitivanje daljnjeg razvoja.
Koji formalni dokaz potvrđuje da Deutschtest.digital ispunjava standard DIN ISO 29992?

Nakon uspješnog završetka postupka revizije, DeuZert nam je izdao certifikat o sukladnosti s normom DIN ISO 29992. Ovaj dokument potvrđuje da postupci provedeni u Deutschtest.digitalu za planiranje, razvoj, provođenje i evaluaciju procjena u području znanja njemačkog jezika ispunjavaju zahtjeve norme i da su ocijenjeni u sklopu neovisne vanjske revizije.

Certifikat o sukladnosti stoga služi kao formalni dokaz da Deutschtest.digital usklađuje svoje procese testiranja s međunarodno priznatim standardom za procjenu ishoda učenja. Potvrđuje sustavnu provedbu postupaka usklađenih sa standardima kako bi se osigurala transparentnost, usporedivost i kvaliteta rezultata testiranja.

Prikaži certifikat

Stup c) Neovisni stručnjaci i revizori

Info okvir / Definicija: Uloga revizora

Međunarodni standardi propisuju strogo odvajanje ocjenjivanja od donošenja odluka o certifikaciji. Stvarni pregled organizacije za testiranje (reviziju) provode neovisni, visokokvalificirani revizori. Oni ispituju empirijske dokaze, procjenjuju arhitekturu sustava u praksi i dokumentiraju svoje nalaze u izvješću o reviziji, koje služi kao neutralna činjenična osnova za naknadnu odluku tijela za certifikaciju.

Tko provodi audite u Deutschtest.digitalu?

Nadzorne revizije provodi mreža iskusnih stručnjaka za obrazovanje, ispitivača, revizora i procjenitelja koji djeluju u ime DeuZerta. Korištenje ovog visoko specijaliziranog tima osigurava da evaluacija naših procesa i dokaza nije samo administrativna, već se provodi i s najvišom razinom stručnosti u teoriji testiranja sadržaja i jezika.

Stup d) Propisi o postupku revizije

Info okvir / Definicija: Koji su propisi koji reguliraju proces revizije?

Propisi o reviziji su obvezujuća proceduralna pravila koja precizno definiraju kako certifikacijsko tijelo mora provesti reviziju. Oni uređuju proces pregleda dokumenata, uzorkovanja, intervjua i revizija na licu mjesta ili revizija sustava kako bi se spriječila arbitrarnost i jamčila ponovljiva kvaliteta revizije.

Koji se propisi o reviziji primjenjuju na certifikaciju prema normi ISO 29992?

Postupak revizije za ISO 29992 podliježe zahtjevima krovne norme DIN EN ISO/IEC 17065. Ova norma ne regulira sam test, već metode rada, neovisnost i kompetenciju certifikacijskog tijela. To osigurava da vanjska revizija ne sadrži komercijalne ili unutarnje sukobe interesa. Rezultat je neovisna vanjska potvrda provedbe procesa ispitivanja i ocjenjivanja u skladu sa normom, na temelju transparentno dokumentirane stručne i metodološke osnove.

Stup e) Dokazi

Za pouzdanu procjenu jezičnih vještina potrebna je pouzdana baza podataka. Dokazi o kvaliteti testa prvenstveno se temelje na sljedećim ključnim kategorijama dokaza:

1. Planski i konceptualni dokumenti

Ovi dokumenti uspostavljaju stratešku i ugovornu osnovu prije samog početka razvoja testa. Oni dokumentiraju sustavne analize potreba ciljne skupine, kao i obvezujuće sporazume o točnoj svrsi testa.

2. Dokumenti specifikacija i pregleda zadataka

Ova kategorija uključuje detaljne nacrte i protokole testiranja za osiguranje kvalitete sadržaja. Oni pokazuju da svaka pojedinačna ispitna stavka zadovoljava tehničke specifikacije i ciljanu razinu CEFR-a.

3. Administrativni i sigurnosni dokumenti

Jamče potpuno ujednačen, standardiziran i otporan na neovlaštene promjene u postupku ispitivanja na svim lokacijama za testiranje. To uključuje priručnike za nadzornike, stroge provjere identiteta kandidata i detaljne IT sigurnosne planove.

4. Protokoli evaluacije i bodovanja

Ovi dokumenti uređuju objektivno, bezgrešno i nepristrano dodjeljivanje bodova. Sadrže ključeve odgovora, smjernice za ocjenjivanje za ispitivače i dokaze o točnosti automatiziranih postupaka ocjenjivanja.

5. Potvrde o kvalifikacijama i osposobljavanju

Oni pokazuju profesionalne, akademske i dijagnostičke kvalifikacije svih djelatnika za testiranje i procjenu. Nadalje, dokumentiraju koncept sustavne obuke i redovitih tečajeva osvježavanja znanja kako bi se osigurali jedinstveni standardi procjene.

6. Empirijski dokazi o kvaliteti i izvješća o validaciji

Oni pružaju znanstvene i statističke dokaze za stvarnu psihometrijsku kvalitetu testa. Uključuju izračune o točnosti mjerenja (pouzdanosti), pravednosti među podskupinama i dimenzionalnoj strukturi koja je u skladu s teorijom.

7. Procesi održavanja i revizije

Ovi procesi kontroliraju kontinuirano praćenje kvalitete i redovito obnavljanje testova tijekom rada. Definiraju statističke metrike za životni ciklus zadataka kako bi se osiguralo da se potrošni materijali zamjenjuju na pravovremen i standardiziran način.

8. Pravednost, pravda i žalbe

Oni štite prava, dostojanstvo i zaštitu kandidata za ispite tijekom cijelog procesa. To uključuje transparentne smjernice za žalbe i pritužbe, lako razumljivu korisničku podršku i stroge koncepte sigurnosti podataka.

2. Od dokazne baze do argumenta validacije: Znanstveno opravdanje interpretacija testova

Dokazi generirani unutar arhitekture osiguranja kvalitete u početku predstavljaju pojedinačne dokaze o kvaliteti i funkcionalnosti postupka testiranja. Tek njihovom sustavnom integracijom unutar argumenta validacije nastaje razumljivo opravdanje zašto se određena tvrdnja o jezičnoj kompetenciji osobe može izvesti iz rezultata testa.

Što je argument validacije?

Ako programeri testova razmatraju znanstvene kriterije kvalitete izolirano, riskiraju da izgube iz vida sveobuhvatnu logiku i cilj testa. Kvaliteta jezičnog testa ne proizlazi isključivo iz pojedinačnih zadataka ili statističkih parametara, već iz međudjelovanja svih komponenti postupka testiranja. U modernim istraživanjima jezičnog testiranja, valjanost testa se stoga shvaća - na što je, između ostalog, utjecao rad Bachmana i Palmera, Michaela Kanea i Carol Chapelle - kao sveobuhvatan i višedimenzionalni koncept kvalitete. Ključno pitanje nije jesu li ispunjeni pojedinačni kriteriji kvalitete, već mogu li se zaključci izvedeni iz rezultata testa u cjelini opravdati.

Ovo je pitanje posebno važno jer rezultati jezičnih testova često imaju dalekosežne posljedice za obrazovne, karijerne i odluke o boravku. Pružatelji testova stoga snose posebnu profesionalnu i etičku odgovornost. Oni ne samo da moraju osigurati kvalitetu svojih postupaka testiranja, već i biti u stanju transparentno pokazati tu kvalitetu. Upravo iz te potrebe razvio se koncept takozvanog argumenta valjanosti u modernim istraživanjima valjanosti.

Povijesno gledano, ovaj se pristup pojavio 1990-ih i 2000-ih kao revolucionaran odgovor na prethodno vrlo apstraktne znanstvene modele valjanosti, koji su nudili malo konkretnih smjernica za praksu testiranja u stvarnom svijetu. Američki istraživač Michael Kane primijenio je praktičnu teoriju argumentacije filozofa Stephena Toulmina na teoriju testiranja. Poznata lingvistica Carol Chapelle potom je dalje razvila ovu logiku posebno za istraživanje jezičnog testiranja – svjetski je poznata po svojoj pionirskoj validaciji TOEFL iBT-a počevši od 2008. godine. Model je usavršila u besprijekoran lanac od sedam preciznih koraka zaključivanja, što danas predstavlja utvrđeni moderni pristup sustavnom opravdanju i dokumentiranju interpretacija testova.

Ključna korist ovog pristupa leži u oslobađanju organizacija za testiranje jezika od pasivne uloge pukih "izdavatelja certifikata ". Umjesto jednostavnog podnošenja neorganiziranih pojedinačnih dokumenata ili krutih kontrolnih popisa akreditacijskim tijelima ili donositeljima odluka u ministarstvima, pružatelji testova sada mogu preuzeti aktivnu, proaktivnu "ulogu zagovaranja ". To im omogućuje da neovisno, transparentno i na znanstveno neoboriv način argumentiraju valjanost, pravednost i pravnu sigurnost svojih ispita donositeljima odluka, dokazujući to sami sustavno izgrađenim lancem dokaza.

Argument validacije stoga opisuje ovaj strukturirani pristup koji se koristi za opravdanje valjanosti rezultata testova. Polazište je pretpostavka da svaki test iznosi tvrdnju o jezičnoj vještini osobe. Na primjer, ako je osobi dodijeljena razina B1 Zajedničkog europskog referentnog okvira za jezike (CEFR), to implicira da posjeduje jezične vještine definirane za tu razinu. Argument validacije ima zadatak sustavno potkrijepiti i sveobuhvatno opravdati ovu tvrdnju.

To uključuje izgradnju koherentnog lanca zaključivanja koji se proteže od testnih zadataka, preko administriranja i evaluacije, do interpretacije rezultata. Za svaki pojedinačni korak koriste se teorijske osnove i empirijski dokazi (tzv. potpora) kako bi se pokazalo da su postavljene pretpostavke opravdane. Argument validacije tako povezuje znanstvene dokaze s praktičnim odlukama o testiranju i čini transparentnim zašto se određeni rezultat testa može smatrati značajnim dokazom definirane jezične kompetencije. Na taj način stvara se osnova za povjerenje, transparentnost i pravnu odgovornost jezičnih testova.

Koje logičke veze lanca čine argument validacije?

Kako bi se pružili nepobitni stručni dokazi o kvaliteti jezičnog testa, moderna dijagnostika slijedi jasnu logičku strukturu. Samo kada postoje empirijski dokazi za svaku od ovih sedam razina, test se smatra potpuno pouzdanim za praktičnu primjenu.

Praktična relevantnost (definicija domene): Ovaj prvi korak uključuje preciznu analizu jezičnih zahtjeva koji stvarno postoje u ciljanom okruženju (npr. svakodnevni život, posao ili studij). To osigurava da test procjenjuje samo vještine koje su apsolutno potrebne za namjeravanu svrhu (npr. integracija ili pristup tržištu rada).
Objektivnost i mjerenje (evaluacija) bez grešaka: Ovaj dokument pokazuje da se procjena uspješnosti i generiranje rezultata testova provode prema strogim, objektivnim pravilima. Standardizirani uvjeti i statističke analize osiguravaju da je bodovanje što je moguće bez grešaka, transparentnije, zaštićeno od neovlaštenih promjena i neovisno o vanjskim individualnim utjecajima. Svaki sudionik se stoga ocjenjuje prema identičnim, pravednim standardima.
Pouzdanost (generalizacija): Ovaj korak služi kako bi se pokazalo da je rezultat testa stabilan i da nije slučajan. Visoka generalizacija znači da rezultat ostaje konzistentan – potpuno neovisno o tome koja je varijanta zadatka korištena, koji je ispitivač ocijenio rad ili kojeg je dana ispit održan.
Standardna sukladnost (izjava): Ovdje je znanstveno dokazano da rezultati testova točno odražavaju namjeravano profesionalno značenje. Ako certifikat označava razinu "B1", mora se empirijski dokazati izvan svake sumnje da izvedba odgovara opisima kompetencija Zajedničkog europskog referentnog okvira za jezike (CEFR) u skladu s teorijom.
Prediktivna moć (ekstrapolacija): To pokazuje da je uspjeh na testu pouzdan pokazatelj kompetencije u stvarnom svijetu. Oni koji polože test dokazivo posjeduju potrebne jezične vještine za uspješno studiranje ili rad u Njemačkoj.
Sigurnost odluke (korištenje): U ovoj fazi definiraju se znanstveno utemeljeni granični rezultati. To osigurava da su pravila za "polaganje" ispita pravedna i primjerena, tako da se ne sprječava nepravedno blokiranje kvalificiranih pojedinaca (lažno negativni rezultati) niti lažno potvrđivanje nedovoljnog znanja (lažno pozitivni rezultati).
Procjena utjecaja (posljedice): Konačno, procijenit će se društveni i individualni utjecaji korištenja testova. Osigurat će se da postupak testiranja dugoročno postiže pozitivne učinke koji potiču učenje i da ne nastaje sustavni nedostatak za određene skupine ljudi (npr. zbog njihovog podrijetla ili materinjeg jezika).
Arhitektura argumenta validacije na Deutschtest.digital

U nastavku predstavljamo metodološku arhitekturu našeg argumenta validacije za procjenu znanja njemačkog jezika. Budući da je argument validacije uvijek usmjeren na određeno ciljno područje, definiranu razinu znanja i određenu svrhu, temeljna baza dokaza mora biti posebno strukturirana za namjeravanu interpretaciju i upotrebu rezultata testa. Arhitektura predstavljena u nastavku ilustrira kako su pojedinačni zaključci (inferencije) unutar argumenta validacije povezani i koje su vrste dokaza (potkrepljenja) potrebne za znanstveno potkrepljivanje rezultirajućih tvrdnji. Potpuni argument validacije sa svim empirijskim i statističkim dokazima premašio bi opseg ove prezentacije. Stoga su ovdje navedeni odgovarajući dokumenti s dokazima kao primjeri.

1 Definicija domene
ZAHTJEV: Ispitne stavke omogućuju vrlo pouzdanu i preciznu procjenu relevantnog jezičnog znanja i vještina. Potrebne jezične funkcije u velikoj mjeri reprezentativne su za stvarnu upotrebu jezika u ciljanom području i odgovaraju područjima kompetencije definiranim u Zajedničkom europskom referentnom okviru za jezike (CEFR).
Kategorija Naš jezik kvalitete Dokazni dokument (podloga)
Opis domene Relevantni jezični zahtjevi i komunikacijske situacije ciljne skupine točno su i potpuno identificirani. Specifikacija ciljne domene
reprezentacija Ispitne stavke adekvatno predstavljaju domenu definiranu u specifikacijama testa pokrivajući potrebne sadržajne i kognitivne razine u ispravnim omjerima. Alati za nacrt ispita/mapiranje
Relevanz Ispitne stavke su relevantne u smislu sadržaja i precizno kalibrirane prema željenoj razini kompetencije; ne sadrže nikakve neprimjerene izvore teškoća koji nisu dio konstrukta koji se mjeri. Protokoli za pregled zadataka, ocjenjivanje zadataka pomoću ocjenjivačkih listova (uključujući dokaz o provjeri razine CEFR-a)
kontrola kvalitete Proces razvoja uključuje sustavne mehanizme uredničke kontrole koji osiguravaju da se zadaci koji pokazuju kvalitativne nedostatke, dvosmislenosti ili kulturne pristranosti nužno revidiraju ili odbacuju. Protokol kontrole kvalitete stavke (pregled stavke)

Znanstvena podloga

U literaturi o psihometrijskom i teorijskom testiranju jezika, korištenje nacrta testova i alata za mapiranje obvezna je metodologija za osiguranje valjanosti sadržaja i demonstraciju odgovarajuće reprezentacije ciljne domene. Standardi za obrazovno i psihološko testiranje izričito preporučuju stvaranje logičke strukture koja mapira ispitne stavke na domenu sadržaja (mapiranje).

Kako bi se osigurala ova pokrivenost u praksi, Alderson (2005.) eksplicitno definira specifikacije testova kao "nacrt" kojeg se autori testova i zadataka moraju pridržavati kako bi utvrdili konstruktnu valjanost testa. Fulcher i Davidson (2007.) također doslovno nazivaju specifikacije testova "generativnim nacrtima".

2 Evaluacija
TVRDNJA: Rezultati testa točno, objektivno i besprijekorno sažimaju učinak sudionika na ispitu s visokim stupnjem točnosti mjerenja.

1. dio: Uvjeti administracije i zaštita od neovlaštenih promjena

Naš jezik kvalitete Dokazni dokument (podloga)
Pravila ispita su visoke kvalitete i sadrže sveobuhvatne i precizne smjernice koje osiguravaju strogo standardiziranu i ujednačenu provedbu ispita, kao i obvezujuće propise za pravedne i građevinski usklađene smještajne uvjete (pristupačnost). Nadzornici nedvosmisleno potvrđuju identitete kandidata u skladu s važećim smjernicama koristeći pouzdane postupke autentifikacije i kontinuirano prate okruženje za testiranje (kontrola prostorije), čime strukturno sprječavaju korištenje posrednika i neovlaštenu razmjenu informacija. Pravila ispita, priručnik za provođenje ocjenjivanja - kontrola prostorije i provjera identiteta
Ispitno okruženje otporno na neovlaštene pristupe – bez obzira odvija li se ispit osobno ili digitalno – pouzdano sprječava pristup neovlaštenim pomagalima i potpuno eliminira pokušaje varanja putem kontrolnih mehanizama koji su u skladu s formatom (fizičko nadzorno osoblje, siguran preglednik, nadzor na daljinu). Popis fizičkih i elektroničkih sigurnosnih zahtjeva, plan za hitne slučajeve u slučaju kršenja sigurnosnih propisa, protumjere protiv neovlaštenih aktivnosti kandidata za ispit

Nedvosmislena identifikacija sudionika testiranja i besprijekorno praćenje okruženja za testiranje predstavljaju apsolutni conditio sine qua non (bitni preduvjet) svakog pravno ispravnog postupka testiranja. Ako su organizacijski postupci manjkavi i fizički identitet ispitanika ne može se nedvosmisleno povezati s rezultatima testiranja, sve naknadne izjave u vezi sa sadržajem i statističkom valjanošću postaju nevažeće.

Dio 2 i 3: Kvaliteta bodovanja, protokoli i evaluatori

Naš jezik kvalitete Dokazni dokument (podloga)
Za sve metode ocjenjivanja i proces bilježenja rezultata postoje precizna pravila i kriteriji, čime se osigurava objektivnost i proceduralna pouzdanost. Ljestvice procjene, temeljene na referentnim razinama CEFR-a (izjave „Can-Do“) i prilagođene specifičnim kontekstima, predstavljaju valjane pokazatelje jezičnih podkompetencija koje se mjere. Priručnik za provođenje procjene, priručnik sa specifikacijama procjene: minimalni zahtjevi za softver za testiranje, kriteriji procjene produktivne učinkovitosti.
Ocjenjivači posjeduju potrebne stručne kvalifikacije (npr. relevantne sveučilišne diplome) i relevantno nastavno iskustvo. Referentni certifikati o kvalifikacijama procjenitelja
Sustavni program obuke pruža procjeniteljima potrebne vještine za dosljednu i točnu primjenu smjernica za procjenu. Certifikati osposobljenosti ocjenjivača
Sustavne ručne kontrole kvalitete i provjere vjerodostojnosti od strane kvalificiranih stručnjaka (human-in-the-loop) provjeravaju točnost automatiziranih procesa evaluacije i ispravnost ključeva rješenja. Dokaz točnosti tehničke obrade evaluacije stroja
Evaluacija uspješnosti ispita neovisna je o individualnoj strogosti ispitivača i oslobođena je sustavnih pristranosti prema određenim zadacima ili skupinama ljudi. Potvrda objektivne kvalitete evaluacije (višestruka Raschova analiza)

Ciljane vrijednosti: Infit/Outfit MNSQ 0,5–1,5; Pristranost ocjenjivača |t| ≤ 2,0.

U literaturi o psihometriji i teoriji jezičnih testova, zahtijeva se da se valjanost procjena uspješnosti oslanja na standardizirane, vanjski utemeljene kriterije (mjerenje referencirano na kriterije). Kako bi se isključili subjektivni standardi, ljestvice ocjenjivanja moraju biti precizno usklađene s utvrđenim, teorijski utemeljenim referentnim sustavom.

Dio 4: Empirijska kvaliteta / Statistički integritet

Naš jezik kvalitete Dokazni dokument (podloga) Psihometrijske ciljne vrijednosti
Ispitne stavke imaju dovoljnu diskriminaciju stavki kako bi učinkovito i pouzdano razlikovale kandidate s višim i nižim jezičnim znanjem. Dokaz statističke diskriminacije stavki Korigirana diskriminacija rit ≥ 0,30 (ciljni raspon ≥ 0,40–0,50); ​​učestalost odabira distraktora > 5% s negativnom točkasto-biserijalnom korelacijom.
Razine težine testnih zadataka adekvatno pokrivaju cijeli raspon uspješnosti ciljane populacije. Dokaz o odgovarajućoj težini stavke Težina zadatka P = 0,20 do 0,80 (P ≈ 0,50 optimalno); vjerojatnost pogađanja P_šansa = 0,25 s 4 mogućnosti.
Ispitne stavke funkcioniraju nepromjenjivo u svim relevantnim podskupinama (nema pristranosti zbog spola ili materinjeg jezika). Potvrda pravednosti testa (Diferencijalna funkcija stavke / DIF) ETS kategorija A (DIF < 1,0 ili p > 0,05; zanemarivo/zadovoljavajuće).
3 Generalizacija
TVRDNJA: Rezultati testa odražavaju stvarne i stabilne performanse kandidata s visokim stupnjem pouzdanosti, jer su dokazivo neovisni o slučajnim čimbenicima poput specifične verzije testa ili osobe koja provodi test.

Konzistentnost među formatima i zadacima testova

Naš jezik kvalitete Dokazni dokument (podloga) Psihometrijske ciljne vrijednosti
Konzistentnost među ispitnim oblicima: Rezultati ispitivanja su konzistentni u različitim verzijama ispitivanja (stabilnost razine). Dokaz kvalitete ekvivalencije testnog obrasca (pouzdanost paralelnog testa) Pouzdanost paralelnih oblika r ≥ 0,80 (kratke skale r ≥ 0,70); nema značajnih razlika u srednjim vrijednostima (test ekvivalencije).
Konzistentnost među zadacima: Ispitne stavke su homogene (unutarnja konzistencija). Dokaz unutarnje konzistentnosti i homogenosti Cronbachov α ili McDonald'sov ω ≥ 0,85 (cilj ≥ 0,90; kratke skale < 20 stavki: α ≥ 0,75).

Dosljednost među recenzentima

Naš jezik kvalitete Dokazni dokument (podloga) Psihometrijske ciljne vrijednosti
Procjena uspješnosti ispita od strane jednog ispitivača je stabilna i konzistentna tijekom vremena (konzistentnost procjena). Osim toga, procjene različitih ispitivača ne pokazuju značajne razlike u strogosti (neutralnost). Empirijski dokazi o dosljednosti i neutralnosti prosudbi Neutralnost prosudbe: p > 0,05 i Cohenov d < 0,20 (ili parcijalno ηp² < 0,01); Interrater: ICC ≥ 0,85 (0,75–0,84 prihvatljivo), κ_w ≥ 0,75; Intrarater: ICC ≥ 0,75, κ_w ≥ 0,75.
4 izjava
TVRDNJA: Rezultati testa odražavaju temeljni konstrukt jezične kompetencije s visokom vjerodostojnošću, točno onako kako je definirano u opisima razina CEFR-a.
Naš jezik kvalitete Dokazni dokument (podloga) Psihometrijske ciljne vrijednosti
Reprezentacija konstrukta: Unutarnja struktura rezultata testa odgovara teoretski definiranom konstruktu (GER). Empirijski dokazi dimenzionalnosti konstrukta (EFA/CFA). EFA: KMO ≥ 0,80, Bartlett p < 0,05, naboji λ ≥ 0,60 (min. > 0,30); CFA: RMSEA ≤ 0,05 (do 0,08), SRMR ≤ 0,08, CFI i TLI ≥ 0,95 (min. ≥ 0,90).
Nomološka mreža: Rezultati ispitivanja koreliraju s utvrđenim standardiziranim postupcima ispitivanja (vanjski kriterij). Empirijski dokazi o valjanosti kriterija (vanjski kriterij) Konvergentna valjanost: r ≥ 0,60 (ciljni r ≥ 0,70, p < 0,01); korigirani rcorr ≥ 0,80; diskriminantna: r < 0,30.
5 Ekstrapolacija
TVRDNJA: Uspjeh zabilježen na jezičnom testu omogućuje valjane zaključke o stvarnoj jezičnoj kompetenciji kandidata u realnim situacijama prijave (npr. u akademskom studiju ili svakodnevnom profesionalnom životu) s visokim stupnjem prediktivne moći.
Naš jezik kvalitete Dokazni dokument (podloga) Psihometrijske ciljne vrijednosti / analiza
Pokazatelji uspješnosti ciljne domene: Rezultati testova koreliraju sa stvarnom sposobnošću djelovanja u praksi. Dokument koji dokazuje istodobnu valjanost (procjena nastavnika) / Dokument koji dokazuje prediktivnu valjanost (praktična validacija od strane relevantnih stručnjaka) Valjanost konkordancije r ≥ 0,40 (ocjena nastavnika); prediktivna valjanost r ≥ 0,30 (praktično iskustvo).
Usporedivost performansi: Ispitne stavke i kriteriji ocjenjivanja u skladu su s utvrđenim standardima ciljane domene. Potvrda relevantnosti kriterija putem stručne validacije. Sustavna usporedba stručnjaka.
Autentičnost i korespondencija: Ulazni materijali i formati odgovaraju tipičnim praktičnim zahtjevima. Potvrda situacijske autentičnosti (analiza ulaznih podataka). Visoka situacijska podudarnost ulaznih materijala i tekstualnih žanrova (stručna recenzija).
Jezične izvedbe ne pokazuju značajna strukturna odstupanja od autentičnih uzoraka izvedbe. Empirijski dokazi o ekvivalenciji strukturnih performansi (MANOVA). MANOVA nije statistički značajna (p > 0,05); univarijantni parcijalni ηp² < 0,01 (raspon tolerancije od 0,01 do < 0,06; neprihvatljivo ≥ 0,06).
Sudionici testa primjenjuju konstruktivno relevantne kognitivne strategije rješavanja problema (stvarno razumijevanje umjesto nagađanja). Dokazi o mentalnim procesima usklađenim s konstruktima (analiza procesa). Analize procesa.
6 upotreba
TVRDNJA: Rezultati testova pružaju pouzdanu osnovu za donošenje pravednih i objektivnih odluka u vezi s plasmanima i certifikatima temeljenima na CEFR-u. Nadalje, nude vrijedne dijagnostičke uvide za ciljanu podršku nastavi jezika.
Naš jezik kvalitete Dokazni dokument (podloga) Psihometrijske ciljne vrijednosti
Prikladnost / Korisnost: Dionici (sveučilišta, predavači) smatraju rezultate korisnima za donošenje opravdanih odluka. Dokaz praktične primjenjivosti rezultata ispitivanja. Visoka prihvaćenost u anketama dionika (stopa odobravanja ≥ 80–85%).
Pravila odlučivanja: Granične vrijednosti rezultat su kvalificiranog postupka postavljanja standarda. Okvir za procjenu - Postupci postavljanja standarda / Granične ocjene. Profesionalno legitimirani granični rezultati / definicija granica prema Angoffovoj ili Bookmarkovoj metodi.
Kvaliteta i konzistentnost klasifikacije: Klasifikacije uglavnom odgovaraju neovisnoj referentnoj procjeni. Dokaz točnosti klasifikacije (rezultati ocjenjivanja). Točnost klasifikacije ≥ 0,90; Indeks pouzdanosti Φ ≥ 0,70; Minimiziranje stopa lažno pozitivnih/negativnih rezultata.
Interpretabilnost i komunikacija: Rezultati ispitivanja su jasno interpretabilni za zainteresirane strane. Potvrda interpretabilnosti i korisnosti izvješća o rezultatima. Visoka razumljivost izvješća o ocjenama u anketama o upotrebljivosti (stopa odobrenja ≥ 85%).
Vjernost primjene: Donositelji odluka dosljedno primjenjuju utvrđena pravila odlučivanja u svom poslovanju. Dokaz o pridržavanju prijave. Sukladna upotreba / provjera putem revizija sistemskih zapisnika (skeniranje QR koda).
7 posljedice
TVRDNJA: Korištenje rezultata testova vrlo je vjerojatno da će imati pozitivne posljedice za sve dionike jamčenjem pravednih klasifikacija i mogućnosti pristupa, kao i pozitivnim utjecajem na nastavnu praksu.
Naš jezik kvalitete Dokazni dokument (podloga)
Ostvarene posljedice korištenja testa zapravo postižu željene koristi, dok negativne nuspojave ostaju minimalne. Dokazi o posljedicama rezultata ispitivanja (korist za korisnike i povratni efekt)
Prava, dostojanstvo i osjetljivi podaci sudionika testiranja zaštićeni su strogim smjernicama (uključujući postupke za pritužbe). Smjernice za žalbe, priručnik za sustav upravljanja informacijama
Provedba testa ima pozitivan povratni učinak na obrazovni sustav (fokus na vještine umjesto na strategije testiranja). Dokazi o posljedicama rezultata ispitivanja (makro-utjecaj i društvena korist)

U modernoj teoriji testiranja, provedba žalbenih postupaka i smjernica za sigurnost informacija ne smatra se isključivo administrativnim činom, već obveznim metodološkim instrumentom za osiguranje posljedične valjanosti (usp. Messick, 1989.; 1995.). Regulirani arbitražni postupak služi kao nužna kvalitativna protuprovjera za identificiranje konstruktivno irelevantne varijance.

🔤 Jezik