Dodjeljivanje jezičnog testa Zajedničkom europskom referentnom okviru za jezike (CEFR) predstavlja složen proces validacije. Tvrdnja da test odgovara određenoj razini CEFR-a nije izravno uočljiva činjenica, već mora biti potkrijepljena teorijskim i empirijskim dokazima. Prikupljanje i evaluacija tih dokaza odvija se u okviru validacije odgovarajuće tvrdnje o valjanosti.
(vidi Vijeće Europe, 2009., str. 7)Ako kao donositelj odluke od podnositelja zahtjeva zahtijevate dokaz o jezičnom znanju u određenu svrhu, općenito će vam se predočiti jezični certifikat ili odgovarajući rezultat testa. Takav dokument u biti sadrži rezultat mjerenja utvrđen pod određenim metodološkim i ispitnim uvjetima. Ako ga koristite, na primjer, u službenom postupku za procjenu jezične kompetencije, može poslužiti kao dokaz (vidi članak 26. stavak 1. rečenicu 1. i rečenicu 2. br. 3. Zakona o upravnom postupku). Međutim, takav rezultat mjerenja dobiva na značaju samo kroz profesionalno utemeljeno i na dokazima utemeljeno tumačenje. Stoga ključno pitanje nije samo koji je rezultat napisan na papiru, već na kojoj znanstvenoj osnovi se taj rezultat mjerenja može pouzdano procijeniti.
Je li takvo tumačenje valjano uvelike ovisi o tome jesu li temeljni procesi testiranja znanstveno utemeljeni, tehnički pouzdani i organizacijski kontrolirani. Stoga nije važna sama izmjerena vrijednost, već kvaliteta cijelog sustava koji je generira.
Kako bi se procijenila pouzdanost jezičnog certifikata, potrebno je ispitati uvjete pod kojima se podaci testa prikupljaju, obrađuju i interpretiraju. Ovi kontrolirani procesi generiraju potrebne dokaze koji omogućuju znanstvenu procjenu kvalitete testa.
Međutim, ovi pojedinačni dokazi još ne predstavljaju konačno opravdanje za tumačenje rezultata testa. Tek njihovom sustavnom integracijom unutar argumenta validacije nastaje znanstveno razumljiva osnova za to zašto se specifična tvrdnja o jezičnoj kompetenciji osobe može izvesti iz konkretnog rezultata testa.
Sljedeći odjeljci prvo objašnjavaju infrastrukturu generiranja dokaza – odnosno standarde, procese i kontrolne mehanizme putem kojih se proizvode pouzdani dokazi. Nakon toga opisuju kako se ti dokazi sustavno integriraju u naš pristup validaciji i na kojoj znanstvenoj osnovi se temelji tumačenje rezultata naših ispitivanja.
Kako bi se objektivno pokazalo da certifikat nije prazno obećanje, organizacija za testiranje treba robusne empirijske dokaze (psihometrijske podatke, analize pouzdanosti, dokumentaciju o validaciji). Moderna istraživanja testiranja naglašavaju središnju premisu: ne postoje inherentno "validni testovi" ili "validni rezultati testova" - valjanost se može postići samo tumačenjem i korištenjem tih rezultata u određenu svrhu.
Samo metodički sveobuhvatan sustav upravljanja kvalitetom može jamčiti da pružatelj testova kontinuirano generira čiste, nepristrane sirove podatke, što je bitno za opravdanje tako valjane interpretacije jezične vještine. Budući da su takvi dokazi pouzdani samo ako se ne generiraju proizvoljno, potrebna je rigorozna, neovisna arhitektura sustava. Ta arhitektura počiva na pet stupova:
Standard je dokumentirani skup pravila koji opisuje zahtjeve, kriterije ili preporuke za određene procese, postupke ili usluge. Stvara zajednički okvir za sustavno osiguranje kvalitete, usporedivosti, transparentnosti i sljedivosti. Standarde mogu razvijati i objavljivati različite zainteresirane strane, a služe za definiranje najboljih praksi, tehničkih zahtjeva i mjerila kvalitete na transparentan i razumljiv način.
Deutschtest.digital temelji razvoj, administriranje, evaluaciju i kontinuirano osiguranje kvalitete svojih jezičnih testova na zahtjevima norme DIN ISO 29992. S normom ISO 29992 ("Evaluacija ishoda usluga učenja"), međunarodni odbor za norme ISO/TC 232 ("Usluge obrazovanja i učenja") objavio je namjensku normu namijenjenu organizacijama koje pružaju usluge učenja te razvijaju, odabiru ili primjenjuju procjene. Međunarodna norma ISO 29992 usvojena je u nacionalni sustav normi od strane Njemačkog instituta za normizaciju (DIN) kao DIN ISO 29992.
Standard formulira specifične zahtjeve kvalitete za planiranje, razvoj, administriranje i evaluaciju procjena te izričito uključuje mjerenje jezične vještine prema Zajedničkom europskom referentnom okviru za jezike (CEFR). Za razliku od isključivo teorijskih smjernica za testiranje, ISO 29992 prvenstveno proizlazi iz logike upravljanja uslugama osigurane kvalitete. Za Deutschtest.digital, on čini središnji organizacijski i metodološki okvir za osiguranje kvalitete. Podržava nas u generiranju pouzdanih dokaza, transparentnom dokumentiranju procesa testiranja i osiguravanju dosljedne kvalitete naših jezičnih testova prema provjerljivim i sljedivim standardima. Istovremeno, donositeljima odluka pruža sveobuhvatnu pravnu, institucionalnu i metodološku sigurnost.
Zahtjevi norme ISO 29992 strukturirani su u sljedeća glavna poglavlja:
DIN ISO 29992 pruža Deutschtest.digital ne samo formalni okvir kvalitete, već i stvara sustavnu osnovu za razvoj, administriranje i kontinuirano preispitivanje naših jezičnih testova. Ključne prednosti primjene ovog standarda leže posebno u sljedećim područjima:
Osiguravanje obvezujuće sigurnosne arhitekture: Standard definira zahtjeve za strukturirani sigurnosni plan. Organizacije koje primjenjuju DIN ISO 29992 moraju sustavno provoditi preventivne mjere protiv manipulacije (sprečavanje prijevara) i štititi integritet zadataka kao i sigurnost informacija i identiteta putem definiranih procesa.
Održivo osiguranje kvalitete kroz upravljanje životnim ciklusom: Zahtijevanjem kontinuiranog procesa održavanja i praćenja (plan održavanja), ISO 29992 podržava dugoročno osiguranje kvalitete testiranja. Umjesto jednokratnog pregleda, standard smatra kontinuiranu evaluaciju i poboljšanje postupaka testiranja bitnom komponentom osiguranja kvalitete. To omogućuje rano prepoznavanje promjena u kvaliteti testiranja i ispravljanje empirijski potkrijepljenim mjerama.
Tehnička povezanost sa Zajedničkim europskim referentnim okvirom (CEFR): Struktura standarda omogućuje sustavni prijenos općih zahtjeva kvalitete na jezičnu dijagnostiku. To omogućuje povezivanje zahtjeva norme ISO 29992 s teorijski utemeljenim opisima kompetencija Zajedničkog europskog referentnog okvira za jezike (CEFR) i omogućuje sveobuhvatno opravdanje raspoređivanja rezultata testova jezičnim razinama.
Transparentno opravdanje tumačenja i korištenja rezultata: ISO 29992 zahtijeva jasan prikaz odnosa između rezultata procjene i njihovog tumačenja. To pruža osnovu za znanstveno razumljiv opis zaključaka koji se mogu izvući iz rezultata ispitivanja i u koje svrhe se certifikat može koristiti.
Osnova za znanstveno utemeljen argument validacije: Ključna prednost norme ISO 29992 jest ta što podržava strukturirano generiranje i dokumentiranje relevantnih dokaza. U kombinaciji s psihometrijskim metodama, to stvara robusnu bazu dokaza na kojoj se može razviti znanstveno utemeljen argument validacije. Ovaj argument omogućuje transparentno, razumljivo i stručno opravdanje tumačenja i korištenja rezultata testova.
Neovisno certifikacijsko tijelo je vanjska, nepristrana organizacija koja provjerava i potvrđuje da organizacija ispunjava određene zahtjeve ili standarde kvalitete. Ne ocjenjuje vlastitu učinkovitost certificirane organizacije, već provodi neovisnu reviziju njezinih dokumentiranih procesa, struktura i dokaza. Ova vanjska procjena stvara dodatni sloj povjerenja, jer osiguranje kvalitete nije isključivo odgovornost same organizacije.
Ključna značajka neovisne certifikacije je odvojenost procjene i odluke o certifikaciji. Pregled procesa i dokaza provode stručni revizori, dok konačnu odluku o certifikaciji donosi neovisno tijelo. Time se izbjegavaju samoprocjene i potencijalni sukobi interesa, osiguravajući objektivnost i vjerodostojnost certifikacije.
Za vanjsko osiguranje kvalitete surađujemo s neovisnim certifikacijskim tijelom DeuZert . DeuZert jamči potpuni integritet, vjerodostojnost i prihvaćanje svojih odluka o certifikaciji. S više od dva desetljeća iskustva, DeuZert posjeduje sveobuhvatno stručno znanje u sektoru obrazovanja i certificiranja.
Ključna dodana vrijednost neovisne certifikacije od strane DeuZerta leži u činjenici da kvalitetu implementiranih procesa ne procjenjuje isključivo sama organizacija, već je podložna vanjskoj stručnoj reviziji. To stvara dodatnu razinu povjerenja za donositelje odluka. Sljedeći aspekti su posebno važni:
Nakon uspješnog završetka postupka revizije, DeuZert nam je izdao certifikat o sukladnosti s normom DIN ISO 29992. Ovaj dokument potvrđuje da postupci provedeni u Deutschtest.digitalu za planiranje, razvoj, provođenje i evaluaciju procjena u području znanja njemačkog jezika ispunjavaju zahtjeve norme i da su ocijenjeni u sklopu neovisne vanjske revizije.
Certifikat o sukladnosti stoga služi kao formalni dokaz da Deutschtest.digital usklađuje svoje procese testiranja s međunarodno priznatim standardom za procjenu ishoda učenja. Potvrđuje sustavnu provedbu postupaka usklađenih sa standardima kako bi se osigurala transparentnost, usporedivost i kvaliteta rezultata testiranja.
Prikaži certifikatMeđunarodni standardi propisuju strogo odvajanje ocjenjivanja od donošenja odluka o certifikaciji. Stvarni pregled organizacije za testiranje (reviziju) provode neovisni, visokokvalificirani revizori. Oni ispituju empirijske dokaze, procjenjuju arhitekturu sustava u praksi i dokumentiraju svoje nalaze u izvješću o reviziji, koje služi kao neutralna činjenična osnova za naknadnu odluku tijela za certifikaciju.
Nadzorne revizije provodi mreža iskusnih stručnjaka za obrazovanje, ispitivača, revizora i procjenitelja koji djeluju u ime DeuZerta. Korištenje ovog visoko specijaliziranog tima osigurava da evaluacija naših procesa i dokaza nije samo administrativna, već se provodi i s najvišom razinom stručnosti u teoriji testiranja sadržaja i jezika.
Propisi o reviziji su obvezujuća proceduralna pravila koja precizno definiraju kako certifikacijsko tijelo mora provesti reviziju. Oni uređuju proces pregleda dokumenata, uzorkovanja, intervjua i revizija na licu mjesta ili revizija sustava kako bi se spriječila arbitrarnost i jamčila ponovljiva kvaliteta revizije.
Postupak revizije za ISO 29992 podliježe zahtjevima krovne norme DIN EN ISO/IEC 17065. Ova norma ne regulira sam test, već metode rada, neovisnost i kompetenciju certifikacijskog tijela. To osigurava da vanjska revizija ne sadrži komercijalne ili unutarnje sukobe interesa. Rezultat je neovisna vanjska potvrda provedbe procesa ispitivanja i ocjenjivanja u skladu sa normom, na temelju transparentno dokumentirane stručne i metodološke osnove.
Za pouzdanu procjenu jezičnih vještina potrebna je pouzdana baza podataka. Dokazi o kvaliteti testa prvenstveno se temelje na sljedećim ključnim kategorijama dokaza:
Ovi dokumenti uspostavljaju stratešku i ugovornu osnovu prije samog početka razvoja testa. Oni dokumentiraju sustavne analize potreba ciljne skupine, kao i obvezujuće sporazume o točnoj svrsi testa.
Ova kategorija uključuje detaljne nacrte i protokole testiranja za osiguranje kvalitete sadržaja. Oni pokazuju da svaka pojedinačna ispitna stavka zadovoljava tehničke specifikacije i ciljanu razinu CEFR-a.
Jamče potpuno ujednačen, standardiziran i otporan na neovlaštene promjene u postupku ispitivanja na svim lokacijama za testiranje. To uključuje priručnike za nadzornike, stroge provjere identiteta kandidata i detaljne IT sigurnosne planove.
Ovi dokumenti uređuju objektivno, bezgrešno i nepristrano dodjeljivanje bodova. Sadrže ključeve odgovora, smjernice za ocjenjivanje za ispitivače i dokaze o točnosti automatiziranih postupaka ocjenjivanja.
Oni pokazuju profesionalne, akademske i dijagnostičke kvalifikacije svih djelatnika za testiranje i procjenu. Nadalje, dokumentiraju koncept sustavne obuke i redovitih tečajeva osvježavanja znanja kako bi se osigurali jedinstveni standardi procjene.
Oni pružaju znanstvene i statističke dokaze za stvarnu psihometrijsku kvalitetu testa. Uključuju izračune o točnosti mjerenja (pouzdanosti), pravednosti među podskupinama i dimenzionalnoj strukturi koja je u skladu s teorijom.
Ovi procesi kontroliraju kontinuirano praćenje kvalitete i redovito obnavljanje testova tijekom rada. Definiraju statističke metrike za životni ciklus zadataka kako bi se osiguralo da se potrošni materijali zamjenjuju na pravovremen i standardiziran način.
Oni štite prava, dostojanstvo i zaštitu kandidata za ispite tijekom cijelog procesa. To uključuje transparentne smjernice za žalbe i pritužbe, lako razumljivu korisničku podršku i stroge koncepte sigurnosti podataka.
Dokazi generirani unutar arhitekture osiguranja kvalitete u početku predstavljaju pojedinačne dokaze o kvaliteti i funkcionalnosti postupka testiranja. Tek njihovom sustavnom integracijom unutar argumenta validacije nastaje razumljivo opravdanje zašto se određena tvrdnja o jezičnoj kompetenciji osobe može izvesti iz rezultata testa.
Ako programeri testova razmatraju znanstvene kriterije kvalitete izolirano, riskiraju da izgube iz vida sveobuhvatnu logiku i cilj testa. Kvaliteta jezičnog testa ne proizlazi isključivo iz pojedinačnih zadataka ili statističkih parametara, već iz međudjelovanja svih komponenti postupka testiranja. U modernim istraživanjima jezičnog testiranja, valjanost testa se stoga shvaća - na što je, između ostalog, utjecao rad Bachmana i Palmera, Michaela Kanea i Carol Chapelle - kao sveobuhvatan i višedimenzionalni koncept kvalitete. Ključno pitanje nije jesu li ispunjeni pojedinačni kriteriji kvalitete, već mogu li se zaključci izvedeni iz rezultata testa u cjelini opravdati.
Ovo je pitanje posebno važno jer rezultati jezičnih testova često imaju dalekosežne posljedice za obrazovne, karijerne i odluke o boravku. Pružatelji testova stoga snose posebnu profesionalnu i etičku odgovornost. Oni ne samo da moraju osigurati kvalitetu svojih postupaka testiranja, već i biti u stanju transparentno pokazati tu kvalitetu. Upravo iz te potrebe razvio se koncept takozvanog argumenta valjanosti u modernim istraživanjima valjanosti.
Povijesno gledano, ovaj se pristup pojavio 1990-ih i 2000-ih kao revolucionaran odgovor na prethodno vrlo apstraktne znanstvene modele valjanosti, koji su nudili malo konkretnih smjernica za praksu testiranja u stvarnom svijetu. Američki istraživač Michael Kane primijenio je praktičnu teoriju argumentacije filozofa Stephena Toulmina na teoriju testiranja. Poznata lingvistica Carol Chapelle potom je dalje razvila ovu logiku posebno za istraživanje jezičnog testiranja – svjetski je poznata po svojoj pionirskoj validaciji TOEFL iBT-a počevši od 2008. godine. Model je usavršila u besprijekoran lanac od sedam preciznih koraka zaključivanja, što danas predstavlja utvrđeni moderni pristup sustavnom opravdanju i dokumentiranju interpretacija testova.
Ključna korist ovog pristupa leži u oslobađanju organizacija za testiranje jezika od pasivne uloge pukih "izdavatelja certifikata ". Umjesto jednostavnog podnošenja neorganiziranih pojedinačnih dokumenata ili krutih kontrolnih popisa akreditacijskim tijelima ili donositeljima odluka u ministarstvima, pružatelji testova sada mogu preuzeti aktivnu, proaktivnu "ulogu zagovaranja ". To im omogućuje da neovisno, transparentno i na znanstveno neoboriv način argumentiraju valjanost, pravednost i pravnu sigurnost svojih ispita donositeljima odluka, dokazujući to sami sustavno izgrađenim lancem dokaza.
Argument validacije stoga opisuje ovaj strukturirani pristup koji se koristi za opravdanje valjanosti rezultata testova. Polazište je pretpostavka da svaki test iznosi tvrdnju o jezičnoj vještini osobe. Na primjer, ako je osobi dodijeljena razina B1 Zajedničkog europskog referentnog okvira za jezike (CEFR), to implicira da posjeduje jezične vještine definirane za tu razinu. Argument validacije ima zadatak sustavno potkrijepiti i sveobuhvatno opravdati ovu tvrdnju.
To uključuje izgradnju koherentnog lanca zaključivanja koji se proteže od testnih zadataka, preko administriranja i evaluacije, do interpretacije rezultata. Za svaki pojedinačni korak koriste se teorijske osnove i empirijski dokazi (tzv. potpora) kako bi se pokazalo da su postavljene pretpostavke opravdane. Argument validacije tako povezuje znanstvene dokaze s praktičnim odlukama o testiranju i čini transparentnim zašto se određeni rezultat testa može smatrati značajnim dokazom definirane jezične kompetencije. Na taj način stvara se osnova za povjerenje, transparentnost i pravnu odgovornost jezičnih testova.
Kako bi se pružili nepobitni stručni dokazi o kvaliteti jezičnog testa, moderna dijagnostika slijedi jasnu logičku strukturu. Samo kada postoje empirijski dokazi za svaku od ovih sedam razina, test se smatra potpuno pouzdanim za praktičnu primjenu.
U nastavku predstavljamo metodološku arhitekturu našeg argumenta validacije za procjenu znanja njemačkog jezika. Budući da je argument validacije uvijek usmjeren na određeno ciljno područje, definiranu razinu znanja i određenu svrhu, temeljna baza dokaza mora biti posebno strukturirana za namjeravanu interpretaciju i upotrebu rezultata testa. Arhitektura predstavljena u nastavku ilustrira kako su pojedinačni zaključci (inferencije) unutar argumenta validacije povezani i koje su vrste dokaza (potkrepljenja) potrebne za znanstveno potkrepljivanje rezultirajućih tvrdnji. Potpuni argument validacije sa svim empirijskim i statističkim dokazima premašio bi opseg ove prezentacije. Stoga su ovdje navedeni odgovarajući dokumenti s dokazima kao primjeri.
| Kategorija | Naš jezik kvalitete | Dokazni dokument (podloga) |
|---|---|---|
| Opis domene | Relevantni jezični zahtjevi i komunikacijske situacije ciljne skupine točno su i potpuno identificirani. | Specifikacija ciljne domene |
| reprezentacija | Ispitne stavke adekvatno predstavljaju domenu definiranu u specifikacijama testa pokrivajući potrebne sadržajne i kognitivne razine u ispravnim omjerima. | Alati za nacrt ispita/mapiranje |
| Relevanz | Ispitne stavke su relevantne u smislu sadržaja i precizno kalibrirane prema željenoj razini kompetencije; ne sadrže nikakve neprimjerene izvore teškoća koji nisu dio konstrukta koji se mjeri. | Protokoli za pregled zadataka, ocjenjivanje zadataka pomoću ocjenjivačkih listova (uključujući dokaz o provjeri razine CEFR-a) |
| kontrola kvalitete | Proces razvoja uključuje sustavne mehanizme uredničke kontrole koji osiguravaju da se zadaci koji pokazuju kvalitativne nedostatke, dvosmislenosti ili kulturne pristranosti nužno revidiraju ili odbacuju. | Protokol kontrole kvalitete stavke (pregled stavke) |
U literaturi o psihometrijskom i teorijskom testiranju jezika, korištenje nacrta testova i alata za mapiranje obvezna je metodologija za osiguranje valjanosti sadržaja i demonstraciju odgovarajuće reprezentacije ciljne domene. Standardi za obrazovno i psihološko testiranje izričito preporučuju stvaranje logičke strukture koja mapira ispitne stavke na domenu sadržaja (mapiranje).
Kako bi se osigurala ova pokrivenost u praksi, Alderson (2005.) eksplicitno definira specifikacije testova kao "nacrt" kojeg se autori testova i zadataka moraju pridržavati kako bi utvrdili konstruktnu valjanost testa. Fulcher i Davidson (2007.) također doslovno nazivaju specifikacije testova "generativnim nacrtima".
| Naš jezik kvalitete | Dokazni dokument (podloga) |
|---|---|
| Pravila ispita su visoke kvalitete i sadrže sveobuhvatne i precizne smjernice koje osiguravaju strogo standardiziranu i ujednačenu provedbu ispita, kao i obvezujuće propise za pravedne i građevinski usklađene smještajne uvjete (pristupačnost). Nadzornici nedvosmisleno potvrđuju identitete kandidata u skladu s važećim smjernicama koristeći pouzdane postupke autentifikacije i kontinuirano prate okruženje za testiranje (kontrola prostorije), čime strukturno sprječavaju korištenje posrednika i neovlaštenu razmjenu informacija. | Pravila ispita, priručnik za provođenje ocjenjivanja - kontrola prostorije i provjera identiteta |
| Ispitno okruženje otporno na neovlaštene pristupe – bez obzira odvija li se ispit osobno ili digitalno – pouzdano sprječava pristup neovlaštenim pomagalima i potpuno eliminira pokušaje varanja putem kontrolnih mehanizama koji su u skladu s formatom (fizičko nadzorno osoblje, siguran preglednik, nadzor na daljinu). | Popis fizičkih i elektroničkih sigurnosnih zahtjeva, plan za hitne slučajeve u slučaju kršenja sigurnosnih propisa, protumjere protiv neovlaštenih aktivnosti kandidata za ispit |
Nedvosmislena identifikacija sudionika testiranja i besprijekorno praćenje okruženja za testiranje predstavljaju apsolutni conditio sine qua non (bitni preduvjet) svakog pravno ispravnog postupka testiranja. Ako su organizacijski postupci manjkavi i fizički identitet ispitanika ne može se nedvosmisleno povezati s rezultatima testiranja, sve naknadne izjave u vezi sa sadržajem i statističkom valjanošću postaju nevažeće.
| Naš jezik kvalitete | Dokazni dokument (podloga) |
|---|---|
| Za sve metode ocjenjivanja i proces bilježenja rezultata postoje precizna pravila i kriteriji, čime se osigurava objektivnost i proceduralna pouzdanost. Ljestvice procjene, temeljene na referentnim razinama CEFR-a (izjave „Can-Do“) i prilagođene specifičnim kontekstima, predstavljaju valjane pokazatelje jezičnih podkompetencija koje se mjere. | Priručnik za provođenje procjene, priručnik sa specifikacijama procjene: minimalni zahtjevi za softver za testiranje, kriteriji procjene produktivne učinkovitosti. |
| Ocjenjivači posjeduju potrebne stručne kvalifikacije (npr. relevantne sveučilišne diplome) i relevantno nastavno iskustvo. | Referentni certifikati o kvalifikacijama procjenitelja |
| Sustavni program obuke pruža procjeniteljima potrebne vještine za dosljednu i točnu primjenu smjernica za procjenu. | Certifikati osposobljenosti ocjenjivača |
| Sustavne ručne kontrole kvalitete i provjere vjerodostojnosti od strane kvalificiranih stručnjaka (human-in-the-loop) provjeravaju točnost automatiziranih procesa evaluacije i ispravnost ključeva rješenja. | Dokaz točnosti tehničke obrade evaluacije stroja |
| Evaluacija uspješnosti ispita neovisna je o individualnoj strogosti ispitivača i oslobođena je sustavnih pristranosti prema određenim zadacima ili skupinama ljudi. | Potvrda objektivne kvalitete evaluacije (višestruka Raschova analiza) Ciljane vrijednosti: Infit/Outfit MNSQ 0,5–1,5; Pristranost ocjenjivača |t| ≤ 2,0. |
U literaturi o psihometriji i teoriji jezičnih testova, zahtijeva se da se valjanost procjena uspješnosti oslanja na standardizirane, vanjski utemeljene kriterije (mjerenje referencirano na kriterije). Kako bi se isključili subjektivni standardi, ljestvice ocjenjivanja moraju biti precizno usklađene s utvrđenim, teorijski utemeljenim referentnim sustavom.
| Naš jezik kvalitete | Dokazni dokument (podloga) | Psihometrijske ciljne vrijednosti |
|---|---|---|
| Ispitne stavke imaju dovoljnu diskriminaciju stavki kako bi učinkovito i pouzdano razlikovale kandidate s višim i nižim jezičnim znanjem. | Dokaz statističke diskriminacije stavki | Korigirana diskriminacija rit ≥ 0,30 (ciljni raspon ≥ 0,40–0,50); učestalost odabira distraktora > 5% s negativnom točkasto-biserijalnom korelacijom. |
| Razine težine testnih zadataka adekvatno pokrivaju cijeli raspon uspješnosti ciljane populacije. | Dokaz o odgovarajućoj težini stavke | Težina zadatka P = 0,20 do 0,80 (P ≈ 0,50 optimalno); vjerojatnost pogađanja P_šansa = 0,25 s 4 mogućnosti. |
| Ispitne stavke funkcioniraju nepromjenjivo u svim relevantnim podskupinama (nema pristranosti zbog spola ili materinjeg jezika). | Potvrda pravednosti testa (Diferencijalna funkcija stavke / DIF) | ETS kategorija A (DIF < 1,0 ili p > 0,05; zanemarivo/zadovoljavajuće). |
| Naš jezik kvalitete | Dokazni dokument (podloga) | Psihometrijske ciljne vrijednosti |
|---|---|---|
| Konzistentnost među ispitnim oblicima: Rezultati ispitivanja su konzistentni u različitim verzijama ispitivanja (stabilnost razine). | Dokaz kvalitete ekvivalencije testnog obrasca (pouzdanost paralelnog testa) | Pouzdanost paralelnih oblika r ≥ 0,80 (kratke skale r ≥ 0,70); nema značajnih razlika u srednjim vrijednostima (test ekvivalencije). |
| Konzistentnost među zadacima: Ispitne stavke su homogene (unutarnja konzistencija). | Dokaz unutarnje konzistentnosti i homogenosti | Cronbachov α ili McDonald'sov ω ≥ 0,85 (cilj ≥ 0,90; kratke skale < 20 stavki: α ≥ 0,75). |
| Naš jezik kvalitete | Dokazni dokument (podloga) | Psihometrijske ciljne vrijednosti |
|---|---|---|
| Procjena uspješnosti ispita od strane jednog ispitivača je stabilna i konzistentna tijekom vremena (konzistentnost procjena). Osim toga, procjene različitih ispitivača ne pokazuju značajne razlike u strogosti (neutralnost). | Empirijski dokazi o dosljednosti i neutralnosti prosudbi | Neutralnost prosudbe: p > 0,05 i Cohenov d < 0,20 (ili parcijalno ηp² < 0,01); Interrater: ICC ≥ 0,85 (0,75–0,84 prihvatljivo), κ_w ≥ 0,75; Intrarater: ICC ≥ 0,75, κ_w ≥ 0,75. |
| Naš jezik kvalitete | Dokazni dokument (podloga) | Psihometrijske ciljne vrijednosti |
|---|---|---|
| Reprezentacija konstrukta: Unutarnja struktura rezultata testa odgovara teoretski definiranom konstruktu (GER). | Empirijski dokazi dimenzionalnosti konstrukta (EFA/CFA). | EFA: KMO ≥ 0,80, Bartlett p < 0,05, naboji λ ≥ 0,60 (min. > 0,30); CFA: RMSEA ≤ 0,05 (do 0,08), SRMR ≤ 0,08, CFI i TLI ≥ 0,95 (min. ≥ 0,90). |
| Nomološka mreža: Rezultati ispitivanja koreliraju s utvrđenim standardiziranim postupcima ispitivanja (vanjski kriterij). | Empirijski dokazi o valjanosti kriterija (vanjski kriterij) | Konvergentna valjanost: r ≥ 0,60 (ciljni r ≥ 0,70, p < 0,01); korigirani rcorr ≥ 0,80; diskriminantna: r < 0,30. |
| Naš jezik kvalitete | Dokazni dokument (podloga) | Psihometrijske ciljne vrijednosti / analiza |
|---|---|---|
| Pokazatelji uspješnosti ciljne domene: Rezultati testova koreliraju sa stvarnom sposobnošću djelovanja u praksi. | Dokument koji dokazuje istodobnu valjanost (procjena nastavnika) / Dokument koji dokazuje prediktivnu valjanost (praktična validacija od strane relevantnih stručnjaka) | Valjanost konkordancije r ≥ 0,40 (ocjena nastavnika); prediktivna valjanost r ≥ 0,30 (praktično iskustvo). |
| Usporedivost performansi: Ispitne stavke i kriteriji ocjenjivanja u skladu su s utvrđenim standardima ciljane domene. | Potvrda relevantnosti kriterija putem stručne validacije. | Sustavna usporedba stručnjaka. |
| Autentičnost i korespondencija: Ulazni materijali i formati odgovaraju tipičnim praktičnim zahtjevima. | Potvrda situacijske autentičnosti (analiza ulaznih podataka). | Visoka situacijska podudarnost ulaznih materijala i tekstualnih žanrova (stručna recenzija). |
| Jezične izvedbe ne pokazuju značajna strukturna odstupanja od autentičnih uzoraka izvedbe. | Empirijski dokazi o ekvivalenciji strukturnih performansi (MANOVA). | MANOVA nije statistički značajna (p > 0,05); univarijantni parcijalni ηp² < 0,01 (raspon tolerancije od 0,01 do < 0,06; neprihvatljivo ≥ 0,06). |
| Sudionici testa primjenjuju konstruktivno relevantne kognitivne strategije rješavanja problema (stvarno razumijevanje umjesto nagađanja). | Dokazi o mentalnim procesima usklađenim s konstruktima (analiza procesa). | Analize procesa. |
| Naš jezik kvalitete | Dokazni dokument (podloga) | Psihometrijske ciljne vrijednosti |
|---|---|---|
| Prikladnost / Korisnost: Dionici (sveučilišta, predavači) smatraju rezultate korisnima za donošenje opravdanih odluka. | Dokaz praktične primjenjivosti rezultata ispitivanja. | Visoka prihvaćenost u anketama dionika (stopa odobravanja ≥ 80–85%). |
| Pravila odlučivanja: Granične vrijednosti rezultat su kvalificiranog postupka postavljanja standarda. | Okvir za procjenu - Postupci postavljanja standarda / Granične ocjene. | Profesionalno legitimirani granični rezultati / definicija granica prema Angoffovoj ili Bookmarkovoj metodi. |
| Kvaliteta i konzistentnost klasifikacije: Klasifikacije uglavnom odgovaraju neovisnoj referentnoj procjeni. | Dokaz točnosti klasifikacije (rezultati ocjenjivanja). | Točnost klasifikacije ≥ 0,90; Indeks pouzdanosti Φ ≥ 0,70; Minimiziranje stopa lažno pozitivnih/negativnih rezultata. |
| Interpretabilnost i komunikacija: Rezultati ispitivanja su jasno interpretabilni za zainteresirane strane. | Potvrda interpretabilnosti i korisnosti izvješća o rezultatima. | Visoka razumljivost izvješća o ocjenama u anketama o upotrebljivosti (stopa odobrenja ≥ 85%). |
| Vjernost primjene: Donositelji odluka dosljedno primjenjuju utvrđena pravila odlučivanja u svom poslovanju. | Dokaz o pridržavanju prijave. | Sukladna upotreba / provjera putem revizija sistemskih zapisnika (skeniranje QR koda). |
| Naš jezik kvalitete | Dokazni dokument (podloga) |
|---|---|
| Ostvarene posljedice korištenja testa zapravo postižu željene koristi, dok negativne nuspojave ostaju minimalne. | Dokazi o posljedicama rezultata ispitivanja (korist za korisnike i povratni efekt) |
| Prava, dostojanstvo i osjetljivi podaci sudionika testiranja zaštićeni su strogim smjernicama (uključujući postupke za pritužbe). | Smjernice za žalbe, priručnik za sustav upravljanja informacijama |
| Provedba testa ima pozitivan povratni učinak na obrazovni sustav (fokus na vještine umjesto na strategije testiranja). | Dokazi o posljedicama rezultata ispitivanja (makro-utjecaj i društvena korist) |
U modernoj teoriji testiranja, provedba žalbenih postupaka i smjernica za sigurnost informacija ne smatra se isključivo administrativnim činom, već obveznim metodološkim instrumentom za osiguranje posljedične valjanosti (usp. Messick, 1989.; 1995.). Regulirani arbitražni postupak služi kao nužna kvalitativna protuprovjera za identificiranje konstruktivno irelevantne varijance.
Morate učitati reCAPTCHA sadržaj da biste poslali obrazac. Imajte na umu da to uključuje razmjenu podataka s trećim stranama.
Više informacijaTrenutno pregledavate sadržaj rezerviranog mjesta s Turnstilea . Za pristup stvarnom sadržaju kliknite gumb ispod. Imajte na umu da će to uključivati dijeljenje podataka s trećim stranama.
Više informacijaTrenutno pregledavate sadržaj rezerviranog mjesta s reCAPTCHA-e . Za pristup stvarnom sadržaju kliknite gumb ispod. Imajte na umu da će to uključivati dijeljenje podataka s trećim stranama.
Više informacija