Kvalitet, validnost i arhitektura sistema | Deutschtest.digital

Informacije za donosioce odluka: Argument validacije Deutschtest.digital – Pouzdanost u odlučivanju zasnovana na dokazima putem moderne jezičke dijagnostike

Dodjeljivanje jezičkog testa Zajedničkom evropskom referentnom okviru za jezike (CEFR) predstavlja složen proces validacije. Tvrdnja da test odgovara određenom CEFR nivou nije direktno uočljiva činjenica, već mora biti potkrijepljena teorijskim i empirijskim dokazima. Prikupljanje i evaluacija ovih dokaza odvija se u okviru validacije odgovarajuće tvrdnje o validnosti.

(vidi Vijeće Evrope, 2009, str. 7)

Jezički certifikat dokumentira izmjerene vrijednosti. Ispravna interpretacija je ključna!

Ako, kao donosilac odluke, od podnosioca zahtjeva zahtijevate dokaz o poznavanju jezika u određenu svrhu, obično će vam biti predočen jezički certifikat ili odgovarajući rezultat testa. Takav dokument u suštini sadrži rezultat mjerenja utvrđen pod određenim metodološkim i ispitnim uslovima. Ako ga koristite, na primjer, u službenom postupku za procjenu jezičke kompetencije, on može poslužiti kao dokaz (vidjeti Član 26 Stav 1 Rečenica 1 i Rečenica 2 Br. 3 njemačkog Zakona o upravnom postupku). Međutim, takav rezultat mjerenja dobija svoj značaj samo kroz profesionalno utemeljeno i na dokazima zasnovano tumačenje. Ključno pitanje, dakle, nije samo koji je rezultat napisan na papiru, već na kojoj naučnoj osnovi se taj rezultat mjerenja može pouzdano procijeniti.

Da li je takvo tumačenje validno uveliko zavisi od toga da li su osnovni procesi testiranja naučno utemeljeni, tehnički pouzdani i organizacijski kontrolisani. Stoga, ono što je važno nije sama vrijednost mjerenja, već kvalitet cijelog sistema koji je generiše.

Dokazna vrijednost rezultata ispitivanja i njihovo prihvatanje za odgovarajuću svrhu logična su posljedica naučnog kvaliteta i njihove ispravne interpretacije, a ne njihovog institucionalnog porijekla (usp. AERA, APA & NCME, 2014; Chapelle, 2021; Cronbach, 1988; Kane, 2013; Messick, 1989).

Da bi se procijenila pouzdanost jezičkog certifikata, potrebno je ispitati uslove pod kojima se podaci testa prikupljaju, obrađuju i interpretiraju. Ovi kontrolisani procesi generišu potrebne dokaze koji omogućavaju naučnu evaluaciju kvaliteta testa.

Međutim, ovi pojedinačni dokazi još uvijek ne predstavljaju konačno opravdanje za tumačenje rezultata testa. Tek kroz njihovu sistematsku integraciju unutar argumenta validacije pojavljuje se naučno razumljiva osnova za to zašto se specifična tvrdnja o jezičkoj kompetenciji osobe može izvesti iz konkretnog rezultata testa.

U sljedećim odjeljcima prvo se objašnjava infrastruktura generiranja dokaza – odnosno standardi, procesi i kontrolni mehanizmi putem kojih se proizvode pouzdani dokazi. Nakon toga, opisuju se kako se ovi dokazi sistematski integrišu u naš pristup validaciji i na kojoj naučnoj osnovi se zasniva tumačenje rezultata naših testova.

1. Infrastruktura za generiranje pouzdanih dokaza

Da bi se objektivno pokazalo da certifikat nije prazno obećanje, organizaciji za testiranje potrebni su robusni empirijski dokazi (psihometrijski podaci, analize pouzdanosti, dokumentacija o validaciji). Moderna istraživanja testiranja naglašavaju centralnu premisu: ne postoje inherentno "validni testovi" ili "validni rezultati testova" - validnost se može postići samo interpretacijom i korištenjem ovih rezultata u određenu svrhu.

Samo metodično sveobuhvatan sistem upravljanja kvalitetom može garantovati da pružalac testova kontinuirano generiše čiste, nepristrasne sirove podatke, što je neophodno za opravdanje tako valjane interpretacije jezičke kompetencije. Budući da su takvi dokazi pouzdani samo ako se ne generišu proizvoljno, potrebna je rigorozna, nezavisna arhitektura sistema. Ova arhitektura počiva na pet stubova:

Stub a) Standard

Info okvir / Definicija: Šta je standard?

Standard je dokumentirani skup pravila koji opisuje zahtjeve, kriterije ili preporuke za određene procese, procedure ili usluge. On stvara zajednički okvir za sistematsko osiguranje kvalitete, usporedivosti, transparentnosti i sljedivosti. Standarde mogu razvijati i objavljivati različite zainteresirane strane, a oni služe za definiranje najboljih praksi, tehničkih zahtjeva i mjerila kvalitete na transparentan i razumljiv način.

Koji standard koristi Deutschtest.digital?

Deutschtest.digital zasniva razvoj, administriranje, evaluaciju i kontinuirano osiguranje kvalitete svojih jezičkih testova na zahtjevima standarda DIN ISO 29992. Međunarodni odbor za standarde ISO/TC 232 ("Usluge obrazovanja i učenja") objavio je namjenski standard namijenjen organizacijama koje pružaju usluge učenja i razvijaju, odabiru ili primjenjuju procjene. Međunarodni standard ISO 29992 usvojio je Njemački institut za standardizaciju (DIN) u nacionalni sistem standarda kao DIN ISO 29992.

Standard formuliše specifične zahtjeve kvaliteta za planiranje, razvoj, administriranje i evaluaciju procjena i eksplicitno uključuje mjerenje jezičke pismenosti prema Zajedničkom evropskom referentnom okviru za jezike (CEFR). Za razliku od čisto teorijskih smjernica za testiranje, ISO 29992 prvenstveno proizilazi iz logike upravljanja uslugama osiguranog kvaliteta. Za Deutschtest.digital, on čini centralni organizacijski i metodološki okvir za osiguranje kvaliteta. Podržava nas u generisanju pouzdanih dokaza, transparentnom dokumentovanju procesa testiranja i osiguravanju dosljednog kvaliteta naših jezičkih testova prema provjerljivim i sljedivim standardima. Istovremeno, donosiocima odluka pruža sveobuhvatnu pravnu, institucionalnu i metodološku sigurnost.

Šta obuhvata ISO 29992?

Zahtjevi standarda ISO 29992 strukturirani su u sljedeća glavna poglavlja:

Poglavlje 1 Specificiran je opseg primjene standarda. Navedene su dvije glavne primjene: (1) mjerenje individualnih rezultata učenika i (2) određivanje napretka u učenju.
Poglavlje 2 odnosi se na reference na druge standarde (koji nisu prisutni u slučaju standarda ISO 29992:2021).
Poglavlje 3 definira niz tehničkih termina vezanih za dijagnostiku/mjerenje performansi.
Poglavlje 4 Ovaj standard daje specifične preporuke u vezi s planiranjem dijagnostičkih instrumenata (u tekstu dosljedno nazvanih "procjena"). Prema DIN ISO 29992:2021-04, faza planiranja treba uključivati analizu potreba, dokumente za planiranje resursa i okvirni dokument koji sadrži informacije o obimu primjene dijagnostičkog instrumenta; odluke donesene na osnovu instrumenta; tumačenje njegovih rezultata; namjeravane posljedice korištenja dijagnostičkog instrumenta; odnos između ciljeva instrumenta i korištene metodologije procjene; odnos između rezultata, njihovih tumačenja, upotrebe i posljedica; komunikaciju rezultata testiranja; uslove korištenja, raspored i troškove; procedure procjene; okruženje za procjenu (npr. prostorije); preduvjete za učešće u procjeni i primjenjive standarde za instrumente i metode korištene u procjeni ishoda učenja; procedure osiguranja kvaliteta; zainteresovane strane uključene u razvoj i/ili implementaciju procjene; operativni plan za dijagnostički instrument; i pravila postupka, kao i dostupnost dijagnostičkog instrumenta i stepen pokrivenosti zahtjeva specifikacija testa.
Poglavlje 5 Sadrži niz preporuka za razvoj dijagnostičkog instrumenta. To uključuje aspekte kao što su vrijeme korištenja instrumenta (prije, tokom ili nakon procesa učenja); kvalifikacije kreatora testova; format ispitnih pitanja/testnih stavki; te prostorne, vremenske, organizacijske i tehničke specifikacije za primjenu dijagnostičkog instrumenta. Nadalje, pruža smjernice o kriterijima kvalitete testa objektivnosti, pouzdanosti i validnosti; procesu razvoja ispitnih stavki/testnih pitanja; procedurama za određivanje rezultata dijagnostičkog instrumenta; okviru za to kako i kada se rezultati saopštavaju; procedurama za osporavanje rezultata; i zahtjevima za tehničku dokumentaciju.
Poglavlje 6 Ovo se fokusira na administrativne aspekte dijagnostičkog instrumenta. Aspekti ovoga uključuju smjernice za primjenu; plan za osiguranje sigurnosti testa; kvalifikacije i odgovornosti osoba koje nadgledaju primjenu dijagnostičkog instrumenta; i kvalifikacije ocjenjivača.
Poglavlje 7 Ovo se odnosi na operativnu upotrebu dijagnostičkog instrumenta. Potrebni su dokumenti koji se odnose na operativnu upotrebu, kao što su dokazi o pouzdanosti i validnosti; propisi za primjenu dijagnostičkog instrumenta; i statističke procedure za upravljanje kvalitetom metodologije testiranja i srodni procesi. Nadalje, Poglavlje 7 zahtijeva detaljan plan o tome kako će se postojeći dijagnostički postupak kontinuirano revidirati i dalje razvijati.
Poglavlje 8 Ovaj odjeljak se bavi pitanjem pravičnosti. Iz te perspektive, on ocrtava karakteristike kao što je formalni sporazum koji treba da se zaključi između pružaoca dijagnostičkog instrumenta i kandidata za testiranje. Ovaj sporazum treba da uključuje, na primjer, informacije o naknadama za testiranje, pravima i obavezama uključenih strana, uslovima za učešće, opis dijagnostičkog instrumenta, informacijama o zaštiti podataka i detaljima u vezi sa vremenskim okvirom. Poglavlje 8 dalje se bavi zabranom diskriminacije; pravima kandidata za testiranje; neutralnošću dijagnostičkog instrumenta; kodeksima ponašanja za one koji su uključeni u dijagnostički instrument; i informacijama koje su dostupne kandidatima za testiranje.
Poglavlje 9 DIN ISO 29992:2021-04 se bavi daljnjim etičkim razmatranjima u vezi s upotrebom dijagnostičkih instrumenata. U tom smislu, zahtijeva jasnu definiciju odgovornosti svih uključenih strana. Nadalje, zahtijeva istinite i tačne informacije o dijagnostičkom instrumentu. Konačno, dijagnostički instrument treba garantirati različite aspekte sigurnosti informacija, kao što su povjerljivost prikupljenih podataka, zaštita i sigurnost podataka te sigurnost komunikacijskih kanala. Konačno, sistem upravljanja komunikacijom također treba biti planiran i dokumentiran.
Dodatak A Specificira informacije koje treba prikupljati na strukturiran način u tehničkoj dokumentaciji za dijagnostički postupak. To uključuje sve dokumente koji se odnose na cijeli životni ciklus dijagnostičkog instrumenta, od planiranja i razvoja instrumenta do operativne primjene. Relevantni dokumenti uključuju analizu potreba; okvir za korištenje dijagnostičkog instrumenta; specifikacije bodovanja; priručnik za administriranje dijagnostičkog instrumenta; priručnik za obuku za uključene; obrasce za ocjenjivače; specifikacije za kvalifikaciju i obuku ispitivača/ocjenjivača, nadzornika itd.; dokumente o procedurama za razvoj testnih stavki; dokumentaciju o revizijama testova i studijama validacije dijagnostičkog instrumenta; dokaze o redovnom osiguranju kvaliteta; dokaze o psihometrijskom kvalitetu pojedinačnih testnih stavki; dokaze o procedurama usmjerenim na eliminaciju neodgovarajućih testnih stavki; dokaze o verifikaciji i procedurama za ručno bodovanje rezultata; i dokaze o usklađenosti bodovanja uživo sa specifikacijama testa. Dokaze o pouzdanosti mašinskih evaluacija; dokaze o postupku arbitraže i žalbe; i dokaze o postupku u slučaju ponovnih evaluacija. Ovaj vrlo širok raspon dokaza dodatno je dopunjen zahtjevima za tehničku dokumentaciju o tome kako korisnici dijagnostičkog instrumenta trebaju biti podržani u njegovoj primjeni. Detalji u vezi sa skladištenjem tehničkih podataka i dokumentacije zaključuju suštinski dio standarda.

Koje su ključne prednosti DIN ISO 29992 standarda?

DIN ISO 29992 pruža Deutschtest.digital ne samo formalni okvir kvalitete, već i stvara sistematsku osnovu za razvoj, administriranje i kontinuiranu reviziju naših jezičkih testova. Ključne prednosti primjene ovog standarda leže posebno u sljedećim područjima:

Osiguranje obavezujuće sigurnosne arhitekture: Standard definira zahtjeve za strukturirani sigurnosni plan. Organizacije koje primjenjuju DIN ISO 29992 moraju sistematski provoditi preventivne mjere protiv manipulacije (sprečavanje prevara) i štititi integritet zadataka, kao i sigurnost informacija i identiteta putem definiranih procesa.

Održivo osiguranje kvaliteta kroz upravljanje životnim ciklusom: Zahtijevanjem kontinuiranog procesa održavanja i praćenja (plan održavanja), ISO 29992 podržava dugoročno osiguranje kvaliteta testiranja. Umjesto jednokratnog pregleda, standard smatra kontinuiranu evaluaciju i poboljšanje postupaka testiranja bitnom komponentom osiguranja kvaliteta. To omogućava rano otkrivanje i ispravljanje promjena u kvalitetu testiranja putem empirijski podržanih mjera.

Tehnička povezanost sa Zajedničkim evropskim referentnim okvirom (CEFR): Struktura standarda omogućava sistematski prenos opštih zahtjeva kvaliteta na jezičku dijagnostiku. To omogućava povezivanje zahtjeva standarda ISO 29992 sa opisima kompetencija zasnovanim na teoriji Zajedničkog evropskog referentnog okvira za jezike (CEFR) i omogućava sveobuhvatno opravdanje dodjeljivanja rezultata testova jezičkim nivoima.

Transparentno opravdanje interpretacije i korištenja rezultata: ISO 29992 zahtijeva jasnu prezentaciju odnosa između rezultata procjene i njihove interpretacije. To pruža osnovu za naučno razumljiv opis zaključaka koji se mogu izvući iz rezultata ispitivanja i u koje svrhe se certifikat može koristiti.

Osnova za naučno utemeljen argument validacije: Ključna prednost standarda ISO 29992 je što podržava strukturirano generiranje i dokumentiranje relevantnih dokaza. U kombinaciji s psihometrijskim metodama, ovo stvara robusnu bazu dokaza na kojoj se može razviti naučno utemeljen argument validacije. Ovaj argument omogućava transparentno, razumljivo i uz čvrste stručne dokaze opravdanje interpretacije i korištenja rezultata testova.

Stub b) Nezavisno tijelo za certifikaciju

Info okvir / Definicija: Šta je nezavisni organ za certifikaciju?

Nezavisno certifikacijsko tijelo je eksterna, nepristrasna organizacija koja provjerava i potvrđuje da organizacija ispunjava određene zahtjeve ili standarde kvalitete. Ono ne ocjenjuje vlastite performanse certificirane organizacije, već provodi nezavisnu reviziju njenih dokumentiranih procesa, struktura i dokaza. Ova eksterna procjena stvara dodatni sloj povjerenja, jer osiguranje kvalitete nije isključivo odgovornost same organizacije.

Ključna karakteristika nezavisne certifikacije je odvojenost procjene i odluke o certifikaciji. Pregled procesa i dokaza provode stručni revizori, dok konačnu odluku o certifikaciji donosi nezavisno tijelo. Na taj način se izbjegavaju samoprocjene i potencijalni sukobi interesa, osiguravajući objektivnost i kredibilitet certifikacije.

S kojim nezavisnim tijelom sarađuje Deutschtest.digital?

Za eksterno osiguranje kvaliteta, sarađujemo s nezavisnim certifikacijskim tijelom DeuZert . DeuZert garantuje potpuni integritet, kredibilitet i prihvatanje svojih odluka o certifikaciji. Sa više od dvije decenije iskustva, DeuZert posjeduje sveobuhvatno specijalističko znanje u sektoru obrazovanja i certifikacije.

Koje su prednosti nezavisne certifikacije od strane DeuZerta?

Ključna dodana vrijednost nezavisne certifikacije od strane DeuZerta leži u činjenici da kvalitet implementiranih procesa ne procjenjuje isključivo sama organizacija, već je predmet i eksterne stručne recenzije. To stvara dodatni nivo povjerenja za donosioce odluka. Sljedeći aspekti su posebno relevantni:

Institucionalna nezavisnost i objektivna evaluacija: DeuZert djeluje kao nezavisno certifikacijsko tijelo i procjenjuje implementaciju definiranih zahtjeva koristeći transparentne procedure testiranja. Razdvajanje revidirane organizacije i eksternog tijela za procjenu sprječava samoprocjenu i jača objektivnost odluke o certifikaciji.
Kontinuirano osiguranje kvalitete putem nadzornih audita: Kvalitet implementiranih procedura se ne procjenjuje jednokratno, već se kontinuirano prati kroz redovne preglede. Ova eksterna kontrola osigurava da se metodološki i organizacijski zahtjevi dosljedno ispunjavaju i da se daljnji razvoj sistematski preispituje.

Koji formalni dokaz potvrđuje da Deutschtest.digital ispunjava standard DIN ISO 29992?

Nakon uspješnog završetka procesa revizije, DeuZert nam je izdao certifikat o usklađenosti sa DIN ISO 29992. Ovaj dokument potvrđuje da procedure implementirane u Deutschtest.digital za planiranje, razvoj, provođenje i evaluaciju procjena u oblasti znanja njemačkog jezika ispunjavaju zahtjeve standarda i da su ocijenjene kao dio nezavisne eksterne revizije.

Certifikat o usklađenosti stoga služi kao formalni dokaz da Deutschtest.digital usklađuje svoje procese testiranja s međunarodno priznatim standardom za procjenu ishoda učenja. Njime se potvrđuje sistematska primjena procedura usklađenih sa standardima kako bi se osigurala transparentnost, uporedivost i kvalitet rezultata testiranja.

Pogledajte certifikat

Stub c) Nezavisni stručnjaci i revizori

Info okvir / Definicija: Uloga revizora

Međunarodni standardi propisuju strogo razdvajanje između procjene i donošenja odluka o certifikaciji. Stvarni pregled organizacije za testiranje (reviziju) provode nezavisni, visokokvalifikovani revizori. Oni ispituju empirijske dokaze, procjenjuju arhitekturu sistema u praksi i dokumentuju svoje nalaze u izvještaju o reviziji, koji služi kao neutralna činjenična osnova za naknadnu odluku certifikacionog tijela.

Ko provodi audite u Deutschtest.digital?

Nadzorne revizije provodi mreža iskusnih stručnjaka za obrazovanje, ispitivača, revizora i procjenitelja koji djeluju u ime DeuZerta. Korištenje ovog visoko specijaliziranog tima osigurava da evaluacija naših procesa i dokaza nije samo administrativna, već se provodi i s najvišim nivoom stručnosti u teoriji testiranja sadržaja i jezika.

Stub d) Propisi o postupku revizije

Info okvir / Definicija: Koji propisi regulišu proces revizije?

Propisi o reviziji su obavezujuća proceduralna pravila koja precizno definišu kako certifikacijsko tijelo mora provesti reviziju. Oni regulišu proces pregleda dokumenata, uzorkovanja, intervjua i revizija na licu mjesta ili sistemskih revizija kako bi se spriječila arbitrarnost i garantovao ponovljiv kvalitet revizije.

Koji se propisi o reviziji primjenjuju na certifikaciju prema ISO 29992?

Postupak revizije za ISO 29992 podliježe zahtjevima sveobuhvatnog standarda DIN EN ISO/IEC 17065. Ovaj standard ne reguliše sam test, već metode rada, nezavisnost i kompetenciju certifikacijskog tijela. Ovo osigurava da je eksterna revizija bez komercijalnih ili internih sukoba interesa. Rezultat je nezavisna eksterna potvrda implementacije procesa ispitivanja i procjene u skladu sa standardom, na osnovu transparentno dokumentovane stručne i metodološke osnove.

Stub e) Dokazi

Za pouzdanu procjenu jezičkih vještina potrebna je pouzdana baza podataka. Dokazi o kvaliteti testa prvenstveno se oslanjaju na sljedeće ključne kategorije dokaza:

1. Planski i konceptualni dokumenti

Ovi dokumenti uspostavljaju stratešku i ugovornu osnovu prije nego što počne stvarni razvoj testa. Oni dokumentuju sistematske analize potreba ciljne grupe, kao i obavezujuće sporazume u vezi sa preciznom svrhom testa.

2. Dokumenti specifikacije i pregleda zadataka

Ova kategorija uključuje detaljne nacrte i protokole testiranja za osiguranje kvalitete sadržaja. Oni pokazuju da svaka pojedinačna ispitna stavka ispunjava tehničke specifikacije i ciljani CEFR nivo.

3. Administrativni i sigurnosni dokumenti

Oni garantuju potpuno ujednačen, standardizovan i nepromjenjiv proces ispitivanja na svim lokacijama za testiranje. To uključuje priručnike za nadzornike, stroge provjere identiteta kandidata i detaljne IT sigurnosne planove.

4. Protokoli za evaluaciju i bodovanje

Ovi dokumenti regulišu objektivno, bezgrešno i nepristrasno dodjeljivanje bodova. Sadrže ključeve odgovora, smjernice za ocjenjivanje za ispitivače i dokaze o tačnosti automatizovanih procedura ocjenjivanja.

5. Certifikati o kvalifikacijama i obuci

Oni pokazuju profesionalne, akademske i dijagnostičke kvalifikacije svih zaposlenika za testiranje i procjenu. Nadalje, dokumentiraju koncept sistematske obuke i redovnih kurseva osvježavanja znanja kako bi se osigurali jedinstveni standardi procjene.

6. Empirijski dokazi o kvaliteti i izvještaji o validaciji

Oni pružaju naučne i statističke dokaze za stvarni psihometrijski kvalitet testa. Uključuju izračune o tačnosti mjerenja (pouzdanosti), pravednosti među podgrupama i dimenzionalnoj strukturi koja je u skladu s teorijom.

7. Procesi održavanja i revizije

Ovi procesi kontrolišu kontinuirano praćenje kvaliteta i redovno obnavljanje testova tokom rada. Oni definišu statističke metrike za životni ciklus zadataka kako bi se osiguralo da se potrošni materijali zamjenjuju na pravovremen i standardizovan način.

8. Pravičnost, pravda i žalbe

Oni štite prava, dostojanstvo i zaštitu kandidata za ispit tokom cijelog procesa. To uključuje transparentne smjernice za žalbe i pritužbe, lako razumljivu korisničku podršku i stroge koncepte sigurnosti podataka.

2. Od baze dokaza do argumenta validacije: Naučno opravdanje interpretacija testova

Dokazi generirani unutar arhitekture osiguranja kvalitete u početku predstavljaju pojedinačne dokaze o kvaliteti i funkcionalnosti postupka testiranja. Tek kroz njihovu sistematsku integraciju unutar argumenta validacije pojavljuje se razumljivo opravdanje zašto se određena tvrdnja o jezičkoj kompetenciji osobe može izvesti iz rezultata testa.

Šta je argument validacije?

Ako kreatori testova razmatraju naučne kriterije kvaliteta izolovano, rizikuju da izgube iz vida sveobuhvatnu logiku i cilj testa. Kvalitet jezičkog testa ne proizilazi isključivo iz pojedinačnih zadataka ili statističkih parametara, već iz međudjelovanja svih komponenti postupka testiranja. U modernim istraživanjima jezičkog testiranja, validnost testa se stoga shvata - na šta su, između ostalih, uticali radovi Bachmana i Palmera, Michaela Kanea i Carol Chapelle - kao sveobuhvatan i višedimenzionalan koncept kvaliteta. Ključno pitanje nije da li su ispunjeni pojedinačni kriteriji kvaliteta, već da li se zaključci izvedeni iz rezultata testa mogu opravdati u cjelini.

Ovo pitanje je posebno važno jer rezultati jezičkih testova često imaju dalekosežne posljedice na obrazovne, karijerne i odluke o boravištu. Pružaoci testova stoga snose posebnu profesionalnu i etičku odgovornost. Oni ne samo da moraju osigurati kvalitet svojih postupaka testiranja, već i biti u stanju da taj kvalitet transparentno demonstriraju. Upravo iz te potrebe razvio se koncept takozvanog argumenta validnosti u modernim istraživanjima validnosti.

Historijski gledano, ovaj pristup se pojavio 1990-ih i 2000-ih kao revolucionaran odgovor na prethodno vrlo apstraktne naučne modele validnosti, koji su nudili malo konkretnih smjernica za praksu testiranja u stvarnom svijetu. Američki istraživač Michael Kane primijenio je praktičnu teoriju argumentacije filozofa Stephena Toulmina na teoriju testiranja. Poznata lingvistkinja Carol Chapelle potom je dalje razvila ovu logiku posebno za istraživanje jezičkog testiranja – svjetski je poznata po svojoj pionirskoj validaciji TOEFL iBT testa počevši od 2008. godine. Usavršila je model u besprijekoran lanac od sedam preciznih koraka zaključivanja, što danas predstavlja utvrđeni moderni pristup sistematskom opravdanju i dokumentiranju interpretacija testova.

Ključna korist ovog pristupa leži u oslobađanju organizacija za testiranje jezika od pasivne uloge pukih "izdavatelja certifikata ". Umjesto jednostavnog podnošenja neorganiziranih pojedinačnih dokumenata ili krutih kontrolnih lista akreditacijskim tijelima ili donosiocima odluka u ministarstvima, pružatelji testova sada mogu preuzeti aktivnu, proaktivnu "ulogu zagovaranja ". To im omogućava da nezavisno, transparentno i na naučno neoboriv način argumentiraju validnost, pravičnost i pravnu sigurnost svojih ispita donosiocima odluka, dokazujući to sami kroz sistematski izgrađen lanac dokaza.

Argument validacije stoga opisuje ovaj strukturirani pristup koji se koristi za opravdanje validnosti rezultata testa. Polazište je pretpostavka da svaki test iznosi tvrdnju o jezičkoj vještini osobe. Na primjer, ako je osobi dodijeljen nivo B1 Zajedničkog evropskog referentnog okvira za jezike (CEFR), to podrazumijeva da posjeduje jezičke vještine definirane za taj nivo. Argument validacije ima zadatak da sistematski podrži i sveobuhvatno opravda ovu tvrdnju.

Ovo uključuje konstruisanje koherentnog lanca zaključivanja koji se proteže od testnih zadataka, preko administriranja i evaluacije, do interpretacije rezultata. Za svaki pojedinačni korak, koriste se teorijske osnove i empirijski dokazi (tzv. potpora) kako bi se pokazalo da su pretpostavke opravdane. Argument validacije tako povezuje naučne dokaze sa praktičnim odlukama o testiranju i čini transparentnim zašto se određeni rezultat testa može smatrati značajnim dokazom definisane jezičke kompetencije. Na taj način stvara se osnova za povjerenje, transparentnost i pravnu odgovornost jezičkih testova.

Koje logičke veze lanca čine argument validacije?

Kako bi se pružili nepobitni profesionalni dokazi o kvaliteti jezičkog testa, moderna dijagnostika slijedi jasnu logičku strukturu. Samo kada postoje empirijski dokazi za svaki od ovih sedam nivoa, test se smatra potpuno pouzdanim za praktičnu primjenu.

Praktična relevantnost (definicija domena): Ovaj prvi korak uključuje preciznu analizu jezičkih zahtjeva koji stvarno postoje u ciljanom okruženju (npr. svakodnevni život, posao ili studije). Ovo osigurava da test procjenjuje samo vještine koje su apsolutno neophodne za namjeravanu svrhu (npr. integracija ili pristup tržištu rada).

Objektivnost i mjerenje (evaluacija) bez grešaka: Ovaj dokument pokazuje da se procjena učinka i generiranje rezultata testova provode prema strogim, objektivnim pravilima. Standardizirani uvjeti i statističke analize osiguravaju da je bodovanje što je moguće bez grešaka, transparentnije, zaštićeno od neovlaštenih promjena i neovisno o vanjskim individualnim utjecajima. Svaki učesnik se stoga ocjenjuje prema identičnim, pravednim standardima.

Pouzdanost (generalizacija): Ovaj korak služi da se pokaže da je rezultat testa stabilan i da nije zasnovan na slučaju. Visoka generalizacija znači da rezultat ostaje konzistentan – potpuno nezavisno od toga koja je varijanta zadatka korištena, koji je ispitivač ocijenio rad ili kojeg dana je ispit održan.

Standardna usklađenost (deklaracija): Ovdje je naučno dokazano da rezultati testova tačno odražavaju namjeravano profesionalno značenje. Ako certifikat označava nivo "B1", mora se empirijski dokazati van svake sumnje da učinak odgovara opisima kompetencija Zajedničkog evropskog referentnog okvira za jezike (CEFR) u skladu s teorijom.

Prediktivna moć (ekstrapolacija): Ovo pokazuje da je uspjeh na testu pouzdan pokazatelj kompetencije u stvarnom svijetu. Oni koji polože test dokazivo posjeduju potrebne jezičke vještine za uspješno studiranje ili rad u Njemačkoj.

Sigurnost odluke (korištenje): U ovoj fazi se definišu naučno zasnovani granični rezultati. Ovo osigurava da su pravila za "polaganje" ispita pravedna i prikladna, tako da ni kvalifikovane osobe ne budu nepravedno blokirane (lažno negativni rezultati) niti će nedovoljno znanje biti lažno certificirano (lažno pozitivni rezultati).

Procjena uticaja (posljedice): Konačno, bit će procijenjeni društveni i individualni utjecaji korištenja testova. Osigurat će se da postupak testiranja dugoročno postiže pozitivne efekte koji podstiču učenje i da ne nastaje sistematski nedostatak za određene grupe ljudi (npr. zbog njihovog porijekla ili maternjeg jezika).

Koje su komponente svake pojedinačne karike u lancu dokaza?

Tvrdnje / Zaključci: Tvrdnje čine centralne iskaze argumenta validnosti. One opisuju značenje koje se pripisuje rezultatima testa, njihovim kvalitetama i njihovim namjeravanim efektima. Za razliku od činjenica, tvrdnje su provjerljive, osporive tvrdnje koje se moraju empirijski ili teoretski testirati. Na primjer, tvrdnja može navoditi da test mjeri određeni konstrukt, omogućava valjane odluke ili ima pozitivne posljedice za učenike i institucije. Svaka tvrdnja je dio sekvencijalnog lanca zaključivanja, u kojem jedna tvrdnja proizlazi iz zaključka i istovremeno čini osnovu za sljedeću. Na taj način, cijeli spektar validnosti može se predstaviti u koherentnom opravdanju.

Prostorije / Prostorije: Osnove čine empirijsku osnovu za svaku tvrdnju. Sastoje se od podataka, uočljivih činjenica ili zaključaka izvedenih iz prethodnih koraka zaključivanja. U prvom zaključivanju, direktni rezultati testova ili zapažanja se često koriste kao osnove, dok u sljedećim koracima zaključivanja prethodne tvrdnje služe kao osnove. Osnove su karika u lancu zaključivanja: njihov izbor mora biti logički uvjerljiv, zasnovan na dokazima, konkretan i provjerljiv.

Konačna pravila / Pravila opravdanja (Nalozi): Nalozi su opšta pravila ili principi koji ovlašćuju zaključivanje. Oni objašnjavaju zašto dostupni podaci (osnove) podržavaju tvrdnju i čine racionalnu osnovu argumenta. Da bi operacionalizirao proces validacije, Chapelle (2021) se ne zaustavlja na opštoj definiciji, već svakoj fazi zaključivanja dodjeljuje specifične kategorije naloga (npr. naloge za "reprezentaciju" na nivou definicije domene). Ova kategorizacija služi kao metodološki nacrt.

Pretpostavke: Pretpostavke definiraju uvjete pod kojima je nalog vjerodostojan (usp. Kane, 2006, 2013). One specificiraju koji empirijski preduslovi ili teorijske pretpostavke moraju biti ispunjeni da bi izvođenje tvrdnje bilo valjano (npr. motivacija ispitanika ili reprezentativnost testnih pitanja). Pretpostavke omogućavaju identifikaciju empirijski provjerljivih hipoteza.

Podrška / Dokazi (Potpora): Potpora obuhvata empirijske, teorijske ili logičke dokaze koji podržavaju pretpostavke i opravdanja. Ona pruža bazu dokaza (npr. statističke analize, studije validacije, dokumentaciju) potrebnu za naučno osiguranje vjerovatnoće lanca zaključivanja. Potpora čini liniju argumentacije razumljivom i legitimizuje izvođenje tvrdnji.

Protuargumenti (Opovrgavanja): Pobijanja su uslovi pod kojima tvrdnja ili nalog nisu validni. Oni identifikuju potencijalne kontraargumente ili alternativna objašnjenja (npr. varijansa irelevantna za konstrukt ili nedostatak pravičnosti testa) koja bi mogla pobiti zaključak, te time prisiljavaju pružatelja testa na kritičko razmišljanje.

Arhitektura argumenta validacije na Deutschtest.digital

U nastavku predstavljamo metodološku arhitekturu našeg argumenta validacije za procjenu znanja njemačkog jezika. Budući da je argument validacije uvijek usmjeren na određenu ciljnu domenu, definirani nivo znanja i određenu svrhu, temeljna baza dokaza mora biti specifično strukturirana za namjeravanu interpretaciju i upotrebu rezultata testa. Arhitektura predstavljena u nastavku ilustruje kako su pojedinačni zaključci (inferencije) unutar argumenta validacije povezani i koje su vrste dokaza (potkrepljenja) potrebne za naučno potkrepljivanje rezultirajućih tvrdnji. Potpuni argument validacije sa svim empirijskim i statističkim dokazima premašio bi opseg ove prezentacije. Stoga su ovdje navedeni odgovarajući dokumenti s dokazima kao primjeri.

1 Definicija domene

ZAHTJEV: Ispitni zadaci omogućavaju visoko pouzdanu i preciznu procjenu relevantnog jezičkog znanja i vještina. Tražene jezičke funkcije su visoko reprezentativne za stvarnu upotrebu jezika u ciljanoj oblasti i odgovaraju područjima kompetencije definiranim u Zajedničkom evropskom referentnom okviru za jezike (CEFR).

Kategorija	Naš jezik kvalitete	Dokazni dokument (podloga)
Opis domene	Relevantni jezički zahtjevi i komunikacijske situacije ciljne grupe su precizno i potpuno identificirani.	Specifikacija ciljne domene
reprezentacija	Testne stavke adekvatno predstavljaju domen definisan u specifikacijama testa pokrivajući potreban sadržaj i kognitivne nivoe u ispravnim proporcijama.	Alati za nacrt ispita/mapiranje
relevantnost	Ispitne stavke su relevantne u smislu sadržaja i precizno kalibrirane prema željenom nivou kompetencije; ne sadrže nikakve neprimjerene izvore teškoća koji nisu dio konstrukta koji se mjeri.	Protokoli za pregled zadataka, evaluacija zadataka korištenjem obrazaca za evaluaciju (uključujući dokaz o provjeri CEFR nivoa)
Kontrola kvaliteta	Proces razvoja uključuje sistematske mehanizme uredničke kontrole koji osiguravaju da se zadaci koji pokazuju kvalitativne nedostatke, dvosmislenosti ili kulturne pristranosti nužno revidiraju ili odbacuju.	Protokol kontrole kvaliteta artikla (pregled artikla)

Naučna pozadina

U literaturi iz psihometrije i teorije jezičkih testova, upotreba nacrta testova i alata za mapiranje je obavezna metodologija za osiguranje validnosti sadržaja i demonstraciju odgovarajuće reprezentacije ciljne domene. Standardi za obrazovno i psihološko testiranje eksplicitno preporučuju kreiranje logičke strukture koja mapira ispitne stavke na domenu sadržaja (mapiranje).

Kako bi se osigurala ova pokrivenost u praksi, Alderson (2005) eksplicitno definira specifikacije testova kao "nacrt" kojeg se autori testova i zadataka moraju pridržavati kako bi utvrdili konstruktnu validnost testa. Fulcher i Davidson (2007) također doslovno nazivaju specifikacije testova "generativnim nacrtima".

2 Evaluacija

TVRDNJA: Rezultati testa precizno, objektivno i besprijekorno sumiraju učinak učesnika na ispitu s visokim stepenom tačnosti mjerenja.

Dio 1: Uslovi administracije i zaštita od neovlaštenih promjena

Naš jezik kvalitete	Dokazni dokument (podloga)
Pravila ispita su visokog kvaliteta i sadrže sveobuhvatne i precizne smjernice koje osiguravaju strogo standardiziranu i ujednačenu administraciju ispita, kao i obavezujuće propise za pravedne i građevinski usklađene smještajne uvjete (pristupačnost). Ispitivači nedvosmisleno potvrđuju identitete kandidata u skladu s važećim smjernicama koristeći pouzdane procedure autentifikacije i kontinuirano prate okruženje za testiranje (kontrola prostorije), čime strukturalno sprječavaju korištenje posrednika i neovlaštenu razmjenu informacija.	Pravila za polaganje ispita, priručnik za provođenje procjena - kontrola prostorije i provjera identiteta
Ispitno okruženje otporno na neovlaštene pristupe – bez obzira da li se ispit odvija lično ili digitalno – pouzdano sprečava pristup neovlaštenim pomagalima i potpuno eliminiše pokušaje varanja putem kontrolnih mehanizama koji su u skladu sa formatom (fizičko osoblje za nadzor, siguran pretraživač, nadzor na daljinu).	Spisak fizičkih i elektronskih sigurnosnih zahtjeva, plan za hitne slučajeve u slučaju kršenja sigurnosnih propisa, protumjere protiv neovlaštenih aktivnosti kandidata za ispit

Nedvosmislena identifikacija učesnika testiranja i besprijekorno praćenje okruženja za testiranje predstavljaju apsolutni conditio sine qua non (bitni preduslov) svake pravno ispravne procedure testiranja. Ako su organizacijske procedure manjkave i fizički identitet ispitanika se ne može nedvosmisleno povezati s rezultatima testiranja, sve naknadne izjave u vezi sa sadržajem i statističkom validnošću postaju nevažeće.

Dijelovi 2 i 3: Kvalitet bodovanja, protokoli i evaluatori

Naš jezik kvalitete	Dokazni dokument (podloga)
Za sve metode evaluacije i proces evidentiranja rezultata postoje precizna pravila i kriteriji, čime se osigurava objektivnost i proceduralna pouzdanost. Skale procjene, zasnovane na referentnim nivoima CEFR-a (izjave "Can-Do") i prilagođene specifičnim kontekstima, predstavljaju validne pokazatelje jezičkih podkompetencija koje se mjere.	Priručnik za provođenje evaluacije, priručnik sa specifikacijama evaluacije, kriteriji za evaluaciju produktivnog učinka.
Zaposleni procjenitelji posjeduju potrebne stručne kvalifikacije (npr. relevantne univerzitetske diplome) i relevantno didaktičko iskustvo.	Referentni certifikati o kvalifikacijama procjenitelja
Sistematski program obuke pruža procjeniteljima potrebne vještine za dosljednu i tačnu primjenu smjernica za procjenu.	Certifikati o obuci procjenitelja
Sistematska ručna kontrola kvalitete i provjera vjerodostojnosti od strane kvalificiranih stručnjaka (human-in-the-loop) provjerava tačnost automatiziranih procesa evaluacije i ispravnost ključeva rješenja.	Dokaz tačnosti tehničke obrade evaluacije mašine

U literaturi o psihometriji i teoriji jezičkih testova, zahtijeva se da se validnost procjena učinka oslanja na standardizirane, eksterno utemeljene kriterije (mjerenje zasnovano na kriterijima). Da bi se isključili subjektivni standardi, skale ocjenjivanja moraju biti precizno usklađene s utvrđenim, teorijski zasnovanim referentnim sistemom.

Dio 4: Empirijski kvalitet / Statistički integritet

Naš jezik kvalitete	Dokazni dokument (podloga)	Psihometrijske ciljne vrijednosti
Testni zadaci imaju dovoljnu diskriminaciju kako bi efikasno i pouzdano razlikovali kandidate s višim i nižim jezičkim znanjem.	Dokaz o statističkoj diskriminaciji stavki	Moć selekcije cilja (r) ≥ 0,50 (vrijednosti između 0,30 i 0,49 su prihvatljive). Indeks diskriminacije (D) ≥ 0,40. Distraktori moraju imati frekvenciju selekcije > 0.
Nivoi težine testnih zadataka adekvatno pokrivaju cijeli raspon performansi ciljne populacije.	Dokaz o odgovarajućoj težini stavke	Ciljani raspon p-vrijednosti između 0,40 i 0,59 (0,20–0,80 prihvatljivo). Prosječna težina ukupnog testa je približno 0,50.
Testne stavke funkcionišu nepromjenjivo u svim relevantnim podgrupama (nema pristranosti zbog spola ili maternjeg jezika).	Potvrda o pravednosti testa (Diferencijalna funkcija stavke / DIF)	Diferencijalna funkcija stavke (DIF) prema Mantel-Haenszelovom postupku (Kategorija A: sigurna prema ETS klasifikaciji).

3 Generalizacija

TVRDNJA: Rezultati testa odražavaju stvarne i stabilne performanse kandidata na testu s visokim stepenom pouzdanosti, jer su dokazivo nezavisni od slučajnih faktora kao što su vrijeme testiranja, specifična verzija testa ili osoba koja provodi test.

Konzistentnost među prilikama, formatima testova i zadacima

Naš jezik kvalitete	Dokazni dokument (podloga)	Psihometrijske ciljne vrijednosti
Konzistentnost među prilikama: Rezultati testa pokazuju visok stepen vremenske stabilnosti (vrijeme nema sistematski utjecaj).	Dokaz kvalitete testa u smislu vremenske stabilnosti (pouzdanost ponovnog testiranja)	Pearsonov koeficijent korelacije r Ciljana veličina uzorka ≥ 0,90 (0,80 - 0,89 prihvatljivo). Minimalna veličina uzorka. N ≥ 50.
Konzistentnost među testovima: Rezultati testova su konzistentni u različitim verzijama testova (stabilnost nivoa).	Dokaz kvalitete ekvivalentnosti testnog oblika (pouzdanost paralelnog testa)	Korelacija ciljeva r ≥ 0,90 (od r ≈ 0,80 prihvatljivo). t-test bez značajnih razlika (p > 0,05).
Konzistentnost među zadacima: Ispitne stavke su homogene (unutrašnja konzistencija).	Dokaz unutrašnje konzistentnosti i homogenosti	Cronbachov alfa α ≥ 0,90 (0,80 - 0,89 prihvatljivo). Razlučivost preostalih stavki ≥ 0,30.

Konzistentnost među recenzentima

Naš jezik kvalitete	Dokazni dokument (podloga)	Psihometrijske ciljne vrijednosti
Procjena učinka ispita od strane jednog ispitivača je stabilna i konzistentna tokom vremena (konsenzus procjena).	Empirijski dokazi o konzistentnosti i neutralnosti presuda	Međusobno poređenje ocjenjivača: Nema značajnih razlika u srednjim vrijednostima (p ICC ili Kappa ≥ 0,90 (ciljana vrijednost).
Evaluacija učinka na ispitu ne zavisi od individualne strogosti ispitivača i nije pristrasna.	Potvrda objektivne kvalitete evaluacije (višestruka Raschova analiza)	Rezultati prilagođenosti (Infit/Outfit MNSQ) kretali su se od 0,5 do 1,5. Interakcijski efekti nisu bili značajni.t ≤ 2,0).

4 Erklärung

TVRDNJA: Rezultati testa odražavaju osnovni konstrukt jezičke kompetencije s visokom vjerodostojnošću, tačno onako kako je definirano u opisima nivoa CEFR-a.

Naš jezik kvalitete	Dokazni dokument (podloga)	Psihometrijske ciljne vrijednosti
Reprezentacija konstrukta: Unutrašnja struktura rezultata testa odgovara teoretski definiranom konstruktu (GER).	Empirijski dokazi dimenzionalnosti konstrukta (EFA/CFA).	Vrijednost KMO ≥ 0,80. Vrijednosti dobrog prilagođavanja: RMSEA ≤ 0,05, SRMR ≤ 0,08, CFI/TLI ≥ 0,95.
Nomološka mreža: Rezultati ispitivanja koreliraju s utvrđenim standardiziranim postupcima ispitivanja (vanjski kriterij).	Empirijski dokazi o validnosti kriterija	Jaka, značajna korelacija r ≥ 0,50 (p <0,05).

5 Ekstrapolacija

TVRDNJA: Uspjeh zabilježen na jezičkom testu omogućava valjane zaključke o stvarnoj jezičkoj kompetenciji kandidata u realnim situacijama prijave (npr. u akademskim studijama ili svakodnevnom profesionalnom životu) s visokim stepenom prediktivne moći.

Naš jezik kvalitete	Dokazni dokument (podloga)	Psihometrijske ciljne vrijednosti / analiza
Pokazatelji uspješnosti ciljne domene: Rezultati testova koreliraju sa stvarnom sposobnošću djelovanja u praksi.	Dokaz o istovremenoj validnosti / prognostičkoj validnosti.	Korelacije u rasponu od r Otprilike 0,30 do 0,50.
Uporedivost performansi: Testne stavke i kriteriji evaluacije su u skladu s utvrđenim standardima ciljne domene.	Potvrda relevantnosti kriterija putem stručne validacije.	Sistematsko poređenje sa stručnjacima za predmetnu oblast (standardi AERA, APA i NCME).
Autentičnost i korespondencija: Ulazni materijali i formati odgovaraju tipičnim praktičnim zahtjevima.	Potvrda situacijske autentičnosti (analiza ulaznih podataka).	Ekvivalencija strukturnih performansi (MANOVA). Globalni test nije značajan (p > 0,05).
Jezičke izvedbe ne pokazuju značajna strukturna odstupanja od autentičnih uzoraka izvedbe.	Empirijski dokazi o ekvivalenciji strukturnih performansi (MANOVA).
Učesnici testa primjenjuju konstruktivno relevantne kognitivne strategije rješavanja problema (stvarno razumijevanje umjesto nagađanja).	Dokazi o mentalnim procesima usklađenim s konstruktima (analiza procesa).	-

6 Nutzung

TVRDNJA: Rezultati testova pružaju pouzdanu osnovu za donošenje pravednih i objektivnih odluka u vezi s plasmanima i certifikatima zasnovanim na CEFR-u. Nadalje, nude vrijedne dijagnostičke uvide za ciljanu podršku nastavi jezika.

Naš jezik kvalitete	Dokazni dokument (podloga)	Psihometrijske ciljne vrijednosti
Prikladnost / Korisnost: Zainteresovane strane (univerziteti, predavači) smatraju rezultate korisnim za donošenje opravdanih odluka.	Dokaz praktične primjenjivosti rezultata ispitivanja.	Ukupna tačnost ≥ 0,90. Indeks pouzdanosti (Livingston & Lewis) Φ ≥ 0,70.
Pravila odlučivanja: Granične vrijednosti su rezultat kvalificiranog postupka postavljanja standarda.	Okvir za procjenu - Procedure za postavljanje standarda / Granične ocjene.
Kvalitet i konzistentnost klasifikacije: Klasifikacije uglavnom odgovaraju nezavisnoj referentnoj procjeni.	Dokaz tačnosti klasifikacije (rezultati ogrančenja).
Interpretacija i komunikacija: Rezultati testova su jasno interpretabilni za zainteresovane strane.	Potvrda interpretabilnosti i korisnosti izvještaja o rezultatima.
Vjernost primjene: Donosioci odluka dosljedno primjenjuju utvrđena pravila odlučivanja u svom poslovanju.	Dokaz o pridržavanju prijave.	-

7 posljedice

TVRDNJA: Korištenje rezultata testova će vrlo vjerovatno imati pozitivne posljedice za sve zainteresovane strane garantujući pravedne klasifikacije i mogućnosti pristupa, kao i pozitivan uticaj na nastavnu praksu.

Naš jezik kvalitete	Dokazni dokument (podloga)
Ostvarene posljedice korištenja testa zapravo postižu željene koristi, dok negativne nuspojave ostaju minimalne.	Dokazi o posljedicama rezultata testa (korist za korisnike i povratni efekti)
Prava, dostojanstvo i osjetljivi podaci učesnika testiranja zaštićeni su strogim smjernicama (uključujući postupke za žalbe).	Smjernice za žalbe, priručnik za sistem upravljanja informacijama
Implementacija testa ima pozitivan povratni efekat na obrazovni sistem (fokus na vještinama umjesto na strategijama testiranja).	Dokazi o posljedicama rezultata testiranja (makro-uticaj i društvena korist)

U modernoj teoriji testiranja, implementacija žalbenih postupaka i smjernica za sigurnost informacija ne posmatra se kao čisto administrativni čin, već kao obavezni metodološki instrument za osiguranje posljedične validnosti (usp. Messick, 1989; 1995). Regulisani arbitražni postupak služi kao neophodna kvalitativna kontra-provjera za identifikaciju konstruktivno irelevantne varijance.