Информация за вземащите решения: Аргументът за валидиране на Deutschtest.digital – Достоверност при вземане на решения, основана на доказателства, чрез съвременна езикова диагностика
Присвояването на езиков тест към Общата европейска езикова рамка (CEFR) представлява сложен процес на валидиране. Твърдението, че даден тест съответства на определено ниво по CEFR, не е пряко наблюдаем факт, а трябва да бъде подкрепено с теоретични и емпирични доказателства. Събирането и оценката на тези доказателства се извършва в рамките на валидирането на съответното твърдение за валидност.
(вж. Съвет на Европа, 2009 г., стр. 7)Езиковият сертификат документира измерените стойности. Правилното тълкуване е от решаващо значение!
Ако като лице, вземащо решение, изисквате доказателство за владеене на език от кандидат за конкретна цел, обикновено ще ви бъде представен езиков сертификат или съответен резултат от тест. Такъв документ по същество съдържа резултат от измерване, определен при специфични методологични и свързани с изпита условия. Ако използвате това например в официална процедура за оценка на езиковата компетентност, то може да служи като доказателство (вж. § 26, параграф 1, изречение 1 и изречение 2, точка 3 от Германския закон за административното производство). Такъв резултат от измерване обаче придобива своята значимост само чрез професионално обоснована и основана на доказателства интерпретация. Следователно ключовият въпрос не е просто какъв резултат е написан на хартия, а на каква научна основа този резултат от измерването може да бъде надеждно оценен.
Дали подобно тълкуване е валидно зависи до голяма степен от това дали основните процеси на тестване са научно обосновани, технически надеждни и организационно контролирани. Следователно, това, което е важно, не е самата стойност на измерването, а качеството на цялата система, която я генерира.
За да се оцени надеждността на езиков сертификат, е необходимо да се проучат условията, при които се събират, обработват и интерпретират тестовите данни. Тези контролирани процеси генерират необходимите доказателства, които да позволят научна оценка на качеството на теста.
Тези отделни доказателства обаче все още не представляват убедително основание за интерпретацията на резултата от теста. Само чрез систематичното им интегриране в рамките на аргумент за валидиране се появява научно разбираема основа за това защо конкретно твърдение за езиковата компетентност на дадено лице може да бъде изведено от конкретен резултат от теста.
Следните раздели първо обясняват инфраструктурата за генериране на доказателства – т.е. стандартите, процесите и механизмите за контрол, чрез които се генерират надеждни доказателства. Впоследствие те описват как тези доказателства са систематично интегрирани в нашия подход за валидиране и на каква научна основа се основава интерпретацията на резултатите от нашите тестове.
1. Инфраструктурата за генериране на надеждни доказателства
За да се демонстрира обективно, че сертификатът не е празно обещание, организацията, извършваща тестове, се нуждае от солидни емпирични доказателства (психометрични данни, анализи на надеждността, документация за валидиране). Съвременните изследвания на тестовете подчертават централна предпоставка: няма по своята същност „валидни тестове“ или „валидни резултати от тестове“ – валидността може да бъде постигната само чрез интерпретация и използване на тези резултати за конкретна цел.
Само методично всеобхватна система за управление на качеството може да гарантира, че доставчикът на тестове непрекъснато генерира чисти, безпристрастни сурови данни, което е от съществено значение за обосноваване на такава валидна интерпретация на езиковата компетентност. Тъй като подобни доказателства са надеждни само ако не се генерират произволно, е необходима строга, независима системна архитектура. Тази архитектура се основава на пет стълба:
Стълб а) Стандартът
Информационно поле / Определение: Какво е стандарт?
Стандартът е документиран набор от правила, който описва изисквания, критерии или препоръки за специфични процеси, процедури или услуги. Той създава обща рамка за систематично осигуряване на качество, сравнимост, прозрачност и проследимост. Стандартите могат да бъдат разработени и публикувани от различни заинтересовани страни и служат за определяне на най-добри практики, технически изисквания и показатели за качество по прозрачен и разбираем начин.
Какъв стандарт използва Deutschtest.digital?
Deutschtest.digital базира разработването, администрирането, оценяването и непрекъснатото осигуряване на качеството на своите езикови тестове на изискванията на DIN ISO 29992. С ISO 29992 („Оценка на резултатите от учебните услуги“), международният комитет по стандартизация ISO/TC 232 („Образователни и учебни услуги“) публикува специален стандарт, насочен към организации, които предоставят учебни услуги и разработват, избират или прилагат оценки. Международният стандарт ISO 29992 е приет в националната система за стандартизация от Германския институт за стандартизация (DIN) като DIN ISO 29992.
Стандартът формулира специфични изисквания за качество за планирането, разработването, администрирането и оценката на оценките и изрично включва измерването на езиковата компетентност съгласно Общата европейска езикова рамка (CEFR). За разлика от чисто теоретичните насоки за тестове, ISO 29992 произтича предимно от логиката на управлението на услугите с гарантирано качество. За Deutschtest.digital той формира централната организационна и методологична рамка за осигуряване на качеството. Той ни помага да генерираме надеждни доказателства, да документираме прозрачно процесите на тестване и да гарантираме постоянно качество на нашите езикови тестове съгласно проверими и проследими стандарти. Същевременно той предоставя на вземащите решения всеобхватна правна, институционална и методологична сигурност.
Какво включва ISO 29992?
Изискванията на ISO 29992 са структурирани в следните основни глави:
- Глава 1 Посочен е обхватът на приложение на стандарта. Посочени са две основни приложения: (1) измерване на индивидуалните резултати на учащите и (2) определяне на напредъка в обучението.
- Глава 2 препраща към препратки към други стандарти (които не са налични в случая на стандарт ISO 29992:2021).
- Глава 3 дефинира поредица от технически термини, свързани с диагностиката/измерването на производителността.
- Глава 4 Този стандарт предоставя специфични препоръки относно планирането на диагностични инструменти (последователно наричани „оценка“ в текста). Съгласно DIN ISO 29992:2021-04, фазата на планиране трябва да включва анализ на нуждите, документи за планиране на ресурсите и рамков документ, съдържащ информация за обхвата на приложение на диагностичния инструмент; решенията, взети въз основа на инструмента; интерпретацията на неговите резултати; очакваните последици от използването на диагностичния инструмент; връзката между целите на инструмента и използваната методология за оценяване; връзката между резултатите, техните интерпретации, приложения и последици; съобщаването на резултатите от тестовете; условията на използване, графика и разходите; процедурите за оценяване; средата за оценяване (напр. помещения); предпоставките за участие в оценяването и приложимите стандарти за инструменти и методи, използвани при оценяването на резултатите от обучението; процедурите за осигуряване на качеството; заинтересованите страни, участващи в разработването и/или изпълнението на оценяването; оперативен план за диагностичния инструмент; и процедурни правила, както и наличността на диагностичния инструмент и степента на покритие на изискванията на спецификациите на теста.
- Глава 5 Той съдържа редица препоръки за разработване на диагностичния инструмент. Те включват аспекти като времето на използване на инструмента (преди, по време или след учебния процес); квалификацията на разработчиците на тестовете; формата на тестовите елементи/изпитните въпроси; и пространствените, времевите, организационните и техническите спецификации за администриране на диагностичния инструмент. Освен това, той предоставя насоки относно критериите за качество на теста за обективност, надеждност и валидност; процеса на разработване на тестови елементи/изпитни въпроси; процедурите за определяне на резултатите от диагностичния инструмент; рамката за това как и кога се съобщават резултатите; процедурите за оспорване на резултатите; и изискванията за техническа документация.
- Глава 6 Това се фокусира върху административните аспекти на диагностичния инструмент. Аспектите включват насоки за администриране; план за осигуряване на безопасността на теста; квалификацията и отговорностите на лицата, контролиращи администрирането на диагностичен инструмент; и квалификацията на оценителите.
- Глава 7 Това се отнася до оперативното използване на диагностичен инструмент. Необходими са документи, свързани с оперативното използване, като например доказателства за надеждност и валидност; правила за администриране на диагностичния инструмент; и статистически процедури за управление на качеството на методологията на тестването и свързаните с тях процеси. Освен това, Глава 7 изисква подробен план за това как съществуваща диагностична процедура ще бъде непрекъснато преразглеждана и доразвивана.
- Глава 8 Този раздел разглежда въпроса за справедливостта. От тази гледна точка, той очертава характеристики като официално споразумение, което трябва да бъде сключено между доставчика на диагностичен инструмент и кандидатите за теста. Това споразумение трябва да включва например информация за таксите за теста, правата и задълженията на участващите страни, изискванията за участие, описание на диагностичния инструмент, информация за защита на данните и подробности относно сроковете. Глава 8 разглежда допълнително забраната за дискриминация; правата на кандидатите за теста; неутралността на диагностичния инструмент; кодексите за поведение на лицата, участващи в диагностичния инструмент; и информацията, която се предоставя на кандидатите за теста.
- Глава 9 DIN ISO 29992:2021-04 разглежда допълнителни етични съображения относно използването на диагностични инструменти. В това отношение той изисква ясно определяне на отговорностите на всички участващи страни. Освен това, той изисква достоверна и точна информация за диагностичния инструмент. И накрая, диагностичният инструмент трябва да гарантира различни аспекти на информационната сигурност, като например поверителността на събраните данни, защитата и сигурността на данните и сигурността на комуникационните канали. В крайна сметка, система за управление на комуникациите също трябва да бъде планирана и документирана.
- Приложение А Посочва информацията, която трябва да бъде събрана по структуриран начин в техническата документация за диагностична процедура. Това включва всички документи, свързани с целия жизнен цикъл на диагностичния инструмент, от планирането и разработването на инструмента до оперативното му приложение. Съответните документи включват анализ на нуждите; рамката за използване на диагностичния инструмент; спецификациите за оценяване; ръководство за администриране на диагностичния инструмент; ръководство за обучение на участващите; формуляри за оценители; спецификации за квалификация и обучение на проверяващи/оценители, наблюдатели и др.; документи за процедури за разработване на тестови елементи; документация за тестови одити и валидационни проучвания на диагностичния инструмент; доказателства за редовно осигуряване на качеството; доказателства за психометричното качество на отделните тестови елементи; доказателства за процедури, насочени към елиминиране на неподходящи тестови елементи; доказателства за проверка и процедури за ръчно оценяване на резултатите; и доказателства за съответствието на оценяването на живо със спецификациите на теста. Доказателства за надеждността на машинно базираните оценки; доказателства за процедурата по арбитраж и обжалване; и доказателства за процедурата в случай на повторни оценки. Този много широк набор от доказателства се допълва допълнително от изисквания за техническа документация за това как потребителите на диагностичния инструмент трябва да бъдат подкрепени при неговото приложение. Подробности относно съхранението на технически данни и документация завършват съществената част на стандарта.
Кои са основните предимства на DIN ISO 29992?
DIN ISO 29992 предоставя на Deutschtest.digital не само формална рамка за качество, но и създава систематична основа за разработването, администрирането и непрекъснатия преглед на нашите езикови тестове. Ключовите предимства от прилагането на този стандарт се крият по-специално в следните области:
Осигуряване на обвързваща архитектура за сигурност: Стандартът определя изискванията за структуриран план за сигурност. Организациите, прилагащи DIN ISO 29992, трябва систематично да прилагат превантивни мерки срещу манипулация (предотвратяване на измами) и да защитават целостта на задачите, както и сигурността на информацията и идентичността чрез определени процеси.
Устойчиво осигуряване на качеството чрез управление на жизнения цикъл: Чрез изискване на процес на непрекъсната поддръжка и мониторинг (план за поддръжка), ISO 29992 подкрепя дългосрочното осигуряване на качеството на тестването. Вместо еднократен преглед, стандартът разглежда непрекъснатата оценка и подобряване на процедурите за тестване като съществен компонент на осигуряването на качеството. Това позволява промените в качеството на тестването да бъдат идентифицирани рано и коригирани чрез емпирично обосновани мерки.
Техническа връзка с Общата европейска езикова рамка (CEFR): Структурата на стандарта позволява систематично пренасяне на общите изисквания за качество към езиковата диагностика. Това позволява изискванията на ISO 29992 да бъдат свързани с теоретично базираните описания на компетенциите на Общата европейска езикова рамка (CEFR) и дава възможност за разбираемо обосноваване на присвояването на резултатите от тестовете на езиковите нива.
Прозрачна обосновка на интерпретацията и използването на резултатите: ISO 29992 изисква ясно представяне на връзката между резултатите от оценката и тяхната интерпретация. Това осигурява основата за научно разбираемо описание на това какви заключения могат да се направят от резултата от теста и за какви цели може да се използва сертификат.
Основа за научно обоснован аргумент за валидиране: Ключово предимство на ISO 29992 е, че той поддържа структурираното генериране и документиране на съответните доказателства. В комбинация с психометрични методи, това създава солидна доказателствена база, върху която може да се разработи научно обоснован аргумент за валидиране. Този аргумент позволява интерпретацията и използването на резултатите от тестовете да бъдат обосновани прозрачно, разбираемо и със солидни професионални доказателства.
Стълб б) Независим сертифициращ орган
Инфо кутия / Определение: Какво е независим сертифициращ орган?
Независимият сертифициращ орган е външна, безпристрастна организация, която проверява и потвърждава, че дадена организация отговаря на определени изисквания или стандарти за качество. Той не оценява собственото представяне на сертифицираната организация, а по-скоро провежда независим одит на нейните документирани процеси, структури и доказателства. Тази външна оценка създава допълнително ниво на доверие, тъй като осигуряването на качеството не е единствено отговорност на самата организация.
Ключова характеристика на независимата сертификация е разделянето между оценката и решението за сертифициране. Прегледът на процесите и доказателствата се извършва от експертни одитори, докато окончателното решение за сертифициране се взема от независим орган. Това избягва самооценки и потенциални конфликти на интереси, като гарантира обективността и надеждността на сертифицирането.
С кой независим орган си сътрудничи Deutschtest.digital?
За външно осигуряване на качеството, ние си сътрудничим с независимия сертифициращ орган DeuZert . DeuZert гарантира пълната почтеност, надеждност и приемане на решенията си за сертифициране. С повече от двадесет години опит, DeuZert притежава всеобхватни специализирани познания в сектора на образованието и сертифицирането.
Какви са предимствата на независимата сертификация от DeuZert?
Ключовата добавена стойност на независимата сертификация от DeuZert се състои във факта, че качеството на внедрените процеси не се оценява единствено от самата организация, а е обект на външна експертна проверка. Това създава допълнително ниво на доверие за вземащите решения. Следните аспекти са особено важни:
- Институционална независимост и обективна оценка: DeuZert действа като независим сертифициращ орган и оценява изпълнението на определените изисквания, използвайки прозрачни процедури за тестване. Разделянето между одитираната организация и външния оценъчен орган предотвратява самооценките и засилва обективността на решението за сертифициране.
- Непрекъснато осигуряване на качеството чрез надзорни одити: Качеството на внедрените процедури не се оценява еднократно, а се наблюдава непрекъснато чрез редовни прегледи. Този външен контрол гарантира, че методологичните и организационните изисквания се спазват последователно и че по-нататъшните разработки се преглеждат систематично.
Какво официално доказателство удостоверява, че Deutschtest.digital отговаря на стандарта DIN ISO 29992?
След успешното приключване на процеса на одит, DeuZert ни издаде сертификат за съответствие с DIN ISO 29992. Този документ потвърждава, че процедурите, внедрени в Deutschtest.digital за планиране, разработване, провеждане и оценяване на оценки в областта на владеенето на немски език, отговарят на изискванията на стандарта и са оценени като част от независим външен одит.
Сертификатът за съответствие по този начин служи като официално доказателство, че Deutschtest.digital привежда своите процеси на тестване в съответствие с международно признат стандарт за оценка на резултатите от обучението. Той потвърждава систематичното прилагане на процедури, съответстващи на стандартите, за да се гарантира прозрачност, сравнимост и качество на резултатите от тестовете.
Преглед на сертификатаСтълб в) Независими експерти и одитори
Инфо кутия / Определение: Ролята на одиторите
Международните стандарти предвиждат строго разграничение между оценяването и вземането на решения за сертифициране. Самият преглед на организацията, извършваща тестване (одитът), се извършва от независими, висококвалифицирани одитори. Те изследват емпиричните доказателства, оценяват архитектурата на системата на практика и документират своите констатации в одитен доклад, който служи като неутрална фактическа основа за последващото решение на сертифициращия орган.
Кой провежда одитите в Deutschtest.digital?
Надзорните одити се провеждат от мрежа от опитни експерти в областта на образованието, изпитващи, одитори и оценители, действащи от името на DeuZert. Използването на този високоспециализиран екип гарантира, че оценката на нашите процеси и доказателства не е просто административна, а се извършва с най-високо ниво на експертиза в областта на теорията на съдържанието и езиковото тестване.
Стълб г) Правилник относно процедурата по одит
Инфо кутия / Определение: Какви са разпоредбите, регулиращи процеса на одит?
Регламентите за одит са обвързващи процедурни правила, които точно определят как сертифициращият орган трябва да провежда одит. Те уреждат процеса на преглед на документи, вземане на проби, интервюта и одити на място или системи, за да се предотврати произвол и да се гарантира възпроизводимо качество на одита.
Кои одиторски разпоредби се прилагат за сертифициране съгласно ISO 29992?
Процедурата за одит по ISO 29992 е предмет на изискванията на всеобхватния стандарт DIN EN ISO/IEC 17065. Този стандарт не регулира самото изпитване, а по-скоро методите на работа, независимостта и компетентността на сертифициращия орган. Това гарантира, че външният одит е без търговски или вътрешни конфликти на интереси. Резултатът е независимо външно потвърждение за съответствието със стандарта на процесите на изпитване и оценка, основано на прозрачно документирана професионална и методологична основа.
Стълб д) Доказателства
За една надеждна оценка на езиковите умения е необходима надеждна база данни. Доказателствата за качеството на теста се основават предимно на следните ключови категории доказателства:
1. Планови и концептуални документи
Тези документи установяват стратегическата и договорната основа преди началото на самото разработване на теста. Те документират систематични анализи на нуждите на целевата група, както и обвързващи споразумения относно точната цел на теста.
2. Документи за спецификация и преглед на задачите
Тази категория включва подробни планове и тестови протоколи за осигуряване на качеството на съдържанието. Те демонстрират, че всеки отделен тестов елемент отговаря на техническите спецификации и целевото ниво по CEFR.
3. Административни и охранителни документи
Те гарантират напълно унифициран, стандартизиран и защитен от несанкционирано отваряне процес на изпитване на всички места за провеждане на изпитвания. Това включва ръководства за кръжачите, строги проверки на самоличността на кандидатите и подробни планове за ИТ сигурност.
4. Протоколи за оценка и точкуване
Тези документи уреждат обективното, безгрешно и безпристрастно присъждане на точки. Те съдържат ключове с отговори, насоки за оценяване за изпитващите и доказателства за точността на автоматизираните процедури за оценяване.
5. Сертификати за квалификация и обучение
Те демонстрират професионалните, академичните и диагностичните квалификации на целия персонал, извършващ тестване и оценяване. Освен това, те документират концепцията за систематично обучение и редовни курсове за опресняване, за да се осигурят единни стандарти за оценяване.
6. Емпирични доказателства за качество и отчети за валидиране
Те предоставят научни и статистически доказателства за действителното психометрично качество на теста. Те включват изчисления за точност (надеждност) на измерването, справедливост между подгрупите и съответстваща на теорията размерна структура.
7. Процеси на поддръжка и ревизия
Тези процеси контролират непрекъснатия мониторинг на качеството и редовното подновяване на тестовете по време на работа. Те определят статистически показатели за жизнения цикъл на задачата, за да гарантират, че използваните материали се подменят своевременно и по стандартизиран начин.
8. Справедливост, правосъдие и обжалване
Те защитават правата, достойнството и защитата на кандидатите за изпити през целия процес. Това включва прозрачни насоки за обжалване и оплаквания, лесно разбираема потребителска поддръжка и строги концепции за сигурност на данните.
2. От доказателствената база към аргумента за валидиране: Научната обосновка на интерпретациите на тестовете
Доказателствата, генерирани в рамките на архитектурата за осигуряване на качеството, първоначално представляват отделни доказателства относно качеството и функционалността на процедурата за тестване. Само чрез тяхното систематично интегриране в рамките на аргумент за валидиране се появява разбираема обосновка защо конкретно твърдение за езиковата компетентност на дадено лице може да бъде изведено от резултат от теста.
Какво е аргумент за валидиране?
Ако разработчиците на тестове разглеждат научните критерии за качество изолирано, те рискуват да загубят от поглед общата логика и цел на теста. Качеството на езиковия тест не е резултат единствено от отделни задачи или статистически параметри, а от взаимодействието на всички компоненти на процедурата за тестване. В съвременните изследвания на езиковото тестване валидността на теста се разбира – повлияна, наред с други, от работата на Бахман и Палмър, Майкъл Кейн и Керъл Шапел – като всеобхватна и многоизмерна концепция за качество. Ключовият въпрос не е дали са изпълнени отделните критерии за качество, а дали заключенията, направени от резултата от теста, могат да бъдат обосновани като цяло.
Този въпрос е особено важен, защото резултатите от езиковите тестове често имат дългосрочни последици за образователните, кариерните и решенията за пребиваване. Следователно доставчиците на тестове носят специална професионална и етична отговорност. Те трябва не само да гарантират качеството на своите процедури за тестване, но и да могат да демонстрират това качество прозрачно. Именно от тази необходимост се е развила концепцията за така наречения аргумент за валидност в съвременните изследвания на валидността.
В исторически план този подход се появява през 1990-те и 2000-те години като новаторски отговор на досегашните много абстрактни научни модели за валидност, които предлагат малко конкретни насоки за реалната практика на тестване. Американският изследовател Майкъл Кейн прилага теорията за практическата аргументация на философа Стивън Тулмин към теорията на тестовете. Известната лингвистка Карол Шапел впоследствие развива тази логика допълнително специално за изследвания в областта на езиковото тестване – тя е световноизвестна с пионерската си валидация на TOEFL iBT, започваща през 2008 г. Тя усъвършенства модела в безпроблемна верига от седем прецизни стъпки на извод, която днес представлява утвърден съвременен подход към систематичното обосноваване и документиране на интерпретациите на тестовете.
Ключовото предимство на този подход се състои в освобождаването на организациите за езикови тестове от пасивната роля на обикновени „издатели на сертификати “. Вместо просто да представят неорганизирани отделни документи или твърди контролни списъци на акредитиращи органи или на лица, вземащи решения в министерствата, доставчиците на тестове вече могат да поемат активна, проактивна „застъпническа роля “. Това им позволява да защитават валидността, справедливостта и правната сигурност на своите изпити пред лицата, вземащи решения, независимо, прозрачно и по научно неоспорим начин, като сами го доказват чрез систематично изградена верига от доказателства.
По този начин аргументът за валидиране описва този структуриран подход, използван за обосноваване на валидността на резултатите от тестовете. Отправната точка е предположението, че всеки тест прави твърдение за езиковите умения на дадено лице. Например, ако на дадено лице е присвоено ниво B1 от Общата европейска езикова рамка (CEFR), това предполага, че то притежава езиковите умения, определени за това ниво. Аргументът за валидиране има за задача систематично да подкрепи и обоснове по разбираем начин това твърдение.
Това включва изграждането на последователна верига от разсъждения, която се простира от тестовите задачи, през администрирането и оценката, до интерпретацията на резултатите. За всяка отделна стъпка се използват теоретични основи и емпирични доказателства (т.нар. подкрепящи доказателства), за да се демонстрира, че направените предположения са оправдани. По този начин аргументът за валидиране свързва научните доказателства с практическите решения за тестване и прави прозрачно защо даден резултат от теста може да се счита за значимо доказателство за определена езикова компетентност. По този начин се създава основа за доверие, прозрачност и правна отчетност на езиковите тестове.
Кои логически верижни звена съставляват аргумент за валидиране?
За да предостави неопровержими професионални доказателства за качеството на езиковия тест, съвременната диагностика следва ясна логическа структура. Само когато съществуват емпирични доказателства за всяко от тези седем нива, тестът се счита за напълно надежден за практическо приложение.
Архитектурата на аргумента за валидиране на Deutschtest.digital
По-долу представяме методологичната архитектура на нашия аргумент за валидиране за оценка на владеенето на немски език. Тъй като аргументът за валидиране винаги е насочен към конкретна целева област, определено ниво на владеене и конкретна цел, основната доказателствена база трябва да бъде специално структурирана за предвиденото тълкуване и използване на резултата от теста. Представената по-долу архитектура илюстрира как отделните заключения (изводи) в рамките на един аргумент за валидиране са свързани и какви видове доказателства (подкрепа) са необходими за научно обосноваване на получените твърдения. Пълен аргумент за валидиране с всички емпирични и статистически доказателства би надхвърлил обхвата на това представяне. Следователно, съответните документи с доказателства са изброени тук като примери.
1 Дефиниция на домейн
| категория | Нашият качествен език | Доказателствен документ (подкрепа) |
|---|---|---|
| Описание на домейна | Съответните езикови изисквания и комуникативни ситуации на целевата група са точно и напълно идентифицирани. | Спецификация на целевия домейн |
| представителство | Тестовите елементи адекватно представят областта, дефинирана в тестовите спецификации, като покриват необходимото съдържание и когнитивни нива в правилните пропорции. | Инструменти за план/картографиране на изпита |
| Уместност | Тестовите елементи са релевантни по отношение на съдържанието и прецизно калибрирани спрямо желаното ниво на компетентност; те не съдържат никакви неподходящи източници на трудност, които не са част от измерваната конструкция. | Протоколи за преглед на елементи, оценка на елементи с помощта на оценъчни листове (включително доказателство за проверка на нивото по CEFR) |
| контрол на качеството | Процесът на разработка включва систематични механизми за редакционен контрол, които гарантират, че задачите, показващи качествени недостатъци, неясноти или културни предубеждения, задължително се преразглеждат или отхвърлят. | Протокол за контрол на качеството на артикула (преглед на артикула) |
Научна основа
В литературата по психометрични и езикови тестове, използването на тестови планове и инструменти за картографиране е задължителната методология за осигуряване на валидност на съдържанието и демонстриране на подходящо представяне на целевата област. Стандартите за образователно и психологическо тестване изрично препоръчват създаването на логическа структура, която съпоставя тестовите елементи със съдържанието (картографиране).
За да осигури това покритие на практика, Алдерсън (2005) изрично определя спецификациите на тестовете като „план“, който авторите на тестовете и елементите трябва да следват, за да установят конструктивната валидност на теста. Фулчър и Дейвидсън (2007) също наричат спецификациите на тестовете буквално „генеративни планове“.
2 Оценка
Част 1: Условия за администриране и защита от несанкционирано отваряне
| Нашият качествен език | Доказателствен документ (подкрепа) |
|---|---|
| Правилата за изпитите са с високо качество, съдържащи изчерпателни и точни насоки, които осигуряват строго стандартизирано и еднакво администриране на теста, както и обвързващи разпоредби за справедливи и съобразени с конструктивните изисквания условия за настаняване (достъпност). Клиничните наблюдатели недвусмислено валидират самоличността на кандидатите в съответствие с приложимите насоки, използвайки надеждни процедури за удостоверяване и непрекъснато наблюдават тестовата среда (контрол на залата), като по този начин структурно предотвратяват проксита и неоторизиран обмен на информация. | Правилник за изпитите, наръчник за процедурите за оценяване - контрол на залата и проверка на самоличността |
| Защитена от несанкционирани действия среда за изпит – независимо дали изпитът се провежда лично или дигитално – надеждно предотвратява достъпа до неоторизирани помощни средства и напълно елиминира опитите за измама чрез механизми за контрол, съвместими с формата (физически наблюдаващ персонал, защитен браузър, дистанционно наблюдение). | Списък с изисквания за физическа и електронна сигурност, план за извънредни ситуации в случай на нарушаване на правилата за сигурност, мерки за противодействие срещу неоторизирани дейности от страна на кандидати за изпити |
Недвусмислената идентификация на участниците в теста и безпроблемното наблюдение на тестовата среда представляват абсолютното conditio sine qua non (съществено условие) за всяка правно обоснована процедура за тестване. Ако организационните процедури са опорочени и физическата идентичност на тествания не може да бъде недвусмислено свързана с резултатите от теста, всички последващи твърдения относно съдържанието и статистическата валидност стават невалидни.
Части 2 и 3: Оценяване на качеството, протоколи и оценители
| Нашият качествен език | Доказателствен документ (подкрепа) |
|---|---|
| Съществуват точни правила и критерии за всички методи за оценяване и процеса на записване на резултатите, като по този начин се гарантира обективност и процедурна надеждност. Скалите за оценяване, базирани на референтните нива на CEFR („твърдения за „Мога ли“) и адаптирани към специфични контексти, представляват валидни показатели за измерваните езикови подкомпетенции. | Наръчник за провеждане на оценката, наръчник със спецификации за оценка: минимални изисквания към софтуера за тестване, критерии за оценка на продуктивността. |
| Наетите оценители притежават необходимата професионална квалификация (напр. съответните университетски степени) и съответния дидактически опит. | Препоръки за квалификацията на оценителя |
| Систематичната програма за обучение предоставя на оценителите необходимите умения за последователно и точно прилагане на насоките за оценяване. | Сертификати за обучение на оценителите |
| Систематичните ръчни проверки за качество и правдоподобност от квалифицирани специалисти (човешки контрол) проверяват точността на автоматизираните процеси на оценка и коректността на ключовете за решения. | Доказателство за точността на техническата обработка на оценката на машината |
| Оценката на представянето на изпитите е независима от индивидуалната строгост на изпитващите и е свободна от систематични предубеждения към специфични задачи или групи хора. | Потвърждение на качеството на обективната оценка (многостранен анализ на Раш) Целеви стойности: Съответстващи стойности в диапазона от 0,5 до 1,5. Ефектите на взаимодействие не са значителни (t ≤ 2,0). |
В литературата по психометрични и езикови тестове се изисква валидността на оценките на представянето да се основава на стандартизирани, външно обвързани критерии (измерване, референтно към критерии). За да се изключат субективните стандарти, скалите за оценяване трябва да бъдат прецизно съобразени с установена, теоретично базирана референтна система.
Част 4: Емпирично качество / Статистическа интегритет
| Нашият качествен език | Доказателствен документ (подкрепа) | Психометрични целеви стойности |
|---|---|---|
| Тестовите елементи имат достатъчна дискриминация, за да разграничат ефективно и надеждно кандидатите с по-висока и по-ниска езикова грамотност. | Доказателство за статистическа дискриминация на елементи | Мощност на селекция на целта (r) ≥ 0,50 (стойности между 0,30 и 0,49 са приемливи). Индекс на дискриминация (D) ≥ 0,40. Дистракторите трябва да имат честота на селекция > 0. |
| Нивата на трудност на тестовите задачи адекватно покриват целия диапазон на представяне на целевата популация. | Доказателство за съответната трудност на елемента | Целевият диапазон на p-стойност е между 0,40 и 0,59 (0,20–0,80 е приемливо). Средна трудност на целия тест е приблизително 0,50. |
| Тестовите елементи функционират инвариантно в съответните подгрупи (без пристрастия, дължащи се на пол или майчин език). | Потвърждение за справедливост на теста (Диференциална функция на елемента / DIF) | Диференциална функция на елемента (DIF) съгласно процедурата на Mantel-Haenszel (Категория A: безопасна съгласно класификацията на ETS). |
3 Обобщение
Последователност между тестовите формати и задачи
| Нашият качествен език | Доказателствен документ (подкрепа) | Психометрични целеви стойности |
|---|---|---|
| Съгласуваност между тестовите форми: Резултатите от тестовете са последователни в различните версии на тестовете (стабилност на нивата). | Доказателство за качеството на еквивалентността на тестовата форма (надеждност на паралелния тест) | Корелация на целите r ≥ 0,90 (от r ≈ 0,80 приемливо). t-тест без значителни разлики (p > 0,05). |
| Последователност между задачите: Тестовите елементи са хомогенни (вътрешна консистентност). | Доказателство за вътрешна консистентност и хомогенност | Алфа на Кронбах α ≥ 0,90 (0,80 - 0,89 приемливо). Дискриминация на останалите елементи ≥ 0,30. |
Последователност между рецензентите
| Нашият качествен език | Доказателствен документ (подкрепа) | Психометрични целеви стойности |
|---|---|---|
| Оценката на резултатите от изпита от един екзаминатор е стабилна и последователна във времето (последователност на преценките). Освен това, оценките от различни екзаминатори не показват съществени разлики в строгостта (неутралност). | Емпирични доказателства за последователността и неутралността на преценките | Сравнение между оценители: Няма значими разлики в средните стойности (p ICC или Kappa ≥ 0,90 (целева стойност). |
4 обяснение
| Нашият качествен език | Доказателствен документ (подкрепа) | Психометрични целеви стойности |
|---|---|---|
| Представяне на конструкцията: Вътрешната структура на резултатите от теста съответства на теоретично дефинираната конструкция (GER). | Емпирични доказателства за конструктна размерност (EFA/CFA). | KMO стойност ≥ 0,80. Стойности за добро съвпадение: RMSEA ≤ 0,05, SRMR ≤ 0,08, CFI/TLI ≥ 0,95. |
| Номологична мрежа: Резултатите от теста корелират с установените стандартизирани процедури за тестване (външен критерий). | Емпирични доказателства за валидност на критериите (външен критерий) | Силна, значима корелация на r ≥ 0,50 (p <0,05). |
5 екстраполация
| Нашият качествен език | Доказателствен документ (подкрепа) | Психометрични целеви стойности / анализ |
|---|---|---|
| Показатели за ефективност на целевата област: Резултатите от тестовете корелират с действителната способност за действие на практика. | Документ, демонстриращ едновременна валидност (оценка от учител) / Документ, демонстриращ предсказваща валидност (практическо валидиране от съответните експерти) | Корелации в диапазона на r Приблизително от 0,30 до 0,50. |
| Сравнимост на производителността: Тестовите елементи и критериите за оценка отговарят на установените стандарти за целевата област. | Потвърждение на релевантността на критериите чрез експертна валидация. | Систематично сравнение с експерти по темата (стандарти AERA, APA и NCME). |
| Автентичност и съответствие: Входните материали и формати отговарят на типичните практически изисквания. | Потвърждение на ситуационната автентичност (анализ на входните данни). | Еквивалентност на структурните характеристики (MANOVA). Глобалният тест не е значим (p > 0,05). |
| Езиковите изпълнения не показват съществени структурни отклонения от автентичните образци на изпълнение. | Емпирични доказателства за еквивалентност на структурните характеристики (MANOVA). | |
| Участниците в теста прилагат конструктивно релевантни когнитивни стратегии за решаване на проблеми (истинско разбиране вместо догадки). | Доказателства за конструктно-съвместими психични процеси (анализ на процесите). | - |
6 употреба
| Нашият качествен език | Доказателствен документ (подкрепа) | Психометрични целеви стойности |
|---|---|---|
| Пригодност / Полезност: Заинтересованите страни (университети, преподаватели) считат резултатите за полезни за вземане на обосновани решения. | Доказателство за практическата приложимост на резултатите от теста. | Обща точност ≥ 0,90. Индекс на надеждност (Livingston & Lewis) Φ ≥ 0,70. |
| Правила за вземане на решения: Граничните стойности са резултат от квалифицирана процедура за определяне на стандарти. | Рамка за оценяване - Процедури за определяне на стандарти / Пределни оценки. | |
| Качество и последователност на класификацията: Класификациите до голяма степен съответстват на независима референтна оценка. | Доказателство за точност на класификацията (намаляване на резултатите). | |
| Интерпретируемост и комуникация: Резултатите от тестовете са ясно интерпретируеми за заинтересованите страни. | Потвърждение на интерпретируемостта и полезността на резултатите от докладите. | |
| Точност на приложението: Лицата, вземащи решения, последователно прилагат установените правила за вземане на решения в своите операции. | Доказателство за спазване на заявлението. | - |
7 последствия
| Нашият качествен език | Доказателствен документ (подкрепа) |
|---|---|
| Реализираните последици от използването на теста действително постигат желаните ползи, докато негативните странични ефекти остават минимални. | Доказателства за последствията от резултатите от теста (Полза за потребителя и обратен ефект) |
| Правата, достойнството и чувствителните данни на участниците в тестовете са защитени от строги насоки (включително процедури за жалби). | Насоки за обжалване, ръководство за системата за управление на информацията |
| Въвеждането на теста има положителен ефект върху образователната система (фокус върху уменията, вместо върху тестовите стратегии). | Доказателства за последствията от резултатите от теста (макро-въздействие и социална полза) |
В съвременната теория на тестовете, прилагането на процедури за обжалване и насоки за информационна сигурност не се разглежда като чисто административен акт, а като задължителен методологичен инструмент за осигуряване на последваща валидност (вж. Messick, 1989; 1995). Регулираната арбитражна процедура служи като необходима качествена контра-проверка за идентифициране на конструктивно ирелевантна дисперсия.