Качество, достоверность и архитектура системы | Deutschtest.digital

Информация для лиц, принимающих решения: Аргумент валидности Deutschtest.digital – Уверенность в принятии решений на основе фактических данных с помощью современной языковой диагностики

Соответствие языкового теста Общеевропейским рамкам компетенций владения иностранными языками (CEFR) представляет собой сложный процесс валидации. Утверждение о соответствии теста определенному уровню CEFR не является непосредственно наблюдаемым фактом, а должно быть подтверждено теоретическими и эмпирическими данными. Сбор и оценка этих данных осуществляется в рамках проверки соответствующего утверждения о валидности.

(см. Совет Европы, 2009 г., стр. 7)

Языковой сертификат подтверждает измеренные значения. Правильная интерпретация имеет решающее значение!

Если вы, как лицо, принимающее решение, требуете от заявителя подтверждения уровня владения языком для конкретной цели, вам, как правило, будет предоставлен языковой сертификат или соответствующий результат теста. Такой документ, по сути, содержит результат оценки, определенный в определенных методологических и экзаменационных условиях. Если вы используете его, например, в официальной процедуре оценки языковой компетенции, он может служить доказательством (см. пункт 1 параграфа 26 и пункт 2 № 3 Закона Германии об административном производстве). Однако такой результат оценки приобретает свою значимость только при профессионально обоснованной и основанной на доказательствах интерпретации. Поэтому ключевой вопрос заключается не просто в том, какой результат записан на бумаге, а в том, на каком научном основании этот результат оценки может быть достоверно оценен.

Достоверность такой интерпретации во многом зависит от того, насколько научно обоснованы, технически надежны и организационно контролируемы лежащие в её основе процессы тестирования. Следовательно, важна не просто величина измерения, а качество всей системы, которая её генерирует.

Доказательная ценность результатов тестов и их приемлемость для соответствующих целей являются логическим следствием научного качества и правильной интерпретации, а не институционального происхождения (см. AERA, APA & NCME, 2014; Chapelle, 2021; Cronbach, 1988; Kane, 2013; Messick, 1989).

Для оценки достоверности языкового сертификата необходимо изучить условия сбора, обработки и интерпретации тестовых данных. Эти контролируемые процессы позволяют получить необходимые доказательства для научной оценки качества теста.

Однако эти отдельные свидетельства пока не являются окончательным обоснованием для интерпретации результатов теста. Только благодаря их систематической интеграции в аргументацию валидации появляется научно обоснованная основа для того, почему конкретное утверждение о языковой компетенции человека может быть получено на основе конкретного результата теста.

В следующих разделах сначала объясняется инфраструктура генерации доказательств – то есть стандарты, процессы и механизмы контроля, посредством которых получаются достоверные доказательства. Затем описывается, как эти доказательства систематически интегрируются в наш подход к валидации и на какой научной основе интерпретация результатов наших испытаний.

1. Инфраструктура для получения достоверных доказательств.

Для объективной демонстрации того, что сертификат не является пустым обещанием, организации, проводящей тестирование, необходимы убедительные эмпирические доказательства (психометрические данные, анализ надежности, документация по валидации). Современные исследования в области тестирования подчеркивают центральную предпосылку: не существует изначально «валидных тестов» или «валидных результатов тестирования» — валидность может быть достигнута только посредством интерпретации и использования этих результатов для конкретной цели.

Только методично разработанная и всесторонняя система управления качеством может гарантировать, что поставщик тестирования постоянно генерирует чистые, непредвзятые исходные данные, что крайне важно для обоснования такой достоверной интерпретации уровня владения языком. Поскольку такие данные заслуживают доверия только в том случае, если они не генерируются произвольно, необходима строгая, независимая системная архитектура. Эта архитектура опирается на пять столпов:

Столп а) Стандарт

Информационный блок / Определение: Что такое стандарт?

Стандарт — это документированный набор правил, описывающих требования, критерии или рекомендации для конкретных процессов, процедур или услуг. Он создает общую основу для систематического обеспечения качества, сопоставимости, прозрачности и отслеживаемости. Стандарты могут разрабатываться и публиковаться различными заинтересованными сторонами и служат для определения передовых методов, технических требований и критериев качества прозрачным и понятным образом.

Какой стандарт использует Deutschtest.digital?

Компания Deutschtest.digital основывает разработку, администрирование, оценку и непрерывное обеспечение качества своих языковых тестов на требованиях стандарта DIN ISO 29992. Международный комитет по стандартизации ISO/TC 232 («Образовательные и учебные услуги») опубликовал стандарт ISO 29992 («Оценка результатов образовательных услуг»), предназначенный для организаций, предоставляющих образовательные услуги и разрабатывающих, отбирающих или применяющих оценочные инструменты. Международный стандарт ISO 29992 был принят в национальную систему стандартизации Немецким институтом стандартизации (DIN) как DIN ISO 29992.

Стандарт формулирует конкретные требования к качеству планирования, разработки, проведения и оценки оценочных мероприятий и явно включает измерение уровня владения языком в соответствии с Общеевропейскими рамками компетенций владения иностранными языками (CEFR). В отличие от чисто теоретических рекомендаций по тестированию, ISO 29992 в первую очередь основан на логике управления качеством предоставляемых услуг. Для Deutschtest.digital он формирует центральную организационную и методологическую основу для обеспечения качества. Он помогает нам получать достоверные данные, прозрачно документировать процессы тестирования и обеспечивать стабильное качество наших языковых тестов в соответствии с проверяемыми и отслеживаемыми стандартами. В то же время он предоставляет лицам, принимающим решения, всестороннюю правовую, институциональную и методологическую определенность.

Что включает в себя стандарт ISO 29992?

Требования стандарта ISO 29992 структурированы по следующим основным разделам:

Глава 1 В стандарте указана область его применения. Упомянуты два основных направления: (1) измерение индивидуальных результатов обучения и (2) определение прогресса в обучении.
Глава 2 Относится к ссылкам на другие стандарты (которые отсутствуют в стандарте ISO 29992:2021).
Глава 3 Определяет ряд технических терминов, связанных с диагностикой/измерением производительности.
Глава 4 Данный стандарт содержит конкретные рекомендации по планированию диагностических инструментов (в тексте последовательно именуемых «оценка»). Согласно DIN ISO 29992:2021-04, этап планирования должен включать анализ потребностей, документы по планированию ресурсов и рамочный документ, содержащий информацию о сфере применения диагностического инструмента; решениях, принимаемых на основе инструмента; интерпретации его результатов; предполагаемых последствиях использования диагностического инструмента; взаимосвязи между целями инструмента и используемой методологией оценки; взаимосвязи между результатами, их интерпретацией, использованием и последствиями; сообщении результатов испытаний; условиях использования, графике и стоимости; процедурах оценки; среде оценки (например, помещениях); предварительных условиях участия в оценке и применимых стандартах для инструментов и методов, используемых при оценке результатов обучения; процедурах обеспечения качества; заинтересованных сторонах, участвующих в разработке и/или проведении оценки; оперативном плане для диагностического инструмента; и правилах процедуры, а также о доступности диагностического инструмента и степени соответствия требованиям спецификаций испытаний.
Глава 5 В документе содержится ряд рекомендаций по разработке диагностического инструмента. К ним относятся такие аспекты, как время использования инструмента (до, во время или после процесса обучения); квалификация разработчиков теста; формат тестовых заданий/экзаменационных вопросов; а также пространственные, временные, организационные и технические характеристики проведения тестирования с использованием диагностического инструмента. Кроме того, в нем представлены рекомендации по критериям качества теста: объективность, надежность и валидность; процесс разработки тестовых заданий/экзаменационных вопросов; процедуры определения результатов диагностического инструмента; порядок и сроки сообщения результатов; процедуры оспаривания результатов; и требования к технической документации.
Глава 6 В данном разделе рассматриваются административные аспекты диагностического инструмента. К ним относятся: руководящие принципы проведения исследования; план обеспечения безопасности теста; квалификация и обязанности лиц, контролирующих проведение диагностического исследования; и квалификация экспертов, оценивающих результаты.
Глава 7 Это относится к практическому использованию диагностического инструмента. Требуются документы, касающиеся практического использования, такие как подтверждение надежности и валидности; правила применения диагностического инструмента; а также статистические процедуры для управления качеством методики тестирования и связанные с ними процессы. Кроме того, глава 7 требует подробного плана того, как существующая диагностическая процедура будет постоянно пересматриваться и совершенствоваться.
Глава 8 В этом разделе рассматривается вопрос справедливости. С этой точки зрения, в нем описываются такие особенности, как формальное соглашение, которое должно быть заключено между поставщиком диагностического инструмента и кандидатами на тестирование. Это соглашение должно включать, например, информацию о стоимости тестирования, правах и обязанностях участвующих сторон, требованиях к участию, описании диагностического инструмента, информации о защите данных и подробностях, касающихся сроков. В главе 8 также рассматриваются запрет дискриминации; права кандидатов на тестирование; нейтральность диагностического инструмента; кодексы поведения для лиц, участвующих в работе с диагностическим инструментом; и информация, предоставляемая кандидатам на тестирование.
Глава 9 Стандарт DIN ISO 29992:2021-04 рассматривает дополнительные этические аспекты использования диагностических приборов. В этом отношении он требует четкого определения ответственности всех вовлеченных сторон. Кроме того, он требует предоставления правдивой и точной информации о диагностическом приборе. Наконец, диагностический прибор должен гарантировать различные аспекты информационной безопасности, такие как конфиденциальность собранных данных, защита и безопасность данных, а также безопасность каналов связи. В конечном итоге, должна быть также спланирована и задокументирована система управления коммуникациями.
Анханг А В документе указывается информация, которая должна быть собрана структурированным образом в технической документации для диагностической процедуры. Это включает все документы, относящиеся ко всему жизненному циклу диагностического инструмента, от планирования и разработки инструмента до его применения. К соответствующим документам относятся: анализ потребностей; структура использования диагностического инструмента; спецификации оценки; руководство по проведению диагностического исследования; руководство по обучению участников; формы для оценщиков; спецификации квалификации и обучения экзаменаторов/оценщиков, наблюдателей и т. д.; документы о процедурах разработки тестовых заданий; документация по аудиту тестов и исследованиям валидации диагностического инструмента; подтверждение регулярного обеспечения качества; подтверждение психометрического качества отдельных тестовых заданий; подтверждение процедур, направленных на исключение неподходящих тестовых заданий; подтверждение проверки и процедур ручной оценки результатов; и подтверждение соответствия оценки в режиме реального времени спецификациям теста. Также необходимо предоставить подтверждение надежности машинных оценок; подтверждение процедуры арбитража и апелляции; и подтверждение процедуры в случае повторной оценки. Этот очень широкий спектр доказательств дополнительно дополняется требованиями к технической документации, описывающей, как следует оказывать поддержку пользователям диагностического прибора при его применении. Подробная информация о хранении технических данных и документации завершает содержательную часть стандарта.

В чём заключаются основные преимущества стандарта DIN ISO 29992?

Стандарт DIN ISO 29992 предоставляет Deutschtest.digital не только формальную систему обеспечения качества, но и создает систематическую основу для разработки, администрирования и постоянного пересмотра наших языковых тестов. Ключевые преимущества применения этого стандарта заключаются, в частности, в следующих областях:

Обеспечение надежной архитектуры безопасности: стандарт определяет требования к структурированному плану безопасности. Организации, применяющие DIN ISO 29992, должны систематически внедрять превентивные меры против манипуляций (предотвращение мошенничества) и обеспечивать целостность задач, а также безопасность информации и личных данных посредством определенных процессов.

Устойчивое обеспечение качества посредством управления жизненным циклом: ISO 29992, требуя непрерывного процесса технического обслуживания и мониторинга (плана технического обслуживания), поддерживает долгосрочное обеспечение качества испытаний. Вместо разовой проверки стандарт рассматривает непрерывную оценку и совершенствование процедур испытаний как неотъемлемую часть обеспечения качества. Это позволяет выявлять изменения в качестве испытаний на ранних стадиях и корректировать их с помощью эмпирически обоснованных мер.

Техническая связь с Общеевропейской рамкой компетенций владения иностранными языками (CEFR): структура стандарта позволяет систематически переносить общие требования к качеству на диагностику языковых навыков. Это позволяет связать требования ISO 29992 с теоретически обоснованными описаниями компетенций Общеевропейской рамки компетенций владения иностранными языками (CEFR) и обеспечивает всестороннее обоснование присвоения результатов тестирования уровням владения языком.

Прозрачное обоснование интерпретации и использования результатов: стандарт ISO 29992 требует четкого представления взаимосвязи между результатами оценки и их интерпретацией. Это обеспечивает основу для научно обоснованного описания того, какие выводы можно сделать из результатов испытаний и для каких целей может использоваться сертификат.

Основа для научно обоснованного обоснования валидации: Ключевое преимущество стандарта ISO 29992 заключается в том, что он поддерживает структурированное создание и документирование соответствующих доказательств. В сочетании с психометрическими методами это создает надежную доказательную базу, на основе которой может быть разработано научно обоснованное обоснование валидации. Это обоснование позволяет прозрачно, понятно и с помощью надежных профессиональных доказательств обосновывать интерпретацию и использование результатов испытаний.

Столп b) Независимый орган по сертификации

Информационный блок / Определение: Что такое независимый орган по сертификации?

Независимый орган по сертификации — это внешняя, беспристрастная организация, которая проверяет и подтверждает соответствие организации установленным требованиям или стандартам качества. Он не оценивает собственную деятельность сертифицированной организации, а проводит независимый аудит ее документированных процессов, структур и подтверждающих документов. Эта внешняя оценка создает дополнительный уровень доверия, поскольку обеспечение качества не является исключительной ответственностью самой организации.

Ключевой особенностью независимой сертификации является разделение между оценкой и решением о сертификации. Проверка процессов и доказательств проводится экспертами-аудиторами, а окончательное решение о сертификации принимает независимый орган. Это позволяет избежать самооценки и потенциальных конфликтов интересов, обеспечивая объективность и достоверность сертификации.

С какой независимой организацией сотрудничает Deutschtest.digital?

Для внешней проверки качества мы сотрудничаем с независимым органом по сертификации DeuZert . DeuZert гарантирует полную целостность, достоверность и признание своих решений по сертификации. Обладая более чем двадцатилетним опытом, DeuZert имеет обширные специализированные знания в сфере образования и сертификации.

В чём преимущества независимой сертификации от DeuZert?

Ключевое преимущество независимой сертификации DeuZert заключается в том, что качество внедряемых процессов оценивается не только самой организацией, но и внешними экспертами. Это создает дополнительный уровень доверия для лиц, принимающих решения. Особенно важны следующие аспекты:

Институциональная независимость и объективная оценка: DeuZert выступает в качестве независимого органа по сертификации и оценивает выполнение установленных требований с использованием прозрачных процедур тестирования. Разделение между проверяемой организацией и внешним органом по оценке предотвращает самооценку и повышает объективность решения о сертификации.
Непрерывное обеспечение качества посредством надзорных аудитов: Качество внедряемых процедур оценивается не однократно, а постоянно контролируется посредством регулярных проверок. Такой внешний контроль гарантирует последовательное соблюдение методологических и организационных требований, а также систематический анализ дальнейших разработок.

Какое официальное подтверждение позволяет заверить компанию Deutschtest.digital в соответствии со стандартом DIN ISO 29992?

После успешного завершения процесса аудита компания DeuZert выдала нам сертификат соответствия стандарту DIN ISO 29992. Этот документ подтверждает, что процедуры, внедренные в Deutschtest.digital для планирования, разработки, проведения и оценки оценочных мероприятий в области владения немецким языком, соответствуют требованиям стандарта и были оценены в рамках независимого внешнего аудита.

Таким образом, сертификат соответствия служит формальным доказательством того, что Deutschtest.digital приводит свои процессы тестирования в соответствие с международно признанным стандартом оценки результатов обучения. Он подтверждает систематическое внедрение процедур, соответствующих стандартам, для обеспечения прозрачности, сопоставимости и качества результатов тестирования.

Просмотреть сертификат

Столп c) Независимые эксперты и аудиторы

Информационный блок / Определение: Роль аудиторов

Международные стандарты предусматривают строгое разделение между оценкой и принятием решения о сертификации. Фактическая проверка испытательной организации (аудит) проводится независимыми высококвалифицированными аудиторами. Они изучают эмпирические данные, оценивают архитектуру системы на практике и документируют свои выводы в аудиторском отчете, который служит нейтральной фактической основой для последующего решения органа по сертификации.

Кто проводит аудиты в Deutschtest.digital?

Контрольные проверки проводятся сетью опытных экспертов в области образования, экзаменаторов, аудиторов и оценщиков, действующих от имени DeuZert. Использование этой высокоспециализированной команды гарантирует, что оценка наших процессов и доказательств носит не только административный характер, но и осуществляется на высочайшем уровне экспертных знаний в области теории контентного и языкового тестирования.

Столп d) Правила проведения аудита

Информационный блок / Определение: Каковы правила, регулирующие процесс аудита?

Правила проведения аудита представляют собой обязательные процессуальные нормы, которые точно определяют, как орган по сертификации должен проводить аудит. Они регулируют процесс проверки документов, выборочного контроля, проведения интервью, а также аудита на месте или на уровне системы, чтобы предотвратить произвол и гарантировать воспроизводимость качества аудита.

Какие правила аудита применяются к сертификации в соответствии со стандартом ISO 29992?

Процедура аудита по стандарту ISO 29992 подчиняется требованиям общего стандарта DIN EN ISO/IEC 17065. Этот стандарт регулирует не сам процесс тестирования, а методы работы, независимость и компетентность органа по сертификации. Это гарантирует отсутствие коммерческих или внутренних конфликтов интересов при проведении внешнего аудита. Результатом является независимое внешнее подтверждение соответствия стандарту выполнения процессов тестирования и оценки, основанное на прозрачно документированной профессиональной и методологической базе.

Столп e) Доказательства

Для качественной оценки языковых навыков необходима надежная база данных. Доказательства качества тестирования в первую очередь опираются на следующие ключевые категории:

1. Планировочные и концептуальные документы

Эти документы закладывают стратегическую и договорную основу до начала фактической разработки теста. В них документируется систематический анализ потребностей целевой группы, а также обязательные соглашения относительно точной цели теста.

2. Технические условия и документы по анализу задач.

В эту категорию входят подробные схемы и протоколы тестирования для обеспечения качества контента. Они демонстрируют, что каждый отдельный тестовый элемент соответствует техническим спецификациям и целевому уровню CEFR.

3. Документы по администрированию и безопасности

Они гарантируют абсолютно единообразный, стандартизированный и защищенный от фальсификаций процесс проведения экзаменов во всех местах их проведения. Это включает в себя инструкции для наблюдателей, строгую проверку личности кандидатов и подробные планы обеспечения информационной безопасности.

4. Протоколы оценки и подсчета баллов

Эти документы регулируют объективное, безошибочное и беспристрастное начисление баллов. Они содержат ключи ответов, руководства по оценке для экзаменаторов и доказательства точности автоматизированных процедур оценки.

5. Сертификаты о квалификации и прохождении обучения

Они демонстрируют профессиональную, академическую и диагностическую квалификацию всего персонала, занимающегося тестированием и оценкой. Кроме того, они документируют концепцию систематического обучения и регулярных курсов повышения квалификации для обеспечения единых стандартов оценки.

6. Эмпирические данные о качестве и отчеты о валидации.

Они предоставляют научные и статистические доказательства фактического психометрического качества теста. В их число входят расчеты точности измерений (надежности), справедливости по отношению к подгруппам и соответствующей теории размерной структуры.

7. Процессы технического обслуживания и пересмотра

Эти процессы обеспечивают непрерывный контроль качества и регулярное обновление испытаний в процессе эксплуатации. Они определяют статистические показатели для жизненного цикла задач, чтобы гарантировать своевременную и стандартизированную замену расходных материалов.

8. Справедливость, правосудие и обжалование

Они обеспечивают защиту прав, достоинства и безопасности кандидатов на экзамены на протяжении всего процесса. Это включает в себя прозрачные правила подачи апелляций и жалоб, легко понятную поддержку пользователей и строгие принципы защиты данных.

2. От доказательной базы к аргументу в пользу валидности: научное обоснование интерпретации результатов тестов.

Первоначально данные, полученные в рамках системы обеспечения качества, представляют собой отдельные свидетельства качества и функциональности процедуры тестирования. Только благодаря их систематической интеграции в аргументацию валидации появляется понятное обоснование того, почему конкретное утверждение о языковой компетенции человека может быть получено на основе результатов теста.

Что такое аргумент валидации?

Если разработчики тестов рассматривают научные критерии качества изолированно, они рискуют упустить из виду общую логику и цель теста. Качество языкового теста определяется не только отдельными заданиями или статистическими параметрами, но и взаимодействием всех компонентов процедуры тестирования. В современных исследованиях языкового тестирования валидность теста понимается — под влиянием, среди прочего, работ Бахмана и Палмера, Майкла Кейна и Кэрол Шапель — как всеобъемлющая и многомерная концепция качества. Ключевой вопрос заключается не в том, соответствуют ли отдельные критерии качества, а в том, можно ли обосновать выводы, сделанные на основе результатов теста, в целом.

Этот вопрос особенно важен, поскольку результаты языковых тестов часто имеют далеко идущие последствия для решений, касающихся образования, карьеры и места жительства. Поэтому на организаторов тестирования лежит особая профессиональная и этическая ответственность. Они должны не только обеспечивать качество своих процедур тестирования, но и иметь возможность прозрачно демонстрировать это качество. Именно из этой потребности в современных исследованиях валидности развилась концепция так называемого аргумента валидности.

Исторически этот подход возник в 1990-х и 2000-х годах как новаторский ответ на ранее весьма абстрактные модели научной валидности, которые предлагали мало конкретных указаний для реальной практики тестирования. Американский исследователь Майкл Кейн применил теорию практической аргументации философа Стивена Тулмина к теории тестирования. Известный лингвист Кэрол Шапель впоследствии развила эту логику специально для исследований в области языкового тестирования — она всемирно известна своей новаторской валидацией TOEFL iBT, начатой в 2008 году. Она усовершенствовала модель, превратив ее в непрерывную цепочку из семи точных шагов вывода, которая сегодня представляет собой устоявшийся современный подход к систематическому обоснованию и документированию интерпретаций результатов тестирования.

Ключевое преимущество такого подхода заключается в освобождении организаций, занимающихся языковым тестированием, от пассивной роли простых «выдающих сертификаты ». Вместо того чтобы просто подавать в аккредитационные органы или к лицам, принимающим решения на министерском уровне, неорганизованные отдельные документы или жесткие контрольные списки, поставщики услуг тестирования теперь могут взять на себя активную, инициативную «роль защитника ». Это позволяет им самостоятельно, прозрачно и научно неопровержимо доказывать лицам, принимающим решения, обоснованность, справедливость и юридическую достоверность своих экзаменов, доказывая это самостоятельно посредством систематически выстроенной цепочки доказательств.

Таким образом, аргумент валидации описывает структурированный подход, используемый для обоснования достоверности результатов тестирования. Отправной точкой является предположение, что каждый тест делает утверждение о языковой компетентности человека. Например, если человеку присвоен уровень B1 Общеевропейской системы оценки языковых компетенций (CEFR), это означает, что он обладает языковыми навыками, определенными для этого уровня. Задача аргумента валидации состоит в том, чтобы систематически поддерживать и всесторонне обосновывать это утверждение.

Это предполагает построение последовательной цепочки рассуждений, которая простирается от тестовых заданий через администрирование и оценку до интерпретации результатов. На каждом отдельном этапе используются теоретические основы и эмпирические данные (так называемое обоснование), чтобы показать, что сделанные предположения оправданы. Таким образом, аргумент валидации связывает научные данные с практическими решениями в области тестирования и делает прозрачным, почему конкретный результат теста может считаться значимым доказательством определенной языковой компетенции. Таким образом, он создает основу для доверия, прозрачности и юридической ответственности языковых тестов.

Какие логические звенья цепочки составляют аргумент подтверждения?

Для предоставления неопровержимых профессиональных доказательств качества языкового теста современная диагностика следует четкой логической структуре. Только при наличии эмпирических доказательств для каждого из этих семи уровней тест считается полностью надежным для практического применения.

Практическая значимость (определение предметной области): Первый этап включает в себя точный анализ языковых требований, которые фактически существуют в целевой среде (например, в повседневной жизни, на работе или в учебе). Это гарантирует, что тест оценивает только те навыки, которые абсолютно необходимы для достижения поставленной цели (например, интеграция или доступ к рынку труда).

Объективность и безошибочность измерения (оценки): В данном документе показано, что оценка результатов и формирование тестовых баллов проводятся в соответствии со строгими, объективными правилами. Стандартизированные условия и статистический анализ гарантируют, что подсчет баллов будет максимально безошибочным, прозрачным, защищенным от фальсификации и независимым от внешних индивидуальных влияний. Таким образом, каждый участник оценивается в соответствии с одинаковыми, справедливыми стандартами.

Надежность (обобщение): Этот шаг служит для демонстрации стабильности результата теста и его неслучайности. Высокая обобщаемость означает, что результат остается неизменным – полностью независимым от того, какой вариант задания использовался, какой экзаменатор проверял работу или в какой день проводился экзамен.

Соответствие стандарту (декларация): Здесь научно доказано, что результаты теста точно отражают предполагаемое профессиональное значение. Если в сертификате указан уровень «B1», необходимо эмпирически доказать вне всякого сомнения, что результаты соответствуют описаниям компетенций Общеевропейской системы оценки языковых компетенций (CEFR) в соответствии с теорией.

Прогностическая способность (экстраполяция): Это демонстрирует, что результаты теста являются надежным показателем компетентности в реальном мире. Те, кто успешно сдает тест, подтверждают наличие необходимых языковых навыков для успешного обучения или работы в Германии.

Уверенность в принятии решения (использование): На этом этапе определяются научно обоснованные пороговые значения. Это гарантирует, что правила «прохождения» экзамена справедливы и адекватны, чтобы ни квалифицированные кандидаты не были несправедливо отстранены (ложноотрицательные результаты), ни лица с недостаточными знаниями не были ошибочно засчитаны (ложноположительные результаты).

Оценка воздействия (последствий): Наконец, будет проведена оценка социального и индивидуального воздействия использования тестов. Будет обеспечено, чтобы процедура тестирования оказывала положительное, способствующее обучению воздействие в долгосрочной перспективе и чтобы не возникало систематических неблагоприятных последствий для определенных групп людей (например, из-за их происхождения или родного языка).

Архитектура аргумента проверки данных в Deutschtest.digital

Далее мы представляем методологическую архитектуру нашего аргумента в пользу валидации оценки уровня владения немецким языком. Поскольку аргумент в пользу валидации всегда ориентирован на конкретную целевую область, определенный уровень владения языком и конкретную цель, лежащая в его основе доказательная база должна быть специально структурирована для предполагаемой интерпретации и использования результатов теста. Представленная ниже архитектура иллюстрирует, как отдельные выводы (умозаключения) в рамках аргумента в пользу валидации связаны между собой и какие типы доказательств (подтверждений) необходимы для научного обоснования полученных утверждений. Полный аргумент в пользу валидации со всеми эмпирическими и статистическими доказательствами вышел бы за рамки данной презентации. Поэтому соответствующие документы с доказательствами приведены здесь в качестве примеров.

1 Определение предметной области

ЗАЯВЛЕНИЕ: Тестовые задания позволяют проводить высоконадежную и точную оценку соответствующих языковых знаний и навыков. Требуемые языковые функции в значительной степени соответствуют реальному использованию языка в целевой области и отвечают областям компетенции, определенным в Общеевропейских рамках компетенций владения иностранными языками (CEFR).

категории	Unser Qualitätsanspruch	Документ, подтверждающий доказательства (подтверждающий документ)
Описание предметной области	Соответствующие языковые потребности и коммуникативные ситуации целевой группы были точно и полно определены.	Спецификация целевой области
представление	Тестовые задания адекватно отражают область знаний, определенную в технических условиях тестирования, охватывая требуемое содержание и когнитивные уровни в правильных пропорциях.	План экзамена/Инструменты для составления карты
Relevanz	Тестовые задания релевантны по содержанию и точно откалиброваны в соответствии с желаемым уровнем компетентности; они не содержат каких-либо неподходящих источников сложности, не являющихся частью измеряемого конструкта.	Протоколы проверки заданий, оценка заданий с использованием оценочных листов (включая подтверждение соответствия уровню CEFR).
Контроль качества	Процесс разработки включает в себя систематические механизмы редакционного контроля, обеспечивающие неизбежный пересмотр или отбрасывание задач, демонстрирующих качественные недостатки, двусмысленности или культурные предубеждения.	Протокол контроля качества продукции (проверка продукции)

Научное обоснование

В литературе по психометрии и теории языкового тестирования использование тестовых планов и инструментов сопоставления является обязательной методологией для обеспечения содержательной валидности и демонстрации надлежащего представления целевой области. Стандарты образовательного и психологического тестирования прямо рекомендуют создавать логическую структуру, которая сопоставляет тестовые задания с содержательной областью (сопоставление).

Для обеспечения такого охвата на практике Олдерсон (2005) четко определяет спецификации тестов как «чертеж», которому должны следовать авторы тестов и заданий для установления конструктивной валидности теста. Фулчер и Дэвидсон (2007) также называют спецификации тестов буквально «генеративными чертежами».

2 Оценка

ЗАЯВЛЕНИЕ: Результаты теста точно, объективно и безупречно отражают результаты участников экзамена с высокой степенью точности измерений.

Часть 1: Условия администрирования и защита от несанкционированного доступа

Unser Qualitätsanspruch	Документ, подтверждающий доказательства (подтверждающий документ)
Правила проведения экзамена отличаются высоким качеством, содержат исчерпывающие и точные указания, обеспечивающие строгую стандартизацию и единообразие проведения тестирования, а также обязательные правила для обеспечения справедливых и соответствующих конструктивным требованиям условий (доступность). Наблюдатели однозначно подтверждают личность кандидатов в соответствии с действующими правилами, используя надежные процедуры аутентификации, и постоянно контролируют обстановку во время экзамена (контроль помещения), тем самым предотвращая использование подставных лиц и несанкционированный обмен информацией.	Правила проведения экзаменов, руководство по проведению оценок — контроль за проведением экзаменов и проверка личности.
Защищенная от несанкционированного доступа среда для проведения экзамена – независимо от того, проводится ли экзамен очно или в цифровом формате – надежно предотвращает доступ к несанкционированным средствам и полностью исключает попытки мошенничества благодаря механизмам контроля, соответствующим установленным стандартам (физический наблюдатель, защищенный браузер, удаленный контроль).	Перечень требований к физической и электронной безопасности, план действий в чрезвычайных ситуациях при нарушении правил безопасности, меры противодействия несанкционированным действиям со стороны кандидатов на экзамен.

Однозначная идентификация участников тестирования и непрерывный мониторинг среды тестирования являются абсолютным необходимым условием (conditio sine qua non) любой юридически обоснованной процедуры тестирования. Если организационные процедуры несовершенны и физическая личность тестируемого не может быть однозначно связана с результатами тестирования, все последующие заявления относительно содержательной и статистической достоверности становятся недействительными.

Части 2 и 3: Оценка качества, протоколы и эксперты.

Unser Qualitätsanspruch	Документ, подтверждающий доказательства (подтверждающий документ)
Для всех методов оценки и процесса регистрации результатов существуют точные правила и критерии, обеспечивающие объективность и процедурную надежность. Оценочные шкалы, основанные на эталонных уровнях CEFR («утверждения о том, что я могу сделать») и адаптированные к конкретным контекстам, представляют собой достоверные индикаторы измеряемых языковых субкомпетенций.	Руководство по проведению оценки, руководство по техническим условиям оценки: минимальные требования к программному обеспечению для тестирования, критерии оценки продуктивности.
Привлеченные эксперты обладают необходимой профессиональной квалификацией (например, соответствующим университетским образованием) и соответствующим педагогическим опытом.	Рекомендации относительно квалификации оценщика
Систематическая программа обучения предоставляет экспертам необходимые навыки для последовательного и точного применения руководящих принципов оценки.	Сертификаты о прохождении обучения оценщиков
Систематический ручной контроль качества и проверка достоверности, проводимые квалифицированными специалистами (с участием человека), подтверждают точность автоматизированных процессов оценки и правильность ключей решений.	Подтверждение технической точности обработки данных при оценке оборудования.
Оценка результатов экзамена не зависит от индивидуальной строгости экзаменаторов и свободна от систематических предубеждений в отношении конкретных задач или групп людей.	Подтверждение объективного качества оценки (многофакторный анализ Раша) Целевые значения: Значения соответствия находятся в диапазоне от 0,5 до 1,5. Эффекты взаимодействия не являются статистически значимыми (t ≤ 2,0).

В литературе по психометрии и теории языковых тестов валидность оценок должна основываться на стандартизированных, внешне привязанных критериях (критериально-ориентированное измерение). Чтобы исключить субъективные стандарты, оценочные шкалы должны быть точно согласованы с установленной, основанной на теории системой отсчета.

Часть 4: Эмпирическое качество / Статистическая достоверность

Unser Qualitätsanspruch	Документ, подтверждающий доказательства (подтверждающий документ)	Психометрические целевые значения
Тестовые задания обладают достаточной дискриминационной способностью, чтобы эффективно и надежно различать кандидатов с более высоким и более низким уровнем владения языком.	Доказательство статистической дискриминации элементов	Эффективность выбора цели (r) ≥ 0,50 (допустимы значения от 0,30 до 0,49). Индекс дискриминации (D) ≥ 0,40. Частота выбора отвлекающих факторов должна быть > 0.
Уровень сложности тестовых заданий адекватно охватывает весь диапазон способностей целевой группы населения.	Доказательства соответствия сложности задания	Целевой диапазон значений p составляет от 0,40 до 0,59 (допустимо 0,20–0,80). Средняя сложность теста в целом составляет приблизительно 0,50.
Тестовые задания функционируют неизменно во всех соответствующих подгруппах (отсутствует предвзятость, обусловленная полом или родным языком).	Подтверждение объективности теста (функция дифференциации заданий / DIF)	Дифференциальная функция элементов (DIF) согласно процедуре Мантеля-Хензеля (Категория A: безопасная согласно классификации ETS).

3 Обобщение

ЗАЯВЛЕНИЕ: Результаты тестирования отражают фактическую и стабильную производительность испытуемых с высокой степенью надежности, поскольку они, как доказано, не зависят от случайных факторов, таких как конкретная версия теста или лицо, проводящее тестирование.

Единообразие форматов и заданий тестирования.

Unser Qualitätsanspruch	Документ, подтверждающий доказательства (подтверждающий документ)	Психометрические целевые значения
Единообразие во всех формах тестов: Результаты тестирования остаются неизменными в разных версиях теста (стабильность уровня).	Доказательство качества эквивалентности тестовой формы (надежность параллельного тестирования)	Целевая корреляция r ≥ 0,90 (из r ≈ 0,80 приемлемо). t-тест без существенных различий (p > 0,05).
Последовательность выполнения задач: Тестируемые элементы однородны (внутренняя согласованность).	Доказательство внутренней согласованности и однородности	Коэффициент альфа Кронбаха α ≥ 0,90 (0,80 - 0,89 — приемлемо). Дискриминационная способность остальных пунктов ≥ 0,30.

Согласованность мнений рецензентов.

Unser Qualitätsanspruch	Документ, подтверждающий доказательства (подтверждающий документ)	Психометрические целевые значения
Оценка результатов экзамена одним и тем же экзаменатором остается стабильной и последовательной с течением времени (последовательность оценок). Кроме того, оценки разных экзаменаторов не демонстрируют существенных различий в строгости (нейтральность).	Эмпирические доказательства согласованности и нейтральности суждений	Сравнение между экспертами: существенных различий в средних значениях не обнаружено.p > 0,05). ICC или коэффициент Каппа ≥ 0,90 (целевое значение).

4 Декларация

ЗАЯВЛЕНИЕ: Результаты теста с высокой степенью правдоподобности отражают лежащую в основе концепцию языковой компетенции, точно так, как она определена в описаниях уровней CEFR.

Unser Qualitätsanspruch	Документ, подтверждающий доказательства (подтверждающий документ)	Психометрические целевые значения
Построение представления: Внутренняя структура результатов теста соответствует теоретически определенной конструкции (GER).	Эмпирические данные о размерности конструкта (EFA/CFA).	Значение KMO ≥ 0,80. Хорошие значения соответствия: RMSEA ≤ 0,05, SRMR ≤ 0,08, CFI/TLI ≥ 0,95.
Номологическая сеть: Результаты теста соответствуют установленным стандартизированным процедурам тестирования (внешний критерий).	Эмпирические доказательства критериальной валидности (внешний критерий)	Сильная, значимая корреляция r ≥ 0,50 (p <0,05).

5 экстраполяция

УТВЕРЖДЕНИЕ: Результаты языкового теста позволяют сделать обоснованные выводы о фактической языковой компетенции кандидатов в реальных практических ситуациях (например, в академической среде или повседневной профессиональной жизни) с высокой степенью прогностической точности.

Unser Qualitätsanspruch	Документ, подтверждающий доказательства (подтверждающий документ)	Психометрические целевые значения / анализ
Показатели эффективности в целевой области: Результаты тестирования коррелируют с реальной способностью действовать на практике.	Документ, подтверждающий параллельную валидность (оценка учителя) / Документ, подтверждающий прогностическую валидность (практическая проверка соответствующими экспертами)	Корреляции в диапазоне r Примерно от 0,30 до 0,50.
Сопоставимость показателей: Тестовые задания и критерии оценки соответствуют установленным стандартам в целевой области.	Подтверждение релевантности критериев посредством экспертной оценки.	Систематическое сравнение с экспертами в данной области (стандарты AERA, APA и NCME).
Подлинность и соответствие: Входные материалы и форматы соответствуют типичным практическим требованиям.	Подтверждение ситуативной достоверности (анализ входных данных).	Эквивалентность структурных характеристик (MANOVA). Глобальный тест не показал статистически значимых результатов (p > 0,05).
Результаты выполнения языковых заданий не демонстрируют существенных структурных отклонений от реальных примеров выполнения заданий.	Эмпирические данные об эквивалентности структурных характеристик (многофакторный дисперсионный анализ).
Участники эксперимента применяют соответствующие когнитивные стратегии решения задач (подлинное понимание вместо догадок).	Доказательства соответствия конструкта психическим процессам (процессный анализ).	-

6 Использовать

ЗАЯВЛЕНИЕ: Результаты теста обеспечивают надежную основу для принятия справедливых и объективных решений относительно определения уровня знаний и сертификации на основе CEFR. Кроме того, они предоставляют ценную диагностическую информацию для целенаправленной поддержки преподавания языка.

Unser Qualitätsanspruch	Документ, подтверждающий доказательства (подтверждающий документ)	Психометрические целевые значения
Пригодность / Полезность: Заинтересованные стороны (университеты, преподаватели) считают результаты полезными для принятия обоснованных решений.	Доказательство практической применимости результатов испытаний.	Общая точность ≥ 0,90. Индекс надежности (Ливингстон и Льюис) Φ ≥ 0,70.
Правила принятия решения: Пороговые значения определяются в результате квалифицированной процедуры установления стандартов.	Структура оценки — Процедуры установления стандартов / Проходные баллы.
Качество и согласованность классификации: Классификации в значительной степени соответствуют независимой эталонной оценке.	Доказательство точности классификации (пороговые значения).
Интерпретируемость и коммуникация: Результаты испытаний легко интерпретируются заинтересованными сторонами.	Подтверждение интерпретируемости и полезности отчетов о результатах.
Точность применения: Лица, принимающие решения, последовательно применяют установленные правила принятия решений в своей деятельности.	Подтверждение соответствия требованиям приложения.	-

7 последствия

УТВЕРЖДЕНИЕ: Использование результатов тестирования с высокой вероятностью окажет положительное влияние на все заинтересованные стороны, гарантируя справедливую классификацию и возможности доступа, а также положительно влияя на педагогическую практику.

Unser Qualitätsanspruch	Документ, подтверждающий доказательства (подтверждающий документ)
Фактически, результаты использования теста обеспечивают желаемые преимущества, а негативные побочные эффекты остаются минимальными.	Доказательства последствий результатов испытаний (польза для пользователя и обратный эффект)
Права, достоинство и конфиденциальные данные участников тестирования защищены строгими правилами (включая процедуры рассмотрения жалоб).	Руководство по подаче апелляций, инструкция по использованию системы управления информацией.
Внедрение тестирования оказывает положительное обратное воздействие на систему образования (акцент на навыки, а не на стратегии тестирования).	Доказательства последствий результатов испытаний (макроэффект и социальная выгода)

В современной теории тестирования внедрение процедур обжалования и руководящих принципов информационной безопасности рассматривается не как чисто административный акт, а как обязательный методологический инструмент для обеспечения статистической валидности (см. Мессик, 1989; 1995). Регулируемая арбитражная процедура служит необходимой качественной контрпроверкой для выявления нерелевантных для конструкта различий.