质量、有效性和系统架构 | Deutschtest.digital

面向决策者的信息:Deutschtest.digital 的验证论证——通过现代语言诊断实现基于证据的决策信心

将语言测试与《欧洲语言共同参考框架》(CEFR)进行对应关系是一个复杂的验证过程。一项测试与特定CEFR级别相符并非直接可观察的事实,而必须有理论和实证证据的支持。这些证据的收集和评估是在验证相应有效性声明的框架内进行的。

(参见欧洲委员会,2009 年,第 7 页)

语言证书是对语言能力测量结果的记录。正确解读至关重要!

作为决策者,如果您因特定目的需要申请人提供语言能力证明,通常会收到语言证书或相应的考试成绩单。此类文件本质上包含在特定方法和考试条件下得出的测量结果。例如,如果您在评估语言能力的官方程序中使用此文件,它可以作为证据(参见《德国行政程序法》第26条第1款第1句和第2款第3项)。然而,此类测量结果只有在经过专业且基于证据的解读后才具有意义。因此,关键问题不仅在于纸面上写着什么结果,更在于如何以科学依据可靠地评估该测量结果。

这种解释是否有效,很大程度上取决于其背后的测试流程是否科学合理、技术可靠且组织管理得当。因此,重要的并非测量值本身,而是生成该值的整个系统的质量。

测试结果的证据价值及其在相应用途中的接受度是科学质量及其正确解释的逻辑结果,而不是其机构起源的结果(参见 AERA、APA 和 NCME,2014;Chapelle,2021;Cronbach,1988;Kane,2013;Messick,1989)。

因此,为了评估语言证书的可靠性,必须考察测试数据的收集、处理和解读条件。这些受控流程能够产生必要的证据,从而对测试质量进行科学评估。

然而,这些零散的证据尚不足以构成对测试结果解释的最终依据。只有将它们系统地整合到验证论证中,才能为如何从具体的测试结果中得出关于某人语言能力的特定结论提供科学且易于理解的依据。

以下各节首先阐述证据生成的基础设施——即产生可靠证据的标准、流程和控制机制。随后,它们将描述如何将这些证据系统地整合到我们的验证方法中,以及我们对测试结果的解读所依据的科学原理。

1. 生成可靠证据的基础设施

为了客观地证明证书并非空头支票,测试机构需要可靠的实证证据(心理测量数据、信度分析、验证文件)。现代测试研究强调一个核心前提:不存在本质上“有效的测试”或“有效的测试结果”——效度只能通过对这些结果进行解释和用于特定目的来实现。

只有一套系统全面的质量管理体系才能保证测试机构持续生成干净、公正的原始数据,这对于有效解读语言能力至关重要。由于此类证据只有在并非随意生成的情况下才可信,因此需要一个严谨、独立的系统架构。该架构基于五大支柱:

支柱 a) 标准

信息框/定义:什么是标准?

标准是一套书面规则,用于描述特定流程、程序或服务的要求、准则或建议。它创建了一个通用框架,以系统地确保质量、可比性、透明度和可追溯性。标准可由不同的利益相关者制定和发布,并以透明易懂的方式定义最佳实践、技术要求和质量基准。

Deutschtest.digital 采用的是哪种标准?

Deutschtest.digital 的语言测试的开发、管理、评估和持续质量保证均以DIN ISO 29992的要求为基础。ISO 29992(“学习服务成果评估”)是由国际标准化组织 ISO/TC 232(“教育和学习服务”)发布的一项专门针对提供学习服务并开发、选择或应用评估的机构的标准。德国标准化协会 (DIN) 已将国际标准 ISO 29992 纳入其国家标准体系,并将其命名为DIN ISO 29992。

该标准针对评估的规划、开发、管理和评价制定了具体的质量要求,并明确纳入了根据《欧洲语言共同参考框架》(CEFR)进行的语言能力测量。与纯粹的测试理论指南不同,ISO 29992 主要源于质量保证服务管理的逻辑。对于 Deutschtest.digital 而言,它构成了质量保证的核心组织和方法框架。它帮助我们生成可靠的证据,透明地记录测试过程,并确保我们的语言测试始终符合可验证和可追溯的标准,从而保证测试质量的一致性。同时,它也为决策者提供了全面的法律、制度和方法论上的确定性。

ISO 29992 包括哪些内容?

ISO 29992 的要求分为以下几个主要章节:

  • 章1 该标准明确规定了其适用范围。其中提到了两个主要应用:(1)衡量个体学习者的学习成果;(2)确定学习进度。
  • 章2 指对其他标准的引用(ISO 29992:2021 标准中没有引用)。
  • 章3 定义了一系列与诊断/性能测量相关的技术术语。
  • 章4 本标准针对诊断工具(文中统称为“评估”)的规划提供了具体建议。根据 DIN ISO 29992:2021-04,规划阶段应包括需求分析、资源规划文件以及框架文件,框架文件应包含以下信息:诊断工具的适用范围;基于该工具做出的决策;结果的解释;使用该诊断工具的预期后果;工具目标与所用评估方法之间的关系;结果、结果的解释、用途和后果之间的关系;测试结果的沟通;使用条件、进度安排和成本;评估程序;评估环境(例如,场所);参与评估的前提条件以及用于学习成果评估的工具和方法的适用标准;质量保证程序;参与评估开发和/或实施的利益相关者;诊断工具的操作计划;以及程序规则,此外还应包括诊断工具的可用性以及测试规范要求的覆盖程度。
  • 章5 它包含多项关于诊断工具开发的建议。这些建议涵盖了诸多方面,例如工具的使用时机(学习过程之前、之中或之后);测试开发者的资质;测试题/考试题的形式;以及实施诊断工具的空间、时间、组织和技术规范。此外,它还就测试质量标准(客观性、可靠性和有效性)、测试题/考试题的开发流程、诊断工具结果的判定程序、结果沟通的方式和时间框架、结果质疑程序以及技术文档要求提供了指导。
  • 章6 这部分重点关注诊断工具的管理方面。具体内容包括:管理指南;确保测试安全的计划;负责监督诊断工具管理的个人的资格和职责;以及评分者的资格。
  • 章7 这指的是诊断仪器的实际操作使用。需要提供与实际操作使用相关的文档,例如可靠性和有效性的证明;诊断仪器的使用规程;以及测试方法质量管理及相关流程的统计程序。此外,第七章还要求制定详细的计划,说明如何持续修订和进一步完善现有的诊断程​​序。
  • 章8 本节探讨公平性问题。从这个角度出发,本节概述了诸如诊断工具提供者与受测者之间需签订正式协议等要素。该协议应包含测试费用、各方权利义务、参与要求、诊断工具说明、数据保护信息以及时间安排等内容。第八章进一步阐述了禁止歧视、受测者权利、诊断工具的中立性、诊断工具相关人员的行为准则以及向受测者提供的信息。
  • 章9 DIN ISO 29992:2021-04 进一步阐述了诊断仪器使用方面的伦理考量。为此,它要求明确界定所有相关方的责任。此外,它还要求提供关于诊断仪器的真实准确信息。最后,诊断仪器应保障信息安全的各个方面,例如所收集数据的保密性、数据的保护和安全以及通信渠道的安全。最终,还应规划并记录通信管理系统。
  • 安行A 本文件规定了诊断程序技术文档中应以结构化方式收集的信息。这包括与诊断仪器的整个生命周期相关的所有文档,从仪器规划和开发到实际应用。相关文档包括:需求分析;诊断仪器的使用框架;评分规范;诊断仪器的使用手册;相关人员培训手册;评分员表格;考官/评分员、监考员等的资格和培训规范;测试题开发程序文档;诊断仪器的测试审核和验证研究文档;定期质量保证的证据;单个测试题的心理测量质量证据;旨在剔除不适用测试题的程序证据;人工评分结果的验证和程序证据;以及人工评分与测试规范相符的证据。此外,还包括机器评估可靠性的证据;仲裁和申诉程序的证据;以及重新评估程序的证据。除了这些范围广泛的证据外,该标准还要求提供技术文档,以指导用户如何应用诊断仪器。有关技术数据和文档存储的详细信息构成了该标准的实质性部分。
DIN ISO 29992 的主要优势是什么?

DIN ISO 29992 不仅为 Deutschtest.digital 提供了一个正式的质量框架,还为我们语言测试的开发、管理和持续审查建立了系统的基础。应用此标准的主要优势尤其体现在以下几个方面:

确保具有约束力的安全架构:该标准定义了结构化安全计划的要求。应用 DIN ISO 29992 的组织必须系统地实施防止操纵(欺诈)的预防措施,并通过既定流程保障任务的完整性以及信息和身份安全。

通过生命周期管理实现可持续质量保证: ISO 29992 标准要求持续的维护和监控流程(维护计划),从而支持对测试质量的长期保证。该标准并非采用一次性评审,而是将测试程序的持续评估和改进视为质量保证的重要组成部分。这使得测试质量的变化能够及早发现并得到纠正,并通过经验支持的措施加以解决。

与《欧洲语言共同参考框架》(CEFR)的技术联系:该标准的结构使得将通用质量要求系统地应用于语言诊断成为可能。这使得ISO 29992的要求能够与《欧洲语言共同参考框架》(CEFR)基于理论的能力描述相联系,并使得测试结果与语言等级的对应关系能够得到合理的论证。

对结果的解释和使用进行透明的论证: ISO 29992 要求清晰地阐述评估结果与其解释之间的关系。这为科学地描述可以从测试结果中得出哪些结论以及证书可用于哪些用途奠定了基础。

构建科学严谨的验证论证的基础: ISO 29992 的一个关键优势在于它支持相关证据的结构化生成和文档记录。结合心理测量方法,这便构建了一个强大的证据基础,在此基础上可以构建科学严谨的验证论证。该论证使得对测试结果的解释和使用能够以透明、易懂且专业可靠的证据为依据。

支柱 b) 独立认证机构

信息框/定义:什么是独立认证机构?

独立认证机构是一个外部的、公正的组织,负责核实并确认某个组织是否符合特定的质量要求或标准。它并不评估被认证组织自身的绩效,而是对其已记录的流程、结构和证据进行独立审核。这种外部评估能够建立额外的信任,因为质量保证并非仅仅是组织自身的责任。

独立认证的关键特征在于评估与认证决定的分离。流程和证据的审查由专家审核员进行,而最终的认证决定则由独立机构做出。这避免了自我评估和潜在的利益冲突,从而确保了认证的客观性和可信度。

Deutschtest.digital 与哪个独立机构合作?

为了确保外部质量,我们与独立的认证机构DeuZert合作。DeuZert保证其认证决定的完全公正、可信和公认性。凭借二十余年的专业经验,DeuZert在教育和认证领域拥有全面的专业知识。

DeuZert独立认证有哪些优势?

DeuZert独立认证的关键附加值在于,已实施流程的质量并非仅由组织自身评估,而是接受外部专家的审核。这为决策者建立了更高的信任度。以下几个方面尤为重要:

  • 机构独立性和客观评价: DeuZert 作为一家独立的认证机构,采用透明的测试程序评估既定要求的落实情况。被审核机构与外部评估机构的分离,有效防止了机构的自我评估,并增强了认证决定的客观性。
  • 通过监督审核进行持续质量保证: 已实施流程的质量并非一次性评估,而是通过定期审查进行持续监控。这种外部控制确保方法论和组织要求始终得到满足,并且后续发展能够得到系统性的审查。
有什么正式证明可以证明 Deutschtest.digital 符合 DIN ISO 29992 标准?

审核流程顺利完成后,DeuZert 向我们颁发了符合 DIN ISO 29992 标准的合格证书。该文件确认,Deutschtest.digital 在德语语言技能领域规划、开发、实施和评估评估方面所实施的程序符合该标准的要求,并且已通过独立外部审核的评估。

因此,该合格证书正式证明Deutschtest.digital的测试流程符合国际公认的学习成果评估标准。它确认了公司系统地实施符合标准的程序,以确保测试结果的透明度、可比性和质量。

查看证书

支柱 c) 独立专家和审计员

信息框/定义:审计员的角色

国际标准规定评估和认证决策必须严格分离。对测试机构的实际审查(即审核)由独立且资质卓越的审核员进行。他们审查实证数据,评估系统架构的实际应用,并将审查结果记录在审核报告中。该报告作为认证机构后续决策的客观事实依据。

Deutschtest.digital 的审计工作由谁负责?

监督审核由DeuZert委托的经验丰富的教育专家、考官、审核员和评估员组成的网络进行。这支高度专业化的团队确保了对我们流程和证据的评估不仅限于行政层面,而且还运用了内容和语言测试理论方面的最高专业水平。

支柱 d) 审计程序条例

信息框/定义:审计流程有哪些规章制度?

审核规章是具有约束力的程序规则,它精确地规定了认证机构必须如何开展审核。这些规章规范了文件审查、抽样、访谈以及现场或系统审核的流程,以防止随意性并保证审核质量的可重复性。

根据 ISO 29992 标准进行认证时,适用哪些审核规定?

ISO 29992 的审核程序须符合其上级标准DIN EN ISO/IEC 17065的要求。该标准并非规范测试本身,而是规范认证机构的工作方法、独立性和资质。这确保了外部审核不受商业或内部利益冲突的影响。最终,基于透明且有据可查的专业和方法论基础,对符合标准的测试和评估流程的实施情况进行独立的外部确认。

支柱 e) 证据

对语言技能进行有效评估需要可靠的数据基础。测试质量的证据主要依赖于以下几类关键证据:

1. 规划和概念文件

这些文件在实际测试开发开始前,确立了战略和合同基础。它们记录了对目标群体的系统性需求分析,以及关于测试具体目的的具有约束力的协议。

2. 规范和任务审查文件

此类别包含详细的蓝图和测试规程,用于确保内容质量。它们证明每个测试项目都符合技术规范和目标欧洲语言共同参考框架(CEFR)级别。

3. 行政和安全文件

他们保证所有考点的考试流程完全统一、标准化且防篡改。这包括监考人员手册、严格的考生身份验证以及详细的IT安全计划。

4. 评估和评分方案

这些文件旨在确保评分过程客观、准确、公正。文件包含答案、阅卷人评估指南以及自动评估程序准确性的证据。

5. 资格证书和培训证书

它们展现了所有测试和评估人员的专业、学术和诊断资质。此外,它们还记录了为确保评估标准的统一性而实施的系统化培训和定期复习课程体系。

6. 质量和验证报告的实证证据

它们提供了测试实际心理测量质量的科学和统计证据。其中包括对测量准确性(信度)、各子群体公平性以及符合理论的维度结构的计算。

7. 维护和修订流程

这些流程控制着运行过程中的持续质量监控和定期测试更新。它们定义了任务生命周期的统计指标,以确保耗材能够及时、标准化地更换。

8. 公平、正义和上诉

他们致力于在整个考试过程中保障考生的权利、尊严和安全。这包括透明的申诉和投诉指南、易于理解的用户支持以及严格的数据安全措施。

2. 从证据基础到验证论证:测试结果解释的科学依据

质量保证架构中产生的证据最初是关于测试程序质量和功能的独立证据。只有将这些证据系统地整合到验证论证中,才能对如何从测试结果中得出关于个人语言能力的具体结论提供合理的解释。

什么是验证性论证?

如果测试开发者孤立地看待科学质量标准,他们就可能忽略测试的整体逻辑和目标。语言测试的质量并非仅仅取决于单个任务或统计参数,而是测试流程所有组成部分相互作用的结果。在现代语言测试研究中,测试的效度——受到巴赫曼和帕尔默、迈克尔·凯恩以及卡罗尔·查佩尔等人的影响——被理解为一个全面且多维度的质量概念。关键问题不在于单个质量标准是否得到满足,而在于从测试结果中得出的结论是否具有整体合理性。

这个问题尤为重要,因为语言测试的结果往往会对教育、职业和居住地选择产生深远影响。因此,测试机构肩负着特殊的专业和道德责任。他们不仅必须确保测试程序的质量,而且必须能够以透明的方式证明这种质量。正是基于这种需求,现代效度研究中发展出了所谓的效度论证概念。

从历史上看,这种方法兴起于20世纪90年代和21世纪初,是对之前过于抽象的科学效度模型的一种突破性回应,这些模型几乎无法为现实世界的测试实践提供具体的指导。美国研究员迈克尔·凯恩将哲学家斯蒂芬·图尔敏的实用论证理论应用于测试理论。随后,著名语言学家卡罗尔·查佩尔进一步发展了这一逻辑,专门用于语言测试研究——她因自2008年起对托福iBT进行开创性的效度验证而享誉全球。她将该模型精炼成一个由七个精确推理步骤组成的无缝链条,如今,这已成为系统论证和记录测试结果的成熟现代方法。

这种方法的关键优势在于,它使语言测试机构摆脱了仅仅作为“证书颁发者”的被动角色。测试机构不再只是向认证机构或部级决策者提交杂乱无章的个别文件或僵化的清单,而是可以扮演积极主动的“倡导者”角色。这使他们能够以独立、透明且无可辩驳的科学方式,向决策者论证其考试的有效性、公平性和法律确定性,并通过系统构建的证据链来证明这一点。

因此,验证论证描述了这种用于证明测试结果有效性的结构化方法。其出发点是假设每项测试都会对一个人的语言能力做出某种断言。例如,如果一个人被评为《欧洲语言共同参考框架》(CEFR)B1级别,则意味着他/她具备该级别所定义的语言技能。验证论证的任务是系统地、清晰地支持和证明这一断言。

这涉及构建一个连贯的推理链,从测试任务、实施和评估一直延伸到结果解释。对于每个步骤,都会运用理论基础和经验证据(即所谓的支撑)来证明所作假设的合理性。因此,验证论证将科学证据与实际测试决策联系起来,并清晰地阐明了为什么特定的测试结果可以被视为衡量特定语言能力的有效证据。通过这种方式,它为语言测试的信任、透明度和法律责任奠定了基础。

构成验证论证的逻辑链包含哪些要素?

为了提供无可辩驳的专业证据来证明语言测试的质量,现代诊断方法遵循清晰的逻辑结构。只有当这七个级别中的每一个级别都有实证证据支持时,该测试才能被认为完全可靠,适用于实际应用。

实际相关性(领域定义): 第一步是对目标环境(例如日常生活、工作或学习)中实际存在的语言需求进行精确分析。这确保测试只评估实现预期目的(例如融入或进入劳动力市场)绝对必要的技能。
客观性和无误差测量(评估): 本文件证明,绩效评估和测试分数生成均严格遵循客观规则。标准化的条件和统计分析确保评分过程尽可能做到无误、透明、防篡改,并不受任何外部个人因素的影响。因此,每位参与者都将按照相同、公平的标准接受评估。
可靠性(泛化能力): 这一步骤旨在证明测试结果稳定可靠,并非偶然。高泛化性意味着结果始终保持一致——完全不受所用任务类型、阅卷人或考试日期的影响。
标准符合性(声明): 此处已通过科学证明,测试分数能够准确反映预期的专业含义。如果证书标明“B1”级别,则必须通过实证研究毫无疑问地证明,其表现符合《欧洲语言共同参考框架》(CEFR)的理论能力描述。
预测能力(外推法): 这表明考试成绩是衡量实际能力的可靠指标。通过考试的人显然具备在德国成功学习或工作所需的语言技能。
决策确定性(用法): 在这个阶段,会制定基于科学的及格分数线。这确保了考试“通过”的规则公平合理,既不会不公平地排除合格者(假阴性),也不会错误地判定知识不足者合格(假阳性)。
影响评估(后果): 最后,将评估测试使用对社会和个人的影响。将确保测试程序在长期内取得积极的、促进学习的效果,并且不会对某些群体(例如,由于其出身或母语)造成系统性的不利影响。
Deutschtest.digital 验证参数的架构

以下我们将介绍我们用于评估德语语言能力的验证论证的方法论架构。由于验证论证总是针对特定的目标领域、明确的语言能力水平和特定的目的,因此其基础证据必须针对测试结果的预期解释和用途进行专门构建。以下架构展示了验证论证中各个结论(推论)之间的联系,以及为科学地证实最终陈述所需的证据类型(支持)。包含所有经验和统计证据的完整验证论证将超出本文的篇幅。因此,此处仅列出相应的证据文件作为示例。

1 领域定义
声明:测试题能够对相关的语言知识和技能进行高度可靠和精确的评估。所需的语言功能高度代表了目标领域中实际的语言使用情况,并与《欧洲语言共同参考框架》(CEFR)中定义的能力领域相对应。
类别 我们的质量标准 证据文件(支持文件)
领域描述 已准确、完整地确定了目标群体的相关语言需求和交际情境。 目标域规范
表示 测试题目充分体现了测试规范中定义的领域,涵盖了所需的知识内容和认知水平,且比例正确。 考试蓝图/映射工具
Relevanz 测试题目在内容上是相关的,并且与所需的胜任力水平精确匹配;它们不包含任何与所测构念无关的不恰当的难度来源。 项目审核流程,使用评估表进行项目评估(包括 CEFR 等级检查证明)
质量控制 开发过程包括系统的编辑控制机制,以确保存在质量缺陷、歧义或文化偏见的任务必须进行修改或删除。 商品质量控制规程(商品审核)

科学背景

在心理测量学和语言测验理论文献中,使用测验蓝图和映射工具是确保内容效度并展现目标领域恰当性的必要方法。《教育和心理测验标准》明确建议创建将测验项目映射到内容领域的逻辑结构(映射)。

为了确保实践中的有效性,Alderson (2005) 明确地将测试规范定义为测试和试题编写者必须遵循的“蓝图”,以建立测试的结构效度。Fulcher 和 Davidson (2007) 也直接将测试规范称为“生成性蓝图”。

2 评估
声明:测试结果准确、客观、完美地总结了参与者在考试中的表现,具有很高的测量准确度。

第一部分:管理条件和防篡改保护

我们的质量标准 证据文件(支持文件)
考试规章制度质量高,包含全面而精准的指导原则,确保考试管理严格标准化和统一化,并制定了公平且符合规范的便利措施(无障碍设施)的约束性规定。监考人员严格按照适用指南,使用可靠的身份验证程序核实考生身份,并持续监控考场环境(考场控制),从而从根本上防止替考和未经授权的信息交换。 考试规章、评估操作手册——考场管理和身份验证
无论考试是现场进行还是线上进行,防篡改的考试环境都能可靠地防止未经授权的辅助工具的访问,并通过符合格式要求的控制机制(现场监考人员、安全浏览器、远程监考)彻底消除作弊企图。 物理和电子安全要求清单、违反安全规定的应急预案、针对考生未经授权活动的应对措施

对测试参与者进行明确识别以及对测试环境进行无缝监控,是任何合法有效的测试程序的绝对必要条件。如果组织程序存在缺陷,导致无法将测试者的身份与其测试表现明确关联起来,那么所有关于内容效度和统计效度的后续声明都将失效。

第二部分和第三部分:评分质量、协议和评估人员

我们的质量标准 证据文件(支持文件)
所有评估方法和结果记录过程均有明确的规则和标准,从而确保客观性和程序可靠性。评估量表基于欧洲语言共同参考框架(CEFR)参考等级(“能力描述”),并根据具体语境进行调整,能够有效衡量所评估的语言子能力。 评估实施手册、评估规范手册:测试软件的最低要求、生产性能评估标准。
评估人员具备必要的专业资格(例如,相关大学学位)和相关的教学经验。 评估员资格参考资料
该系统化的培训计划为评估人员提供了持续、准确地应用评估指南所需的必要技能。 评估员的培训证书
由合格专家进行的系统性人工质量控制和合理性检查(人机交互)验证了自动评估过程的准确性和解决方案密钥的正确性。 机器评估技术处理准确性的证明
考试成绩的评价与考官个人的严格程度无关,并且不受针对特定任务或人群的系统性偏见的影响。 客观评价质量的确认(多方面Rasch分析)

目标值:Infit/Outfit MNSQ 0,5–1,5;评分者偏差 |t| ≤ 2,0。

在心理测量学和语言测验理论文献中,绩效评估的效度必须依赖于标准化的、外部锚定的标准(标准参照测量)。为了排除主观标准的影响,评分量表必须与已建立的、基于理论的参考体系精确匹配。

第四部分:实证质量/统计完整性

我们的质量标准 证据文件(支持文件) 心理测量目标值
测试题目具有足够的区分度,能够有效、可靠地区分语言能力较高和较低的考生。 统计项目区分度的证明 校正后的辨别率 rit ≥ 0,30(目标范围 ≥ 0,40–0,50);干扰项选择频率 > 5%,且具有负点二列相关性。
测试任务的难度级别充分涵盖了目标人群的整个能力范围。 题目难度是否适当? 项目难度 P = 0,20 至 0,80(P ≈ 0,50 为最优值);猜测概率 P_chance = 0,25,有 4 个选项。
测试项目在相关子群体中具有不变的功能(不受性别或母语的影响)。 测试公平性确认(差异项目功能/DIF) ETS A类(DIF < 1,0 或 p > 0,05;可忽略/一般)。
3 概括
声明:测试结果反映了测试候选人的实际和稳定表现,具有很高的可靠性,因为它们明显独立于随机因素,例如具体的测试版本或测试人员。

测试形式和任务的一致性

我们的质量标准 证据文件(支持文件) 心理测量目标值
测试形式的一致性: 不同测试版本之间的测试结果一致(水平稳定性)。 测试形式等效性(平行测试信度)的质量证明 平行形式信度 r ≥ 0,80(短量表 r ≥ 0,70);无显著平均差异(等效性检验)。
各项任务的一致性: 测试题目具有同质性(内部一致性)。 内部一致性和同质性的证明 Cronbach's α 或 McDonald's ω ≥ 0,85(目标 ≥ 0,90;短量表 < 20 个项目:α ≥ 0,75)。

审稿人之间的一致性

我们的质量标准 证据文件(支持文件) 心理测量目标值
同一位考官对考试表现的评估具有稳定性和一致性(判断的一致性)。此外,不同考官的评估在严谨性方面也无显著差异(中立性)。 判断的一致性和中立性的经验证据 判断中立性:p > 0,05 且 Cohen's d < 0,20(或部分 ηp² < 0,01);评分者间一致性:ICC ≥ 0,85(0,75–0,84 可接受),κ_w ≥ 0,75;评分者内一致性:ICC ≥ 0,75,κ_w ≥ 0,75。
4 声明
声明:测试结果高度可信地反映了语言能力的潜在结构,与欧洲语言共同参考框架(CEFR)的级别描述完全一致。
我们的质量标准 证据文件(支持文件) 心理测量目标值
构造表示: 测试结果的内部结构与理论定义的结构(GER)相符。 结构维度的实证证据(EFA/CFA)。 EFA:KMO ≥ 0,80,Bartlett p < 0,05,电荷 λ ≥ 0,60(最小值 > 0,30); CFA:RMSEA ≤ 0,05(最高 0,08)、SRMR ≤ 0,08、CFI 和 TLI ≥ 0,95(最小值 ≥ 0,90)。
法则网络: 测试结果与已建立的标准化测试程序(外部标准)相符。 效标效度(外部效标)的实证证据 聚合效度:r ≥ 0,60(目标 r ≥ 0,70,p < 0,01);衰减校正 rcorr ≥ 0,80;区分效度:r < 0,30。
5 外推法
声明:语言测试中记录的表现能够对考生在实际应用情境(例如,学术研究或日常职业生活)中的实际语言能力做出有效的预测。
我们的质量标准 证据文件(支持文件) 心理测量目标值/分析
目标领域性能指标: 测试结果与实际操作能力相关。 证明同时效度的文件(教师评估)/证明预测效度的文件(相关专家的实际验证) 一致性效度 r ≥ 0,40(教师评价);预测效度 r ≥ 0,30(实践经验)。
性能可比性: 测试项目和评价标准符合目标领域的既定标准。 通过专家验证确认标准的相关性。 系统性的专家比较。
真实性和一致性: 输入材料和格式符合典型的实际要求。 确认情境真实性(输入分析)。 输入材料与文本体裁具有高度情境一致性(专家评审)。
语言表现与真实表现样本相比,没有明显的结构性偏差。 结构性能等效性的实证研究(多元方差分析)。 MANOVA 不显著(p > 0,05);单变量偏 ηp² < 0,01(容差范围 0,01 至 < 0,06;≥ 0,06 不可接受)。
测试参与者运用与概念相关的认知问题解决策略(真正理解而不是猜测)。 符合建构的心理过程的证据(过程分析)。 过程分析。
6 使用
声明:测试结果为基于欧洲语言共同参考框架(CEFR)的语言能力分级和认证提供了可靠、客观的依据。此外,它们还为有针对性的语言教学支持提供了宝贵的诊断信息。
我们的质量标准 证据文件(支持文件) 心理测量目标值
适用性/实用性: 利益相关者(大学、讲师)认为这些结果有助于做出合理的决策。 证明测试结果具有实际应用价值。 利益相关者调查中获得高度认可(认可率≥80-85%)。
决策规则: 分数线是经过正规标准制定程序确定的结果。 评估框架 - 标准制定程序/合格分数线。 根据安格夫法或书签法,专业认可的合格分数线/临界值定义。
分类质量和一致性: 分类结果基本与独立参考评估相符。 分类准确率证明(临界分数)。 分类准确率≥0,90;可靠性指标Φ≥0,70;最小化假阳性/假阴性率。
可解释性和沟通性: 测试结果清晰易懂,便于利益相关者解读。 确认结果报告的可解释性和实用性。 可用性调查中评分报告的可理解性高(认可率≥85%)。
应用保真度: 决策者在工作中始终如一地运用既定的决策规则。 遵守申请规定的证明。 通过系统日志审核(二维码扫描)进行合规使用/验证。
7 后果
主张:测试结果的使用极有可能对所有利益相关者产生积极影响,因为它能保证公平的分类和入学机会,并对教学实践产生积极影响。
我们的质量标准 证据文件(支持文件)
测试使用的实际效果确实达到了预期效果,而负面影响则保持在最低限度。 测试结果后果的证据(用户收益和反拨效应)
测试参与者的权利、尊严和敏感数据受到严格的指导方针(包括投诉程序)的保护。 申诉指南,信息管理系统手册
这项测试的实施对教育系统产生了积极的反拨效应(注重技能而不是考试策略)。 测试结果后果的证据(宏观影响和社会效益)

在现代测试理论中,申诉程序和信息安全准则的实施并非纯粹的行政行为,而是确保结果效度的强制性方法论工具(参见 Messick,1989;1995)。规范的仲裁程序可作为必要的定性复核手段,用于识别与构念无关的变异。

🔤 语言