将语言测试与《欧洲语言共同参考框架》(CEFR)进行对应关系是一个复杂的验证过程。一项测试与特定CEFR级别相符并非直接可观察的事实,而必须有理论和实证证据的支持。这些证据的收集和评估是在验证相应有效性声明的框架内进行的。
(参见欧洲委员会,2009 年,第 7 页)作为决策者,如果您因特定目的需要申请人提供语言能力证明,通常会收到语言证书或相应的考试成绩单。此类文件本质上包含在特定方法和考试条件下得出的测量结果。例如,如果您在评估语言能力的官方程序中使用此文件,它可以作为证据(参见《德国行政程序法》第26条第1款第1句和第2款第3项)。然而,此类测量结果只有在经过专业且基于证据的解读后才具有意义。因此,关键问题不仅在于纸面上写着什么结果,更在于如何以科学依据可靠地评估该测量结果。
这种解释是否有效,很大程度上取决于其背后的测试流程是否科学合理、技术可靠且组织管理得当。因此,重要的并非测量值本身,而是生成该值的整个系统的质量。
因此,为了评估语言证书的可靠性,必须考察测试数据的收集、处理和解读条件。这些受控流程能够产生必要的证据,从而对测试质量进行科学评估。
然而,这些零散的证据尚不足以构成对测试结果解释的最终依据。只有将它们系统地整合到验证论证中,才能为如何从具体的测试结果中得出关于某人语言能力的特定结论提供科学且易于理解的依据。
以下各节首先阐述证据生成的基础设施——即产生可靠证据的标准、流程和控制机制。随后,它们将描述如何将这些证据系统地整合到我们的验证方法中,以及我们对测试结果的解读所依据的科学原理。
为了客观地证明证书并非空头支票,测试机构需要可靠的实证证据(心理测量数据、信度分析、验证文件)。现代测试研究强调一个核心前提:不存在本质上“有效的测试”或“有效的测试结果”——效度只能通过对这些结果进行解释和用于特定目的来实现。
只有一套系统全面的质量管理体系才能保证测试机构持续生成干净、公正的原始数据,这对于有效解读语言能力至关重要。由于此类证据只有在并非随意生成的情况下才可信,因此需要一个严谨、独立的系统架构。该架构基于五大支柱:
标准是一套书面规则,用于描述特定流程、程序或服务的要求、准则或建议。它创建了一个通用框架,以系统地确保质量、可比性、透明度和可追溯性。标准可由不同的利益相关者制定和发布,并以透明易懂的方式定义最佳实践、技术要求和质量基准。
Deutschtest.digital 的语言测试的开发、管理、评估和持续质量保证均以DIN ISO 29992的要求为基础。ISO 29992(“学习服务成果评估”)是由国际标准化组织 ISO/TC 232(“教育和学习服务”)发布的一项专门针对提供学习服务并开发、选择或应用评估的机构的标准。德国标准化协会 (DIN) 已将国际标准 ISO 29992 纳入其国家标准体系,并将其命名为DIN ISO 29992。
该标准针对评估的规划、开发、管理和评价制定了具体的质量要求,并明确纳入了根据《欧洲语言共同参考框架》(CEFR)进行的语言能力测量。与纯粹的测试理论指南不同,ISO 29992 主要源于质量保证服务管理的逻辑。对于 Deutschtest.digital 而言,它构成了质量保证的核心组织和方法框架。它帮助我们生成可靠的证据,透明地记录测试过程,并确保我们的语言测试始终符合可验证和可追溯的标准,从而保证测试质量的一致性。同时,它也为决策者提供了全面的法律、制度和方法论上的确定性。
ISO 29992 的要求分为以下几个主要章节:
DIN ISO 29992 不仅为 Deutschtest.digital 提供了一个正式的质量框架,还为我们语言测试的开发、管理和持续审查建立了系统的基础。应用此标准的主要优势尤其体现在以下几个方面:
确保具有约束力的安全架构:该标准定义了结构化安全计划的要求。应用 DIN ISO 29992 的组织必须系统地实施防止操纵(欺诈)的预防措施,并通过既定流程保障任务的完整性以及信息和身份安全。
通过生命周期管理实现可持续质量保证: ISO 29992 标准要求持续的维护和监控流程(维护计划),从而支持对测试质量的长期保证。该标准并非采用一次性评审,而是将测试程序的持续评估和改进视为质量保证的重要组成部分。这使得测试质量的变化能够及早发现并得到纠正,并通过经验支持的措施加以解决。
与《欧洲语言共同参考框架》(CEFR)的技术联系:该标准的结构使得将通用质量要求系统地应用于语言诊断成为可能。这使得ISO 29992的要求能够与《欧洲语言共同参考框架》(CEFR)基于理论的能力描述相联系,并使得测试结果与语言等级的对应关系能够得到合理的论证。
对结果的解释和使用进行透明的论证: ISO 29992 要求清晰地阐述评估结果与其解释之间的关系。这为科学地描述可以从测试结果中得出哪些结论以及证书可用于哪些用途奠定了基础。
构建科学严谨的验证论证的基础: ISO 29992 的一个关键优势在于它支持相关证据的结构化生成和文档记录。结合心理测量方法,这便构建了一个强大的证据基础,在此基础上可以构建科学严谨的验证论证。该论证使得对测试结果的解释和使用能够以透明、易懂且专业可靠的证据为依据。
独立认证机构是一个外部的、公正的组织,负责核实并确认某个组织是否符合特定的质量要求或标准。它并不评估被认证组织自身的绩效,而是对其已记录的流程、结构和证据进行独立审核。这种外部评估能够建立额外的信任,因为质量保证并非仅仅是组织自身的责任。
独立认证的关键特征在于评估与认证决定的分离。流程和证据的审查由专家审核员进行,而最终的认证决定则由独立机构做出。这避免了自我评估和潜在的利益冲突,从而确保了认证的客观性和可信度。
为了确保外部质量,我们与独立的认证机构DeuZert合作。DeuZert保证其认证决定的完全公正、可信和公认性。凭借二十余年的专业经验,DeuZert在教育和认证领域拥有全面的专业知识。
DeuZert独立认证的关键附加值在于,已实施流程的质量并非仅由组织自身评估,而是接受外部专家的审核。这为决策者建立了更高的信任度。以下几个方面尤为重要:
审核流程顺利完成后,DeuZert 向我们颁发了符合 DIN ISO 29992 标准的合格证书。该文件确认,Deutschtest.digital 在德语语言技能领域规划、开发、实施和评估评估方面所实施的程序符合该标准的要求,并且已通过独立外部审核的评估。
因此,该合格证书正式证明Deutschtest.digital的测试流程符合国际公认的学习成果评估标准。它确认了公司系统地实施符合标准的程序,以确保测试结果的透明度、可比性和质量。
查看证书国际标准规定评估和认证决策必须严格分离。对测试机构的实际审查(即审核)由独立且资质卓越的审核员进行。他们审查实证数据,评估系统架构的实际应用,并将审查结果记录在审核报告中。该报告作为认证机构后续决策的客观事实依据。
监督审核由DeuZert委托的经验丰富的教育专家、考官、审核员和评估员组成的网络进行。这支高度专业化的团队确保了对我们流程和证据的评估不仅限于行政层面,而且还运用了内容和语言测试理论方面的最高专业水平。
审核规章是具有约束力的程序规则,它精确地规定了认证机构必须如何开展审核。这些规章规范了文件审查、抽样、访谈以及现场或系统审核的流程,以防止随意性并保证审核质量的可重复性。
ISO 29992 的审核程序须符合其上级标准DIN EN ISO/IEC 17065的要求。该标准并非规范测试本身,而是规范认证机构的工作方法、独立性和资质。这确保了外部审核不受商业或内部利益冲突的影响。最终,基于透明且有据可查的专业和方法论基础,对符合标准的测试和评估流程的实施情况进行独立的外部确认。
对语言技能进行有效评估需要可靠的数据基础。测试质量的证据主要依赖于以下几类关键证据:
这些文件在实际测试开发开始前,确立了战略和合同基础。它们记录了对目标群体的系统性需求分析,以及关于测试具体目的的具有约束力的协议。
此类别包含详细的蓝图和测试规程,用于确保内容质量。它们证明每个测试项目都符合技术规范和目标欧洲语言共同参考框架(CEFR)级别。
他们保证所有考点的考试流程完全统一、标准化且防篡改。这包括监考人员手册、严格的考生身份验证以及详细的IT安全计划。
这些文件旨在确保评分过程客观、准确、公正。文件包含答案、阅卷人评估指南以及自动评估程序准确性的证据。
它们展现了所有测试和评估人员的专业、学术和诊断资质。此外,它们还记录了为确保评估标准的统一性而实施的系统化培训和定期复习课程体系。
它们提供了测试实际心理测量质量的科学和统计证据。其中包括对测量准确性(信度)、各子群体公平性以及符合理论的维度结构的计算。
这些流程控制着运行过程中的持续质量监控和定期测试更新。它们定义了任务生命周期的统计指标,以确保耗材能够及时、标准化地更换。
他们致力于在整个考试过程中保障考生的权利、尊严和安全。这包括透明的申诉和投诉指南、易于理解的用户支持以及严格的数据安全措施。
质量保证架构中产生的证据最初是关于测试程序质量和功能的独立证据。只有将这些证据系统地整合到验证论证中,才能对如何从测试结果中得出关于个人语言能力的具体结论提供合理的解释。
如果测试开发者孤立地看待科学质量标准,他们就可能忽略测试的整体逻辑和目标。语言测试的质量并非仅仅取决于单个任务或统计参数,而是测试流程所有组成部分相互作用的结果。在现代语言测试研究中,测试的效度——受到巴赫曼和帕尔默、迈克尔·凯恩以及卡罗尔·查佩尔等人的影响——被理解为一个全面且多维度的质量概念。关键问题不在于单个质量标准是否得到满足,而在于从测试结果中得出的结论是否具有整体合理性。
这个问题尤为重要,因为语言测试的结果往往会对教育、职业和居住地选择产生深远影响。因此,测试机构肩负着特殊的专业和道德责任。他们不仅必须确保测试程序的质量,而且必须能够以透明的方式证明这种质量。正是基于这种需求,现代效度研究中发展出了所谓的效度论证概念。
从历史上看,这种方法兴起于20世纪90年代和21世纪初,是对之前过于抽象的科学效度模型的一种突破性回应,这些模型几乎无法为现实世界的测试实践提供具体的指导。美国研究员迈克尔·凯恩将哲学家斯蒂芬·图尔敏的实用论证理论应用于测试理论。随后,著名语言学家卡罗尔·查佩尔进一步发展了这一逻辑,专门用于语言测试研究——她因自2008年起对托福iBT进行开创性的效度验证而享誉全球。她将该模型精炼成一个由七个精确推理步骤组成的无缝链条,如今,这已成为系统论证和记录测试结果的成熟现代方法。
这种方法的关键优势在于,它使语言测试机构摆脱了仅仅作为“证书颁发者”的被动角色。测试机构不再只是向认证机构或部级决策者提交杂乱无章的个别文件或僵化的清单,而是可以扮演积极主动的“倡导者”角色。这使他们能够以独立、透明且无可辩驳的科学方式,向决策者论证其考试的有效性、公平性和法律确定性,并通过系统构建的证据链来证明这一点。
因此,验证论证描述了这种用于证明测试结果有效性的结构化方法。其出发点是假设每项测试都会对一个人的语言能力做出某种断言。例如,如果一个人被评为《欧洲语言共同参考框架》(CEFR)B1级别,则意味着他/她具备该级别所定义的语言技能。验证论证的任务是系统地、清晰地支持和证明这一断言。
这涉及构建一个连贯的推理链,从测试任务、实施和评估一直延伸到结果解释。对于每个步骤,都会运用理论基础和经验证据(即所谓的支撑)来证明所作假设的合理性。因此,验证论证将科学证据与实际测试决策联系起来,并清晰地阐明了为什么特定的测试结果可以被视为衡量特定语言能力的有效证据。通过这种方式,它为语言测试的信任、透明度和法律责任奠定了基础。
为了提供无可辩驳的专业证据来证明语言测试的质量,现代诊断方法遵循清晰的逻辑结构。只有当这七个级别中的每一个级别都有实证证据支持时,该测试才能被认为完全可靠,适用于实际应用。
以下我们将介绍我们用于评估德语语言能力的验证论证的方法论架构。由于验证论证总是针对特定的目标领域、明确的语言能力水平和特定的目的,因此其基础证据必须针对测试结果的预期解释和用途进行专门构建。以下架构展示了验证论证中各个结论(推论)之间的联系,以及为科学地证实最终陈述所需的证据类型(支持)。包含所有经验和统计证据的完整验证论证将超出本文的篇幅。因此,此处仅列出相应的证据文件作为示例。
| 类别 | 我们的质量标准 | 证据文件(支持文件) |
|---|---|---|
| 领域描述 | 已准确、完整地确定了目标群体的相关语言需求和交际情境。 | 目标域规范 |
| 表示 | 测试题目充分体现了测试规范中定义的领域,涵盖了所需的知识内容和认知水平,且比例正确。 | 考试蓝图/映射工具 |
| Relevanz | 测试题目在内容上是相关的,并且与所需的胜任力水平精确匹配;它们不包含任何与所测构念无关的不恰当的难度来源。 | 项目审核流程,使用评估表进行项目评估(包括 CEFR 等级检查证明) |
| 质量控制 | 开发过程包括系统的编辑控制机制,以确保存在质量缺陷、歧义或文化偏见的任务必须进行修改或删除。 | 商品质量控制规程(商品审核) |
在心理测量学和语言测验理论文献中,使用测验蓝图和映射工具是确保内容效度并展现目标领域恰当性的必要方法。《教育和心理测验标准》明确建议创建将测验项目映射到内容领域的逻辑结构(映射)。
为了确保实践中的有效性,Alderson (2005) 明确地将测试规范定义为测试和试题编写者必须遵循的“蓝图”,以建立测试的结构效度。Fulcher 和 Davidson (2007) 也直接将测试规范称为“生成性蓝图”。
| 我们的质量标准 | 证据文件(支持文件) |
|---|---|
| 考试规章制度质量高,包含全面而精准的指导原则,确保考试管理严格标准化和统一化,并制定了公平且符合规范的便利措施(无障碍设施)的约束性规定。监考人员严格按照适用指南,使用可靠的身份验证程序核实考生身份,并持续监控考场环境(考场控制),从而从根本上防止替考和未经授权的信息交换。 | 考试规章、评估操作手册——考场管理和身份验证 |
| 无论考试是现场进行还是线上进行,防篡改的考试环境都能可靠地防止未经授权的辅助工具的访问,并通过符合格式要求的控制机制(现场监考人员、安全浏览器、远程监考)彻底消除作弊企图。 | 物理和电子安全要求清单、违反安全规定的应急预案、针对考生未经授权活动的应对措施 |
对测试参与者进行明确识别以及对测试环境进行无缝监控,是任何合法有效的测试程序的绝对必要条件。如果组织程序存在缺陷,导致无法将测试者的身份与其测试表现明确关联起来,那么所有关于内容效度和统计效度的后续声明都将失效。
| 我们的质量标准 | 证据文件(支持文件) |
|---|---|
| 所有评估方法和结果记录过程均有明确的规则和标准,从而确保客观性和程序可靠性。评估量表基于欧洲语言共同参考框架(CEFR)参考等级(“能力描述”),并根据具体语境进行调整,能够有效衡量所评估的语言子能力。 | 评估实施手册、评估规范手册:测试软件的最低要求、生产性能评估标准。 |
| 评估人员具备必要的专业资格(例如,相关大学学位)和相关的教学经验。 | 评估员资格参考资料 |
| 该系统化的培训计划为评估人员提供了持续、准确地应用评估指南所需的必要技能。 | 评估员的培训证书 |
| 由合格专家进行的系统性人工质量控制和合理性检查(人机交互)验证了自动评估过程的准确性和解决方案密钥的正确性。 | 机器评估技术处理准确性的证明 |
| 考试成绩的评价与考官个人的严格程度无关,并且不受针对特定任务或人群的系统性偏见的影响。 | 客观评价质量的确认(多方面Rasch分析) 目标值:Infit/Outfit MNSQ 0,5–1,5;评分者偏差 |t| ≤ 2,0。 |
在心理测量学和语言测验理论文献中,绩效评估的效度必须依赖于标准化的、外部锚定的标准(标准参照测量)。为了排除主观标准的影响,评分量表必须与已建立的、基于理论的参考体系精确匹配。
| 我们的质量标准 | 证据文件(支持文件) | 心理测量目标值 |
|---|---|---|
| 测试题目具有足够的区分度,能够有效、可靠地区分语言能力较高和较低的考生。 | 统计项目区分度的证明 | 校正后的辨别率 rit ≥ 0,30(目标范围 ≥ 0,40–0,50);干扰项选择频率 > 5%,且具有负点二列相关性。 |
| 测试任务的难度级别充分涵盖了目标人群的整个能力范围。 | 题目难度是否适当? | 项目难度 P = 0,20 至 0,80(P ≈ 0,50 为最优值);猜测概率 P_chance = 0,25,有 4 个选项。 |
| 测试项目在相关子群体中具有不变的功能(不受性别或母语的影响)。 | 测试公平性确认(差异项目功能/DIF) | ETS A类(DIF < 1,0 或 p > 0,05;可忽略/一般)。 |
| 我们的质量标准 | 证据文件(支持文件) | 心理测量目标值 |
|---|---|---|
| 测试形式的一致性: 不同测试版本之间的测试结果一致(水平稳定性)。 | 测试形式等效性(平行测试信度)的质量证明 | 平行形式信度 r ≥ 0,80(短量表 r ≥ 0,70);无显著平均差异(等效性检验)。 |
| 各项任务的一致性: 测试题目具有同质性(内部一致性)。 | 内部一致性和同质性的证明 | Cronbach's α 或 McDonald's ω ≥ 0,85(目标 ≥ 0,90;短量表 < 20 个项目:α ≥ 0,75)。 |
| 我们的质量标准 | 证据文件(支持文件) | 心理测量目标值 |
|---|---|---|
| 同一位考官对考试表现的评估具有稳定性和一致性(判断的一致性)。此外,不同考官的评估在严谨性方面也无显著差异(中立性)。 | 判断的一致性和中立性的经验证据 | 判断中立性:p > 0,05 且 Cohen's d < 0,20(或部分 ηp² < 0,01);评分者间一致性:ICC ≥ 0,85(0,75–0,84 可接受),κ_w ≥ 0,75;评分者内一致性:ICC ≥ 0,75,κ_w ≥ 0,75。 |
| 我们的质量标准 | 证据文件(支持文件) | 心理测量目标值 |
|---|---|---|
| 构造表示: 测试结果的内部结构与理论定义的结构(GER)相符。 | 结构维度的实证证据(EFA/CFA)。 | EFA:KMO ≥ 0,80,Bartlett p < 0,05,电荷 λ ≥ 0,60(最小值 > 0,30); CFA:RMSEA ≤ 0,05(最高 0,08)、SRMR ≤ 0,08、CFI 和 TLI ≥ 0,95(最小值 ≥ 0,90)。 |
| 法则网络: 测试结果与已建立的标准化测试程序(外部标准)相符。 | 效标效度(外部效标)的实证证据 | 聚合效度:r ≥ 0,60(目标 r ≥ 0,70,p < 0,01);衰减校正 rcorr ≥ 0,80;区分效度:r < 0,30。 |
| 我们的质量标准 | 证据文件(支持文件) | 心理测量目标值/分析 |
|---|---|---|
| 目标领域性能指标: 测试结果与实际操作能力相关。 | 证明同时效度的文件(教师评估)/证明预测效度的文件(相关专家的实际验证) | 一致性效度 r ≥ 0,40(教师评价);预测效度 r ≥ 0,30(实践经验)。 |
| 性能可比性: 测试项目和评价标准符合目标领域的既定标准。 | 通过专家验证确认标准的相关性。 | 系统性的专家比较。 |
| 真实性和一致性: 输入材料和格式符合典型的实际要求。 | 确认情境真实性(输入分析)。 | 输入材料与文本体裁具有高度情境一致性(专家评审)。 |
| 语言表现与真实表现样本相比,没有明显的结构性偏差。 | 结构性能等效性的实证研究(多元方差分析)。 | MANOVA 不显著(p > 0,05);单变量偏 ηp² < 0,01(容差范围 0,01 至 < 0,06;≥ 0,06 不可接受)。 |
| 测试参与者运用与概念相关的认知问题解决策略(真正理解而不是猜测)。 | 符合建构的心理过程的证据(过程分析)。 | 过程分析。 |
| 我们的质量标准 | 证据文件(支持文件) | 心理测量目标值 |
|---|---|---|
| 适用性/实用性: 利益相关者(大学、讲师)认为这些结果有助于做出合理的决策。 | 证明测试结果具有实际应用价值。 | 利益相关者调查中获得高度认可(认可率≥80-85%)。 |
| 决策规则: 分数线是经过正规标准制定程序确定的结果。 | 评估框架 - 标准制定程序/合格分数线。 | 根据安格夫法或书签法,专业认可的合格分数线/临界值定义。 |
| 分类质量和一致性: 分类结果基本与独立参考评估相符。 | 分类准确率证明(临界分数)。 | 分类准确率≥0,90;可靠性指标Φ≥0,70;最小化假阳性/假阴性率。 |
| 可解释性和沟通性: 测试结果清晰易懂,便于利益相关者解读。 | 确认结果报告的可解释性和实用性。 | 可用性调查中评分报告的可理解性高(认可率≥85%)。 |
| 应用保真度: 决策者在工作中始终如一地运用既定的决策规则。 | 遵守申请规定的证明。 | 通过系统日志审核(二维码扫描)进行合规使用/验证。 |
| 我们的质量标准 | 证据文件(支持文件) |
|---|---|
| 测试使用的实际效果确实达到了预期效果,而负面影响则保持在最低限度。 | 测试结果后果的证据(用户收益和反拨效应) |
| 测试参与者的权利、尊严和敏感数据受到严格的指导方针(包括投诉程序)的保护。 | 申诉指南,信息管理系统手册 |
| 这项测试的实施对教育系统产生了积极的反拨效应(注重技能而不是考试策略)。 | 测试结果后果的证据(宏观影响和社会效益) |
在现代测试理论中,申诉程序和信息安全准则的实施并非纯粹的行政行为,而是确保结果效度的强制性方法论工具(参见 Messick,1989;1995)。规范的仲裁程序可作为必要的定性复核手段,用于识别与构念无关的变异。
您需要加载reCAPTCHA内容才能提交表单。请注意,这涉及到与第三方服务提供商交换数据。
更多信息您目前正在查看Turnstile的占位符内容。要访问实际内容,请点击下方按钮。请注意,这将涉及与第三方共享数据。
更多信息您当前正在查看reCAPTCHA的占位符内容。要访问实际内容,请点击下方按钮。请注意,这将涉及与第三方共享数据。
更多信息