意思決定者向け情報：Deutschtest.digitalの妥当性検証論証 – 最新の言語診断によるエビデンスに基づいた意思決定の信頼性

Deutschtest.digital は、言語テストの開発、管理、評価、および継続的な品質保証をDIN ISO 29992の要件に基づいて行っています。ISO 29992 (「学習サービスの成果の評価」) では、国際標準化委員会 ISO/TC 232 (「教育および学習サービス」) が、学習サービスを提供し、評価を開発、選択、または適用する組織を対象とした専用規格を発行しました。国際規格 ISO 29992 は、ドイツ標準化協会 (DIN) によってDIN ISO 29992として国内規格システムに採用されています。

この規格は、評価の計画、開発、管理、評価に関する具体的な品質要件を規定し、欧州言語共通参照枠（CEFR）に基づく言語能力の測定を明示的に含んでいます。純粋にテスト理論的なガイドラインとは異なり、ISO 29992は主に品質保証されたサービス管理の論理に基づいています。Deutschtest.digitalにとって、これは品質保証のための中心的な組織的および方法論的枠組みを形成します。これにより、信頼できる証拠の生成、テストプロセスの透明性のある文書化、検証可能で追跡可能な基準に基づく言語テストの一貫した品質の確保が可能になります。同時に、意思決定者に対して包括的な法的、制度的、および方法論的な確実性を提供します。

ISO 29992の要求事項は、以下の主要な章に構成されています。

• 章1 本規格の適用範囲が規定されている。主な適用例として、(1)個々の学習者の成果の測定、(2)学習進捗状況の判定の2つが挙げられる。
• 章2 他の規格への参照を指します（ISO 29992:2021規格にはそのような参照はありません）。
• 章3 診断／性能測定に関連する一連の技術用語を定義する。
• 章4 この規格は、診断ツール（本文中では一貫して「評価」と呼ばれる）の計画に関する具体的な推奨事項を提供します。DIN ISO 29992:2021-04 によると、計画フェーズには、ニーズ分析、リソース計画文書、および診断ツールの適用範囲、ツールに基づいて行われる決定、その結果の解釈、診断ツールの使用によって意図される結果、ツールの目的と使用される評価方法との関係、結果、その解釈、使用、および結果との関係、テスト結果の伝達、使用条件、スケジュール、およびコスト、評価手順、評価環境（例：施設）、評価への参加の前提条件、学習成果の評価で使用されるツールと方法の適用可能な規格、品質保証手順、評価の開発および/または実施に関与する利害関係者、診断ツールの運用計画、手順規則、ならびに診断ツールの入手可能性とテスト仕様要件のカバー範囲に関する情報を含むフレームワーク文書を含める必要があります。
• 章5 本書には、診断ツールの開発に関する多くの推奨事項が含まれています。これには、ツールの使用時期（学習プロセス前、学習中、学習後）、テスト開発者の資格、テスト項目／試験問題の形式、診断ツールの実施に関する空間的、時間的、組織的、技術的な仕様などが含まれます。さらに、客観性、信頼性、妥当性といったテスト品質基準、テスト項目／試験問題の開発プロセス、診断ツールの結果を判定する手順、結果の伝達方法と時期に関する枠組み、結果に異議を申し立てる手順、技術文書の要件についてもガイダンスを提供しています。
• 章6 これは、診断ツールの管理面に関する事項に焦点を当てたものです。具体的には、実施に関するガイドライン、検査の安全性を確保するための計画、診断ツールの実施を監督する担当者の資格と責任、および評価者の資格などが含まれます。
• 章7 これは、診断機器の運用上の使用に関するものです。運用上の使用に関する文書、例えば信頼性および妥当性の証拠、診断機器の実施に関する規則、検査方法論の品質管理および関連プロセスに関する統計的手順などが必要です。さらに、第7章では、既存の診断手順を継続的に改訂および発展させる方法に関する詳細な計画が求められています。
• 章8 このセクションでは、公平性の問題について説明します。この観点から、診断ツールの提供者と受験者との間で締結される正式な契約などの特徴を概説します。この契約には、例えば、試験料金、関係者の権利と義務、参加要件、診断ツールの説明、データ保護に関する情報、およびスケジュールに関する詳細が含まれるべきです。第8章ではさらに、差別の禁止、受験者の権利、診断ツールの公平性、診断ツールに関わる者の行動規範、および受験者に提供される情報についても説明します。
• 章9 DIN ISO 29992:2021-04は、診断機器の使用に関する倫理的考察をさらに詳しく扱っています。この点において、同規格は関係者全員の責任を明確に定義することを求めています。さらに、診断機器に関する真実かつ正確な情報の提供を要求しています。最後に、診断機器は、収集データの機密性、データの保護とセキュリティ、通信チャネルのセキュリティなど、情報セキュリティの様々な側面を保証する必要があります。そして最終的には、通信管理システムを計画し、文書化することも求められます。
• 安航A 診断手順の技術文書において構造化された方法で収集すべき情報を指定します。これには、診断機器の計画と開発から運用上の適用に至るまでの診断機器のライフサイクル全体に関連するすべての文書が含まれます。関連する文書には、ニーズ分析、診断機器の使用に関するフレームワーク、採点仕様、診断機器の実施マニュアル、関係者向けのトレーニングマニュアル、評価者用フォーム、検査者/評価者、監督者などの資格とトレーニングに関する仕様、テスト項目の開発手順に関する文書、診断機器のテスト監査と妥当性検証研究の文書、定期的な品質保証の証拠、個々のテスト項目の心理測定学的品質の証拠、不適切なテスト項目の排除に焦点を当てた手順の証拠、結果の手動採点の検証と手順の証拠、およびライブ採点がテスト仕様に適合している証拠が含まれます。機械ベースの評価の信頼性の証拠、仲裁と上訴の手順の証拠、および再評価の場合の手順の証拠。この非常に幅広い証拠に加え、診断機器のユーザーがどのように機器を使用する際にサポートを受けるべきかに関する技術文書の要件も規定されている。技術データおよび文書の保管に関する詳細は、規格の実質的な部分を締めくくるものである。

DIN ISO 29992は、Deutschtest.digitalに正式な品質フレームワークを提供するだけでなく、語学テストの開発、管理、継続的な見直しのための体系的な基盤も構築します。この規格を適用する主な利点は、特に以下の分野にあります。

拘束力のあるセキュリティアーキテクチャの確保：本規格は、構造化されたセキュリティ計画の要件を定めています。DIN ISO 29992を適用する組織は、不正操作（詐欺防止）に対する予防措置を体系的に実施し、定義されたプロセスを通じて、タスクの完全性、情報セキュリティ、およびIDセキュリティを保護しなければなりません。

ライフサイクル管理による持続可能な品質保証： ISO 29992は、継続的な保守・監視プロセス（保守計画）を要求することで、試験品質の長期的な保証を支援します。この規格は、一度限りのレビューではなく、試験手順の継続的な評価と改善を品質保証の重要な要素と位置付けています。これにより、試験品質の変化を早期に特定し、経験的に裏付けられた対策によって修正することが可能になります。

欧州言語共通参照枠（CEFR）との技術的な連携：本規格の構造により、一般的な品質要件を言語診断に体系的に適用することが可能になります。これにより、ISO 29992の要件を欧州言語共通参照枠（CEFR）の理論に基づいた能力記述と連携させることができ、テスト結果を言語レベルに分かりやすく割り当てる根拠を明確に示すことができます。

結果の解釈と利用に関する透明性のある説明： ISO 29992では、評価結果とその解釈との関係を明確に示すことが求められています。これにより、試験結果からどのような結論を導き出せるのか、また証明書をどのような目的で使用できるのかを、科学的に理解しやすい形で説明するための基礎が築かれます。

科学的に妥当な検証論拠の根拠： ISO 29992の重要な利点は、関連する証拠の構造化された生成と文書化をサポートすることです。心理測定法と組み合わせることで、科学的に妥当な検証論拠を構築するための強固な証拠基盤が生まれます。この論拠により、試験結果の解釈と使用を、透明性、理解しやすさ、そして確かな専門的根拠に基づいて正当化することが可能になります。

外部品質保証のため、当社は独立認証機関であるDeuZertと提携しています。DeuZertは、認証決定の完全な完全性、信頼性、および承認を保証します。20年以上にわたる経験を持つDeuZertは、教育および認証分野において包括的な専門知識を有しています。

DeuZertによる独立認証の重要な付加価値は、導入されたプロセスの品質が組織自身によってのみ評価されるのではなく、外部の専門家によるレビューの対象となる点にあります。これにより、意思決定者にとって信頼性がさらに高まります。特に以下の点が重要です。

• 制度の独立性と客観的な評価： DeuZertは独立した認証機関として、透明性の高い試験手順を用いて、定められた要件の実施状況を評価します。被監査組織と外部評価機関との分離により、自己評価が防止され、認証決定の客観性が強化されます。
• 監視監査による継続的な品質保証： 実施された手順の質は一度評価されるのではなく、定期的なレビューを通じて継続的に監視されます。この外部管理により、方法論的および組織的な要件が常に満たされ、さらなる改善が体系的に見直されることが保証されます。

監査プロセスが無事完了したことを受け、DeuZert社よりDIN ISO 29992への適合証明書が発行されました。この証明書は、Deutschtest.digitalにおいて実施されているドイツ語能力評価の計画、開発、実施、評価に関する手順が、当該規格の要件を満たしており、独立した外部監査の一環として評価されたことを証明するものです。

この適合証明書は、Deutschtest.digitalが学習成果の評価に関する国際的に認められた基準にテス​​トプロセスを準拠させていることを正式に証明するものです。また、テスト結果の透明性、比較可能性、および品質を確保するために、基準に準拠した手順が体系的に実施されていることを確認するものです。

監視監査は、DeuZertに代わって活動する経験豊富な教育専門家、試験官、監査員、評価員からなるネットワークによって実施されます。この高度に専門化されたチームを活用することで、当社のプロセスと証拠の評価が単なる事務的なものではなく、内容と語学テスト理論に関する最高レベルの専門知識に基づいて行われることが保証されます。

ISO 29992の監査手順は、上位規格であるDIN EN ISO/IEC 17065の要件に準拠します。この規格は試験そのものを規定するものではなく、認証機関の作業方法、独立性、および能力を規定するものです。これにより、外部監査が商業的または内部的な利益相反から完全に独立していることが保証されます。その結果、透明性をもって文書化された専門的かつ方法論的な基盤に基づき、試験および評価プロセスの規格準拠の実施について、独立した外部機関による確認が得られます。

テスト開発者が科学的な品質基準を個別に検討すると、テスト全体の論理と目的を見失う危険性があります。言語テストの質は、個々の課題や統計的パラメータのみによって決まるのではなく、テスト手順のすべての構成要素の相互作用によって決まります。そのため、現代の言語テスト研究では、バッハマン＆パーマー、マイケル・ケイン、キャロル・シャペルらの研究に影響を受け、テストの妥当性は包括的かつ多次元的な品質概念として理解されています。重要なのは、個々の品質基準が満たされているかどうかではなく、テスト結果から導き出される結論が全体として正当化できるかどうかです。

この問題は、語学テストの結果が教育、キャリア、居住地の決定に広範な影響を与えることが多いため、特に重要です。したがって、テスト提供者は特別な職業倫理的責任を負っています。テスト手順の質を保証するだけでなく、その質を透明性をもって証明できなければなりません。現代の妥当性研究において、いわゆる妥当性論証の概念が発展したのは、まさにこの必要性からでした。

歴史的に見ると、このアプローチは1990年代から2000年代にかけて、それまでの非常に抽象的な科学的妥当性モデルに対する画期的な対応として登場しました。それまでのモデルは、実際のテスト実践において具体的な指針をほとんど提供していませんでした。アメリカの研究者マイケル・ケインは、哲学者スティーブン・トゥールミンの実践的議論理論をテスト理論に応用しました。著名な言語学者キャロル・シャペルは、その後、この論理を言語テスト研究のためにさらに発展させました。彼女は2008年から始まったTOEFL iBTの先駆的な妥当性検証で世界的に有名です。彼女はこのモデルを、7つの正確な推論ステップからなるシームレスな連鎖へと洗練させ、今日では、テスト解釈の体系的な正当化と文書化のための確立された現代的なアプローチとなっています。

このアプローチの決定的な利点は、語学試験機関を単なる「証明書発行者」という受動的な役割から解放することにある。試験提供機関は、整理されていない個別の文書や厳格なチェックリストを認定機関や大臣の意思決定者に提出するだけでなく、積極的かつ主体的な「擁護者」としての役割を担うことができるようになる。これにより、試験の妥当性、公平性、法的確実性を、体系的に構築された証拠の連鎖を通して自ら証明し、意思決定者に対して独立して、透明性をもって、科学的に反論の余地のない方法で主張することが可能になる。

妥当性検証論証とは、テスト結果の妥当性を正当化するために用いられる構造化されたアプローチを指す。出発点は、すべてのテストが個人の言語能力について何らかの主張をしているという前提である。例えば、ある人が欧州言語共通参照枠（CEFR）のB1レベルに割り当てられたとすれば、それはその人がこのレベルで定義された言語スキルを習得していることを意味する。妥当性検証論証の役割は、この主張を体系的に裏付け、分かりやすく正当化することである。

これは、テスト課題から実施、評価、そして結果の解釈に至るまで、一貫した論理的思考プロセスを構築することを意味します。各段階において、理論的根拠と実証的証拠（いわゆる裏付け）を用いて、前提が正当であることを示します。このようにして、妥当性検証の議論は科学的証拠と実践的なテスト決定を結びつけ、特定のテスト結果がなぜ定義された言語能力の有意義な証拠とみなされるのかを明確にします。こうして、言語テストに対する信頼、透明性、そして法的責任の基盤が築かれるのです。

言語テストの質に関する揺るぎない専門的な証拠を提供するために、現代の診断方法は明確な論理構造に従っています。これら7つのレベルそれぞれについて実証的な証拠が存在する場合にのみ、テストは実用上完全に信頼できるものとみなされます。

以下では、ドイツ語能力評価のための妥当性検証論証の方法論的構造について説明します。妥当性検証論証は常に特定の対象領域、定義された能力レベル、および特定の目的に向けられているため、根拠となる証拠は、テスト結果の意図された解釈と使用に合わせて具体的に構成されなければなりません。以下に示す構造は、妥当性検証論証内の個々の結論（推論）がどのように関連付けられ、結果として得られる記述を科学的に裏付けるためにどのような種類の証拠（裏付け）が必要かを示しています。すべての経験的および統計的証拠を含む完全な妥当性検証論証は、このプレゼンテーションの範囲を超えるため、ここでは対応する証拠文書を例として列挙します。