Die ISO 29992 als Qualitätsrahmen für Sprachtests
Die ISO 29992:2021 definiert allgemeine Qualitätsanforderungen für Prüfungsverfahren, richtet sich jedoch nicht speziell an Sprachtests oder die Bewertung sprachlicher Kompetenzen im Rahmen des Gemeinsamen Europäischen Referenzrahmens für Sprachen (GER). Daher sieht die Norm selbst vor, dass ihre Anforderungen an das jeweilige Fachgebiet angepasst werden müssen. Aus diesem Grund haben wir anwendungsspezifische Richtlinien entwickelt, die die ISO 29992 gezielt auf Sprachtests übertragen. Diese Richtlinien konkretisieren die allgemeinen Vorgaben der Norm und dienen uns als praxisnahe Leitlinien, um valide Sprachprüfungen zu konzipieren, durchzuführen und auszuwerten.

Wissenschaftlicher Nachweis der Eignung
Da wir der erste Anbieter sind, der die ISO 29992 im Kontext von Sprachtests anwendet, haben wir eine wissenschaftliche Beweisführung unternommen, um nachzuweisen, dass die ISO 29992 als Rahmendokument geeignet ist, die Bewertung von Sprachkompetenzen im Sinne des Gemeinsamen Europäischen Referenzrahmens für Sprachen (GER) zu definieren und verlässlich zu gewährleisten. Für die Beweisführung haben wir einen Abgleich mit einem etablierten, modernen Framework der argumentationsbasierten Validierung vorgenommen.

Das Validierungsargument nach Chapelle als modernes theoretisches Rahmenwerk
Das modernste theoretische Rahmenwerk ist das von Carol A. Chapelle entwickelte Validierungsargument. Das Modell von Chapelle baut auf Toulmins Argumentationstheorie auf und unterteilt die Validierung eines Sprachtests in eine Reihe von Inferenzebenen, die logisch miteinander verbunden sind und zusammen eine logische Begründung für die Gültigkeit eines Tests liefern. Validierungsargumente integrieren alle „klassischen“ Gütekriterien und betten diese in einen Gesamtzusammenhang ein. Ein Validierungsargument basiert auf der Annahme, dass die Interpretation und Nutzung von Testergebnissen durch eine Reihe von Argumenten gestützt werden müssen, die sich auf verschiedene Aspekte der Testentwicklung, Durchführung und Bewertung beziehen. Eine solche Validierung wird häufig als „validity argument“ bezeichnet.

Validierung als evidenzbasierter Prozess
Chapelle versteht Validierung als einen evidenzbasierten Prozess zur Entwicklung und Bewertung von Argumenten über die Interpretation und Nutzung von Testergebnissen. „Entscheidungen darüber, welche Arten von Evidenz für das Validitätsargument in einem bestimmten Fall wichtig sind, können durch die Entwicklung eines Sets von Behauptungen oder Annahmen geklärt werden, die die vorgeschlagene Interpretation für den jeweiligen Testzweck stützen.“ Bei der Überprüfung und Bestätigung, dass ein Test oder ein Bewertungsverfahren tatsächlich das misst, was es zu messen vorgibt, muss basierend auf empirischer und theoretischer Evidenz argumentiert werden, dass die Art und Weise, wie Assessmentergebnisse interpretiert werden, gerechtfertigt werden können.

Inferenz, Warrants und das Argumentationsschema
Eine Inferenz ist eine logische Verbindung zwischen Daten und Schlussfolgerung, die durch einen sogenannten Warrant legitimiert oder durch ein Rebuttal als unzulässig dargestellt wird (vgl. Chapelle & Voss, 2021, S. 35). Die Validierungsargumente bei Chapelle sind jedoch nicht direkt eine einzelne Komponente des Toulmin-Argumentationsschemas, sondern das gesamte argumentationsbasierte Konstrukt, das aus einer Kette von Claims (Schlussfolgerung), Grounds (Unterstützung), Assumptions (Annahmen) und Warrants (Rechtfertigung) besteht. Warrants und Assumptions haben dabei die Funktion, den Claim zu stützen.

Schlüsselkomponenten des Validierungsarguments

Grounds (G): Unterstützende Begründungen, die den Claim stützen, z. B. theoretische Grundlagen oder empirische Nachweise.

Assumptions (A): Grundlegende Aussagen, die für die Argumentation notwendig sind, jedoch nicht direkt überprüft werden. Sie bilden die Basis für Warrants und helfen, empirisch prüfbare Hypothesen zu formulieren.

Backing (B): Zusätzliche Absicherungen wie Beispiele, Statistiken, Logik, Emotionen oder Ethik. Dies kann in Form von Texten, Tabellen, Abbildungen oder ausführlichen Beschreibungen vorliegen.

Warrant (W): Allgemeine Regeln oder Prinzipien, die erklären, warum Grounds den Claim plausibel machen. Warrants sind die rationale Brücke zwischen Begründung und Schlussfolgerung.

Inferenzebenen im Validierungsargument

Domänenbeschreibung: Die Prüfungsaufgaben repräsentieren die Zieldomäne angemessen. Eine Bedarfsanalyse hilft, relevante Merkmale der Zieldomäne zu erfassen.

Bewertungsinferenz: Prüfung, ob Bewertungssysteme und -kriterien fair und valide die Sprachkompetenz beurteilen.

Generalisierungsinferenz: Sicherstellung, dass Testergebnisse unter unterschiedlichen Bedingungen stabil und verlässlich sind und auf vergleichbare Situationen übertragbar bleiben.

Erklärungssinferenz: Beleg, dass der Test tatsächlich das vorgesehene Konstrukt misst, also die sprachlichen Fähigkeiten präzise erfasst.

Extrapolationsinferenz: Übertragung der Testergebnisse auf reale Sprachverwendungen in sozialen oder beruflichen Kontexten.

Entscheidungsinferenz und Konsequenzen: Prüfung, ob Testergebnisse fundierte Entscheidungen ermöglichen und die daraus resultierenden Folgen gerechtfertigt sind.

Fazit: Aufbau eines vollständigen Validitätsarguments mit der ISO 29992

Die ISO 29992 fordert grundsätzlich die Erstellung zahlreicher evidenzbasierter Dokumente, etwa zur Beschreibung der Zielkompetenzen, zur Bewertungsgestaltung, zur Ergebnissicherung oder zur Folgenabschätzung. Diese Dokumente fungieren als Grounds innerhalb des Validierungsarguments nach Chapelle: Sie liefern die empirischen und theoretischen Evidenzen, welche die einzelnen Claims über die Validität des Sprachtests stützen und absichern.

Durch die sorgfältige Dokumentation und Anwendung der normativen Anforderungen — etwa zur Domänenbeschreibung, Bewertungsinferenz, Generalisierung und weiteren Inferenzebenen — entsteht ein kohärentes, logisch vernetztes Argumentationsgefüge. Dieses deckt alle relevanten Aspekte der Testqualität ab und macht transparent, wie und warum die Testergebnisse valide interpretiert und genutzt werden können.

Die ISO 29992 liefert somit nicht nur einen allgemeinen Qualitätsrahmen, sondern durch ihre praxisorientierten Vorgaben auch die notwendige Grundlage für den Aufbau eines belastbaren Validitätsarguments im Sinne der modernen, argumentationsbasierten Validierung.