Informationen für Entscheidungsträger: Das Validierungsargument von Deutschtest.digital – Evidenzbasierte Entscheidungssicherheit durch moderne Sprachdiagnostik
Die Zuordnung einer Sprachprüfung zum Gemeinsamen Europäischen Referenzrahmen für Sprachen (GER) stellt einen komplexen Validierungsprozess dar. Die Behauptung, dass eine Prüfung einem bestimmten GER-Niveau entspricht, gilt nicht als unmittelbar beobachtbare Tatsache, sondern muss durch theoretische und empirische Evidenz gestützt werden. Die Erhebung und Bewertung dieser Evidenz erfolgt im Rahmen der Validierung des entsprechenden Geltungsanspruchs.
(vgl. Council of Europe, 2009, S. 7)Wenn Sie als Entscheidungsträger von einem Antragsteller den Nachweis seiner Sprachkenntnisse verlangen, wird Ihnen in der Regel ein Sprachzertifikat oder ein entsprechendes Prüfungsergebnis vorgelegt. Ein solches Testergebnis dient als Nachweis einer bestimmten Sprachkompetenz. Die entscheidende Frage lautet dabei jedoch nicht allein, welches Ergebnis eine Prüfungsteilnehmerin oder ein Prüfungsteilnehmer erzielt hat, sondern auf welcher wissenschaftlichen Grundlage diese Aussage getroffen werden kann.
Die Aussagekraft des Testergebnisses hängt maßgeblich davon ab, ob die zugrunde liegenden Prüfungsprozesse wissenschaftlich fundiert, technisch abgesichert und organisatorisch kontrolliert durchgeführt werden. Entscheidend ist daher nicht nur das ausgewiesene Ergebnis, sondern die Qualität des gesamten Systems, durch das dieses Ergebnis entsteht.
Um die Belastbarkeit eines Sprachzertifikats beurteilen zu können, muss betrachtet werden, unter welchen Bedingungen Prüfungsdaten erhoben, verarbeitet und interpretiert werden. Aus diesen kontrollierten Prozessen entstehen die erforderlichen Evidenzen, die eine wissenschaftliche Bewertung der Prüfungsqualität ermöglichen.
Diese einzelnen Evidenzen stellen jedoch noch keine abschließende Begründung für die Interpretation eines Testergebnisses dar. Erst durch ihre systematische Zusammenführung innerhalb eines Validierungsarguments entsteht eine nachvollziehbare wissenschaftliche Grundlage dafür, warum aus einem konkreten Prüfungsergebnis eine bestimmte Aussage über die Sprachkompetenz einer Person abgeleitet werden kann..
Die folgenden Abschnitte erläutern zunächst die Infrastruktur der Evidenzgenerierung – also die Standards, Prozesse und Kontrollmechanismen, durch die belastbare Nachweise entstehen. Anschließend wird dargestellt, wie diese Evidenzen im Rahmen unseres Validierungsansatzes systematisch zusammengeführt werden und welche wissenschaftliche Grundlage der Interpretation unserer Testergebnisse zugrunde liegt.
1. Die Infrastruktur zur Erzeugung belastbarer Evidenzen
Um als Testorganisation objektiv zu belegen, dass ein Zertifikat kein leeres Versprechen darstellt, bedarf es belastbarer empirischer Evidenzen (psychometrische Daten, Reliabilitätsanalysen, Validierungsdokumentationen). Die moderne Testforschung betont dabei eine zentrale Prämisse: Es gibt per se keine „validen Tests“ oder „validen Testergebnisse“ – valide kann stets nur die Interpretation und Nutzung dieser Ergebnisse für einen bestimmten Zweck sein.
Nur durch ein methodisch lückenloses Qualitätsmanagement wird garantiert, dass ein Testanbieter kontinuierlich saubere, unbestechliche Rohdaten erzeugt, die eine solche valide Interpretation der Sprachkompetenz überhaupt erst rechtfertigen. Da derartige Evidenzen jedoch nur dann vertrauenswürdig sind, wenn sie nicht willkürlich entstehen, bedarf es einer strengen, unabhängigen Systemarchitektur. Diese ruht auf fünf tragenden Säulen:
Säule a) Der Standard
Info-Box / Definition: Was ist ein Standard?
Ein Standard ist ein dokumentiertes Regelwerk, das Anforderungen, Kriterien oder Empfehlungen für bestimmte Prozesse, Verfahren oder Dienstleistungen beschreibt. Er schafft einen gemeinsamen Bezugsrahmen, um Qualität, Vergleichbarkeit, Transparenz und Nachvollziehbarkeit systematisch sicherzustellen. Standards können von unterschiedlichen Akteuren entwickelt und veröffentlicht werden und dienen dazu, bewährte Vorgehensweisen, fachliche Anforderungen und Qualitätsmaßstäbe nachvollziehbar zu definieren.
Welchen Standard nutzt Deutschtest.digital?
Deutschtest.digital orientiert sich bei der Entwicklung, Durchführung, Bewertung und kontinuierlichen Qualitätssicherung seiner Sprachprüfungen an den Anforderungen der DIN ISO 29992. Mit der ISO 29992 („Bewertung der Ergebnisse von Lerndienstleistungen“) hat das internationale Normungskomitee ISO/TC 232 („Education and Learning Services“) einen dedizierten Standard herausgegeben, der sich an Organisationen richtet, die Lerndienstleistungen bereitstellen sowie Bewertungen entwickeln, auswählen oder anwenden. Die internationale Norm ISO 29992 wurde vom Deutschen Institut für Normung als DIN ISO 29992 in das nationale Normenwerk übernommen.
Die Norm formuliert spezifische Qualitätsanforderungen an die Planung, Entwicklung, Durchführung und Evaluation von Bewertungen und schließt die Messung von Sprachkompetenzen nach dem Gemeinsamen Europäischen Referenzrahmen für Sprachen (GER) explizit ein. Im Gegensatz zu rein testtheoretischen Leitlinien entstammt die ISO 29992 primär der Logik des qualitätsgesicherten Dienstleistungsmanagements. Für Deutschtest.digital bildet sie den zentralen organisatorischen und methodischen Rahmen zur Qualitätssicherung. Sie unterstützt uns dabei, belastbare Evidenzen zu erzeugen, Prüfungsprozesse transparent zu dokumentieren und die Qualität unserer Sprachprüfungen dauerhaft nach nachvollziehbaren und überprüfbaren Standards sicherzustellen. Gleichzeitig gewährt sie Entscheidungsträgern umfassende rechtliche, institutionelle und methodische Sicherheit.
Was beinhaltet die ISO 29992?
Die Anforderungen der ISO 29992 sind in folgende Hauptkapitel strukturiert:
- Kapitel 1 gibt den Anwendungsbereich der Norm an. Dabei werden zwei Schwerpunktanwendungen genannt: (1) die Messung individueller Ergebnisse von Lernenden sowie (2) die Bestimmung von Lernfortschritten.
- Kapitel 2 bezieht sich auf Bezüge zu anderen Normen (die im Fall von Norm ISO 29992:2021 nicht vorhanden sind).
- Kapitel 3 definiert eine Reihe von Fachbegriffen mit Bezug zur Diagnostik/Leistungsmessung.
- Kapitel 4 gibt konkrete Empfehlungen hinsichtlich der Planung von diagnostischen Instrumenten (im Text der Norm durchgängig als „Bewertung“ bezeichnet). Gemäß Norm DIN ISO 29992:2021-04 sollten in der Planungsphase eine Bedarfsanalyse ebenso erstellt werden wie Dokumente zur Ressourcenplanung und ein Rahmendokument mit Informationen zum Anwendungsbereich des diagnostischen Instruments; zu Entscheidungen, die auf der Grundlage des Instruments getroffen werden; zur Interpretation seiner Ergebnisse; zu beabsichtigten Konsequenzen durch den Einsatz des diagnostischen Instruments; zum Zusammenhang zwischen Zielen des Instruments und der in Anwendung gebrachten Bewertungsmethodik; zum Zusammenhang zwischen Ergebnissen, ihren Interpretationen, Verwendungen und Folgen; zur Übermittlung der Prüfungsergebnisse; zu Einsatzbedingungen, Zeitplanung und Kosten; zu Bewertungsverfahren; zum Umfeld der Bewertung (z.B. Räumlichkeiten); zu Voraussetzungen für die Teilnahme an der Bewertung und dabei anzuwendenden Standards zu Instrumenten und Methoden bei der Bewertung von Lernergebnissen; zu Qualitätssicherungsverfahren; zu an der Entwicklung und/oder Durchführung der Bewertung beteiligten Akteuren; zu einem Plan für den Operativbetrieb des diagnostischen Instruments; zu Durchführungsregeln; sowie zur Verfügbarkeit des diagnostischen Instruments und zum Grad der Abdeckung von Anforderungen der Testspezifikationen.
- Kapitel 5 enthält eine Reihe von Empfehlungen für die Entwicklung des diagnostischen Instruments. Aspekte hiervon sind der Zeitpunkt für den Einsatz des diagnostischen Instruments (vor, begleitend zum oder nach dem Lernprozess); die Qualifikation der Testentwickler; das Format der Testitems/Prüfungsaufgaben; sowie die räumlichen, zeitlichen, organisatorischen und technischen Spezifikationen für die Durchführung des diagnostischen Instruments. Weiterhin finden sich Hinweise zu den Testgütekriterien Objektivität, Reliabilität und Validität; zum Prozess der Entwicklung von Testitems/Prüfungsaufgaben; zu Verfahren, wie die Ergebnisse des diagnostischen Instruments ermittelt werden; zu den Rahmenbedingungen, wie und wann die Ergebnisse des diagnostischen Instruments kommuniziert werden; zu Verfahren bei der Anfechtung der Ergebnisse; sowie zu Anforderungen an die technische Dokumentation.
- Kapitel 6 fokussiert auf administrative Aspekte eines diagnostischen Instruments. Facetten hiervon sind Richtlinien für die Durchführung; ein Plan zur Gewährleistung von Testsicherheit; die Qualifikation und die Verantwortlichkeiten von Personen, die bei der Durchführung eines diagnostischen Instruments Aufsicht führen; sowie die Qualifikation von Bewertern.
- Kapitel 7 bezieht sich auf den operativen Betrieb eines diagnostischen Instruments. Hier werden Dokumente zum Operativbetrieb eingefordert, etwa mit Blick auf Nachweise für Reliabilität und Validität; Vorschriften zur Durchführung des diagnostischen Instruments; sowie statistische Verfahren zum testmethodischen Qualitätsmanagement und darauf bezogene Prozesse. Des Weiteren fordert Kapitel 7 einen detaillierten Plan darüber ein, wie ein bestehendes diagnostisches Verfahren kontinuierlich überarbeitet bzw. weiterentwickelt werden soll.
- Kapitel 8 beschäftigt sich mit dem Komplex der Fairness. Unter diesem Gesichtspunkt sind Merkmale zu fassen wie eine Formelle Vereinbarung, die zwischen dem Anbieter eines diagnostischen Instruments und Prüfungskandidaten abgeschlossen werden soll. Diese soll beispielsweise Angaben zu Prüfungsgebühren, Rechten und Pflichten der beteiligten Personen, Teilnahmevoraussetzungen, eine Beschreibung des diagnostischen Instruments, Hinweise zum Datenschutz sowie Informationen zu zeitlichen Abläufen enthalten. Kapitel 8 formuliert ferner Hinweise zu einem Diskriminierungsverbot; zu Rechten der Prüfungskandidaten; zur Neutralität des diagnostischen Instruments; zu Verhaltensmaßregeln für die am diagnostischen Instrument beteiligten Personen; sowie zu Informationen, die den Prüfungskandidaten zugänglich gemacht werden.
- Kapitel 9 adressiert weitere ethische Gesichtspunkte bei der Nutzung von diagnostischen Instrumenten. Diesbezüglich fordert die DIN ISO 29992:2021-04 eine Ausbuchstabierung der Verantwortlichkeiten aller beteiligten Parteien. Des Weiteren werden wahrheitsgemäße und exakte Informationen zu dem diagnostischen Instrument eingefordert. Nicht zuletzt soll ein diagnostisches Instrument diverse Facetten der Informationssicherheit gewährleisten, etwa die Vertraulichkeit erhobener Daten, den Schutz und die Sicherheit von Daten, die Sicherheit von Kommunikationswegen. Schließlich soll auch ein Kommunikationsmanagementsystem geplant und dokumentiert werden.
- Anhang A spezifiziert diejenigen Informationen, die in der technischen Dokumentation zu einem diagnostischen Verfahren strukturiert gesammelt werden sollen. Hierzu gehören sämtliche Dokumente, die den gesamten Life Cycle des diagnostischen Instruments betreffen, angefangen von der Planung des Instruments über seine Entwicklung bis zur operativen Anwendung. Einschlägige Dokumente umfassen die Bedarfsanalyse; die Rahmenbedingungen für den Einsatz des diagnostischen Instruments; die Bewertungsspezifikationen; ein Handbuch zur Durchführung des diagnostischen Instruments; ein Handbuch zur Schulung der Beteiligten; Formulare für Bewertende; Spezifikationen zur Qualifikation und zu Schulungen für Prüfende/Bewertende, Aufsichtsführende usw.; Dokumente zu Verfahren bei der Entwicklung von Prüfungsaufgaben; Dokumentationen von Testaudits und Validierungsstudien zu dem diagnostischen Instrument; Nachweise zur regelmäßigen Qualitätssicherung; Nachweise der psychometrischen Qualität einzelner Testitems; Nachweise zu Verfahren mit dem Fokus der Eliminierung ungeeigneter Testitems; Nachweise zur Überprüfung, Nachweise zu Verfahren bei der manuellen Auswertung der Ergebnisse; Nachweise zur Konformität von Live-Auswertungen mit den Testspezifikationen; Nachweise zur Reliabilität einer maschinellen Auswertung; Nachweise zum Schieds- und Beschwerdeverfahren; sowie Nachweise zum Verfahren im Falle von Wiederholungsbewertungen. Diese sehr breit gefächerten Nachweise werden noch ergänzt durch Anforderungen an eine technische Dokumentation, wie die Nutzer des diagnostischen Instruments bei der Anwendung unterstützt werden sollen. Ausführungen zur Aufbewahrung von technischen Daten und Dokumentationen beschließen den inhaltlichen Teil der Norm.
Welche wesentlichen Vorteile bietet die DIN ISO 29992?
Die DIN ISO 29992 bietet für Deutschtest.digital nicht nur einen formalen Qualitätsrahmen, sondern schafft eine systematische Grundlage für die Entwicklung, Durchführung und kontinuierliche Überprüfung unserer Sprachprüfungen. Die wesentlichen Vorteile der Anwendung dieses Standards liegen insbesondere in den folgenden Bereichen:
Sicherstellung einer verbindlichen Sicherheitsarchitektur: Die Norm formuliert Anforderungen an einen strukturierten Sicherheitsplan. Organisationen, die die DIN ISO 29992 anwenden, müssen präventive Maßnahmen gegen Manipulationen (Fraud Prevention) systematisch implementieren und die Integrität der Aufgabenstellungen sowie die Informations- und Identitätssicherheit durch definierte Prozesse absichern.
Nachhaltige Qualitätssicherung durch Lebenszyklus-Management: Durch die Forderung nach einem kontinuierlichen Aufrechterhaltungs- und Überwachungsprozess (Maintenance Plan) unterstützt die ISO 29992 eine langfristige Sicherung der Prüfungsqualität. Statt einer einmaligen Überprüfung betrachtet die Norm die kontinuierliche Evaluation und Weiterentwicklung von Prüfverfahren als wesentlichen Bestandteil der Qualitätssicherung. Dadurch können Veränderungen in der Testqualität frühzeitig erkannt und durch empirisch gestützte Maßnahmen korrigiert werden.
Fachliche Verknüpfung mit dem Gemeinsamen Europäischen Referenzrahmen (GER): Die Struktur der Norm ermöglicht es, allgemeine Qualitätsanforderungen systematisch auf die Sprachdiagnostik zu übertragen. Dadurch können die Vorgaben der ISO 29992 mit den theoriebasierten Kompetenzbeschreibungen des Gemeinsamen Europäischen Referenzrahmens für Sprachen (GER) verbunden und die Zuordnung von Testergebnissen zu Sprachlevels nachvollziehbar begründet werden.
Transparente Begründung der Interpretation und Nutzung von Ergebnissen: Die ISO 29992 fordert eine klare Darstellung des Zusammenhangs zwischen Bewertungsergebnissen und deren Interpretation. Dies schafft die Grundlage dafür, wissenschaftlich nachvollziehbar zu beschreiben, welche Aussagen aus einem Testergebnis abgeleitet werden können und für welche Zwecke ein Zertifikat verwendet werden darf.
Grundlage für ein wissenschaftlich begründetes Validierungsargument: Ein wesentlicher Vorteil der ISO 29992 besteht darin, dass sie die strukturierte Erzeugung und Dokumentation relevanter Evidenzen unterstützt. In Verbindung mit testtheoretischen Methoden entsteht daraus eine belastbare Evidenzbasis, auf deren Grundlage ein wissenschaftlich begründetes Validierungsargument entwickelt werden kann. Dieses ermöglicht es, die Interpretation und Nutzung der Testergebnisse transparent, nachvollziehbar und fachlich fundiert zu begründen.
Säule b) Eine unabhängige Zertifizierungsstelle
Info-Box / Definition: Was ist eine unabhängige Zertifizierungsstelle?
Eine unabhängige Zertifizierungsstelle ist eine externe, unparteiische Organisation, die überprüft und bestätigt, dass eine Organisation festgelegte Qualitätsanforderungen oder Standards erfüllt. Sie bewertet nicht die eigene Leistung der zertifizierten Organisation, sondern führt eine unabhängige Prüfung der dokumentierten Prozesse, Strukturen und Nachweise durch. Durch diese externe Bewertung entsteht eine zusätzliche Vertrauensebene, da die Qualitätssicherung nicht ausschließlich durch die Organisation selbst erfolgt.
Ein wesentliches Merkmal einer unabhängigen Zertifizierung ist die Trennung zwischen der Bewertung und der Zertifizierungsentscheidung. Die Prüfung der Prozesse und Nachweise erfolgt durch fachkundige Auditoren, während die abschließende Zertifizierungsentscheidung durch eine unabhängige Stelle getroffen wird. Dadurch werden Eigenbewertungen und mögliche Interessenkonflikte vermieden und die Objektivität sowie Glaubwürdigkeit der Zertifizierung sichergestellt.
Mit welcher unabhängigen Stelle arbeitet Deutschtest.digital zusammen?
Zur externen Qualitätssicherung arbeiten wir mit der unabhängigen Zertifizierungsgesellschaft DeuZert zusammen. DeuZert gewährleistet die vollkommene Integrität, Glaubwürdigkeit und Akzeptanz ihrer Zertifizierungsentscheidungen. Mit mehr als zwei Jahrzehnten Expertise verfügt DeuZert über umfassende Fachkompetenz im Bildungs- und Zertifizierungssektor.
Worin besteht der Vorteil einer unabhängigen Zertifizierung durch DeuZert?
Der wesentliche Mehrwert einer unabhängigen Zertifizierung durch DeuZert liegt darin, dass die Qualität der implementierten Verfahren nicht ausschließlich durch die Organisation selbst bewertet wird, sondern einer externen fachlichen Überprüfung unterliegt. Dadurch entsteht eine zusätzliche Vertrauensebene für Entscheidungsträger. Besonders relevant sind dabei die folgenden Aspekte:
- Institutionelle Unabhängigkeit und objektive Bewertung: DeuZert agiert als unabhängige Zertifizierungsstelle und bewertet die Umsetzung definierter Anforderungen anhand nachvollziehbarer Prüfverfahren. Durch die Trennung zwischen der geprüften Organisation und der externen Bewertungsinstanz werden Eigenbewertungen vermieden und die Objektivität der Zertifizierungsentscheidung gestärkt.
- Kontinuierliche Qualitätssicherung durch Überwachungsaudits: Die Qualität der implementierten Verfahren wird nicht nur einmalig betrachtet, sondern durch regelmäßige Überprüfungen kontinuierlich begleitet. Diese externe Kontrolle stellt sicher, dass die methodischen und organisatorischen Anforderungen dauerhaft eingehalten und Weiterentwicklungen systematisch überprüft werden.
Durch welchen formellen Nachweis wird Deutschtest.digital die normkonforme Umsetzung der DIN ISO 29992 bescheinigt?
Nach erfolgreich abgeschlossenem Auditierungsprozess stellt uns die DeuZert ein Zertifikat über die Konformität mit der DIN ISO 29992 aus. Dieses Dokument bestätigt, dass die bei Deutschtest.digital implementierten Verfahren zur Planung, Entwicklung, Durchführung und Evaluation von Bewertungen im Wissensgebiet der Deutschkompetenzen die Anforderungen der Norm erfüllen und im Rahmen einer unabhängigen externen Prüfung bewertet wurden.
Das Konformitätszertifikat dient damit als formeller Nachweis dafür, dass Deutschtest.digital seine Prüfungsprozesse an einem international anerkannten Standard für die Bewertung von Lernergebnissen ausrichtet. Es bestätigt die systematische Umsetzung normgerechter Verfahren zur Sicherstellung von Transparenz, Vergleichbarkeit und Qualität der Prüfungsergebnisse.
Zertifikat ansehenSäule c) Unabhängige Fachexperten und Auditoren
Info-Box / Definition: Die Rolle der Auditoren
Nach internationalen Normen herrscht eine strikte Trennung von Begutachtung und Zertifizierungsentscheidung. Die eigentliche Überprüfung der Testorganisation (das Audit) wird von unabhängigen, fachlich hochqualifizierten Auditoren durchgeführt. Sie sichten die empirischen Evidenzen, bewerten die Systemarchitektur in der Praxis und dokumentieren ihre Ergebnisse in einem Auditbericht, der als neutrale Faktengrundlage für die spätere Entscheidung der Zertifizierungsstelle dient.
Wer führt die Audits bei Deutschtest.digital durch?
Die Überwachungsaudits werden von einem Netzwerk aus erfahrenen Bildungsexperten, Prüfern, Auditoren und Gutachtern durchgeführt, die im Auftrag der DeuZert agieren. Durch den Einsatz dieses hochspezialisierten Teams wird sichergestellt, dass die Evaluation unserer Prozesse und Evidenzen nicht nur administrativ, sondern mit höchster inhaltlicher und sprachtesttheoretischer Fachkompetenz erfolgt.
Säule d) Regularien zum Auditablauf
Info-Box / Definition: Was sind Regularien zum Auditablauf?
Auditregularien sind verbindliche Verfahrensvorschriften, die exakt festlegen, wie eine Zertifizierungsstelle eine Prüfung durchzuführen hat. Sie regeln den Ablauf von Dokumentenprüfungen, Stichprobenziehungen, Interviews und Vor-Ort- bzw. System-Audits, um Willkür auszuschließen und eine reproduzierbare Prüfungsqualität zu garantieren.
Welche Auditregularien finden bei einer Zertifizierung nach ISO 29992 Anwendung?
Das Auditverfahren zur ISO 29992 unterliegt den Anforderungen der übergeordneten Norm DIN EN ISO/IEC 17065. Diese Norm regelt nicht den Test selbst, sondern die Arbeitsweise, Unabhängigkeit und Kompetenz der Zertifizierungsstelle. Hierdurch wird garantiert, dass die externe Kontrolle frei von kommerziellen oder verbandsinternen Interessenkonflikten erfolgt. Das Ergebnis ist eine unabhängige externe Bestätigung der normkonformen Umsetzung der Prüfungs- und Bewertungsprozesse auf einer transparent dokumentierten fachlichen und methodischen Grundlage.
Säule e) Evidenzen
Die fundierte Messung von Sprachkompetenzen erfordert eine belastbare Datenbasis. Der Nachweis der Prüfungsqualität stützt sich dabei maßgeblich auf die folgenden zentralen Evidenzkategorien:
1. Planungs- und Konzeptionsdokumente
Diese Dokumente legen das strategische und vertragliche Fundament vor der eigentlichen Testentwicklung fest. Sie dokumentieren systematische Bedarfsanalysen der Zielgruppe sowie verbindliche Vereinbarungen über den genauen Verwendungszweck des Tests.
2. Spezifikations- und Aufgabenprüfungsdokumente
Diese Kategorie umfasst detaillierte Baupläne (Blueprints) und Prüfprotokolle für die inhaltliche Qualitätssicherung. Sie belegen, dass jede einzelne Testaufgabe den fachlichen Vorgaben und dem angestrebten GER-Niveau entspricht.
3. Administrations- und Sicherheitsdokumente
Sie garantieren eine absolut einheitliche, standardisierte und manipulationssichere Durchführung an allen Prüfungsorten. Dazu gehören Handbücher für das Aufsichtspersonal, strikte Identitätsprüfungen der Kandidaten und detaillierte IT-Sicherheitspläne.
4. Auswertungs- und Scoringprotokolle
Diese Dokumente regeln die objektive, fehlerfreie und unvoreingenommene Vergabe von Punkten. Sie enthalten Antwortschlüssel, Bewertungsleitfäden für Prüfer sowie Nachweise zur Genauigkeit automatisierter Auswertungsverfahren.
5. Qualifikations- und Schulungsnachweise
Sie belegen die fachliche, akademische und diagnostische Eignung des gesamten Test- und Bewertungspersonals. Zudem dokumentieren sie das systematische Schulungs- und regelmäßige Nachschulungskonzept zur Gewährleistung einheitlicher Bewertungsmaßstäbe.
6. Empirische Gütenachweise und Validierungsberichte
Sie liefern die wissenschaftlichen und statistischen Beweise für die tatsächliche psychometrische Qualität des Tests. Sie umfassen Berechnungen zur Messgenauigkeit (Reliabilität), zur Fairness über Subgruppen hinweg sowie zur theoriekonformen Dimensionsstruktur.
7. Aufrechterhaltungs- und Revisionsprozesse
Diese Prozesse steuern die kontinuierliche Qualitätsüberwachung und die regelmäßige Erneuerung des Tests im laufenden Betrieb. Sie legen statistische Metriken für den Lebenszyklus von Aufgaben fest, um verbrauchtes Material rechtzeitig und standardisiert auszutauschen.
8. Fairness, Recht und Einspruchswesen
Sie sichern die Rechte, die Würde und den Schutz der Prüfungskandidaten im gesamten Verfahren ab. Dazu gehören transparente Einspruchs- und Beschwerderichtlinien, verständliche Nutzerunterstützung und strikte Datensicherheitskonzepte.
2. Von der Evidenzbasis zum Validierungsargument: Die wissenschaftliche Begründung von Testinterpretationen
Die im Rahmen der Qualitätssicherungsarchitektur erzeugten Evidenzen bilden zunächst einzelne Belege über die Qualität und Funktionsweise des Prüfungsverfahrens. Erst durch ihre systematische Verknüpfung innerhalb eines Validierungsarguments entsteht eine nachvollziehbare Begründung dafür, warum aus einem Testergebnis eine bestimmte Aussage über die Sprachkompetenz einer Person abgeleitet werden darf.
Was ist ein Validierungsargument?
Wenn Testentwickler wissenschaftliche Gütekriterien lediglich isoliert betrachten, besteht die Gefahr, die übergeordnete Logik und Zielsetzung einer Prüfung aus dem Blick zu verlieren. Die Qualität einer Sprachprüfung ergibt sich nicht allein aus einzelnen Aufgaben oder statistischen Kennwerten, sondern aus dem Zusammenspiel aller Komponenten des Prüfungsverfahrens. In der modernen Sprachtestforschung wird die Gültigkeit (Validität) einer Prüfung daher – unter anderem geprägt durch die Arbeiten von Bachman & Palmer, Michael Kane und Carol Chapelle – als ein umfassendes und mehrdimensionales Qualitätskonzept verstanden. Die entscheidende Frage lautet dabei nicht, ob einzelne Qualitätsmerkmale erfüllt sind, sondern ob die aus einem Testergebnis gezogenen Schlussfolgerungen insgesamt gerechtfertigt werden können.
Diese Frage gewinnt besondere Bedeutung, weil die Ergebnisse von Sprachprüfungen häufig weitreichende Auswirkungen auf Bildungs-, Berufs- und Aufenthaltsentscheidungen haben. Testanbieter tragen daher eine besondere fachliche und ethische Verantwortung. Sie müssen die Qualität ihrer Prüfungsverfahren nicht nur sicherstellen, sondern auch nachvollziehbar belegen können. Genau aus diesem Bedürfnis heraus entwickelte sich in der modernen Validitätsforschung das Konzept des sogenannten Validierungsarguments (Validity Argument).
Historisch entstand dieser Ansatz in den 1990er und 2000er Jahren als wegweisende Antwort auf die bis dahin sehr abstrakten wissenschaftlichen Validitätsmodelle, die für die reale Testpraxis kaum konkrete Leitlinien boten. Der US-amerikanische Forscher Michael Kane übertrug dafür die praktische Argumentationstheorie des Philosophen Stephen Toulmin auf die Testtheorie. Die renommierte Sprachwissenschaftlerin Carol Chapelle entwickelte diese Logik anschließend speziell für die Sprachtestforschung weiter – weltbekannt durch ihre wegweisende Validierung des TOEFL iBT ab 2008. Sie verfeinerte das Modell zu einer lückenlosen Kette von sieben präzisen Schlussfolgerungsschritten (Inferenzen), die heute in der internationalen Testforschung als der absolute „Goldstandard“ und modernste wissenschaftliche Standard zur Darlegung von Testqualität anerkannt ist.
Der entscheidende Nutzen dieses Ansatzes liegt darin, dass er Sprachtestorganisationen aus der passiven Rolle des bloßen „Zertifikatsausstellers“ befreit. Anstatt anerkennenden Behörden oder ministeriellen Entscheidern lediglich ungeordnete Einzeldokumente oder starre Checklisten vorzulegen, können Testanbieter nun eine aktive, proaktive „Advokaten-Rolle“ (advocacy role) einnehmen. Sie sind damit in der Lage, die Gültigkeit, Fairness und Rechtssicherheit ihrer Prüfungen völlig eigenständig, transparent und wissenschaftlich unangreifbar gegenüber Entscheidungsträgern zu argumentieren und durch eine systematisch aufgebaute Evidenzkette selbst zu beweisen.
Ein Validierungsargument beschreibt somit diesen strukturierten Ansatz, mit dem die Aussagekraft von Testergebnissen begründet wird. Ausgangspunkt ist die Annahme, dass jede Prüfung eine Behauptung über die Sprachkompetenz einer Person aufstellt. Wird beispielsweise einer Person das Niveau B1 des Gemeinsamen Europäischen Referenzrahmens (GER) zugeordnet, so impliziert dies die Aussage, dass sie über die für dieses Niveau definierten sprachlichen Fähigkeiten verfügt. Das Validierungsargument hat die Aufgabe, diese Behauptung systematisch zu stützen und nachvollziehbar zu begründen.
Hierzu wird eine zusammenhängende Argumentationskette aufgebaut, die von den Prüfungsaufgaben über die Durchführung und Bewertung bis hin zur Interpretation der Ergebnisse reicht. Für jeden einzelnen Schritt werden theoretische Grundlagen und empirische Nachweise (sogenannte Backings) herangezogen, um zu zeigen, dass die getroffenen Annahmen gerechtfertigt sind. Das Validierungsargument verbindet somit wissenschaftliche Evidenz mit praktischen Prüfungsentscheidungen und macht transparent, warum ein bestimmtes Testergebnis als aussagekräftiger Nachweis einer definierten Sprachkompetenz angesehen werden kann. Auf diese Weise schafft es die Grundlage für Vertrauen, Transparenz und die rechtliche Nachvollziehbarkeit von Sprachprüfungen.
Aus welchen logischen Kettengliedern besteht ein Validierungsargument?
Um die Qualität eines Sprachtests fachlich unanfechtbar zu belegen, folgt die moderne Diagnostik einer klaren logischen Struktur. Erst wenn für jede dieser sieben Stufen empirische Nachweise vorliegen, gilt ein Test als für die Praxis voll belastbar:
Aus welchen Bausteinen besteht jedes einzelne Glied der Beweiskette?
Die Architektur des Validierungsarguments von Deutschtest.digital
Im Folgenden legen wir die methodische Architektur unseres Validierungsarguments für die Bewertung von Deutschkompetenzen dar. Da ein Validierungsargument stets auf eine konkrete Zieldomäne, ein definiertes Kompetenzniveau und einen bestimmten Verwendungszweck ausgerichtet ist, muss die zugrunde liegende Evidenzbasis jeweils spezifisch für die beabsichtigte Interpretation und Nutzung eines Testergebnisses aufgebaut werden. Die nachfolgend dargestellte Architektur zeigt exemplarisch, wie die einzelnen Schlussfolgerungen (Inferenzen) innerhalb eines Validierungsarguments miteinander verknüpft werden und welche Arten von Evidenzen (Backings) erforderlich sind, um die daraus abgeleiteten Aussagen wissenschaftlich zu begründen. Ein vollständiges Validierungsargument mit sämtlichen empirischen und statistischen Nachweisen würde den Rahmen dieser Informationsdarstellung überschreiten. Daher werden die entsprechenden Evidenzdokumente an dieser Stelle exemplarisch aufgeführt.
1 Domänendefinition
| Kategorie | Unser Qualitätsanspruch | Beweisdokument (Backing) |
|---|---|---|
| Beschreibung der Domäne | Die relevanten sprachlichen Anforderungen und kommunikativen Situationen der Zielgruppe sind akkurat und vollständig identifiziert. | Zieldomänen-Spezifikation |
| Repräsentation | Die Testaufgaben repräsentieren die in den Testspezifikationen definierte Domäne angemessen, indem sie die geforderten Inhalte und kognitiven Niveaus in den richtigen Proportionen abdecken. | Prüfungs-Blueprint/ Mapping Tools |
| Relevanz | Die Testaufgaben sind inhaltlich relevant und exakt auf das angestrebte Anforderungsniveau kalibriert; sie enthalten keine unangemessenen Schwierigkeitsquellen, die nicht Teil des zu messenden Konstrukts sind. | Item-Review Protokolle, Itembewertung mittels Bewertungsbogen (inkl. Nachweis des GER-Level-Checks) |
| Qualitätskontrolle | Der Entwicklungsprozess umfasst systematische redaktionelle Kontrollmechanismen, die sicherstellen, dass Aufgaben, die qualitative Mängel, Mehrdeutigkeiten oder kulturelle Verzerrungen (Bias) aufweisen, zwingend überarbeitet oder verworfen werden. | Protokoll zur Item-Qualitätskontrolle (Item-Review) |
Wissenschaftlicher Hintergrund
In der psychometrischen und sprachtesttheoretischen Fachliteratur ist die Verwendung von Prüfungs-Blueprints und Mapping-Tools die zwingend geforderte Methodik, um die Inhaltsvalidität abzusichern und die angemessene Repräsentation der Zieldomäne nachzuweisen. Die Standards for Educational and Psychological Testing empfehlen ausdrücklich die Erstellung einer logischen Struktur, die Testitems auf die Inhaltsdomäne abbildet (Mapping).
Um diese Abdeckung in der Praxis zu gewährleisten, definiert Alderson (2005) Testspezifikationen explizit als den „Blueprint", dem Test- und Item-Autoren zwingend folgen müssen, um die Konstruktvalidität eines Tests herzustellen. Auch Fulcher und Davidson (2007) bezeichnen Testspezifikationen wörtlich als „generative Blueprints".
2 Evaluierung
Teil 1: Administrationsbedingungen & Manipulationsschutz
| Unser Qualitätsanspruch | Beweisdokument (Backing) |
|---|---|
| Die Prüfungsordnung weist eine hohe inhaltliche Güte auf, indem sie vollständige und präzise Richtlinien enthält, die eine strikt standardisierte und einheitliche Testdurchführung gewährleisten sowie faire und konstruktkonforme Nachteilsausgleiche (Barrierefreiheit) verbindlich regeln. Das Aufsichtspersonal validiert die Identität der Kandidaten gemäß den geltenden Richtlinien mittels verlässlicher Authentifizierungsverfahren zweifelsfrei und überwacht die Testumgebung (Raumkontrolle) kontinuierlich, wodurch Stellvertreterbetrug und unerlaubter Informationsaustausch strukturell ausgeschlossen werden. | Prüfungsordnung, Handbuch zur Bewertungsdurchführung - Raumkontrolle & Identitätsprüfung |
| Eine manipulationssichere Prüfungsumgebung – unabhängig davon, ob die Prüfung in Präsenz oder digital stattfindet – verhindert durch formatgerechte Kontrollmechanismen (physisches Aufsichtspersonal, Secure Browser, Remote Proctoring) zuverlässig den Zugriff auf unerlaubte Hilfsmittel und unterbindet Täuschungsversuche lückenlos. | Liste der physischen und elektronischen Sicherheitsanforderungen, Notfallplan bei Verletzung der Sicherheitsbestimmungen, Gegenmaßnahmen gegen unzulässige Aktivitäten von Prüfungskandidaten |
Die zweifelsfreie Identifikation der Testteilnehmer und die lückenlose Überwachung der Prüfungsumgebung stellen die absolute Conditio sine qua non (unerlässliche Grundvoraussetzung) jedes rechtssicheren Prüfungsverfahrens dar. Wenn die organisatorischen Verfahren fehlerhaft sind und die physische Identität des Prüflings nicht zweifelsfrei mit der erbrachten Testleistung verknüpft werden kann, sind alle nachfolgenden inhaltlichen und statistischen Validitätsaussagen hinfällig.
Teil 2 & 3: Scoring-Qualität, Protokolle & Bewerter
| Unser Qualitätsanspruch | Beweisdokument (Backing) |
|---|---|
| Für alle Auswertungsformen sowie den Prozess der Ergebniserfassung liegen präzise Regeln und Kriterien vor, wodurch Bewertungsobjektivität und Verfahrenssicherheit gewährleistet sind. Die auf den GER-Referenzniveaus („Can-Do"-Statements) basierenden und kontextspezifisch adaptierten Bewertungsskalen stellen valide Indikatoren für die zu messenden sprachlichen Teilkompetenzen dar. | Handbuch zur Bewertungsdurchführung, Handbuch der Bewertungsspezifikationen, Bewertungskriterien der produktiven Leistungen. |
| Die eingesetzten Bewerter verfügen über die erforderlichen fachlichen Qualifikationen (z. B. einschlägige Hochschulabschlüsse) und relevante didaktische Erfahrung. | Referenznachweise der Bewerter-Qualifikationen |
| Das systematische Schulungsprogramm vermittelt den Bewertern die erforderlichen Kompetenzen, um Bewertungsrichtlinien konsistent und akkurat anzuwenden. | Schulungsnachweise der Bewerter |
| Systematische manuelle Qualitätskontrollen und Plausibilitätsprüfungen durch qualifizierte Fachpersonen (Human-in-the-Loop) verifizieren die Genauigkeit der automatisierten Auswertungsprozesse und die Korrektheit der Lösungsschlüssel. | Nachweis der technischen Verarbeitungsgenauigkeit der maschinellen Auswertung |
In der psychometrischen und sprachtesttheoretischen Fachliteratur wird für die Validität von Leistungsbeurteilungen zwingend der Rückgriff auf standardisierte, extern verankerte Kriterien (Criterion-Referenced Measurement) gefordert. Um subjektive Maßstäbe auszuschließen, müssen Bewertungsskalen präzise an einem etablierten theoriebasierten Referenzsystem ausgerichtet sein.
Teil 4: Empirische Qualität / Statistische Integrität
| Unser Qualitätsanspruch | Beweisdokument (Backing) | Psychometrische Zielwerte |
|---|---|---|
| Die Testaufgaben besitzen eine hinreichende Trennschärfe (Item Discrimination), sodass sie effektiv und zuverlässig zwischen Kandidaten mit höherer und niedrigerer Sprachkompetenz differenzieren. | Nachweis der statistischen Item-Trennschärfe | Zielbereich Trennschärfe (r) ≥ 0,50 (Werte zwischen 0,30 und 0,49 akzeptabel). Diskriminationsindex (D) ≥ 0,40. Distraktoren müssen eine Wahlfrequenz > 0 aufweisen. |
| Die Schwierigkeitsgrade der Testaufgaben decken das gesamte Leistungsspektrum der Zielpopulation angemessen ab. | Nachweis der angemessenen Item-Schwierigkeit | Zielbereich p-Wert zwischen 0,40 und 0,59 (0,20 - 0,80 akzeptabel). Mittlere Schwierigkeit des Gesamttests von etwa 0,50. |
| Die Testaufgaben funktionieren invariant über relevante Subgruppen hinweg (keine Verzerrung durch Geschlecht oder Erstsprache). | Bestätigung der Testfairness (Differenzielle Itemfunktion / DIF) | Differenzielle Itemfunktion (DIF) nach Mantel-Haenszel-Verfahren (Kategorie A: unbedenklich nach ETS-Klassifikation). |
3 Generalisierung
Konsistenz über Gelegenheiten, Testformen und Aufgaben
| Unser Qualitätsanspruch | Beweisdokument (Backing) | Psychometrische Zielwerte |
|---|---|---|
| Konsistenz über Gelegenheiten: Die Testergebnisse weisen eine hohe zeitliche Stabilität auf (Zeitpunkt hat keinen systematischen Einfluss). | Gütenachweis der zeitlichen Teststabilität (Test-Retest-Reliabilität) | Pearson-Korrelationskoeffizient r ≥ 0,90 angestrebt (0,80 - 0,89 akzeptabel). Stichprobengröße mindestens N ≥ 50. |
| Konsistenz über Testformen: Testergebnisse sind über verschiedene Testversionen hinweg konsistent (Niveaustabilität). | Gütenachweis der Testformen-Äquivalenz (Paralleltest-Reliabilität) | Zielkorrelation r ≥ 0,90 (ab r ≈ 0,80 akzeptabel). t-Test ohne signifikante Unterschiede (p > 0,05). |
| Konsistenz über Aufgaben: Die Testaufgaben sind homogen (interne Konsistenz). | Nachweis der internen Konsistenz und Homogenität | Cronbachs Alpha α ≥ 0,90 (0,80 - 0,89 akzeptabel). Trennschärfe verbleibender Items ≥ 0,30. |
Konsistenz über Bewerter
| Unser Qualitätsanspruch | Beweisdokument (Backing) | Psychometrische Zielwerte |
|---|---|---|
| Die Beurteilung der Prüfungsleistungen durch einen einzelnen Prüfer ist über die Zeit hinweg stabil und konsistent (Urteilsübereinstimmung). | Empirischer Gütenachweis der Urteilsübereinstimmung und Neutralität | Interrater-Vergleich: Keine sign. Mittelwertunterschiede (p > 0,05). ICC bzw. Kappa ≥ 0,90 (Zielwert). |
| Die Bewertung der Prüfungsleistungen erfolgt unabhängig von der individuellen Strenge der Prüfer und ist frei von Bias. | Bestätigung der objektiven Bewertungsqualität (Multifacetten-Rasch-Analyse) | Fit-Werte (Infit/Outfit MNSQ) im Bereich 0,5 bis 1,5. Interaktionseffekte nicht signifikant (t ≤ 2,0). |
4 Erklärung
| Unser Qualitätsanspruch | Beweisdokument (Backing) | Psychometrische Zielwerte |
|---|---|---|
| Konstruktrepräsentation: Die interne Struktur der Testergebnisse stimmt mit dem theoretisch definierten Konstrukt (GER) überein. | Empirischer Beleg der Konstruktdimensionalität (EFA/CFA). | KMO-Wert ≥ 0,80. Gute Fit-Werte: RMSEA ≤ 0,05, SRMR ≤ 0,08, CFI/TLI ≥ 0,95. |
| Nomologisches Netzwerk: Die Testergebnisse korrelieren mit etablierten standardisierten Testverfahren (Außenkriterium). | Empirischer Beleg der Kriteriumsvalidität | Starker, signifikanter Zusammenhang von r ≥ 0,50 (p < 0,05). |
5 Extrapolation
| Unser Qualitätsanspruch | Beweisdokument (Backing) | Psychometrische Zielwerte / Analyse |
|---|---|---|
| Indikatoren der Zieldomänenleistung: Testergebnisse korrelieren mit tatsächlicher Handlungsfähigkeit in der Praxis. | Nachweis der Übereinstimmungsvalidität / prognostischen Validität. | Korrelationen im Bereich von r ≈ 0,30 bis 0,50. |
| Vergleichbarkeit der Leistung: Testaufgaben und Bewertungskriterien entsprechen den etablierten Standards der Zieldomäne. | Bestätigung der Kriterienrelevanz durch Expertenvalidierung. | Systematischer Abgleich mit Fachexperten (AERA, APA & NCME Standards). |
| Authentizität und Korrespondenz: Input-Materialien und Formate entsprechen typischen Handlungsanforderungen der Praxis. | Bestätigung der situativen Authentizität (Input-Analyse). | Strukturelle Leistungsäquivalenz (MANOVA). Globaler Test nicht signifikant (p > 0,05). |
| Die sprachlichen Leistungen weisen keine signifikanten strukturellen Abweichungen zu authentischen Leistungsproben auf. | Empirischer Beleg der strukturellen Leistungsäquivalenz (MANOVA). | |
| Die Testteilnehmenden wenden konstruktrelevante kognitive Lösungsstrategien an (echtes Verständnis statt Raten). | Beleg der konstruktkonformen mentalen Prozesse (Prozess-Analyse). | - |
6 Nutzung
| Unser Qualitätsanspruch | Beweisdokument (Backing) | Psychometrische Zielwerte |
|---|---|---|
| Zweckmäßigkeit / Nützlichkeit: Akteure (Hochschulen, Lehrende) beurteilen die Ergebnisse als nützlich für vertretbare Entscheidungen. | Nachweis der praktischen Zweckmäßigkeit der Testergebnisse. | Gesamtgenauigkeit (Accuracy) ≥ 0,90. Reliabilitätsindex (Livingston & Lewis) Φ ≥ 0,70. |
| Entscheidungsregeln: Grenzwerte (Cut-Scores) sind das Resultat eines qualifizierten Standard-Setting-Verfahrens. | Bewertungsrahmen - Standardsetzungsverfahren / Cut-Scores. | |
| Klassifikationsgüte und Konsistenz: Klassifikationen stimmen in hohem Maße mit einer unabhängigen Referenzbewertung überein. | Nachweis der Klassifikationsgenauigkeit (Cut-Scores). | |
| Interpretierbarkeit und Kommunikation: Testergebnisse sind für Stakeholder eindeutig interpretierbar. | Bestätigung der Interpretierbarkeit und Nützlichkeit von Ergebnisberichten. | |
| Anwendungstreue: Entscheidungsträger wenden festgelegte Entscheidungsregeln operativ konsequent an. | Nachweis der Anwendungstreue. | - |
7 Konsequenzen
| Unser Qualitätsanspruch | Beweisdokument (Backing) |
|---|---|
| Die realisierten Konsequenzen der Testnutzung erzielen tatsächlich die intendierten Vorteile, wobei negative Nebeneffekte gering bleiben. | Nachweis über die Konsequenzen der Testergebnisse (User Benefit & Washback) |
| Die Rechte, die Würde und die sensiblen Daten der Testteilnehmenden werden durch strenge Richtlinien geschützt (inkl. Beschwerdeverfahren). | Einspruchsrichtlinien, Handbuch zum Informationsmanagementsystem |
| Die Implementierung des Tests entfaltet ihre positiven Rückwirkungen (Washback) auf das Bildungssystem (Fokus auf Kompetenzen statt Teststrategien). | Nachweis über die Konsequenzen der Testergebnisse (Macro-Impact & Social Benefit) |
In der modernen Testtheorie wird die Implementierung von Einspruchsverfahren und Informationssicherheitsrichtlinien nicht als rein administrativer Akt betrachtet, sondern als zwingendes methodisches Instrument zur Sicherung der Folgenvalidität (Consequential Validity) (vgl. Messick, 1989; 1995). Ein geregeltes Schiedsverfahren fungiert als notwendige qualitative Gegenkontrolle zur Identifikation konstruktirrelevanter Varianz.