Information à l'intention des décideurs : Argumentaire de validation de Deutschtest.digital – Une confiance dans la prise de décision fondée sur des preuves grâce à des diagnostics linguistiques modernes
L'attribution d'un test de langue au Cadre européen commun de référence pour les langues (CECRL) constitue un processus de validation complexe. L'affirmation selon laquelle un test correspond à un niveau spécifique du CECRL n'est pas un fait directement observable ; elle doit être étayée par des preuves théoriques et empiriques. La collecte et l'évaluation de ces preuves s'inscrivent dans le cadre de la validation de l'affirmation de validité correspondante.
(voir Conseil de l’Europe, 2009, p. 7)Un certificat linguistique atteste des valeurs mesurées. Une interprétation correcte est essentielle !
Si, en tant que décideur, vous exigez d'un candidat une preuve de ses compétences linguistiques à des fins spécifiques, un certificat de langue ou un résultat de test correspondant vous sera généralement présenté. Ce document contient essentiellement un résultat de mesure obtenu dans des conditions méthodologiques et d'examen précises. Si vous l'utilisez, par exemple, dans le cadre d'une procédure officielle d'évaluation des compétences linguistiques, il peut servir de preuve (voir l'article 26, paragraphe 1, alinéa 1 et alinéa 2, point 3 de la loi allemande sur la procédure administrative). Cependant, ce résultat de mesure n'acquiert de valeur que par une interprétation rigoureuse et fondée sur des preuves. La question cruciale n'est donc pas seulement de savoir quel résultat est inscrit sur un document, mais sur quelle base scientifique ce résultat de mesure peut être évalué de manière fiable.
La validité d'une telle interprétation dépend largement de la rigueur scientifique, de la fiabilité technique et du contrôle organisationnel des processus de test sous-jacents. Par conséquent, ce qui importe n'est pas la simple valeur mesurée, mais la qualité de l'ensemble du système qui la génère.
Pour évaluer la fiabilité d'un certificat de langue, il est donc nécessaire d'examiner les conditions de collecte, de traitement et d'interprétation des données d'évaluation. Ces processus contrôlés produisent les éléments probants nécessaires à une évaluation scientifique de la qualité du test.
Toutefois, ces éléments de preuve pris isolément ne constituent pas encore une justification concluante pour l'interprétation d'un résultat de test. Ce n'est que par leur intégration systématique au sein d'une argumentation de validation qu'émerge une base scientifiquement compréhensible permettant de déduire, à partir d'un résultat de test concret, une affirmation précise concernant la compétence linguistique d'une personne.
Les sections suivantes expliquent d'abord l'infrastructure de production de données probantes, c'est-à-dire les normes, les processus et les mécanismes de contrôle qui permettent de produire des données fiables. Elles décrivent ensuite comment ces données sont systématiquement intégrées à notre approche de validation et sur quels fondements scientifiques repose l'interprétation des résultats de nos tests.
1. L'infrastructure nécessaire à la production de preuves fiables
Pour démontrer objectivement qu'une certification n'est pas une vaine promesse, un organisme de certification doit s'appuyer sur des preuves empiriques solides (données psychométriques, analyses de fiabilité, documentation de validation). La recherche moderne en matière de tests met l'accent sur un principe fondamental : il n'existe pas de « tests valides » ni de « résultats de tests valides » intrinsèquement ; la validité ne peut être atteinte que par l'interprétation et l'utilisation de ces résultats à des fins spécifiques.
Seul un système de gestion de la qualité méthodique et exhaustif peut garantir qu'un organisme de test génère en continu des données brutes propres et objectives, condition essentielle pour justifier une interprétation valable des compétences linguistiques. Puisque ces données ne sont fiables que si elles ne sont pas générées arbitrairement, une architecture système rigoureuse et indépendante est indispensable. Cette architecture repose sur cinq piliers :
Pilier a) La norme
Encadré d'information / Définition : Qu'est-ce qu'une norme ?
Une norme est un ensemble de règles documentées qui décrivent les exigences, les critères ou les recommandations relatifs à des processus, des procédures ou des services spécifiques. Elle établit un cadre commun permettant de garantir systématiquement la qualité, la comparabilité, la transparence et la traçabilité. Les normes peuvent être élaborées et publiées par différents acteurs et servent à définir les meilleures pratiques, les exigences techniques et les critères de qualité de manière transparente et compréhensible.
Quelle norme utilise Deutschtest.digital ?
Deutschtest.digital conçoit, administre, évalue et assure la qualité continue de ses tests de langue conformément à la norme DIN ISO 29992. Cette norme, intitulée ISO 29992 (« Évaluation des acquis des services d’apprentissage »), a été publiée par le comité international de normalisation ISO/TC 232 (« Services d’éducation et d’apprentissage ») et s’adresse aux organismes qui dispensent des services d’apprentissage et conçoivent, sélectionnent ou appliquent des évaluations. La norme internationale ISO 29992 a été intégrée au système national de normalisation par l’Institut allemand de normalisation (DIN) sous la référence DIN ISO 29992.
La norme formule des exigences de qualité spécifiques pour la planification, le développement, l'administration et l'évaluation des tests et inclut explicitement la mesure des compétences linguistiques selon le Cadre européen commun de référence pour les langues (CECRL). Contrairement aux directives purement théoriques relatives aux tests, la norme ISO 29992 découle avant tout de la logique de la gestion de services avec assurance qualité. Pour Deutschtest.digital, elle constitue le cadre organisationnel et méthodologique central de l'assurance qualité. Elle nous aide à produire des preuves fiables, à documenter de manière transparente les processus de test et à garantir la qualité constante de nos tests de langue selon des normes vérifiables et traçables. Parallèlement, elle offre aux décideurs une sécurité juridique, institutionnelle et méthodologique complète.
Que comprend la norme ISO 29992 ?
Les exigences de la norme ISO 29992 sont structurées dans les chapitres principaux suivants :
- Chapitre 1 Le champ d'application de la norme est précisé. Deux applications principales sont mentionnées : (1) la mesure des résultats individuels des apprenants et (2) la détermination des progrès d'apprentissage.
- Chapitre 2 fait référence à des références à d'autres normes (qui ne sont pas présentes dans le cas de la norme ISO 29992:2021).
- Chapitre 3 définit une série de termes techniques liés au diagnostic/à la mesure des performances.
- Chapitre 4 Cette norme fournit des recommandations spécifiques concernant la planification des instruments de diagnostic (désignés systématiquement par le terme « évaluation » dans le texte). Conformément à la norme DIN ISO 29992:2021-04, la phase de planification doit comprendre une analyse des besoins, des documents de planification des ressources et un document-cadre contenant des informations sur le champ d'application de l'instrument de diagnostic ; les décisions prises sur la base de cet instrument ; l'interprétation de ses résultats ; les conséquences attendues de son utilisation ; le lien entre les objectifs de l'instrument et la méthodologie d'évaluation employée ; le lien entre les résultats, leurs interprétations, leurs utilisations et leurs conséquences ; la communication des résultats des tests ; les conditions d'utilisation, le calendrier et les coûts ; les procédures d'évaluation ; l'environnement d'évaluation (par exemple, les locaux) ; les conditions préalables à la participation à l'évaluation et les normes applicables aux instruments et méthodes utilisés pour l'évaluation des acquis d'apprentissage ; les procédures d'assurance qualité ; les parties prenantes impliquées dans le développement et/ou la mise en œuvre de l'évaluation ; un plan opérationnel pour l'instrument de diagnostic ; et les règles de procédure. Ce document-cadre doit également préciser la disponibilité de l'instrument de diagnostic et le degré de couverture des exigences du cahier des charges.
- Chapitre 5 Ce document contient plusieurs recommandations pour l'élaboration de l'outil de diagnostic. Celles-ci portent notamment sur le moment opportun pour son utilisation (avant, pendant ou après l'apprentissage), les qualifications des concepteurs du test, le format des questions, ainsi que les spécifications spatiales, temporelles, organisationnelles et techniques relatives à son administration. Il fournit également des indications sur les critères de qualité du test (objectivité, fiabilité et validité), le processus d'élaboration des questions, les procédures d'interprétation des résultats, le cadre de communication des résultats, les procédures de contestation et les exigences en matière de documentation technique.
- Chapitre 6 Ce document porte sur les aspects administratifs d'un instrument de diagnostic. Il aborde notamment les directives d'administration, un plan visant à garantir la sécurité des tests, les qualifications et les responsabilités des personnes supervisant l'administration de l'instrument, ainsi que les qualifications des évaluateurs.
- Chapitre 7 Cela concerne l'utilisation opérationnelle d'un instrument de diagnostic. Les documents relatifs à cette utilisation sont requis, tels que les preuves de fiabilité et de validité ; la réglementation relative à l'administration de l'instrument de diagnostic ; et les procédures statistiques de gestion de la qualité méthodologique des tests et des processus connexes. De plus, le chapitre 7 exige un plan détaillé décrivant comment une procédure de diagnostic existante sera continuellement révisée et développée.
- Chapitre 8 Cette section aborde la question de l'équité. À cet égard, elle décrit des éléments tels qu'un accord formel à conclure entre le fournisseur d'un outil de diagnostic et les candidats. Cet accord doit notamment inclure des informations sur les frais d'examen, les droits et obligations des parties concernées, les conditions de participation, une description de l'outil de diagnostic, les informations relatives à la protection des données et le calendrier. Le chapitre 8 traite plus en détail de l'interdiction de la discrimination ; des droits des candidats ; de la neutralité de l'outil de diagnostic ; des codes de conduite applicables aux personnes impliquées dans son utilisation ; et des informations mises à la disposition des candidats.
- Chapitre 9 La norme DIN ISO 29992:2021-04 aborde des considérations éthiques supplémentaires relatives à l'utilisation des instruments de diagnostic. À cet égard, elle exige une définition claire des responsabilités de toutes les parties prenantes. De plus, elle impose des informations véridiques et exactes sur l'instrument de diagnostic. Enfin, un instrument de diagnostic doit garantir différents aspects de la sécurité de l'information, tels que la confidentialité des données collectées, leur protection et leur sécurité, ainsi que la sécurité des canaux de communication. Un système de gestion des communications doit également être mis en place et documenté.
- Anhang A Ce document spécifie les informations qui doivent être collectées de manière structurée dans la documentation technique d'une procédure diagnostique. Cela inclut tous les documents relatifs au cycle de vie complet de l'instrument de diagnostic, de sa conception et son développement à son application opérationnelle. Les documents pertinents comprennent l'analyse des besoins ; le cadre d'utilisation de l'instrument de diagnostic ; les spécifications de notation ; un manuel d'administration de l'instrument de diagnostic ; un manuel de formation pour les personnes concernées ; les formulaires pour les évaluateurs ; les spécifications relatives à la qualification et à la formation des examinateurs/évaluateurs, des surveillants, etc. ; les documents relatifs aux procédures d'élaboration des items de test ; la documentation des audits et des études de validation de l'instrument de diagnostic ; les preuves d'une assurance qualité régulière ; les preuves de la qualité psychométrique des items de test individuels ; les preuves des procédures visant à éliminer les items de test inadaptés ; les preuves de la vérification et des procédures de notation manuelle des résultats ; et les preuves de la conformité de la notation en direct avec les spécifications du test. Sont également requis les preuves de la fiabilité des évaluations automatisées ; les preuves de la procédure d'arbitrage et d'appel ; et les preuves de la procédure en cas de réévaluation. Ce large éventail de preuves est complété par des exigences relatives à la documentation technique sur la manière dont les utilisateurs de l'instrument de diagnostic doivent être accompagnés dans son utilisation. Les modalités de stockage des données techniques et de la documentation concluent la partie substantielle de la norme.
Quels sont les principaux avantages de la norme DIN ISO 29992 ?
La norme DIN ISO 29992 fournit à Deutschtest.digital non seulement un cadre de qualité formel, mais aussi une base systématique pour le développement, l'administration et l'évaluation continue de nos tests de langue. Les principaux avantages de l'application de cette norme résident notamment dans les domaines suivants :
Garantir une architecture de sécurité contraignante : La norme définit les exigences relatives à un plan de sécurité structuré. Les organismes appliquant la norme DIN ISO 29992 doivent mettre en œuvre systématiquement des mesures préventives contre la manipulation (prévention de la fraude) et garantir l’intégrité des tâches ainsi que la sécurité des informations et des identités par le biais de processus définis.
Assurance qualité durable par la gestion du cycle de vie : En exigeant un processus continu de maintenance et de surveillance (plan de maintenance), la norme ISO 29992 contribue à garantir la qualité des essais sur le long terme. Au lieu d’un examen ponctuel, elle considère l’évaluation et l’amélioration continues des procédures d’essai comme un élément essentiel de l’assurance qualité. Cela permet d’identifier rapidement les variations de la qualité des essais et de les corriger grâce à des mesures validées empiriquement.
Lien technique avec le Cadre européen commun de référence pour les langues (CECRL) : La structure de la norme permet de transposer systématiquement les exigences générales de qualité au diagnostic linguistique. Ceci permet de relier les exigences de l’ISO 29992 aux descriptions de compétences théoriques du Cadre européen commun de référence pour les langues (CECRL) et de justifier de manière compréhensible l’attribution des résultats de tests aux niveaux de langue.
Justification transparente de l’interprétation et de l’utilisation des résultats : la norme ISO 29992 exige une présentation claire du lien entre les résultats d’évaluation et leur interprétation. Ceci permet de décrire scientifiquement les conclusions que l’on peut tirer d’un résultat d’essai et les finalités pour lesquelles un certificat peut être utilisé.
Fondements d'une validation scientifiquement rigoureuse : L'un des principaux avantages de la norme ISO 29992 réside dans sa capacité à structurer la production et la documentation des données probantes pertinentes. Associée aux méthodes psychométriques, elle permet de constituer une base de données probantes solide sur laquelle peut s'appuyer une validation scientifiquement rigoureuse. Cette validation permet de justifier l'interprétation et l'utilisation des résultats des tests de manière transparente, compréhensible et en s'appuyant sur des preuves professionnelles solides.
Pilier b) Un organisme de certification indépendant
Encadré d'information / Définition : Qu'est-ce qu'une autorité de certification indépendante ?
Un organisme de certification indépendant est une organisation externe et impartiale qui vérifie et confirme qu'une organisation satisfait à des exigences ou normes de qualité spécifiques. Il n'évalue pas les performances de l'organisation certifiée, mais réalise un audit indépendant de ses processus, structures et preuves documentés. Cette évaluation externe renforce la confiance, car l'assurance qualité n'incombe pas uniquement à l'organisation.
L'une des caractéristiques essentielles de la certification indépendante est la séparation entre l'évaluation et la décision de certification. L'examen des processus et des preuves est réalisé par des auditeurs experts, tandis que la décision finale de certification est prise par un organisme indépendant. Ceci permet d'éviter les auto-évaluations et les conflits d'intérêts potentiels, garantissant ainsi l'objectivité et la crédibilité de la certification.
Avec quel organisme indépendant Deutschtest.digital collabore-t-il ?
Pour l'assurance qualité externe, nous collaborons avec l'organisme de certification indépendant DeuZert . DeuZert garantit l'intégrité, la crédibilité et la reconnaissance totales de ses décisions de certification. Fort de plus de vingt ans d'expertise, DeuZert possède une connaissance approfondie du secteur de l'éducation et de la certification.
Quels sont les avantages de la certification indépendante par DeuZert ?
La principale valeur ajoutée de la certification indépendante DeuZert réside dans le fait que la qualité des processus mis en œuvre n'est pas uniquement évaluée par l'organisme lui-même, mais soumise à un examen par des experts externes. Ceci renforce la confiance des décideurs. Les aspects suivants sont particulièrement pertinents :
- Indépendance institutionnelle et évaluation objective : DeuZert agit en tant qu'organisme de certification indépendant et évalue la mise en œuvre des exigences définies au moyen de procédures de test transparentes. La séparation entre l'organisme audité et l'organisme d'évaluation externe empêche les auto-évaluations et renforce l'objectivité de la décision de certification.
- Assurance qualité continue par le biais d'audits de surveillance : La qualité des procédures mises en œuvre n'est pas évaluée ponctuellement, mais fait l'objet d'un suivi continu grâce à des revues régulières. Ce contrôle externe garantit le respect constant des exigences méthodologiques et organisationnelles et assure un examen systématique des développements ultérieurs.
Quelle preuve formelle certifie que Deutschtest.digital est conforme à la norme DIN ISO 29992 ?
Suite à la réussite du processus d'audit, DeuZert nous a délivré un certificat de conformité à la norme DIN ISO 29992. Ce document confirme que les procédures mises en œuvre chez Deutschtest.digital pour la planification, le développement, la réalisation et l'évaluation des évaluations dans le domaine des compétences linguistiques en allemand répondent aux exigences de la norme et ont été évaluées dans le cadre d'un audit externe indépendant.
Le certificat de conformité atteste formellement que Deutschtest.digital aligne ses processus d'évaluation sur une norme internationale reconnue pour l'évaluation des acquis d'apprentissage. Il confirme la mise en œuvre systématique de procédures conformes aux normes afin de garantir la transparence, la comparabilité et la qualité des résultats.
Voir le certificatPilier c) Experts et auditeurs indépendants
Encadré d'information / Définition : Le rôle des auditeurs
Les normes internationales imposent une stricte séparation entre l'évaluation et la décision de certification. L'examen proprement dit de l'organisme de certification (l'audit) est réalisé par des auditeurs indépendants et hautement qualifiés. Ces derniers examinent les données empiriques, évaluent l'architecture du système en pratique et consignent leurs conclusions dans un rapport d'audit, qui constitue une base factuelle et neutre pour la décision ultérieure de l'organisme de certification.
Qui réalise les audits chez Deutschtest.digital ?
Les audits de surveillance sont menés par un réseau d'experts en éducation, d'examinateurs, d'auditeurs et d'évaluateurs expérimentés, agissant pour le compte de DeuZert. Le recours à cette équipe hautement spécialisée garantit que l'évaluation de nos processus et de nos preuves n'est pas seulement administrative, mais qu'elle est également réalisée avec le plus haut niveau d'expertise en matière de théorie des tests de contenu et de langue.
Pilier d) Règlement sur la procédure d'audit
Encadré d'information / Définition : Quelles sont les réglementations régissant le processus d'audit ?
Les règlements d'audit sont des règles de procédure contraignantes qui définissent précisément comment un organisme de certification doit mener un audit. Ils régissent le processus d'examen des documents, d'échantillonnage, d'entretiens et d'audits sur site ou de systèmes afin de prévenir toute arbitraire et de garantir une qualité d'audit reproductible.
Quelles sont les réglementations d'audit applicables à la certification selon la norme ISO 29992 ?
La procédure d'audit de la norme ISO 29992 est soumise aux exigences de la norme de référence DIN EN ISO/IEC 17065. Cette norme ne régit pas l'essai lui-même, mais plutôt les méthodes de travail, l'indépendance et la compétence de l'organisme de certification. Ceci garantit que l'audit externe est exempt de conflits d'intérêts, qu'ils soient commerciaux ou internes. Il en résulte une confirmation externe indépendante de la mise en œuvre conforme à la norme des processus d'essai et d'évaluation, reposant sur une base professionnelle et méthodologique transparente et documentée.
Pilier e) Preuve
Une évaluation fiable des compétences linguistiques nécessite des données de qualité. La preuve de la qualité des tests repose principalement sur les catégories de preuves suivantes :
1. Documents de planification et de conception
Ces documents établissent le cadre stratégique et contractuel préalable au développement proprement dit du test. Ils consignent les analyses systématiques des besoins du groupe cible ainsi que les accords contraignants relatifs à l'objectif précis du test.
2. Documents de spécification et d'examen des tâches
Cette catégorie comprend des plans détaillés et des protocoles de test pour l'assurance qualité du contenu. Ils démontrent que chaque élément de test respecte les spécifications techniques et le niveau cible du CECRL.
3. Documents administratifs et de sécurité
Ils garantissent un processus d'examen totalement uniforme, standardisé et inviolable sur tous les sites d'examen. Cela inclut des manuels pour les surveillants, des contrôles d'identité rigoureux des candidats et des plans de sécurité informatique détaillés.
4. Protocoles d'évaluation et de notation
Ces documents régissent l'attribution objective, sans erreur et impartiale des points. Ils contiennent les corrigés, les directives d'évaluation à l'intention des examinateurs et les preuves de la fiabilité des procédures d'évaluation automatisées.
5. Certificats de qualification et de formation
Ils attestent des qualifications professionnelles, académiques et diagnostiques de l'ensemble du personnel chargé des tests et des évaluations. De plus, ils documentent le concept de formation systématique et de cours de perfectionnement réguliers visant à garantir des normes d'évaluation uniformes.
6. Preuves empiriques de la qualité et rapports de validation
Elles fournissent les preuves scientifiques et statistiques de la qualité psychométrique réelle du test. Elles comprennent des calculs sur la précision de la mesure (fidélité), l'équité entre les sous-groupes et une structure dimensionnelle conforme à la théorie.
7. Processus de maintenance et de révision
Ces processus assurent un contrôle qualité continu et le renouvellement régulier des tests en cours d'exploitation. Ils définissent des indicateurs statistiques pour le cycle de vie des tâches afin de garantir le remplacement des consommables de manière opportune et standardisée.
8. Équité, justice et appels
Ils garantissent les droits, la dignité et la protection des candidats aux examens tout au long du processus. Cela inclut des procédures d'appel et de réclamation transparentes, une assistance utilisateur facile à comprendre et des principes stricts de sécurité des données.
2. De la base de données probantes à l’argument de validation : la justification scientifique des interprétations des tests
Les données générées dans le cadre de l'architecture d'assurance qualité constituent initialement des éléments de preuve individuels relatifs à la qualité et à la fonctionnalité de la procédure de test. Ce n'est que par leur intégration systématique au sein d'une argumentation de validation qu'une justification compréhensible peut être tirée d'un résultat de test pour expliquer pourquoi une affirmation spécifique concernant la compétence linguistique d'une personne peut être déduite de ce résultat.
Qu'est-ce qu'un argument de validation ?
Si les concepteurs de tests considèrent les critères de qualité scientifique de manière isolée, ils risquent de perdre de vue la logique et l'objectif global du test. La qualité d'un test de langue ne résulte pas uniquement de tâches individuelles ou de paramètres statistiques, mais de l'interaction de tous les éléments de la procédure de passation. Dans la recherche moderne en évaluation des langues, la validité d'un test est donc appréhendée – notamment sous l'influence des travaux de Bachman & Palmer, Michael Kane et Carol Chapelle – comme un concept de qualité global et multidimensionnel. La question cruciale n'est pas de savoir si les critères de qualité individuels sont respectés, mais si les conclusions tirées des résultats du test sont globalement justifiées.
Cette question est particulièrement importante car les résultats des tests de langue ont souvent des conséquences considérables sur les décisions relatives aux études, à la carrière et au lieu de résidence. Les organismes qui testent ces langues ont donc une responsabilité professionnelle et éthique particulière. Ils doivent non seulement garantir la qualité de leurs procédures d'évaluation, mais aussi être en mesure de la démontrer de manière transparente. C'est précisément de ce besoin qu'est né le concept d' argument de validité dans la recherche moderne sur la validité.
Historiquement, cette approche a émergé dans les années 1990 et 2000 comme une réponse novatrice aux modèles de validité scientifique antérieurs, très abstraits et peu utiles pour la pratique des tests. Le chercheur américain Michael Kane a appliqué la théorie de l'argumentation pratique du philosophe Stephen Toulmin à la théorie des tests. La linguiste de renom Carol Chapelle a ensuite développé cette logique spécifiquement pour la recherche en évaluation linguistique ; elle est mondialement connue pour sa validation pionnière du TOEFL iBT à partir de 2008. Elle a affiné le modèle en une chaîne cohérente de sept étapes d'inférence précises, qui représente aujourd'hui une approche moderne et reconnue pour la justification et la documentation systématiques des interprétations de tests.
L'avantage crucial de cette approche réside dans le fait de libérer les organismes de certification linguistique du rôle passif de simples « délivrant des certificats ». Au lieu de se contenter de soumettre des documents individuels désorganisés ou des listes de contrôle rigides aux autorités d'accréditation ou aux décideurs ministériels, les fournisseurs de tests peuvent désormais assumer un rôle actif et proactif de « défense des intérêts ». Cela leur permet de démontrer la validité, l'équité et la sécurité juridique de leurs examens aux décideurs de manière indépendante, transparente et scientifiquement irréfutable, en les prouvant eux-mêmes par une chaîne de preuves systématiquement construite.
Un argument de validation décrit ainsi l'approche structurée utilisée pour justifier la validité des résultats de tests. Il part du principe que chaque test évalue le niveau de compétence linguistique d'une personne. Par exemple, si une personne obtient le niveau B1 du Cadre européen commun de référence pour les langues (CECRL), cela signifie qu'elle possède les compétences linguistiques définies pour ce niveau. L'argument de validation a pour tâche d'étayer et de justifier de manière systématique et compréhensible cette affirmation.
Cela implique de construire un raisonnement cohérent, depuis les tâches d'évaluation jusqu'à l'interprétation des résultats, en passant par l'administration et l'évaluation. À chaque étape, des fondements théoriques et des données empiriques (justifications) sont utilisés pour démontrer la validité des hypothèses formulées. L'argument de validation établit ainsi un lien entre les données scientifiques et les décisions pratiques relatives aux tests, et explique clairement pourquoi un résultat donné peut être considéré comme une preuve significative d'une compétence linguistique définie. De cette manière, il instaure la confiance, la transparence et la responsabilité juridique des tests de langue.
Quels sont les maillons logiques d'une chaîne qui constituent un argument de validation ?
Pour fournir une preuve professionnelle irréfutable de la qualité d'un test de langue, les outils de diagnostic modernes suivent une structure logique claire. Ce n'est que lorsqu'il existe des preuves empiriques pour chacun de ces sept niveaux qu'un test est considéré comme pleinement fiable pour une application pratique.
L'architecture de l'argument de validation de Deutschtest.digital
Nous présentons ci-après l'architecture méthodologique de notre argumentation de validation pour l'évaluation des compétences en langue allemande. Puisqu'une argumentation de validation vise toujours un domaine cible précis, un niveau de compétence défini et un objectif particulier, les données probantes sous-jacentes doivent être structurées spécifiquement en fonction de l'interprétation et de l'utilisation prévues des résultats d'un test. L'architecture présentée ci-dessous illustre comment les différentes conclusions (inférences) au sein d'une argumentation de validation sont liées et quels types de preuves (justifications) sont nécessaires pour étayer scientifiquement les affirmations qui en résultent. Une argumentation de validation complète, incluant toutes les preuves empiriques et statistiques, dépasserait le cadre de cette présentation. Par conséquent, les documents justificatifs correspondants sont cités ici à titre d'exemple.
1 Définition du domaine
| Catégorie | Unser Qualitätsanspruch | Pièce justificative (pièce à conviction) |
|---|---|---|
| Description du domaine | Les exigences linguistiques et les situations de communication pertinentes du groupe cible ont été identifiées avec précision et exhaustivité. | Spécification du domaine cible |
| représentation | Les éléments du test représentent adéquatement le domaine défini dans les spécifications du test en couvrant le contenu requis et les niveaux cognitifs dans les proportions appropriées. | Plan d'examen/Outils de cartographie |
| Relevanz | Les éléments du test sont pertinents en termes de contenu et précisément calibrés au niveau de compétence souhaité ; ils ne contiennent aucune source de difficulté inappropriée qui ne fait pas partie du concept mesuré. | Protocoles de révision des items, évaluation des items à l'aide de grilles d'évaluation (y compris la preuve de la vérification du niveau CECR) |
| Contrôle qualité | Le processus de développement comprend des mécanismes de contrôle éditorial systématiques qui garantissent que les tâches présentant des lacunes qualitatives, des ambiguïtés ou des biais culturels sont nécessairement révisées ou abandonnées. | Protocole de contrôle qualité des articles (examen des articles) |
Contexte scientifique
Dans la littérature sur la théorie des tests psychométriques et linguistiques, l'utilisation de plans de test et d'outils de correspondance est une méthodologie incontournable pour garantir la validité de contenu et démontrer une représentation adéquate du domaine cible. Les normes relatives aux tests éducatifs et psychologiques recommandent explicitement la création d'une structure logique qui associe les items du test au domaine de contenu (correspondance).
Pour garantir cette couverture en pratique, Alderson (2005) définit explicitement les spécifications de test comme le « plan directeur » que les auteurs de tests et d’items doivent suivre pour établir la validité de construit d’un test. Fulcher et Davidson (2007) désignent également les spécifications de test comme de véritables « plans directeurs ».
2 Évaluation
Partie 1 : Conditions d'administration et protection contre la falsification
| Unser Qualitätsanspruch | Pièce justificative (pièce à conviction) |
|---|---|
| Le règlement des examens est d'une grande qualité et comprend des directives complètes et précises garantissant une administration des tests strictement standardisée et uniforme, ainsi que des dispositions contraignantes pour des aménagements justes et conformes aux normes (accessibilité). Les surveillants vérifient sans équivoque l'identité des candidats conformément aux directives applicables, en utilisant des procédures d'authentification fiables, et surveillent en permanence l'environnement de test (contrôle de la salle), empêchant ainsi toute fraude et tout échange d'informations non autorisé. | Règlement des examens, manuel de conduite des évaluations - contrôle des salles et vérification d'identité |
| Un environnement d’examen inviolable – que l’examen se déroule en personne ou en ligne – empêche de manière fiable l’accès à des aides non autorisées et élimine complètement les tentatives de tricherie grâce à des mécanismes de contrôle conformes au format (personnel de surveillance physique, navigateur sécurisé, surveillance à distance). | Liste des exigences de sécurité physique et électronique, plan d'urgence en cas de violation des règles de sécurité, mesures de prévention contre les activités non autorisées des candidats aux examens |
L'identification sans ambiguïté des participants et la surveillance continue de l'environnement de test constituent la condition sine qua non de toute procédure de test juridiquement valable. Si les procédures organisationnelles sont défaillantes et que l'identité physique du candidat ne peut être formellement liée à ses résultats, toutes les affirmations ultérieures concernant la validité du contenu et la validité statistique sont invalidées.
Parties 2 et 3 : Évaluation de la qualité, protocoles et évaluateurs
| Unser Qualitätsanspruch | Pièce justificative (pièce à conviction) |
|---|---|
| Des règles et des critères précis encadrent toutes les méthodes d'évaluation et le processus d'enregistrement des résultats, garantissant ainsi l'objectivité et la fiabilité de la procédure. Les échelles d'évaluation, fondées sur les niveaux de référence du CECR (énoncés « Je peux ») et adaptées aux contextes spécifiques, constituent des indicateurs valides des sous-compétences linguistiques mesurées. | Manuel pour la conduite de l'évaluation, manuel des spécifications d'évaluation : exigences minimales pour le logiciel de test, critères d'évaluation des performances productives. |
| Les évaluateurs employés possèdent les qualifications professionnelles nécessaires (par exemple, des diplômes universitaires pertinents) et une expérience didactique pertinente. | Références concernant les qualifications de l'évaluateur |
| Le programme de formation systématique fournit aux évaluateurs les compétences nécessaires pour appliquer les directives d'évaluation de manière cohérente et précise. | Certificats de formation des évaluateurs |
| Des contrôles de qualité manuels systématiques et des vérifications de plausibilité effectuées par des spécialistes qualifiés (intervention humaine) vérifient l'exactitude des processus d'évaluation automatisés et la justesse des clés de solution. | Preuve de la précision du traitement technique de l'évaluation de la machine |
| L'évaluation des performances aux examens est indépendante de la rigueur individuelle des examinateurs et est exempte de biais systématiques envers des tâches ou des groupes de personnes spécifiques. | Confirmation de la qualité de l'évaluation objective (analyse de Rasch multifactorielle) Valeurs cibles : Valeurs d'ajustement comprises entre 0,5 et 1,5. Effets d'interaction non significatifs (t ≤ 2,0). |
Dans la littérature sur la psychométrie et les tests de langage, la validité des évaluations de performance doit reposer sur des critères standardisés et ancrés de manière externe (mesure critériée). Afin d'exclure toute subjectivité, les échelles d'évaluation doivent être précisément alignées sur un système de référence établi et fondé sur une théorie.
Partie 4 : Qualité empirique / Intégrité statistique
| Unser Qualitätsanspruch | Pièce justificative (pièce à conviction) | valeurs cibles psychométriques |
|---|---|---|
| Les questions du test présentent une discrimination suffisante pour différencier efficacement et de manière fiable les candidats ayant un niveau de compétence linguistique plus ou moins élevé. | Preuve de discrimination statistique des items | Le pouvoir de sélection de la cible (r) doit être supérieur ou égal à 0,50 (les valeurs comprises entre 0,30 et 0,49 sont acceptables). L'indice de discrimination (D) doit être supérieur ou égal à 0,40. Les distracteurs doivent avoir une fréquence de sélection supérieure à 0. |
| Les niveaux de difficulté des tâches de test couvrent adéquatement toute la gamme de performances de la population cible. | Preuve d'une difficulté appropriée de l'élément | Valeur p cible comprise entre 0,40 et 0,59 (0,20–0,80 acceptable). Difficulté moyenne du test global d'environ 0,50. |
| Les éléments du test fonctionnent de manière invariante dans tous les sous-groupes concernés (aucun biais lié au sexe ou à la langue maternelle). | Confirmation de l'équité du test (Fonction différentielle des items / DIF) | Fonction différentielle de l'article (DIF) selon la procédure de Mantel-Haenszel (Catégorie A : sûr selon la classification ETS). |
3 Généralisation
Cohérence des formats et des tâches de test
| Unser Qualitätsanspruch | Pièce justificative (pièce à conviction) | valeurs cibles psychométriques |
|---|---|---|
| Cohérence entre les différents formulaires de test : Les résultats des tests sont cohérents entre les différentes versions de test (stabilité du niveau). | Preuve de la qualité de l'équivalence du formulaire de test (fiabilité des tests parallèles) | Corrélation cible r ≥ 0,90 (à partir de r ≈ 0,80 acceptable). Test t sans différences significatives (p > 0,05). |
| Cohérence entre les tâches : Les éléments du test sont homogènes (cohérence interne). | Preuve de cohérence interne et d'homogénéité | Alpha de Cronbach α ≥ 0,90 (0,80 - 0,89 acceptable). Discrimination des autres items ≥ 0,30. |
Cohérence entre les évaluateurs
| Unser Qualitätsanspruch | Pièce justificative (pièce à conviction) | valeurs cibles psychométriques |
|---|---|---|
| L'évaluation des performances à un examen par un seul examinateur est stable et cohérente dans le temps (cohérence des jugements). De plus, les évaluations réalisées par différents examinateurs ne présentent aucune différence significative de rigueur (neutralité). | Preuves empiriques de la cohérence et de la neutralité des jugements | Comparaison inter-évaluateurs : Aucune différence moyenne significative (p > 0,05). ICC ou Kappa ≥ 0,90 (valeur cible). |
4 Déclaration
| Unser Qualitätsanspruch | Pièce justificative (pièce à conviction) | valeurs cibles psychométriques |
|---|---|---|
| Construire une représentation : La structure interne des résultats du test correspond au construit théoriquement défini (GER). | Preuves empiriques de la dimensionnalité du construit (EFA/CFA). | Valeur KMO ≥ 0,80. Valeurs d'ajustement satisfaisantes : RMSEA ≤ 0,05, SRMR ≤ 0,08, CFI/TLI ≥ 0,95. |
| Réseau nomologique : Les résultats des tests sont en corrélation avec les procédures de test standardisées établies (critère externe). | Preuves empiriques de la validité critérielle (critère externe) | Corrélation forte et significative de r ≥ 0,50 (p <0,05). |
5 Extrapolation
| Unser Qualitätsanspruch | Pièce justificative (pièce à conviction) | Valeurs cibles psychométriques / analyse |
|---|---|---|
| Indicateurs de performance du domaine cible : Les résultats des tests sont corrélés à la capacité réelle d'agir en pratique. | Document démontrant la validité concomitante (évaluation par les enseignants) / Document démontrant la validité prédictive (validation pratique par des experts compétents) | Corrélations dans la gamme de r Environ 0,30 à 0,50. |
| Comparabilité des performances : Les éléments de test et les critères d'évaluation sont conformes aux normes établies du domaine cible. | Confirmation de la pertinence des critères par validation d'experts. | Comparaison systématique avec des experts en la matière (normes AERA, APA et NCME). |
| Authenticité et correspondance : Les matériaux et formats d'entrée correspondent aux exigences pratiques typiques. | Confirmation de l'authenticité situationnelle (analyse des données d'entrée). | Équivalence des performances structurelles (MANOVA). Test global non significatif (p > 0,05). |
| Les performances linguistiques ne présentent aucune déviation structurelle significative par rapport aux échantillons de performances authentiques. | Preuves empiriques de l'équivalence des performances structurelles (MANOVA). | |
| Les participants au test appliquent des stratégies de résolution de problèmes cognitifs pertinentes au concept (une véritable compréhension plutôt que de la devinette). | Preuve de processus mentaux conformes au concept (analyse des processus). | - |
6 Usage
| Unser Qualitätsanspruch | Pièce justificative (pièce à conviction) | valeurs cibles psychométriques |
|---|---|---|
| Pertinence / Utilité : Les parties prenantes (universités, enseignants) considèrent ces résultats comme utiles pour prendre des décisions justifiées. | Preuve de l'applicabilité pratique des résultats des tests. | Précision globale ≥ 0,90. Indice de fiabilité (Livingston & Lewis) Φ ≥ 0,70. |
| Règles de décision : Les seuils de réussite sont le résultat d'une procédure de normalisation qualifiée. | Cadre d'évaluation - Procédures de définition des normes / Seuil de réussite. | |
| Qualité et cohérence de la classification : Les classifications correspondent en grande partie à une évaluation de référence indépendante. | Preuve de la précision de la classification (seuils de classification). | |
| Interprétabilité et communication : Les résultats des tests sont clairement interprétables pour les parties prenantes. | Confirmation de l'interprétabilité et de l'utilité des rapports de résultats. | |
| Fidélité de l'application : Les décideurs appliquent systématiquement les règles de décision établies dans leurs opérations. | Preuve de conformité à la demande. | - |
7 conséquences
| Unser Qualitätsanspruch | Pièce justificative (pièce à conviction) |
|---|---|
| Les résultats obtenus suite à l'utilisation de cet essai confirment les bénéfices escomptés, tandis que les effets secondaires négatifs restent minimes. | Preuves des conséquences des résultats des tests (bénéfices pour l'utilisateur et effets indésirables) |
| Les droits, la dignité et les données sensibles des participants aux tests sont protégés par des directives strictes (y compris des procédures de réclamation). | Directives relatives aux recours, manuel du système de gestion de l'information |
| La mise en œuvre du test a un effet positif en retour sur le système éducatif (l'accent est mis sur les compétences plutôt que sur les stratégies de test). | Preuves des conséquences des résultats des tests (impact macroéconomique et bénéfice social) |
En théorie moderne des tests, la mise en œuvre de procédures d'appel et de directives de sécurité de l'information n'est pas considérée comme un acte purement administratif, mais comme un instrument méthodologique indispensable pour garantir la validité conséquentialiste (cf. Messick, 1989 ; 1995). Une procédure d'arbitrage réglementée constitue un contre-contrôle qualitatif nécessaire pour identifier les variances non pertinentes au construit.