Încadrarea unui test de limbă în Cadrul European Comun de Referință pentru Limbi (CECR) reprezintă un proces complex de validare. Afirmația că un test corespunde unui anumit nivel CECR nu este un fapt direct observabil, ci trebuie susținută de dovezi teoretice și empirice. Colectarea și evaluarea acestor dovezi are loc în cadrul validării afirmației corespunzătoare de validitate.
(a se vedea Consiliul Europei, 2009, p. 7)Dacă, în calitate de factor de decizie, solicitați o dovadă a competenței lingvistice de la un candidat într-un scop specific, vi se va înmâna, în general, un certificat de limbă sau un rezultat al testului corespunzător. Un astfel de document conține, în esență, un rezultat al măsurătorii determinat în anumite condiții metodologice și legate de examinare. Dacă îl utilizați, de exemplu, într-o procedură oficială de evaluare a competenței lingvistice, acesta poate servi drept dovadă (a se vedea articolul 26 alineatul 1 teza 1 și teza 2 nr. 3 din Legea germană privind procedura administrativă). Cu toate acestea, un astfel de rezultat al măsurătorii își dobândește semnificația doar printr-o interpretare profesională solidă și bazată pe dovezi. Prin urmare, întrebarea crucială nu este doar ce rezultat este scris pe hârtie, ci pe ce bază științifică poate fi evaluat în mod fiabil acest rezultat al măsurătorii.
Valabilitatea unei astfel de interpretări depinde în mare măsură de soliditatea științifică, fiabilitatea tehnică și controlul organizațional al proceselor de testare subiacente. Prin urmare, ceea ce contează nu este simpla valoare măsurată, ci calitatea întregului sistem care o generează.
Pentru a evalua fiabilitatea unui certificat lingvistic, este, prin urmare, necesar să se examineze condițiile în care sunt colectate, procesate și interpretate datele testelor. Aceste procese controlate generează dovezile necesare pentru a permite o evaluare științifică a calității testelor.
Totuși, aceste dovezi individuale nu constituie încă o justificare concludentă pentru interpretarea rezultatului unui test. Numai prin integrarea lor sistematică într-un argument de validare apare o bază științifică inteligibilă pentru motivul pentru care o afirmație specifică despre competența lingvistică a unei persoane poate fi derivată dintr-un rezultat concret al unui test.
Următoarele secțiuni explică mai întâi infrastructura generării de dovezi – adică standardele, procesele și mecanismele de control prin care se produc dovezi fiabile. Ulterior, acestea descriu modul în care aceste dovezi sunt integrate sistematic în abordarea noastră de validare și pe ce bază științifică se bazează interpretarea rezultatelor testelor noastre.
Pentru a demonstra obiectiv că un certificat nu este o promisiune deșartă, o organizație de testare are nevoie de dovezi empirice solide (date psihometrice, analize de fiabilitate, documentație de validare). Cercetarea modernă a testelor subliniază o premisă centrală: nu există în mod inerent „teste valide” sau „rezultate valide ale testelor” - validitatea poate fi obținută doar prin interpretarea și utilizarea acestor rezultate într-un scop specific.
Doar un sistem de management al calității metodic și cuprinzător poate garanta că un furnizor de teste generează în mod continuu date brute curate și imparțiale, esențiale pentru justificarea unei interpretări valide a competenței lingvistice. Întrucât astfel de dovezi sunt demne de încredere doar dacă nu sunt generate arbitrar, este necesară o arhitectură de sistem riguroasă și independentă. Această arhitectură se bazează pe cinci piloni:
Un standard este un set documentat de reguli care descrie cerințe, criterii sau recomandări pentru procese, proceduri sau servicii specifice. Acesta creează un cadru comun pentru a asigura sistematic calitatea, comparabilitatea, transparența și trasabilitatea. Standardele pot fi dezvoltate și publicate de diverse părți interesate și servesc la definirea celor mai bune practici, cerințelor tehnice și reperelor de calitate într-un mod transparent și ușor de înțeles.
Deutschtest.digital își bazează dezvoltarea, administrarea, evaluarea și asigurarea continuă a calității testelor sale lingvistice pe cerințele DIN ISO 29992. Prin intermediul standardului ISO 29992 („Evaluarea rezultatelor serviciilor de învățare”), comitetul internațional de standardizare ISO/TC 232 („Servicii de educație și învățare”) a publicat un standard dedicat, destinat organizațiilor care furnizează servicii de învățare și dezvoltă, selectează sau aplică evaluări. Standardul internațional ISO 29992 a fost adoptat în sistemul național de standardizare de către Institutul German de Standardizare (DIN) ca DIN ISO 29992.
Standardul formulează cerințe specifice de calitate pentru planificarea, dezvoltarea, administrarea și evaluarea evaluărilor și include în mod explicit măsurarea competenței lingvistice conform Cadrului European Comun de Referință pentru Limbi (CECR). Spre deosebire de ghidurile pur teoretice privind testele, ISO 29992 provine în principal din logica managementului serviciilor bazate pe asigurarea calității. Pentru Deutschtest.digital, acesta formează cadrul organizațional și metodologic central pentru asigurarea calității. Ne sprijină în generarea de dovezi fiabile, documentarea transparentă a proceselor de testare și asigurarea calității constante a testelor noastre lingvistice conform unor standarde verificabile și trasabile. În același timp, oferă factorilor de decizie o certitudine juridică, instituțională și metodologică cuprinzătoare.
Cerințele standardului ISO 29992 sunt structurate în următoarele capitole principale:
DIN ISO 29992 oferă Deutschtest.digital nu doar un cadru formal de calitate, ci creează și o bază sistematică pentru dezvoltarea, administrarea și revizuirea continuă a testelor noastre lingvistice. Principalele avantaje ale aplicării acestui standard rezidă în special în următoarele domenii:
Asigurarea unei arhitecturi de securitate obligatorii: Standardul definește cerințele pentru un plan de securitate structurat. Organizațiile care aplică DIN ISO 29992 trebuie să implementeze sistematic măsuri preventive împotriva manipulării (prevenirea fraudei) și să protejeze integritatea sarcinilor, precum și securitatea informațiilor și a identității prin procese definite.
Asigurarea durabilă a calității prin managementul ciclului de viață: Prin solicitarea unui proces continuu de întreținere și monitorizare (plan de întreținere), ISO 29992 susține asigurarea pe termen lung a calității testării. În loc de o revizuire unică, standardul consideră evaluarea și îmbunătățirea continuă a procedurilor de testare ca o componentă esențială a asigurării calității. Acest lucru permite identificarea timpurie a modificărilor calității testelor și corectarea acestora prin măsuri susținute empiric.
Legătura tehnică cu Cadrul European Comun de Referință pentru Limbi (CECR): Structura standardului permite transferul sistematic al cerințelor generale de calitate către diagnosticarea lingvistică. Acest lucru permite corelarea cerințelor ISO 29992 cu descrierile competențelor bazate pe teorie ale Cadrului European Comun de Referință pentru Limbi (CECR) și permite justificarea comprehensivă a atribuirii rezultatelor testelor nivelurilor lingvistice.
Justificare transparentă a interpretării și utilizării rezultatelor: ISO 29992 impune o prezentare clară a relației dintre rezultatele evaluării și interpretarea acestora. Aceasta oferă baza pentru o descriere științifică inteligibilă a concluziilor care pot fi trase dintr-un rezultat al testului și în ce scopuri poate fi utilizat un certificat.
Baza unui argument de validare științific solid: Un avantaj cheie al standardului ISO 29992 este acela că susține generarea structurată și documentarea dovezilor relevante. Combinată cu metode psihometrice, aceasta creează o bază robustă de dovezi pe care se poate dezvolta un argument de validare științific solid. Acest argument permite justificarea transparentă, inteligibilă și cu dovezi profesionale solide a interpretării și utilizării rezultatelor testelor.
Un organism de certificare independent este o organizație externă și imparțială care verifică și confirmă faptul că o organizație îndeplinește cerințele sau standardele de calitate specificate. Nu evaluează performanța proprie a organizației certificate, ci efectuează un audit independent al proceselor, structurilor și dovezilor sale documentate. Această evaluare externă creează un nivel suplimentar de încredere, deoarece asigurarea calității nu este exclusiv responsabilitatea organizației în sine.
O caracteristică cheie a certificării independente este separarea dintre evaluare și decizia de certificare. Revizuirea proceselor și a dovezilor este efectuată de auditori experți, în timp ce decizia finală de certificare este luată de un organism independent. Acest lucru evită autoevaluările și potențialele conflicte de interese, asigurând obiectivitatea și credibilitatea certificării.
Pentru asigurarea externă a calității, colaborăm cu organismul de certificare independent DeuZert . DeuZert garantează integritatea, credibilitatea și acceptarea deplină a deciziilor sale de certificare. Cu peste două decenii de experiență, DeuZert deține cunoștințe de specialitate vaste în sectorul educației și certificării.
Valoarea adăugată cheie a certificării independente de către DeuZert constă în faptul că, în calitatea proceselor implementate, aceasta nu este evaluată exclusiv de către organizația în sine, ci este supusă unei evaluări externe de către experți. Acest lucru creează un nivel suplimentar de încredere pentru factorii de decizie. Următoarele aspecte sunt deosebit de relevante:
În urma finalizării cu succes a procesului de audit, DeuZert ne-a emis un certificat de conformitate cu DIN ISO 29992. Acest document confirmă faptul că procedurile implementate la Deutschtest.digital pentru planificarea, dezvoltarea, desfășurarea și evaluarea evaluărilor în domeniul competențelor lingvistice germane îndeplinesc cerințele standardului și au fost evaluate în cadrul unui audit extern independent.
Prin urmare, certificatul de conformitate servește drept dovadă formală a faptului că Deutschtest.digital își aliniază procesele de testare la un standard recunoscut la nivel internațional pentru evaluarea rezultatelor învățării. Acesta confirmă implementarea sistematică a unor proceduri conforme cu standardele pentru a asigura transparența, comparabilitatea și calitatea rezultatelor testelor.
Vizualizați certificatulStandardele internaționale prevăd o separare strictă între procesul decizional privind evaluarea și cel de certificare. Revizuirea propriu-zisă a organizației de testare (auditul) este efectuată de auditori independenți, cu înaltă calificare. Aceștia examinează dovezile empirice, evaluează arhitectura sistemului în practică și își documentează constatările într-un raport de audit, care servește drept bază factuală neutră pentru decizia ulterioară a organismului de certificare.
Auditurile de supraveghere sunt efectuate de o rețea de experți în educație, examinatori, auditori și evaluatori cu experiență, care acționează în numele DeuZert. Utilizarea acestei echipe înalt specializate garantează că evaluarea proceselor și a dovezilor noastre nu este doar administrativă, ci este realizată și cu cel mai înalt nivel de expertiză în teoria testării conținutului și a limbajului.
Reglementările de audit sunt reguli procedurale obligatorii care definesc cu precizie modul în care un organism de certificare trebuie să efectueze un audit. Acestea guvernează procesul de revizuire a documentelor, eșantionare, interviuri și audituri la fața locului sau de sistem pentru a preveni arbitrariul și a garanta o calitate reproductibilă a auditului.
Procedura de audit pentru ISO 29992 este supusă cerințelor standardului general DIN EN ISO/IEC 17065. Acest standard nu reglementează testul în sine, ci mai degrabă metodele de lucru, independența și competența organismului de certificare. Acest lucru asigură că auditul extern este lipsit de conflicte de interese comerciale sau interne. Rezultatul este o confirmare externă independentă a implementării conforme cu standardul a proceselor de testare și evaluare, bazată pe o bază profesională și metodologică documentată transparent.
O evaluare solidă a competențelor lingvistice necesită o bază de date fiabilă. Dovezile calității testelor se bazează în principal pe următoarele categorii cheie de dovezi:
Aceste documente stabilesc fundamentul strategic și contractual înainte de începerea dezvoltării propriu-zise a testului. Acestea documentează analize sistematice ale nevoilor grupului țintă, precum și acorduri obligatorii privind scopul precis al testului.
Această categorie include planuri detaliate și protocoale de testare pentru asigurarea calității conținutului. Acestea demonstrează că fiecare element individual de testare îndeplinește specificațiile tehnice și nivelul CECR vizat.
Acestea garantează un proces de examinare complet uniform, standardizat și inviolabil în toate locațiile de testare. Aceasta include manuale pentru supraveghetori, verificări stricte ale identității candidaților și planuri detaliate de securitate IT.
Aceste documente reglementează acordarea obiectivă, fără erori și imparțială a punctelor. Acestea conțin grile de răspuns, îndrumări de evaluare pentru examinatori și dovezi ale acurateței procedurilor automate de evaluare.
Acestea demonstrează calificările profesionale, academice și de diagnostic ale întregului personal de testare și evaluare. În plus, documentează conceptul de instruire sistematică și cursuri regulate de perfecționare pentru a asigura standarde uniforme de evaluare.
Acestea oferă dovezi științifice și statistice pentru calitatea psihometrică reală a testului. Includ calcule privind acuratețea măsurării (fiabilitatea), corectitudinea între subgrupuri și o structură dimensională conformă cu teoria.
Aceste procese controlează monitorizarea continuă a calității și reînnoirea regulată a testelor în timpul funcționării. Ele definesc indicatori statistici pentru ciclul de viață al sarcinilor pentru a asigura înlocuirea materialelor consumabile în timp util și într-un mod standardizat.
Acestea protejează drepturile, demnitatea și protecția candidaților la examene pe tot parcursul procesului. Aceasta include ghiduri transparente privind contestațiile și reclamațiile, asistență ușor de înțeles pentru utilizatori și concepte stricte de securitate a datelor.
Dovezile generate în cadrul arhitecturii de asigurare a calității constituie inițial dovezi individuale privind calitatea și funcționalitatea procedurii de testare. Numai prin integrarea lor sistematică într-un argument de validare apare o justificare inteligibilă pentru motivul pentru care o afirmație specifică despre competența lingvistică a unei persoane poate fi derivată dintr-un rezultat al testului.
Dacă dezvoltatorii de teste iau în considerare criteriile științifice de calitate în mod izolat, riscă să piardă din vedere logica și obiectivul general al testului. Calitatea unui test de limbă nu rezultă exclusiv din sarcini individuale sau parametri statistici, ci din interacțiunea tuturor componentelor procedurii de testare. În cercetarea modernă a testării lingvistice, validitatea unui test este, prin urmare, înțeleasă - influențată, printre altele, de lucrările lui Bachman & Palmer, Michael Kane și Carol Chapelle - ca un concept de calitate cuprinzător și multidimensional. Întrebarea crucială nu este dacă sunt îndeplinite criteriile individuale de calitate, ci dacă concluziile trase din rezultatul unui test pot fi justificate în ansamblu.
Această întrebare este deosebit de importantă deoarece rezultatele testelor de limbă au adesea consecințe de anvergură asupra deciziilor privind educația, cariera și rezidențiatul. Prin urmare, furnizorii de teste poartă o responsabilitate profesională și etică specială. Aceștia nu trebuie doar să asigure calitatea procedurilor lor de testare, ci și să fie capabili să demonstreze această calitate în mod transparent. Tocmai din această nevoie s-a dezvoltat conceptul așa-numitului argument al validității în cercetarea modernă a validității.
Din punct de vedere istoric, această abordare a apărut în anii 1990 și 2000 ca un răspuns inovator la modelele de validitate științifică, anterior foarte abstracte, care ofereau puține îndrumări concrete pentru practica de testare din lumea reală. Cercetătorul american Michael Kane a aplicat teoria argumentării practice a filosofului Stephen Toulmin teoriei testelor. Renumita lingvistă Carol Chapelle a dezvoltat ulterior această logică în mod specific pentru cercetarea testării lingvistice - este renumită în întreaga lume pentru validarea pionieră a TOEFL iBT începând din 2008. Ea a rafinat modelul într-un lanț continuu de șapte pași preciși de inferență, care astăzi reprezintă o abordare modernă consacrată a justificării și documentării sistematice a interpretărilor testelor.
Beneficiul crucial al acestei abordări constă în eliberarea organizațiilor de testare lingvistică de rolul pasiv de simpli „emitenți de certificate ”. În loc să prezinte pur și simplu documente individuale dezorganizate sau liste de verificare rigide autorităților de acreditare sau factorilor de decizie ministeriali, furnizorii de teste își pot asuma acum un „rol de susținere ” activ și proactiv. Acest lucru le permite să argumenteze validitatea, corectitudinea și certitudinea juridică a examenelor lor în fața factorilor de decizie în mod independent, transparent și într-un mod științific incontestabil, dovedind ei înșiși acest lucru printr-un lanț de dovezi construit sistematic.
Un argument de validare descrie astfel această abordare structurată utilizată pentru a justifica validitatea rezultatelor testelor. Punctul de plecare este presupunerea că fiecare test face o afirmație despre competența lingvistică a unei persoane. De exemplu, dacă unei persoane i se atribuie nivelul B1 din Cadrul European Comun de Referință pentru Limbi (CECR), aceasta implică faptul că posedă competențele lingvistice definite pentru acest nivel. Argumentul de validare are sarcina de a susține sistematic și de a justifica în mod comprehensibil această afirmație.
Aceasta implică construirea unui lanț coerent de raționament care se extinde de la sarcinile de testare, prin administrare și evaluare, până la interpretarea rezultatelor. Pentru fiecare etapă individuală, se utilizează fundamente teoretice și dovezi empirice (așa-numitele dovezi de susținere) pentru a demonstra că ipotezele formulate sunt justificate. Argumentul de validare conectează astfel dovezile științifice cu deciziile practice de testare și face transparent de ce un anumit rezultat al testului poate fi considerat o dovadă semnificativă a unei competențe lingvistice definite. În acest fel, se creează baza pentru încredere, transparență și responsabilitate legală a testelor de limbă.
Pentru a oferi dovezi profesionale irefutabile ale calității unui test de limbă, diagnosticarea modernă urmează o structură logică clară. Numai atunci când există dovezi empirice pentru fiecare dintre aceste șapte niveluri, un test este considerat pe deplin fiabil pentru aplicarea practică.
În cele ce urmează, prezentăm arhitectura metodologică a argumentului nostru de validare pentru evaluarea competenței lingvistice în limba germană. Întrucât un argument de validare este întotdeauna orientat către un domeniu țintă specific, un nivel de competență definit și un scop particular, baza de dovezi subiacentă trebuie să fie structurată în mod specific pentru interpretarea și utilizarea preconizată a unui rezultat al testului. Arhitectura prezentată mai jos ilustrează modul în care sunt legate concluziile individuale (inferențe) din cadrul unui argument de validare și ce tipuri de dovezi (susțineri) sunt necesare pentru a fundamenta științific afirmațiile rezultate. Un argument de validare complet, cu toate dovezile empirice și statistice, ar depăși scopul acestei prezentări. Prin urmare, documentele justificative corespunzătoare sunt enumerate aici ca exemple.
| Categorie | Examenul nostru de calitate | Document justificativ (de susținere) |
|---|---|---|
| Descrierea domeniului | Cerințele lingvistice relevante și situațiile comunicative ale grupului țintă au fost identificate cu precizie și completitate. | Specificația domeniului țintă |
| reprezentare | Itemii testului reprezintă în mod adecvat domeniul definit în specificațiile testului, acoperind conținutul necesar și nivelurile cognitive în proporțiile corecte. | Instrumente de cartografiere/plan de examen |
| Relevanz | Itemii testului sunt relevanți din punct de vedere al conținutului și calibrați cu precizie la nivelul de competență dorit; nu conțin surse de dificultate nepotrivite care nu fac parte din constructul măsurat. | Protocoale de evaluare a itemilor, evaluarea itemilor folosind formulare de evaluare (inclusiv dovada verificării nivelului CECR) |
| Control de calitate | Procesul de dezvoltare include mecanisme sistematice de control editorial care asigură că sarcinile care prezintă deficiențe calitative, ambiguități sau prejudecăți culturale sunt în mod necesar revizuite sau eliminate. | Protocolul de control al calității articolelor (revizuirea articolelor) |
În literatura psihometrică și teoretică a testelor lingvistice, utilizarea planurilor de testare și a instrumentelor de mapare este metodologia obligatorie pentru asigurarea validității conținutului și demonstrarea reprezentării adecvate a domeniului țintă. Standardele pentru testarea educațională și psihologică recomandă în mod explicit crearea unei structuri logice care să mapeze itemii testului la domeniul conținutului (mapare).
Pentru a asigura această acoperire în practică, Alderson (2005) definește în mod explicit specificațiile testelor ca fiind „planul” pe care autorii testelor și itemilor trebuie să îl urmeze pentru a stabili validitatea de construct a unui test. Fulcher și Davidson (2007) se referă, de asemenea, la specificațiile testelor ca la propriu „planuri generative”.
| Examenul nostru de calitate | Document justificativ (de susținere) |
|---|---|
| Regulamentul de examinare este de înaltă calitate, conținând instrucțiuni complete și precise care asigură o administrare strict standardizată și uniformă a testelor, precum și reglementări obligatorii pentru acomodări echitabile și conforme cu structura (accesibilitate). Supraveghetorii validează în mod neechivoc identitățile candidaților în conformitate cu instrucțiunile aplicabile, utilizând proceduri de autentificare fiabile și monitorizează continuu mediul de testare (controlul sălii), prevenind astfel structural intermediarii și schimbul neautorizat de informații. | Regulamentul de examinare, manual pentru efectuarea evaluărilor - controlul sălii și verificarea identității |
| Un mediu de examinare rezistent la manipulare – indiferent dacă examinarea are loc în persoană sau digital – previne în mod fiabil accesul la materiale neautorizate și elimină complet tentativele de fraudă prin mecanisme de control conforme cu formatul (personal de supraveghere fizică, browser securizat, supraveghere de la distanță). | Lista cerințelor de securitate fizică și electronică, planul de urgență în caz de încălcare a reglementărilor de securitate, contramăsurile împotriva activităților neautorizate ale candidaților la examen |
Identificarea neechivocă a participanților la test și monitorizarea fără probleme a mediului de testare constituie conditio sine qua non absolută (premisa esențială) a oricărei proceduri de testare solide din punct de vedere juridic. Dacă procedurile organizatorice sunt defectuoase și identitatea fizică a candidatului nu poate fi legată în mod neechivoc de performanța la test, toate afirmațiile ulterioare privind conținutul și validitatea statistică devin invalide.
| Examenul nostru de calitate | Document justificativ (de susținere) |
|---|---|
| Există reguli și criterii precise pentru toate metodele de evaluare și procesul de înregistrare a rezultatelor, asigurând astfel obiectivitatea și fiabilitatea procedurală. Scalele de evaluare, bazate pe nivelurile de referință CECR (enunțurile „Can-Do”) și adaptate contextelor specifice, reprezintă indicatori valizi ai subcompetențelor lingvistice măsurate. | Manual pentru efectuarea evaluării, manual al specificațiilor de evaluare: cerințe minime pentru software-ul de testare, criterii de evaluare pentru performanța productivă. |
| Evaluatorii posedă calificările profesionale necesare (de exemplu, diplome universitare relevante) și experiență didactică relevantă. | Certificate de referință ale calificărilor evaluatorului |
| Programul de instruire sistematică oferă evaluatorilor abilitățile necesare pentru a aplica în mod consecvent și precis ghidurile de evaluare. | Certificatele de formare ale evaluatorilor |
| Controalele manuale sistematice ale calității și verificările de plauzibilitate efectuate de specialiști calificați (human-in-the-loop) verifică acuratețea proceselor automate de evaluare și corectitudinea cheilor soluțiilor. | Dovada preciziei procesării tehnice a evaluării mașinii |
| Evaluarea performanței la examen este independentă de strictețea individuală a examinatorilor și este lipsită de prejudecăți sistematice față de sarcini specifice sau grupuri de persoane. | Confirmarea calității evaluării obiective (analiza Rasch multifațetată) Valori țintă: Infit/Oftfit MNSQ 0,5–1,5; Biasul evaluatorului |t| ≤ 2,0. |
În literatura psihometrică și teoretică a testelor lingvistice, validitatea evaluărilor performanței trebuie să se bazeze pe criterii standardizate, ancorate extern (măsurare bazată pe criterii). Pentru a exclude standardele subiective, scalele de evaluare trebuie să fie aliniate precis cu un sistem de referință stabilit, bazat pe teorie.
| Examenul nostru de calitate | Document justificativ (de susținere) | Valori țintă psihometrice |
|---|---|---|
| Itemurile testului au o discriminare suficientă pentru a diferenția eficient și fiabil între candidații cu competență lingvistică superioară și inferioară. | Dovada discriminării statistice a itemilor | Discriminare corectată rit ≥ 0,30 (interval țintă ≥ 0,40–0,50); frecvența de selecție a distractorului > 5% cu corelație punct-biserială negativă. |
| Nivelurile de dificultate ale sarcinilor de testare acoperă în mod adecvat întreaga gamă de performanță a populației țintă. | Dovezi ale dificultății adecvate a itemului | Dificultatea itemului P = 0,20 până la 0,80 (P ≈ 0,50 optim); probabilitatea de ghicire P_chance = 0,25 cu 4 opțiuni. |
| Itemii testului funcționează invariant în subgrupurile relevante (fără prejudecăți datorate sexului sau primei limbi). | Confirmarea corectitudinii testului (Funcția elementului diferențial / DIF) | Categoria ETS A (DIF < 1,0 sau p > 0,05; neglijabil/acceptabil). |
| Examenul nostru de calitate | Document justificativ (de susținere) | Valori țintă psihometrice |
|---|---|---|
| Consistență între formularele de testare: Rezultatele testelor sunt consistente între diferitele versiuni de testare (stabilitate a nivelului). | Dovada calității echivalenței formularului de testare (fiabilitatea testelor paralele) | Fiabilitatea formelor paralele r ≥ 0,80 (scalele scurte r ≥ 0,70); fără diferențe medii semnificative (test de echivalență). |
| Consecvență între sarcini: Elementele testate sunt omogene (consistență internă). | Dovada consistenței interne și a omogenității | α Cronbach sau ω McDonald ≥ 0,85 (țintă ≥ 0,90; scale scurte < 20 itemi: α ≥ 0,75). |
| Examenul nostru de calitate | Document justificativ (de susținere) | Valori țintă psihometrice |
|---|---|---|
| Evaluarea performanței la examen de către un singur examinator este stabilă și consecventă în timp (consecvența judecăților). În plus, evaluările efectuate de diferiți examinatori nu prezintă diferențe semnificative în ceea ce privește rigoarea (neutralitate). | Dovezi empirice ale consecvenței și neutralității judecăților | Neutralitate a judecății: p > 0,05 și Cohen's d < 0,20 (sau ηp² parțial < 0,01); Interrater: ICC ≥ 0,85 (0,75–0,84 acceptabil), κ_w ≥ 0,75; Intrarater: ICC ≥ 0,75, κ_w ≥ 0,75. |
| Examenul nostru de calitate | Document justificativ (de susținere) | Valori țintă psihometrice |
|---|---|---|
| Reprezentarea constructului: Structura internă a rezultatelor testelor corespunde constructului definit teoretic (GER). | Dovezi empirice ale dimensionalității constructului (EFA/CFA). | EFA: KMO ≥ 0,80, Bartlett p < 0,05, sarcini λ ≥ 0,60 (min. > 0,30); CFA: RMSEA ≤ 0,05 (până la 0,08), SRMR ≤ 0,08, CFI și TLI ≥ 0,95 (min. ≥ 0,90). |
| Rețea nomologică: Rezultatele testelor se corelează cu procedurile de testare standardizate stabilite (criteriu extern). | Dovezi empirice ale validității criteriului (criteriu extern) | Validitate convergentă: r ≥ 0,60 (țintă r ≥ 0,70, p < 0,01); rcorr corectat pentru atenuare ≥ 0,80; discriminant: r < 0,30. |
| Examenul nostru de calitate | Document justificativ (de susținere) | Valori țintă/analiză psihometrică |
|---|---|---|
| Indicatori de performanță ai domeniului țintă: Rezultatele testelor se corelează cu capacitatea reală de a acționa în practică. | Document care demonstrează validitatea concurentă (evaluare de către profesor) / Document care demonstrează validitatea predictivă (validare practică de către experți relevanți) | Validitatea concordanței r ≥ 0,40 (evaluarea profesorului); validitatea predictivă r ≥ 0,30 (experiența practică). |
| Comparabilitatea performanței: Elementele de testare și criteriile de evaluare respectă standardele stabilite ale domeniului țintă. | Confirmarea relevanței criteriilor prin validarea de către experți. | Comparație sistematică între experți. |
| Autenticitate și corespondență: Materialele și formatele de intrare corespund cerințelor practice tipice. | Confirmarea autenticității situaționale (analiza datelor de intrare). | Corespondență situațională ridicată între materialele de intrare și genurile textuale (revizuire de specialitate). |
| Performanțele lingvistice nu prezintă abateri structurale semnificative față de mostrele autentice de performanță. | Dovezi empirice ale echivalenței performanței structurale (MANOVA). | MANOVA nesemnificativă (p > 0,05); ηp² parțial univariat < 0,01 (interval de toleranță 0,01 până la < 0,06; inacceptabil ≥ 0,06). |
| Participanții la test aplică strategii de rezolvare a problemelor cognitive relevante pentru constructe (înțelegere autentică în loc de ghicire). | Dovezi ale proceselor mentale conforme cu constructele (analiza proceselor). | Analize de proces. |
| Examenul nostru de calitate | Document justificativ (de susținere) | Valori țintă psihometrice |
|---|---|---|
| Potrivititate / Utilitate: Părțile interesate (universități, lectori) consideră rezultatele utile pentru luarea unor decizii justificabile. | Dovada aplicabilității practice a rezultatelor testelor. | Acceptare ridicată în sondajele realizate în rândul părților interesate (rata de aprobare ≥ 80–85%). |
| Reguli de decizie: Scorurile limită sunt rezultatul unei proceduri calificate de stabilire a standardelor. | Cadrul de evaluare - Proceduri de stabilire a standardelor / Punctaje minime. | Scoruri de delimitare legitimate profesional / definiție la limită conform metodei Angoff sau Bookmark. |
| Calitatea și consecvența clasificării: Clasificările corespund în mare măsură unei evaluări de referință independente. | Dovada acurateței clasificării (scoruri minime). | Precizie de clasificare ≥ 0,90; Indice de fiabilitate Φ ≥ 0,70; Minimizarea ratelor de rezultate fals pozitive/negative. |
| Interpretabilitate și comunicare: Rezultatele testelor sunt clar interpretabile pentru părțile interesate. | Confirmarea interpretabilității și utilității rapoartelor de rezultate. | Claritate ridicată a rapoartelor de scor în sondajele de utilizabilitate (rata de aprobare ≥ 85%). |
| Fidelitatea aplicației: Factorii de decizie aplică în mod consecvent regulile decizionale stabilite în operațiunile lor. | Dovada respectării cerințelor aplicației. | Utilizare conformă / verificare prin audituri ale jurnalelor de sistem (scanări de coduri QR). |
| Examenul nostru de calitate | Document justificativ (de susținere) |
|---|---|
| Consecințele obținute ale utilizării testului ating de fapt beneficiile scontate, în timp ce efectele secundare negative rămân minime. | Dovezi ale consecințelor rezultatelor testelor (beneficiu pentru utilizator și efecte secundare) |
| Drepturile, demnitatea și datele sensibile ale participanților la test sunt protejate de reguli stricte (inclusiv proceduri de reclamații). | Ghid de contestare, manual pentru sistemul de gestionare a informațiilor |
| Implementarea testului are un efect pozitiv asupra sistemului educațional (accent pe competențe în loc de strategii de testare). | Dovezi ale consecințelor rezultatelor testelor (impact macro și beneficii sociale) |
În teoria modernă a testelor, implementarea procedurilor de apel și a ghidurilor de securitate a informațiilor nu este considerată un act pur administrativ, ci un instrument metodologic obligatoriu pentru asigurarea validității consecvențiale (cf. Messick, 1989; 1995). O procedură de arbitraj reglementată servește drept o contra-verificare calitativă necesară pentru identificarea varianței irelevante din punct de vedere al constructului.
Trebuie să încărcați conținutul reCAPTCHA pentru a trimite formularul. Rețineți că acest lucru implică schimbul de date cu furnizori terți.
Mai multe informațiiÎn prezent, vizualizați conținut temporar de la Turnstile . Pentru a accesa conținutul real, faceți clic pe butonul de mai jos. Rețineți că acest lucru va implica partajarea datelor cu terțe părți.
Mai multe informațiiÎn prezent, vizualizați conținut substituent din reCAPTCHA . Pentru a accesa conținutul propriu-zis, faceți clic pe butonul de mai jos. Rețineți că acest lucru va implica partajarea datelor cu terțe părți.
Mai multe informații