Thông tin dành cho người ra quyết định: Luận điểm xác thực của Deutschtest.digital – Tăng độ tin cậy của quyết định dựa trên bằng chứng thông qua chẩn đoán ngôn ngữ hiện đại

Deutschtest.digital dựa trên các yêu cầu của tiêu chuẩn DIN ISO 29992 để phát triển, quản lý, đánh giá và đảm bảo chất lượng liên tục các bài kiểm tra ngôn ngữ của mình. Với tiêu chuẩn ISO 29992 ("Đánh giá kết quả của dịch vụ học tập"), ủy ban tiêu chuẩn quốc tế ISO/TC 232 ("Dịch vụ Giáo dục và Học tập") đã ban hành một tiêu chuẩn chuyên biệt dành cho các tổ chức cung cấp dịch vụ học tập và phát triển, lựa chọn hoặc áp dụng các bài đánh giá. Tiêu chuẩn quốc tế ISO 29992 đã được Viện Tiêu chuẩn hóa Đức (DIN) thông qua vào hệ thống tiêu chuẩn quốc gia với tên gọi DIN ISO 29992.

Tiêu chuẩn này đưa ra các yêu cầu chất lượng cụ thể cho việc lập kế hoạch, phát triển, quản lý và đánh giá các bài kiểm tra, và bao gồm rõ ràng việc đo lường trình độ ngôn ngữ theo Khung tham chiếu chung châu Âu về ngôn ngữ (CEFR). Không giống như các hướng dẫn thuần túy lý thuyết về kiểm tra, ISO 29992 chủ yếu xuất phát từ logic của quản lý dịch vụ đảm bảo chất lượng. Đối với Deutschtest.digital, nó tạo thành khuôn khổ tổ chức và phương pháp luận trung tâm cho việc đảm bảo chất lượng. Nó hỗ trợ chúng tôi trong việc tạo ra bằng chứng đáng tin cậy, ghi chép minh bạch các quy trình kiểm tra và đảm bảo chất lượng nhất quán của các bài kiểm tra ngôn ngữ của chúng tôi theo các tiêu chuẩn có thể kiểm chứng và truy vết. Đồng thời, nó cung cấp cho những người ra quyết định sự chắc chắn toàn diện về mặt pháp lý, thể chế và phương pháp luận.

Các yêu cầu của tiêu chuẩn ISO 29992 được cấu trúc thành các chương chính sau:

• Chương 1 Phạm vi áp dụng của tiêu chuẩn được quy định. Hai ứng dụng chính được đề cập: (1) đo lường kết quả học tập của từng học sinh và (2) xác định tiến trình học tập.
• Chương 2 đề cập đến các tài liệu tham khảo đến các tiêu chuẩn khác (không có trong trường hợp tiêu chuẩn ISO 29992:2021).
• Chương 3 Định nghĩa một loạt các thuật ngữ kỹ thuật liên quan đến chẩn đoán/đo lường hiệu suất.
• Chương 4 Tiêu chuẩn này đưa ra các khuyến nghị cụ thể liên quan đến việc lập kế hoạch các công cụ chẩn đoán (luôn được gọi là "đánh giá" trong văn bản). Theo DIN ISO 29992:2021-04, giai đoạn lập kế hoạch nên bao gồm phân tích nhu cầu, tài liệu lập kế hoạch nguồn lực và tài liệu khung chứa thông tin về phạm vi ứng dụng của công cụ chẩn đoán; các quyết định được đưa ra dựa trên công cụ; việc giải thích kết quả của nó; hậu quả dự định của việc sử dụng công cụ chẩn đoán; mối quan hệ giữa mục tiêu của công cụ và phương pháp đánh giá được sử dụng; mối quan hệ giữa kết quả, việc giải thích, sử dụng và hậu quả của chúng; việc truyền đạt kết quả thử nghiệm; điều kiện sử dụng, lập kế hoạch và chi phí; quy trình đánh giá; môi trường đánh giá (ví dụ: cơ sở); điều kiện tiên quyết để tham gia đánh giá và các tiêu chuẩn áp dụng cho các công cụ và phương pháp được sử dụng trong đánh giá kết quả học tập; quy trình đảm bảo chất lượng; các bên liên quan tham gia vào việc phát triển và/hoặc thực hiện đánh giá; kế hoạch hoạt động cho công cụ chẩn đoán; và các quy tắc thủ tục, cũng như tính khả dụng của công cụ chẩn đoán và mức độ đáp ứng các yêu cầu kỹ thuật thử nghiệm.
• Chương 5 Tài liệu này đưa ra một số khuyến nghị cho việc phát triển công cụ chẩn đoán. Chúng bao gồm các khía cạnh như thời điểm sử dụng công cụ (trước, trong hoặc sau quá trình học tập); trình độ chuyên môn của người phát triển bài kiểm tra; định dạng của các câu hỏi/bài thi; và các thông số kỹ thuật về không gian, thời gian, tổ chức và kỹ thuật để thực hiện công cụ chẩn đoán. Hơn nữa, nó cung cấp hướng dẫn về các tiêu chí chất lượng của bài kiểm tra về tính khách quan, độ tin cậy và tính hợp lệ; quy trình phát triển các câu hỏi/bài thi; các thủ tục xác định kết quả của công cụ chẩn đoán; khuôn khổ về cách thức và thời điểm truyền đạt kết quả; các thủ tục khiếu nại kết quả; và các yêu cầu đối với tài liệu kỹ thuật.
• Chương 6 Phần này tập trung vào các khía cạnh hành chính của một công cụ chẩn đoán. Các khía cạnh đó bao gồm hướng dẫn về cách thức thực hiện; kế hoạch đảm bảo an toàn cho việc kiểm tra; trình độ và trách nhiệm của những người giám sát việc thực hiện công cụ chẩn đoán; và trình độ của người đánh giá.
• Chương 7 Điều này đề cập đến việc sử dụng thực tiễn của một thiết bị chẩn đoán. Cần có các tài liệu liên quan đến việc sử dụng thực tiễn, chẳng hạn như bằng chứng về độ tin cậy và tính hợp lệ; quy định về việc sử dụng thiết bị chẩn đoán; và các thủ tục thống kê để quản lý chất lượng phương pháp thử nghiệm và các quy trình liên quan. Hơn nữa, Chương 7 yêu cầu một kế hoạch chi tiết về cách thức một quy trình chẩn đoán hiện có sẽ được liên tục sửa đổi và phát triển hơn nữa.
• Chương 8 Phần này đề cập đến vấn đề công bằng. Từ góc độ này, nó nêu ra các đặc điểm như một thỏa thuận chính thức cần được ký kết giữa nhà cung cấp thiết bị chẩn đoán và các ứng viên tham gia kiểm tra. Thỏa thuận này nên bao gồm, ví dụ, thông tin về lệ phí kiểm tra, quyền và nghĩa vụ của các bên liên quan, yêu cầu tham gia, mô tả về thiết bị chẩn đoán, thông tin bảo vệ dữ liệu và chi tiết về thời gian biểu. Chương 8 tiếp tục đề cập đến việc cấm phân biệt đối xử; quyền của các ứng viên tham gia kiểm tra; tính trung lập của thiết bị chẩn đoán; quy tắc ứng xử cho những người tham gia vào việc sử dụng thiết bị chẩn đoán; và thông tin được cung cấp cho các ứng viên tham gia kiểm tra.
• Chương 9 Tiêu chuẩn DIN ISO 29992:2021-04 đề cập đến các vấn đề đạo đức khác liên quan đến việc sử dụng các thiết bị chẩn đoán. Theo đó, tiêu chuẩn này yêu cầu xác định rõ trách nhiệm của tất cả các bên liên quan. Hơn nữa, nó đòi hỏi thông tin trung thực và chính xác về thiết bị chẩn đoán. Cuối cùng, thiết bị chẩn đoán cần đảm bảo các khía cạnh khác nhau của an ninh thông tin, chẳng hạn như tính bảo mật của dữ liệu thu thập được, bảo vệ và đảm bảo an toàn dữ liệu, và an ninh của các kênh truyền thông. Quan trọng hơn, cần phải lập kế hoạch và ghi chép lại hệ thống quản lý truyền thông.
• Phụ lục A Quy định thông tin cần được thu thập một cách có cấu trúc trong tài liệu kỹ thuật cho một quy trình chẩn đoán. Điều này bao gồm tất cả các tài liệu liên quan đến toàn bộ vòng đời của công cụ chẩn đoán, từ lập kế hoạch và phát triển công cụ đến ứng dụng vận hành. Các tài liệu liên quan bao gồm: phân tích nhu cầu; khung sử dụng công cụ chẩn đoán; quy định về chấm điểm; hướng dẫn sử dụng công cụ chẩn đoán; hướng dẫn đào tạo cho những người tham gia; biểu mẫu cho người chấm điểm; quy định về trình độ và đào tạo của người kiểm tra/chấm điểm, người giám sát, v.v.; tài liệu về quy trình phát triển các mục kiểm tra; tài liệu về kiểm toán thử nghiệm và nghiên cứu xác nhận tính hợp lệ của công cụ chẩn đoán; bằng chứng về đảm bảo chất lượng thường xuyên; bằng chứng về chất lượng tâm lý học của từng mục kiểm tra; bằng chứng về các quy trình tập trung vào việc loại bỏ các mục kiểm tra không phù hợp; bằng chứng về xác minh và quy trình chấm điểm thủ công kết quả; và bằng chứng về sự phù hợp của việc chấm điểm trực tiếp với các quy định của bài kiểm tra. Bằng chứng về độ tin cậy của các đánh giá dựa trên máy móc; bằng chứng về quy trình trọng tài và kháng cáo; và bằng chứng về quy trình trong trường hợp đánh giá lại. Phạm vi bằng chứng rất rộng này được bổ sung thêm bằng các yêu cầu về tài liệu kỹ thuật hướng dẫn cách hỗ trợ người sử dụng thiết bị chẩn đoán trong quá trình ứng dụng. Chi tiết về việc lưu trữ dữ liệu kỹ thuật và tài liệu kết thúc phần nội dung chính của tiêu chuẩn.

Tiêu chuẩn DIN ISO 29992 không chỉ cung cấp cho Deutschtest.digital một khuôn khổ chất lượng chính thức mà còn tạo ra một nền tảng có hệ thống cho việc phát triển, quản lý và đánh giá liên tục các bài kiểm tra ngôn ngữ của chúng tôi. Những lợi thế chính của việc áp dụng tiêu chuẩn này nằm ở các lĩnh vực sau:

Đảm bảo kiến ​​trúc bảo mật ràng buộc: Tiêu chuẩn này định nghĩa các yêu cầu đối với một kế hoạch bảo mật có cấu trúc. Các tổ chức áp dụng DIN ISO 29992 phải triển khai một cách có hệ thống các biện pháp phòng ngừa chống lại sự thao túng (phòng chống gian lận) và bảo vệ tính toàn vẹn của các nhiệm vụ cũng như an ninh thông tin và danh tính thông qua các quy trình được xác định.

Đảm bảo chất lượng bền vững thông qua quản lý vòng đời: Bằng cách yêu cầu quy trình bảo trì và giám sát liên tục (kế hoạch bảo trì), tiêu chuẩn ISO 29992 hỗ trợ đảm bảo chất lượng thử nghiệm lâu dài. Thay vì chỉ đánh giá một lần, tiêu chuẩn này coi việc đánh giá và cải tiến liên tục các quy trình thử nghiệm là một thành phần thiết yếu của việc đảm bảo chất lượng. Điều này cho phép xác định sớm và khắc phục những thay đổi về chất lượng thử nghiệm thông qua các biện pháp được chứng minh bằng thực nghiệm.

Liên kết kỹ thuật với Khung Tham chiếu Chung Châu Âu (CEFR): Cấu trúc của tiêu chuẩn cho phép chuyển giao một cách có hệ thống các yêu cầu chất lượng chung sang chẩn đoán ngôn ngữ. Điều này cho phép liên kết các yêu cầu của ISO 29992 với các mô tả năng lực dựa trên lý thuyết của Khung Tham chiếu Chung Châu Âu về Ngôn ngữ (CEFR) và cho phép việc gán kết quả kiểm tra cho các cấp độ ngôn ngữ được chứng minh một cách dễ hiểu.

Giải thích và sử dụng kết quả một cách minh bạch: Tiêu chuẩn ISO 29992 yêu cầu trình bày rõ ràng mối quan hệ giữa kết quả đánh giá và cách giải thích chúng. Điều này tạo cơ sở cho việc mô tả một cách khoa học dễ hiểu về những kết luận có thể rút ra từ kết quả thử nghiệm và mục đích sử dụng chứng chỉ.

Cơ sở cho lập luận xác thực khoa học vững chắc: Một lợi thế quan trọng của tiêu chuẩn ISO 29992 là nó hỗ trợ việc tạo lập và ghi chép có cấu trúc các bằng chứng liên quan. Kết hợp với các phương pháp đo lường tâm lý, điều này tạo ra một cơ sở bằng chứng vững chắc để từ đó có thể phát triển một lập luận xác thực khoa học vững chắc. Lập luận này cho phép việc diễn giải và sử dụng kết quả thử nghiệm được biện minh một cách minh bạch, dễ hiểu và với bằng chứng chuyên môn đáng tin cậy.

Để đảm bảo chất lượng từ bên ngoài, chúng tôi hợp tác với tổ chức chứng nhận độc lập DeuZert . DeuZert đảm bảo tính toàn vẹn, độ tin cậy và sự chấp nhận hoàn toàn đối với các quyết định chứng nhận của mình. Với hơn hai thập kỷ kinh nghiệm, DeuZert sở hữu kiến ​​thức chuyên môn toàn diện trong lĩnh vực giáo dục và chứng nhận.

Giá trị gia tăng quan trọng của chứng nhận độc lập từ DeuZert nằm ở chỗ chất lượng của các quy trình được thực hiện không chỉ được đánh giá bởi chính tổ chức đó mà còn được xem xét bởi các chuyên gia bên ngoài. Điều này tạo ra thêm một mức độ tin cậy cho những người ra quyết định. Các khía cạnh sau đây đặc biệt quan trọng:

• Tính độc lập của tổ chức và đánh giá khách quan: DeuZert hoạt động như một tổ chức chứng nhận độc lập và đánh giá việc thực hiện các yêu cầu đã định bằng các quy trình kiểm tra minh bạch. Sự tách biệt giữa tổ chức được kiểm toán và tổ chức đánh giá bên ngoài giúp ngăn ngừa việc tự đánh giá và tăng cường tính khách quan của quyết định chứng nhận.
• Đảm bảo chất lượng liên tục thông qua các cuộc kiểm tra giám sát: Chất lượng của các quy trình được thực hiện không chỉ được đánh giá một lần mà được giám sát liên tục thông qua các cuộc đánh giá định kỳ. Sự kiểm soát từ bên ngoài này đảm bảo rằng các yêu cầu về phương pháp luận và tổ chức luôn được đáp ứng và các phát triển tiếp theo được xem xét một cách có hệ thống.

Sau khi hoàn thành thành công quy trình kiểm toán, DeuZert đã cấp cho chúng tôi giấy chứng nhận phù hợp với tiêu chuẩn DIN ISO 29992. Tài liệu này xác nhận rằng các quy trình được thực hiện tại Deutschtest.digital để lập kế hoạch, phát triển, tiến hành và đánh giá các bài kiểm tra trong lĩnh vực kỹ năng tiếng Đức đáp ứng các yêu cầu của tiêu chuẩn và đã được đánh giá trong khuôn khổ một cuộc kiểm toán độc lập bên ngoài.

Giấy chứng nhận hợp quy đóng vai trò là bằng chứng chính thức cho thấy Deutschtest.digital tuân thủ các quy trình kiểm thử của mình theo một tiêu chuẩn quốc tế được công nhận về đánh giá kết quả học tập. Giấy chứng nhận này xác nhận việc thực hiện một cách có hệ thống các thủ tục tuân thủ tiêu chuẩn để đảm bảo tính minh bạch, khả năng so sánh và chất lượng của kết quả kiểm thử.

Các cuộc kiểm toán giám sát được thực hiện bởi một mạng lưới các chuyên gia giáo dục, giám khảo, kiểm toán viên và người đánh giá giàu kinh nghiệm, hoạt động thay mặt cho DeuZert. Việc sử dụng đội ngũ chuyên gia cao cấp này đảm bảo rằng việc đánh giá các quy trình và bằng chứng của chúng tôi không chỉ đơn thuần là về mặt hành chính, mà còn được thực hiện với trình độ chuyên môn cao nhất về lý thuyết kiểm tra nội dung và ngôn ngữ.

Quy trình kiểm toán ISO 29992 tuân theo các yêu cầu của tiêu chuẩn bao quát DIN EN ISO/IEC 17065. Tiêu chuẩn này không quy định về bản thân quá trình thử nghiệm, mà là về phương pháp làm việc, tính độc lập và năng lực của tổ chức chứng nhận. Điều này đảm bảo rằng cuộc kiểm toán bên ngoài không bị ảnh hưởng bởi các xung đột lợi ích thương mại hoặc nội bộ. Kết quả là sự xác nhận độc lập từ bên ngoài về việc thực hiện các quy trình thử nghiệm và đánh giá tuân thủ tiêu chuẩn, dựa trên nền tảng chuyên môn và phương pháp luận được ghi chép minh bạch.

Nếu các nhà phát triển bài kiểm tra chỉ xem xét các tiêu chí chất lượng khoa học một cách riêng lẻ, họ có nguy cơ bỏ qua logic và mục tiêu tổng thể của bài kiểm tra. Chất lượng của một bài kiểm tra ngôn ngữ không chỉ đến từ các nhiệm vụ riêng lẻ hoặc các thông số thống kê, mà là từ sự tương tác của tất cả các thành phần trong quy trình kiểm tra. Trong nghiên cứu kiểm tra ngôn ngữ hiện đại, tính hợp lệ của một bài kiểm tra do đó được hiểu – chịu ảnh hưởng, trong số những người khác, bởi công trình của Bachman & Palmer, Michael Kane và Carol Chapelle – như một khái niệm chất lượng toàn diện và đa chiều. Câu hỏi quan trọng không phải là liệu các tiêu chí chất lượng riêng lẻ có được đáp ứng hay không, mà là liệu các kết luận rút ra từ kết quả kiểm tra có thể được chứng minh một cách tổng thể hay không.

Câu hỏi này đặc biệt quan trọng vì kết quả các bài kiểm tra ngôn ngữ thường có ảnh hưởng sâu rộng đến các quyết định về giáo dục, nghề nghiệp và nơi cư trú. Do đó, các nhà cung cấp bài kiểm tra phải gánh vác trách nhiệm chuyên môn và đạo đức đặc biệt. Họ không chỉ phải đảm bảo chất lượng quy trình kiểm tra mà còn phải chứng minh được chất lượng đó một cách minh bạch. Chính từ nhu cầu này mà khái niệm về lập luận tính hợp lệ đã được phát triển trong nghiên cứu tính hợp lệ hiện đại.

Về mặt lịch sử, phương pháp này xuất hiện vào những năm 1990 và 2000 như một phản ứng đột phá đối với các mô hình đánh giá tính hợp lệ khoa học trừu tượng trước đây, vốn cung cấp rất ít hướng dẫn cụ thể cho thực tiễn kiểm tra thực tế. Nhà nghiên cứu người Mỹ Michael Kane đã áp dụng lý thuyết lập luận thực tiễn của triết gia Stephen Toulmin vào lý thuyết kiểm tra. Sau đó, nhà ngôn ngữ học nổi tiếng Carol Chapelle đã phát triển logic này hơn nữa, đặc biệt là cho nghiên cứu kiểm tra ngôn ngữ – bà nổi tiếng thế giới với công trình tiên phong trong việc xác nhận tính hợp lệ của bài kiểm tra TOEFL iBT bắt đầu từ năm 2008. Bà đã tinh chỉnh mô hình thành một chuỗi liền mạch gồm bảy bước suy luận chính xác, mà ngày nay đại diện cho một phương pháp hiện đại đã được thiết lập để biện minh và ghi chép một cách có hệ thống về việc giải thích kết quả kiểm tra.

Lợi ích quan trọng của phương pháp này nằm ở việc giải phóng các tổ chức khảo thí ngôn ngữ khỏi vai trò thụ động của những "đơn vị cấp chứng chỉ " đơn thuần. Thay vì chỉ đơn giản là nộp các tài liệu riêng lẻ rời rạc hoặc danh sách kiểm tra cứng nhắc cho các cơ quan kiểm định hoặc các nhà ra quyết định cấp bộ, các nhà cung cấp bài kiểm tra giờ đây có thể đảm nhận vai trò "vận động " tích cực và chủ động. Điều này cho phép họ tranh luận về tính hợp lệ, tính công bằng và tính chắc chắn về mặt pháp lý của các kỳ thi của mình với các nhà ra quyết định một cách độc lập, minh bạch và theo cách thức khoa học không thể bác bỏ, tự chứng minh điều đó thông qua một chuỗi bằng chứng được xây dựng một cách có hệ thống.

Một luận điểm xác thực mô tả cách tiếp cận có cấu trúc được sử dụng để chứng minh tính hợp lệ của kết quả kiểm tra. Điểm xuất phát là giả định rằng mỗi bài kiểm tra đều đưa ra một nhận định về trình độ ngôn ngữ của một người. Ví dụ, nếu một người được xếp hạng B1 theo Khung tham chiếu chung châu Âu về ngôn ngữ (CEFR), điều này ngụ ý rằng họ sở hữu các kỹ năng ngôn ngữ được xác định cho cấp độ này. Luận điểm xác thực có nhiệm vụ hỗ trợ một cách có hệ thống và chứng minh một cách dễ hiểu nhận định này.

Quá trình này bao gồm việc xây dựng một chuỗi lập luận mạch lạc, trải dài từ các nhiệm vụ kiểm tra, qua khâu quản lý và đánh giá, đến việc diễn giải kết quả. Đối với mỗi bước riêng lẻ, nền tảng lý thuyết và bằng chứng thực nghiệm (gọi là cơ sở chứng minh) được sử dụng để chứng minh rằng các giả định đưa ra là hợp lý. Do đó, lập luận xác thực kết nối bằng chứng khoa học với các quyết định kiểm tra thực tiễn và làm rõ lý do tại sao một kết quả kiểm tra cụ thể có thể được coi là bằng chứng có ý nghĩa về năng lực ngôn ngữ đã được xác định. Bằng cách này, nó tạo ra cơ sở cho sự tin tưởng, tính minh bạch và trách nhiệm pháp lý của các bài kiểm tra ngôn ngữ.

Để cung cấp bằng chứng chuyên môn không thể bác bỏ về chất lượng của một bài kiểm tra ngôn ngữ, phương pháp chẩn đoán hiện đại tuân theo một cấu trúc logic rõ ràng. Chỉ khi có bằng chứng thực nghiệm cho mỗi trong bảy cấp độ này thì bài kiểm tra mới được coi là hoàn toàn đáng tin cậy để ứng dụng thực tiễn.

Sau đây, chúng tôi trình bày cấu trúc phương pháp luận của luận điểm thẩm định để đánh giá trình độ tiếng Đức. Vì luận điểm thẩm định luôn hướng đến một lĩnh vực mục tiêu cụ thể, một trình độ xác định và một mục đích cụ thể, nên cơ sở bằng chứng phải được cấu trúc cụ thể cho việc diễn giải và sử dụng kết quả kiểm tra theo ý muốn. Cấu trúc được trình bày bên dưới minh họa cách các kết luận (suy luận) riêng lẻ trong luận điểm thẩm định được liên kết với nhau và loại bằng chứng (cơ sở) nào cần thiết để chứng minh một cách khoa học các tuyên bố thu được. Một luận điểm thẩm định hoàn chỉnh với tất cả bằng chứng thực nghiệm và thống kê sẽ vượt quá phạm vi của bài trình bày này. Do đó, các tài liệu bằng chứng tương ứng được liệt kê ở đây như là ví dụ.