Thông báo Lịch họp Hội đồng đánh giá luận án cấp cơ sở của nghiên cứu sinh Nguyễn Thị Mai Hữu khóa QH2014

in Thông báo

Trường Đại học Ngoại ngữ – ĐHQGHN xin trân trọng thông báo Thông báo Lịch họp Hội đồng đánh giá luận án cấp cơ sở của nghiên cứu sinh Nguyễn Thị Mai Hữu khóa QH2014 chuyên ngành Lí luận và phương pháp dạy học Bộ môn Tiếng Anh, cụ thể:

Đề tài:An investigation into xổ số miền bắc cognitive validity of xổ số miền bắc speaking section of xổ số miền bắc Vietnamese Standardized Test of English Proficiency (VSTEP.3-5) (Nghiên cứu giá trị xác thực đối với quá trình tư duy của thí sinh thi phần thi nói bài thi chuẩn hóa đánh giá năng lực tiếng Anh từ bậc 3 đến bậc 5 theo khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam (VSTEP.3-5))

Chuyên ngành: Lí luận và phương pháp dạy học bộ môn tiếng Anh
Mã số: 9140231.01;
Người thực hiện: Nguyễn Thị Mai Hữu
Nghiên cứu sinh: Khóa QH.2014
Cán bộ hướng dẫn 1: GS. TS. Nguyễn Hòa
Cán bộ hướng dẫn 2: GS.TS. Fred Davidson
Thời gian:14h30, thứ Tư ngày 03 tháng 02 năm 2021
Địa điểm: Phòng Bảo vệ luận văn – luận án, Phòng 101 – Nhà A3, Trường Đại học Ngoại ngữ – ĐHQGHN

THÔNG TIN VỀ LUẬN ÁN TIẾN SĨ

  1. Họ và tên nghiên cứu sinh: Nguyễn Thị Mai Hữu
  2. Giới tính: Nữ
  3. Ngày sinh: 22/10/1978
  4. Nơi sinh: Hà Nội
  5. Quyết định công nhận nghiên cứu sinh số: 2019/QĐ-ĐHNN, ngày 31 tháng 12 năm 2014 của Hiệu trưởng Trường Đại học Ngoại ngữ.
  6. Các thay đổi trong quá trình đào tạo:

Gia hạn thời gian bảo vệ luận án 2 năm từ 2017 đến 2019

  1. Tên đề tài luận án: Nghiên cứu giá trị xác thực đối với quá trình tư duy của thí sinh khi thi phần thi nói bài thi chuẩn hóa đánh giá năng lực tiếng Anh từ bậc 3 đến bậc 5 theo Khung năng lực ngoại ngữ 6 bậc dùng cho Việt Nam (VSTEP.3-5)
  2. Chuyên ngành: Phương pháp giảng dạy bộ môn tiếng Anh
  3. Mã số: 9140231.01
  4. Cán bộ hướng dẫn khoa học: Giáo sư Nguyễn Hòa

Cán bộ hướng dẫn: Giáo sư Fred Davidson

  1. Tóm tắt các kết quả mới của luận án:

Bằng việc qá dụng khung xã hội – tư duy của Weir dùng cho xây dựng và xác định giá trị xác thực của đề thi ngôn ngữ, quá trình tư duy của thi sinh thi bài thi VSTEP.3-5 được nghiên cứu và đưa ra minh chứng cho phần thi nói. Minh chứng về giá trị xác thực được chia thành ba nhóm gồm quá trình tư duy được lồng ghép vào đề thi, việc sắp xếp mức độ yêu cầu về tư duy theo từng bậc năng lực khác nhau của đề thi, và sự giống và khác nhau giữa quá trình tư duy của thí sinh khi thi bài thi nói VSTEP.3-5 và khi nói tiếng Anh trong bối cảnh ngoài bài thi.

Trước tiên, quá trình tư duy thí sinh có thể trải nghiệm khi thi bài thi nói VSTEP.3-5 được nghiên cứu theo cả hai bước là phát triển đề thi và tổ chức thi. Minh chứng về giá trị xác thực của quá trình tư duy của thí sinh khi thi bài thi nói VSTEP.3-5 được xây dựng dựa trên mô hình sản sinh lời nói của Levelt (1989, 1999) và sau đó được áp dụng bởi Weir (2005) trong mô hình xã hội – tư duy cho phát triển và xây dựng giá trị xác thực của đề thi ngôn ngữ. Mô hình này được chia thành các bước sau: hình thành khái niệm, mã hóa ngữ pháp. mã hóa âm thanh, mã hóa phát âm, phát âm và tự kiểm soát. Mặc dù mô hình tư duy – xã hội của Weir không phải là khung lý thuyết được áp dụng khi phần nói VSTEP.3-5 được phát triển, các quy trình tư duy của mô hình cung cấp một khung tốt để nghiên cứu giá trị xác thực của bài thi. Tất cả các quá trình được mô tả trong mô hình có thể được tìm thấy trong phần nói của VSTEP.3-5, cho thấy nỗ lực của nhóm phát triển VSTEP.3-5 trong việc giải quyết các yêu cầu tư duy mà người dự thi có thể gặp phải khi làm bài thi. Bên cạnh đó, khi áp dụng mô hình để thiết lập minh chứng về giá trị xác thực của quá trình tư duy cho phần nói, một số vấn đề đã được xác định bao gồm:

(1) Việc sử dụng các từ thông tục chỉ được đề cập ở mức độ thông thạo C2 của khung CEFR và CEFR-VN; tuy nhiên, chúng được tìm thấy trong các đặc tả của mức độ thành thạo 9 và 10 của thang đánh giá nói VSTEP.3-5.

(2) Các điểm tạm ngừng và do dự được tìm thấy trong các đặc tả của hầu hết các nhóm của thang đánh giá VSTEP.3-5; tuy nhiên, không có sự giải thích về sự khác biệt của những khoảng ngừng và ngập ngừng như vậy giữa các mức điểm.

(3) Tải trọng tư duy của người đối thoại và người đánh giá khi phỏng vấn và đánh giá người dự thi đã được mô tả trong CEFR và CEFR-VN, khung lý thuyết được áp dụng khi thiết kế bài thi nói VSTEP.3-5; tuy nhiên, tải trọng đó không được đề cập trong đặc tả kỹ thuật hoặc sổ tay đào tạo cán bộ chấm thi nói.

Thứ hai, các đặc tả của thang đánh giá nói VSTEP.3-5 được sắp xếp hợp lý với mức độ khó tăng dần từ mức điểm 1 đến mức điểm 10, ngoại trừ một số đặc tả như sau:

(1) Các đặc tả theo các mức điểm khác nhau của thang đánh giá nên được quan tâm nhiều hơn bao gồm các mức Vocabulary 4,5, 9,10 và Fluency 6 và 7.

(2) Sự khác biệt đáng kể được tìm thấy giữa điểm nói và điểm tổng của học sinh ở trình độ C1. Kết quả phân tích cho thấy cần nghiên cứu các dải điểm 9 và 10 của tất cả các tiêu chí nói và người chấm thi vấn đáp phải được thông báo về mẫu điểm này của thang chấm điểm.

(3) Một số đặc tả nhất định có độ khó khác biệt nổi bật so với các đặc tả còn lại, trong số đó là các mức điểm Grammar 3, 4, 6, 7; Vocabulary 4, 5, 9, 10; Discourse Management 3, 9, 10; Pronunciation 7, 8; Fluency 6, 7.

Nhìn chung, các đặc tả liền kề nhau và tương ứng với cùng mức độ thông thạo của người dự thi thì có mức độ khó tương đối như nhau. Bên cạnh đó, khi nghiên cứu kỹ các đặc tả, dường như khó nhận thấy sự khác biệt giữa kết quả hoạt động của thí sinh tương ứng với các điểm lân cận của cùng một tiêu chí của thang đo. Một vấn đề khác được xác định là các đặc tả của các mức điểm Vocabulary 9 và 10 bao gồm yêu cầu về khả năng sử dụng các cách diễn đạt thành ngữ và các từ thông tục, các đặc tả này không được đề cập trong CEFR hoặc CEFR-VN của bậc trình độ năng lực tương ứng. Sau đó, có thể nhận thấy rằng mức điểm 9 và 10 của tất cả các tiêu chí dường như được đặt ở mức yêu cầu tư duy cao hơn so với tất cả các mức điểm khác. Một số mức điểm như điểm từ vựng mô tả năng lực không được đề cập trong nội dung kiểm tra; tuy nhiên, các đặc tả này lại được mô tả trong thanh chấm điểm.

Thứ ba, kết quả so sánh quá trình tư duy của thí sinh khi thi bài thi nói VSTEP.3-5 và khi nói tiếng Anh trong bối cảnh ngoài bài thi cho thấy rằng:

(1) Người dự thi đã trải qua tất cả các giai đoạn của quá trình tư duy khi thi bài thi nói VSTEP.3-5. Tất cả năm giai đoạn của quá trình tư duy bao gồm hình thành khái niệm, mã hóa âm thanh, mã hóa ngữ pháp, mã hóa ngữ âm, phát âm và tự kiểm soát.

(2) Hơn một nửa số người dự thi VSTEP.3-5 đã trải qua quá trình tư duy khi nói tương tự giữa điều kiện làm bài thi và điều kiện không phải bài thi. Tất cả năm giai đoạn của quá trình được các thí sinh chia sẻ đã trải qua khi nói tiếng Anh trong bối cảnh ngoài bài thi gồm hình thành khái niệm, mã hóa âm thanh, mã hóa ngữ pháp, mã hóa ngữ âm, phát âm và tự kiểm soát.

(3) Đối với những người nói rằng quy trình tư duy không giống nhau cho rằng chúng có thể nói tốt hơn những gì họ đã thể hiện trong bài thi. Họ tuyên bố rằng thông tin về phần nói VSEP.3-5 bao gồm thang điểm đánh giá phần nói và các bài thi mẫu chỉ được tiếp cận với họ một cách hạn chế. Những thí sinh chuẩn bị tốt hơn cho bài kiểm tra có xu hướng đạt điểm cao hơn so với những người không được chuẩn bị.

(4) Một tình huống của Phần 2 của bài thi khó đối với một nhóm thí sinh so với các nhóm khác. Điều này cho thấy nên thử nghiệm các đề thi một cách kỹ lưỡng hơn.

  1. Khả năng ứng dụng trong thực tiễn:

Thứ nhất, mặc dù các bước của quy trình tư duy mà người dự thi có thể trải qua khi làm bài thi VSTEP.3-5 đã được nghiên cứu ở cả giai đoạn phát triển và tổ chức thi của bài thi, một số vấn đề nhất định đã được xác định bao gồm:

(1) Việc sử dụng các từ thông tục chỉ được đề cập ở mức độ thông thạo C2 của khung CEFR, tương đương bậc 6 của khung CEFR-VN; tuy nhiên, những đặc tả này được tìm thấy trong các mức điểm 9 và 10 của thang đánh giá nói VSTEP.3-5. Để người kiểm tra nhận thức rõ về thực tế này, thông tin về mô tả của bậc C2 được sử dụng trong thang chấm điểm nói VSTEP.3-5 đối với bậc 4 nên được bổ sung vào tài liệu bồi dưỡng giám khảo chấm thi. Một cách khác để giải quyết các đặc tả bày là đưa các đặc tả này ra khỏi thang đánh giá. Để làm như vậy, các đặc tả kỹ thuật của bài thi VSTEP.3-5 cần được sửa đổi, dẫn đến việc sửa đổi Quyết định số 729 / QĐ-BGDĐT ngày 11 tháng 3 năm 2015 của Bộ Giáo dục và Đào tạo Việt Nam.

(2) Sự ngừng lời và ngập ngừng khi nói được tìm thấy trong các đặc tả của hầu hết các mức điểm của thang đánh giá VSTEP.3-5; tuy nhiên, không có giải thích nào khác được đưa ra về sự khác biệt của những khoảng dừng và ngập ngừng như vậy giữa các mức điểm. Do vậy, cần có giải thích thêm trong tài liệu bồi dưỡng giám khảo chấm thi nói để giám khảo không bị nhầm lẫn về các dấu hiệu ngừng lời hoặc ngập ngừng khi chấm điểm kết quả thi của thí sinh.

(3) Yêu cầu về tư duy của cán bộ chấm thi nói khi hỏi thi và chấm thi đã được mô tả trong khung CEFR và CEFR-VN, khung lý thuyết được áp dụng khi thiết kế bài thi nói VSTEP.3-5; tuy nhiên, tải trọng đó không được đề cập trong đặc tả kỹ thuật hoặc tài liệu đào tạo cán bộ chấm thi. Mức độ tư duy mà cán bộ chấm thi nói trải qua khi phỏng vấn và đánh giá người dự thi có thể tác động đến tính công bằng trong việc phỏng vấn và chấm điểm của họ, và do đó ảnh hưởng đến kết quả thi của người dự thi và điểm số của họ. Chúng tôi đặc biệt khuyến nghị rằng các yếu tố ảnh hưởng đến mức độ tư duy của cán bộ chấm thi vào khi phỏng vấn và đánh giá người dự thi nói VSTEP.3-5 nên được đưa vào tài liệu bồi dưỡng cán bộ chấm thi nói để người chấm thi nhận thức được những vấn đề đó khi phỏng vấn và đánh giá. Một gợi ý cụ thể là cán bộ chấm thi nói hiện tại không được cung cấp thời gian để làm công việc chấm điểm giữa những người dự thi gần nhau. Khi được bổ sung thêm khoảng một phút để chấm điểm giữa hai người dự thi liền kề, các cán bộ chấm thi có thể sẽ chấm thi hiệu quả hơn.

(4) Các đặc tả gần nhau tương ứng với cùng mức độ thông thạo của người dự thiì có độ khó tương đối bằng nhau. Bên cạnh đó, khi nghiên cứu kỹ các đặc tả và độ khó của các đặc tả, khó nhận ra sự khác biệt giữa năng lực của thí sinh tương ứng với các mức điểm lân cận của cùng một tiêu chí của thang chấm điểm VSTEP.3-5. Sự khó phân biệt này có thể gây khó khăn cho cán bộ chấm thi khi xếp thí sinh vào đúng các mức điểm tương ứng của thang đánh giá. Để cán bộ chấm thi có thể xếp chính xác kết quả bài nói của thí sinh vào các mức điểm của thang đánh giá, các đặc điểm định lượng của các mức điểm cần được đưa vào tài liệu bồi dưỡng cán bộ chấm thi nói hoặc cần có bài làm mẫu của thí sinh dưới dạng âm thanh và/hoặc video cho tất cả các mức điểm khác nhau đối với từng tiêu chí đánh giá của thang đánh giá. Một cách khác để giải quyết tình huống này có thể là hợp nhất các đặc tả của các dải tương ứng với cùng một bậc trình độ tiếng Anh, làm như vậy, số lượng các mức điểm của thang đánh giá VSTEP.3-5 sẽ giảm xuống còn 5 mức điểm. Điều này sẽ đơn giản hóa công việc chấm điểm của các giám khảo và có thể sẽ dẫn đến độ tin cậy của kết quả đánh giá tốt hơn.

(5) Tất cả các đặc tả của mức điểm 9 và 10 có độ khó cao hơn đáng kể so với tất cả các mức điểm 8 của thang đánh giá VSTEP.3-5, điều này có thể dẫn đến tỷ lệ thí sinh được xếp loại C1 thấp so với các mức độ thông thạo được đánh giá bằng bài kiểm tra. Để điểm nói đật mức độ tin cậy hơn đối với những thí sinh đó, các giám khảo phải được cung cấp những dữ liệu này khi họ được tập huấn. Một lý do có thể giải thích cho độ khó cao đáng kể của các đặc tả tương ứng với các mức điểm đó là do các giám khảo có xu hướng ít cho điểm cao nhất cho người dự thi. Để giải quyết vấn đề này, chúng tôi khuyến nghị rằng mức điểm nhất của thang đánh giá phải phản ánh kết quả hoạt động của mức độ thông thạo CEFR C2, bằng cách làm như vậy, giám khảo sẽ thấy rõ kỳ vọng về mức độ thông thạo CEFR C2 và xếp thí sinh vào mức điểm CEFR C1 với độ tin cậy cao hơn.

(6) Các thí sinh cho rằng thông tin về phần thi nói VSEP.3-5 bao gồm thang điểm đánh giá kỹ năng nói và các bài kiểm tra mẫu chỉ được tiếp cận với họ một cách hạn chế. Và những thí sinh chuẩn bị tốt hơn cho bài kiểm tra có xu hướng đạt điểm cao hơn những người không chuẩn bị. Các đơn vị tổ chức thi VSTEP.3-5 nên cung cấp cho người dự thi quyền truy cập không chỉ vào định dạng đề thi, mà còn cả thang đánh giá và các bài làm mẫu, đề thi mẫu để người dự thi hiểu rõ những gì họ mong đợi sẽ thực hiện ở các mức độ thông thạo khác nhau, và vì vậy họ có thể chuẩn bị tốt hơn cho bài thi.

(7) Một tình huống của Phần 2 của bài thi dường như khó đối với một nhóm thí sinh so với các nhóm khác. Điều này cho thấy nên thử nghiệm các đề thi một cách kỹ lưỡng hơn. Chúng tôi đặc biệt khuyến nghị rằng tất cả các đề thi nên được xây dựng theo đúng 12 giai đoạn phát triển đề thi do Bộ Giáo dục và Đào tạo Việt Nam ban hành kèm theo Thông tư 23/2017/TT-BGDĐT, trong đó mỗi bài kiểm tra nên được thi thử trước hai lần. Bên cạnh đó, để điểm số được phân tích đúng với độ tin cậy cao, đặc biệt cho phần thi nói và viết, các ứng dụng như FACETS và R, trên đó có thể chạy Mô hình thang điểm đánh giá và / hoặc Mô hình phân tích nhân tố, nên được sử dụng để phân tích điểm thi.

Thứ hai, nghiên cứu xác định giá trị xác thực của quá trình tư duy khi thí sinh thi bài thi nói VSTEP.3-5 lần nữa đã minh chứng rằng mô hình tu duy xã hội của Weir cung cấp một khung lý thuyết toàn diện để phát triển và xây dựng giá trị xác thực cho bài thi ngôn ngữ. Đặc biệt đối với giá trị xác thực của một khía cạnh nhất định của bài kiểm tra ngôn ngữ như giá trị xác thực về quá trình tư duy, mô hình tư duy xã hội của Weir không chỉgiúp phát triển lập luận xác thực có hệ thống cho một bài kiểm tra ngôn ngữ cụ thể mà còn giúp xác định vấn đề mà bài kiểm tra ngôn ngữ có thể gặp phải ở cả hai các giai đoạn phát triển và xây dựng giá trị xác thực. Do đó, chúng tôi đặc biệt khuyến nghị rằng mô hình tư duy xã hội của Weir nên được áp dụng khi một bài kiểm tra ngôn ngữ mới được phát triển và xác thực.

Ngoài ra, khung tư duy – xã hội của Weir được chứng minh là có tính ứng dụng cao trong việc phát triển và xác thực bài kiểm tra ngôn ngữ, tuy nhiên khi áp dụng khung này trong việc xác thực bài kiểm tra ngoại ngữ như VSTEP.3-5, các đặc điểm cụ thể của việc học tiếng Anh như một ngoại ngữ cần được nghiên cứu kỹ lưỡng để có thể được áp dụng tốt hơn. Trong trường hợp về giá trị xác thực, các quá trình tư duy mà người dự thi có thể trải qua khi làm bài kiểm tra tuân theo các quy trình tư duy của Levelt (1988, 1989) về sản sinh lời nói cho người nói ngôn ngữ thứ nhất và quy trình tư duy của Weir (2005)  về sản sinh lời nói cho người nói ngôn ngữ thứ hai nên hai mô hình này gần như giống nhau. Tuy nhiên, khi nghiên cứu tính xác thực về quá trình tư duy của bài thi nói VSTEP.3-5, cần thiết phải phát triển một mô hình tư duy cập nhật cho quá trình sản sinh lời nói của những người nói một ngôn ngữ như ngoại ngữ, vấn đề này được nảy phát sinh sau thực tế là một số người dự thi bài thi nói VSTEP.3-5 đã suy nghĩ bằng tiếng Việt, ngôn ngữ thứ nhất của họ. Việc suy nghĩ bằng ngôn ngữ thứ nhất khi nói một ngoại ngữ ảnh hướng nhất định đến khả năng nói của họ khi làm bài thi và có thể cả trong điều kiện không làm bài thi, đặc biệt trong trường hợp của người dự thi có trình độ CEFR B1 trở xuống.

  1. Những hướng nghiên cứu tiếp theo:

Trước hết, Quyết định số 729/QĐ-BGDĐT ngày 11 tháng 3 năm 2015 do Bộ Giáo dục và Đào tạo Việt Nam ban hành có thể cần được sửa đổi liên quan đến các đặc tả kỹ thuật của bài thi VSTEP.3-5. Để thuyết phục các nhà nghiên cứu và các nhà hoạch định chính sách thay đổi Quyết định như vậy, cần thiết phải tiến hành các nghiên cứu sâu hơn để đưa ra minh chứng rõ ràng hơn về sự cần thiết phải sửa đổi bản đặc tả kỹ thuật của bài kiểm tra này và phần nào của đặc tả kỹ thuật này cần được sửa đổi.

Thứ hai, nghiên cứu này được thực hiện trên quy mô thu thập dữ liệu nhỏ (288 người dự thi). Để dữ liệu thu thập được có giá trị và mức độ tin cậy cao hơn, các nghiên cứu tương tự với quy mô thu thập dữ liệu lớn hơn được khuyến khích tiến hành.

Thứ ba, hiện tại, khung tư duy – xã hội của Weir được chứng minh là có tính ứng dụng cao để thực hiện các nghiên cứu về giá trị xác thực; tuy nhiên, mô hình về quá trình tư duy trong sản sinh lời nói hiện tại chỉ được phát triển cho người nói ngôn ngữ thứ nhất và ngôn ngữ thứ 2. Một mô hình có xem xét đến các đặc điểm của việc thụ đắc ngoại ngữ nên được phát triển để cung cấp mô hình hoàn hảo hơn để thiết lập giá trị xác thực của một bài kiểm tra ngoại ngữ, đặc biệt là khi bài kiểm tra được thiết kế để đánh giá người dự thi có năng lực CEFR B1 và ​​các cấp độ thông thạo thấp hơn. Do đó, các nghiên cứu tiếp theo có thể được tiến hành để xây dựng mô hình tư duy cho người nói ngoại ngữ, điều này có thể khả thi bằng cách áp dụng mô hình của Levelt cho người nói ngoại ngữ hoặc một mô hình như vậy có thể được phát triển mới vì cho đến nay mô hình nói ngôn ngữ thứ nhất của Levelt là mô hình duy nhất có thể áp dụng trong việc phát triển và xây dựng giá trị xác thực cho đề kiểm tra ngôn ngữ.

  1. Các công trình đã công bố có liên quan đến luận án:

1. Nguyen Thi Mai Huu (2019). Stimulated recall – A practical data collection technique for cognitive studies in language testing. Journal of Foreign Languages Studies, 58/2019, 38-50.

2. Nguyen Thi Mai Huu (2020). Application of xổ số miền bắc socio-cognitive framework in language test development and validation. 2020 International graduate research symposium ND 10TH East Asia Chinese teaching forum, Volume 1, 727-735.

3. Phuong Tran, Hoa Nguyen, Trang Dang, Minh Nguyen, Lan Nguyen, Tuan Huynh, Ha Do, Huu Nguyen, Fred Davidson (2015). A validation study on xổ số miền bắc newly-developed Vietnam standardized English proficiency test. 37TH Language Testing Research Colloquium, 142.

4. Victoria Clark, Nguyen Thi Mai Huu, Jessica Wu, Jamie Dunlea, Richard West (2016). Test centers and standardized Testing: Challenges, issues and benefits. 4TH British Council New Directions in English language assessment conference, 19-20.

5. Nathan Carr, Quynh Nguyen, Huu Nguyen, Yen Nguyen, Thao Nguyen (2016). Systematic support for a communicative standardized proficiency test in Vietnam. 4TH British Council New Directions in English language assessment conference, 26-27.

6. Huu Nguyen (2018). An Investigation into xổ số miền bắc Cognitive Validity of xổ số miền bắc Speaking Section of xổ số miền bắc Vietnam’s Standardized Test of English Proficiency. 40TH Language Testing Research Colloquium, 114.

7. Huu Nguyen (2019). An investigation into xổ số miền bắc cognitive processes reflected in xổ số miền bắc VSTEP speaking scoring rubrics. 7TH British Council New Directions in English language assessment conference, 22.

8. Barry O’Sullivan, Josep Lo Bianco, Huu Nguyen, Mitsuharu Ota, Yoshinori Watanabe (2019). Language Assesment Policy. 7TH British Council New Directions in English language assessment conference, 18.

Ngày 30 tháng 12 năm 2020

        Nghiên cứu sinh

Nguyễn Thị Mai Hữu

INFORMATION ON DOCTORAL THESIS

  1. Full name: Nguyen Thi Mai Huu
  2. Sex: Female
  3. Date of birth: 22/10/1978
  4. Place of birth: Hanoi
  5. Admission Decision number: 2019/QĐ-ĐHNN Dated 31/12/2014
  6. Changes in academic process:

2 years of extension

  1. Official thesis title: AN INVESTIGATION into xổ số miền bắc COGNITIVE VALIDITY OF xổ số miền bắc SPEAKING SECTION OF xổ số miền bắc VIETNAMESE STANDARDIZED TEST OF ENGLISH PROFICIENCY (vstep.3-5)
  2. Major: English language teaching methodology
  3. Code: 9140231.01
  4. Supervisors: Professor Nguyen Hoa

Supervisor: Professor Fred Davidson

  1. Summary of xổ số miền bắc new findings of xổ số miền bắc thesis:

With xổ số miền bắc application of xổ số miền bắc Weir’s socio cognitive framework for language test development and validation, xổ số miền bắc cognitive processes that xổ số miền bắc VSTEP.3-5 test takers are expected to experience, actually experienced in test and non-test conditions were investigated to provide validity evidence for xổ số miền bắc VSTEP.3-5 speaking section. xổ số miền bắc validity evidence covers three headings including xổ số miền bắc cognitive processes that xổ số miền bắc test is supposed to cover, xổ số miền bắc calibration of xổ số miền bắc cognitive demands across xổ số miền bắc different levels of xổ số miền bắc test, and xổ số miền bắc similarity between xổ số miền bắc processes in xổ số miền bắc test and in non-test conditions.

Firstly, xổ số miền bắc cognitive processes that xổ số miền bắc test takers may encounter when taking xổ số miền bắc VSTEP.3-5 have been addressed at both xổ số miền bắc development and administration stages. Cognitive validity evidence was established for VSTEP.3-5 speaking section based on xổ số miền bắc model of speech production developed by Levelt (1989, 1999) and applied by Weir (2005) in xổ số miền bắc socio-cognitive model of test development and validation. xổ số miền bắc model falls into six major phases of processing: conceptualization, grammatical encoding, phonological encoding, phonetic encoding, articulation and self-monitoring. Though xổ số miền bắc Weir’s socio cognitive model was not xổ số miền bắc theoretical framework applied when xổ số miền bắc VSTEP.3-5 speaking section was developed, xổ số miền bắc cognitive processes of xổ số miền bắc model provide a good framework for cognitive validity study of xổ số miền bắc test. All xổ số miền bắc patterns described in xổ số miền bắc model could be found in xổ số miền bắc VSTEP.3-5 speaking section, showing xổ số miền bắc effort of xổ số miền bắc VSTEP.3-5 development team in dealing with xổ số miền bắc cognitive demands that xổ số miền bắc test takers may encounter when taking xổ số miền bắc test. Besides, when applying xổ số miền bắc model to establish cognitive validity evidence for xổ số miền bắc speaking section, several issues have been identified including:

  • xổ số miền bắc use of colloquialisms is only mentioned at C2 level of proficiency of xổ số miền bắc CEFR and xổ số miền bắc CEFR-VN; however, they are found in xổ số miền bắc descriptors of proficiency bands 9 and 10 of xổ số miền bắc VSTEP.3-5 speaking rating scale.
  • Pauses and hesitation are found in xổ số miền bắc descriptors of almost all xổ số miền bắc bands of xổ số miền bắc VSTEP.3-5 rating scale; however, no further explanation is remarked of xổ số miền bắc difference of such pauses and hesitation across xổ số miền bắc bands.
  • xổ số miền bắc interlocutor and assessor’s cognitive load when interviewing and assessing xổ số miền bắc test takers were described in xổ số miền bắc CEFR and so xổ số miền bắc CEFR-VN, xổ số miền bắc theoretical framework applied when designing xổ số miền bắc VSTEP.3-5 speaking test; however, such load is not mentioned in xổ số miền bắc specifications or xổ số miền bắc examiner training manuals.

Secondly, xổ số miền bắc descriptors of xổ số miền bắc VSTEP.3-5 speaking rating scale are arranged properly with increasing level of difficulty from band 1 to band 10, except for some of xổ số miền bắc descriptors as below:

  • xổ số miền bắc bands of different criteria of xổ số miền bắc rating scale should be placed more concern, including Vocabulary bands 4,5, 9,10 and Fluency bands 6 and 7. No significant difference found among xổ số miền bắc logits arranged for xổ số miền bắc other descriptors of xổ số miền bắc same bands of different criteria.
  • Significant difference found between xổ số miền bắc speaking scores and xổ số miền bắc overall scores of students of C1 level. xổ số miền bắc speaking score bands of 9 and 10 of all speaking criteria should be studied and xổ số miền bắc oral examiners should be informed of this pattern of xổ số miền bắc speaking scores.
  • Certain descriptors of xổ số miền bắc VSTEP.3-5 speaking rating scale stand out, among those are grammar bands 3, 4, 6, 7; vocabulary bands 4, 5, 9, 10; discourse management band 3, 9, 10; pronunciation bands 7, 8; fluency bands 6, 7. These are xổ số miền bắc descriptors with difficulty levels arranged into special positions as compared to xổ số miền bắc other descriptors of xổ số miền bắc same bands.

On xổ số miền bắc whole, xổ số miền bắc descriptors which are adjacent to each other and correspond to xổ số miền bắc same level of proficiency of xổ số miền bắc test takers are of relatively same level of difficulty. Besides, when studying xổ số miền bắc descriptors carefully, it seems to be difficult to see xổ số miền bắc difference between xổ số miền bắc performance of xổ số miền bắc test takers that correspond to those adjacent bands of a same criterium of xổ số miền bắc scale. Another matter identified is xổ số miền bắc descriptors of Vocabulary bands 9 and 10 include requirement about xổ số miền bắc ability to use idiomatic expressions and colloquialisms, which is not mentioned in xổ số miền bắc CEFR or CEFR-VN. Then, it is noticeable that bands 9 and 10 of all xổ số miền bắc criteria seem to be placed higher level of cognitive demand as compared to all xổ số miền bắc other bands. Some of xổ số miền bắc bands such as xổ số miền bắc ones for Vocabulary describe xổ số miền bắc performance that is not mentioned in xổ số miền bắc construct of xổ số miền bắc test; however, xổ số miền bắc same feature has not been observed in xổ số miền bắc other bands.

Thirdly, relating xổ số miền bắc cognitive processes in VSTEP.3-5 speaking test and non-test conditions, xổ số miền bắc survey questionnaires and stimulated recall interviews’ results showed that

  • xổ số miền bắc test takers experienced all xổ số miền bắc stages of cognitive processes when performing in xổ số miền bắc test condition. All five stages of xổ số miền bắc processes are observed including conceptualization, phonological encoding, grammatical encoding, phonetic encoding and articulation and self-monitoring.
  • More than half of xổ số miền bắc VSTEP.3-5 test takers experienced similar speaking cognitive processes in xổ số miền bắc test and non-test conditions. All five stages of xổ số miền bắc processes are observed including conceptualization, phonological encoding, grammatical encoding, phonetic encoding and articulation and self-monitoring.
  • As for those who said that xổ số miền bắc processes were not xổ số miền bắc same thought that they would have performed better than what they performed on xổ số miền bắc day. They claimed that xổ số miền bắc information about VSEP.3-5 speaking section including xổ số miền bắc speaking rating scale and xổ số miền bắc same tests were of limited access to them. xổ số miền bắc test takers who prepared better for xổ số miền bắc test tend to get higher scores than those who did not.
  • One situation of Part 2 of xổ số miền bắc test seems to be difficult to one group of test takers as compared to xổ số miền bắc other groups. This suggests that xổ số miền bắc test forms should be piloted more carefully.
  1. Practical applicability, if any:

Though xổ số miền bắc cognitive processes that xổ số miền bắc test takers may encounter when taking xổ số miền bắc VSTEP.3-5 have been addressed at both xổ số miền bắc development and administration stages of xổ số miền bắc test, certain issues have been identified including:

  • xổ số miền bắc use of colloquialisms is only mentioned at C2 level of proficiency of xổ số miền bắc CEFR and xổ số miền bắc CEFR-VN; however, they are found in xổ số miền bắc descriptors of proficiency bands 9 and 10 of xổ số miền bắc VSTEP.3-5 speaking rating scale. In order that xổ số miền bắc examinees are well aware of such inclusion, such information should be included in xổ số miền bắc oral examiners’ training manual. Another way to deal with such descriptors is to remove them from xổ số miền bắc rating scale. In order to do so xổ số miền bắc test specifications of xổ số miền bắc VSTEP.3-5 test should be amended, which leads to xổ số miền bắc amendment of xổ số miền bắc Decision No. 729/QD-BGDDT dated March 11TH 2015 issued by xổ số miền bắc Ministry of Education and Training of Vietnam.
  • Pauses and hesitation are found in xổ số miền bắc descriptors of almost all xổ số miền bắc bands of xổ số miền bắc VSTEP.3-5 rating scale; however, no further explanation is remarked of xổ số miền bắc difference of such pauses and hesitation across xổ số miền bắc bands. Thus, further explanation should be included in xổ số miền bắc oral examiners’ training manual so as that xổ số miền bắc examiners are not confused of xổ số miền bắc signals when grading xổ số miền bắc performance of xổ số miền bắc test takers.
  • xổ số miền bắc interlocutor and assessor’s cognitive load when interviewing and assessing xổ số miền bắc test takers was described in xổ số miền bắc CEFR and so xổ số miền bắc CEFR-VN, xổ số miền bắc theoretical framework applied when designing xổ số miền bắc VSTEP.3-5 speaking test; however, such load is not mentioned in xổ số miền bắc specifications or xổ số miền bắc oral examiner’s training manuals. It is highly recommended that xổ số miền bắc factors that affect xổ số miền bắc interlocutor and assessor’s cognitive load interviewing and assessing xổ số miền bắc VSTEP.3-5 test takers should be included in xổ số miền bắc oral examiners training manual so that xổ số miền bắc interlocutors/assessors are aware of such issues when interviewing and rating. One particular suggestion is that xổ số miền bắc interlocutors/assessors are not provided with time to do grading work between adjacent test takers. They would find it to be practical when around one minute should be provided between two adjacent test takers so that they can complete xổ số miền bắc grading of xổ số miền bắc test taker who performed.
  • Tt seems to be difficult to see xổ số miền bắc difference between xổ số miền bắc performances of xổ số miền bắc test takers that correspond to those adjacent bands of a same criterium of xổ số miền bắc scale. Such issue may hinder xổ số miền bắc oral examiners from putting xổ số miền bắc test takers into xổ số miền bắc correct bands of xổ số miền bắc rating scale. In order that xổ số miền bắc examiners could precisely put xổ số miền bắc test takers’ performance on xổ số miền bắc correct bands of xổ số miền bắc scale, quantified features of xổ số miền bắc bands should be included in xổ số miền bắc oral examiners’ training manual or sample performance of xổ số miền bắc test takers in xổ số miền bắc forms of audio and/or videos should be developed for all xổ số miền bắc bands of xổ số miền bắc rating scale. Another way to deal with such situation is to merge xổ số miền bắc descriptors of xổ số miền bắc bands which correspond to a same level of English proficiency, in so doing, xổ số miền bắc number of bands of xổ số miền bắc VSTEP.3-5 rating scale will reduce to 5 bands. This will simplify xổ số miền bắc grading work of xổ số miền bắc examiners and will probably lead to better reliability of xổ số miền bắc work.
  • All bands 9 and 10 are of significantly higher level of difficulty as compared to all bands 8 of xổ số miền bắc VSTEP.3-5 rating scale, which probably led to xổ số miền bắc low percentage of test takers who were graded C1 level as compared to other proficiency levels gauged by xổ số miền bắc test. In order that xổ số miền bắc speaking scores are more reliable for those test takers, xổ số miền bắc examiners should be provided with such data when they are trained.
  • xổ số miền bắc test takers claimed that xổ số miền bắc information about VSEP.3-5 speaking section including xổ số miền bắc speaking rating scale and xổ số miền bắc sample tests were of limited access to them. And xổ số miền bắc test takers who prepared better for xổ số miền bắc test tend to get higher scores than those who did not. It is recommended that VSTEP.3-5 administration organizations should provide test takers with access to not only xổ số miền bắc test format, but also xổ số miền bắc rating scale and sample test forms so that xổ số miền bắc prospective test takers understand well what are expected of them to perform at different levels of proficiency, and so they could be better prepared for xổ số miền bắc test.
  • One situation of Part 2 of xổ số miền bắc VSTEP.3-5 test seems to be difficult to one group of test takers as compared to xổ số miền bắc other groups. This suggests that xổ số miền bắc test forms should be piloted more carefully. It’s highly recommended that all test forms should be developed strictly following xổ số miền bắc 12 stages of test development provided by xổ số miền bắc Vietnam Ministry of Education and Training, with which, each test task should be pretested twice. Besides, in order that xổ số miền bắc pretest scores are analyzed properly, specifically for speaking and writing sections, applications like FACETS and R, on which xổ số miền bắc Rating Scale Model and/or xổ số miền bắc Partial Credit Model can be run, should be used for test scores analysis.

Then, from xổ số miền bắc case of xổ số miền bắc VSTEP.3-5 cognitive validity study, it is proved that xổ số miền bắc Weir socio cognitive model provides a comprehensive framework for language test development and validation. Specifically for xổ số miền bắc validity of a certain aspect of a language test like cognitive validity, xổ số miền bắc Weir’s socio cognitive model is approvingly applicable for it not only helps develop systematic validity argument for a particular language test but helps identify problem that face such studied language test at both xổ số miền bắc development and administration stages of xổ số miền bắc test. Thus, it is highly recommended that Weir’s socio cognitive model should be applied when a new language test is developed and validated.

Third, xổ số miền bắc Weir’s socio cognitive framework proves to be of highly applicable to language test development and validation, yet when applying xổ số miền bắc framework in validating a foreign language test like VSTEP.3-5, xổ số miền bắc specific features of learning English as a foreign language should be studied carefully to better apply xổ số miền bắc framework. In case of cognitive validity, xổ số miền bắc cognitive processes that xổ số miền bắc test taker may go through when taking xổ số miền bắc test follow Levelt’s cognitive processes of spoken production for L1 speakers (1988, 1989) and Weir’s adopted cognitive processes of spoken production for L2 speakers (2005) should be are almost xổ số miền bắc same. Nevertheless, when investigating xổ số miền bắc cognitive validity of xổ số miền bắc VSTEP.3-5 speaking section, xổ số miền bắc need to develop an updated cognitive model for oral production of foreign language speakers is arisen following xổ số miền bắc fact that a number of xổ số miền bắc VSTEP.3-5 studied test takers think in their L1 Vietnamese, which to certain extent affected their speaking performance in xổ số miền bắc test condition and probably in xổ số miền bắc non-test conditions as well, specifically in xổ số miền bắc cases of xổ số miền bắc test takers of CEFR B1 and lower proficiency.

  1. Further research directions, if any:

First, it is recommended by xổ số miền bắc researcher hereof that Decision No. 729/QD-BGDDT dated March 11TH 2015 issued by xổ số miền bắc Ministry of Education and Training of Vietnam should be amended with regards to xổ số miền bắc specifications of xổ số miền bắc VSTEP.3-5 test. In order to convince researchers and policy makers to make such a change to xổ số miền bắc Decision, further studies should be conducted to place stronger evidence on xổ số miền bắc urge to make amendment to xổ số miền bắc test specifications of xổ số miền bắc test and which part of xổ số miền bắc specifications should be amended as well.

Second, xổ số miền bắc study herein was accomplished on a small data collection size (288 test takers). In order that xổ số miền bắc data collected are of higher validity and reliability levels, similar studies with bigger data collection size are highly recommended to be conducted.

Third, for xổ số miền bắc moment, xổ số miền bắc Weir’s socio cognitive framework proves to be of highly applicable to conduct cognitive validity studies; however, xổ số miền bắc model of cognitive processing in oral production was only developed for L1 and L2 speakers. A model that takes into consideration xổ số miền bắc features of foreign language acquisition should be developed to provide better impeccable model for establishing xổ số miền bắc cognitive validity of a foreign language test, specifically when xổ số miền bắc test is designed for assessment of test takers of CEFR B1 and lower levels of proficiency. Thus, prospective studies could be conducted to develop speaking cognitive processing model for foreign language speakers, which could be placed feasible by adopting xổ số miền bắc Levelt’s model for L1 speakers or such a model could be newly developed for xổ số miền bắc fact that by far Levelt’s model of L1 speaking cognitive processing is xổ số miền bắc only model applicable in language test development and validation.

  1. Thesis-related publications:1. Nguyen Thi Mai Huu (2019). Stimulated recall – A practical data collection technique for cognitive studies in language testing. Journal of Foreign Languages Studies, 58/2019, 38-50.2. Nguyen Thi Mai Huu (2020). Application of xổ số miền bắc socio-cognitive framework in language test development and validation. 2020 International graduate research symposium ND 10TH East Asia Chinese teaching forum, Volume 1, 727-735.3. Phuong Tran, Hoa Nguyen, Trang Dang, Minh Nguyen, Lan Nguyen, Tuan Huynh, Ha Do, Huu Nguyen, Fred Davidson (2015). A validation study on xổ số miền bắc newly-developed Vietnam standardized English proficiency test. 37TH Language Testing Research Colloquium, 142.4. Victoria Clark, Nguyen Thi Mai Huu, Jessica Wu, Jamie Dunlea, Richard West (2016). Test centers and standardized Testing: Challenges, issues and benefits. 4TH British Council New Directions in English language assessment conference, 19-20.5. Nathan Carr, Quynh Nguyen, Huu Nguyen, Yen Nguyen, Thao Nguyen (2016). Systematic support for a communicative standardized proficiency test in Vietnam. 4TH British Council New Directions in English language assessment conference, 26-27.6. Huu Nguyen (2018). An Investigation into xổ số miền bắc Cognitive Validity of xổ số miền bắc Speaking Section of xổ số miền bắc Vietnam’s Standardized Test of English Proficiency. 40TH Language Testing Research Colloquium, 114.7. Huu Nguyen (2019). An investigation into xổ số miền bắc cognitive processes reflected in xổ số miền bắc VSTEP speaking scoring rubrics. 7TH British Council New Directions in English language assessment conference, 22.

    8. Barry O’Sullivan, Josep Lo Bianco, Huu Nguyen, Mitsuharu Ota, Yoshinori Watanabe (2019). Language Assesment Policy. 7TH British Council New Directions in English language assessment conference, 18.

 Date 30/12/2020

        Signature:

Nguyen Thi Mai Huu

Kính mời thầy cô, các anh chị nghiên cứu sinh, học viên và những ai quan tâm đến dự!

Trân trọng!

 
Tagged with:
{lang: 'vi'}