CPG-EVAL: Penanda Aras Bertingkat untuk Menilai Kompetensi Tatabahasa Pedagogi Cina dalam Model Bahasa Besar

1. Pengenalan

Integrasi pantas Model Bahasa Besar (LLM) seperti ChatGPT ke dalam pendidikan bahasa asing telah mewujudkan keperluan mendesak untuk rangka kerja penilaian khusus. Walaupun model ini menunjukkan potensi dalam menyokong pembelajaran autonomi dan penjanaan kandungan, kompetensi teras tatabahasa pedagogi mereka—yang penting untuk pengajaran bahasa yang berkesan—masih belum dinilai secara menyeluruh. Kertas kerja ini menangani jurang kritikal ini dengan memperkenalkan CPG-EVAL, penanda aras khusus pertama yang direka untuk menilai pengetahuan tatabahasa pedagogi LLM secara sistematik dalam konteks Pengajaran Bahasa Cina sebagai Bahasa Asing (TCFL).

Kertas kerja ini berhujah bahawa sama seperti pendidik manusia memerlukan pensijilan, sistem AI yang digunakan dalam peranan pendidikan mesti menjalani penilaian yang ketat dan khusus domain. CPG-EVAL menyediakan rangka kerja berasaskan teori dan bertingkat untuk menilai pengiktirafan tatabahasa, pembezaan terperinci, diskriminasi kategori, dan ketahanan terhadap gangguan linguistik.

2. Kerja Berkaitan

Penanda aras sedia ada dalam NLP, seperti GLUE, SuperGLUE, dan MMLU, terutamanya menilai pemahaman dan penaakulan bahasa umum. Walau bagaimanapun, mereka kekurangan fokus pedagogi yang diperlukan untuk menilai kesesuaian pengajaran. Penyelidikan mengenai LLM dalam pendidikan telah meneroka aplikasi seperti pembetulan ralat dan latihan perbualan, tetapi penilaian sistematik berpusatkan tatabahasa yang berasaskan kepakaran pengajaran bahasa masih tiada. CPG-EVAL merapatkan jurang ini dengan menyelaraskan reka bentuk penanda aras dengan sistem klasifikasi tatabahasa pedagogi yang mantap daripada TCFL.

3. Penanda Aras CPG-EVAL

CPG-EVAL dibina sebagai penanda aras pelbagai tugas yang komprehensif untuk menyelidik dimensi berbeza kompetensi tatabahasa pedagogi.

4. Persediaan Eksperimen & Keputusan

5. Perbincangan & Implikasi

Kajian ini menyimpulkan bahawa menggunakan LLM sebagai alat pedagogi tanpa penilaian sasaran sedemikian adalah terlalu awal. Jurang prestasi yang ketara, terutamanya dalam tugas kompleks yang relevan dengan pengajaran, menekankan keperluan untuk penyelarasan pengajaran yang lebih baik. Penemuan ini menyeru untuk: 1) Membangunkan lebih banyak penanda aras yang ketat, pedagogi-dahulu; 2) Mencipta data latihan khusus yang memberi tumpuan kepada penaakulan pendidikan; 3) Melaksanakan strategi penalaan halus model atau prompting yang meningkatkan output pedagogi.

6. Analisis Teknikal & Kerangka Kerja

Pandangan Teras

CPG-EVAL bukan sekadar papan pendahulu ketepatan yang lain; ia adalah pemeriksaan realiti untuk gembar-gembur AI-dalam-pendidikan. Penanda aras ini mendedahkan ketidakpadanan asas: LLM dioptimumkan untuk ramalan token seterusnya pada korpus berskala internet, bukan untuk penaakulan berstruktur, sensitif ralat, dan berasaskan penjelasan yang diperlukan dalam pedagogi. Ini sama seperti menilai kereta pandu sendiri hanya pada batu lebuh raya cerah—CPG-EVAL memperkenalkan kabus, hujan, dan persimpangan kompleks pengajaran bahasa.

Aliran Logik

Logik kertas kerja ini adalah kukuh dan membuktikan kelemahan. Ia bermula dari premis yang tidak dapat dinafikan (AI "guru" tidak disahkan), mengenal pasti jurang kompetensi khusus (tatabahasa pedagogi), dan membina penanda aras yang secara progresif menyerang kelemahan model. Perkembangan tugas dari penghakiman mudah kepada penjelasan kukuh di bawah gangguan adalah kelas induk dalam penilaian diagnostik. Ia melangkaui "bolehkah model menjawab?" kepada "bolehkah model mengajar?"

Kekuatan & Kelemahan

Kekuatan: Fokus khusus domain adalah ciri utamanya. Tidak seperti penanda aras generik, tugas CPG-EVAL diambil daripada cabaran bilik darjah sebenar. Kemasukan "ketahanan terhadap contoh mengelirukan" amat bijak, menguji kesedaran metalinguistik model—kemahiran teras guru. Seruan untuk penyelarasan dengan teori pengajaran, bukan hanya skala data, adalah pembetulan yang diperlukan untuk trend pembangunan AI semasa.

Kelemahan: Penanda aras ini buat masa ini monolingual (Cina), mengehadkan kebolehgeneralisasian. Penilaian, walaupun pelbagai segi, masih bergantung sebahagiannya pada metrik automatik (BLEU/ROUGE) untuk tugas penjelasan, yang merupakan proksi lemah untuk kualiti pedagogi. Pergantungan lebih berat pada penilaian manusia pakar, seperti yang dilihat dalam kerja pasukan Hugging Face BigScience mengenai penilaian holistik, akan mengukuhkan dakwaannya.

Pandangan Boleh Tindak

Untuk Syarikat EdTech: Hentikan pemasaran LLM sebagai tutor siap sedia. Gunakan rangka kerja seperti CPG-EVAL untuk pengesahan dalaman. Labur dalam penalaan halus pada set data berkualiti tinggi, beranotasi pedagogi, bukan hanya teks umum tambahan.

Untuk Penyelidik: Kerja ini harus dikembangkan secara menegak dan mendatar. Secara menegak, dengan menggabungkan lebih banyak senario pengajaran interaktif, berasaskan dialog. Secara mendatar, dengan mencipta setara untuk bahasa lain (cth., Inggeris, Sepanyol). Bidang ini memerlukan suite "PedagogyGLUE".

Untuk Pendidik & Pembuat Dasar: Tuntut ketelusan. Sebelum menggunakan sebarang alat AI, minta "skor CPG-EVAL" atau setaranya. Wujudkan piawaian pensijilan berdasarkan penanda aras sedemikian. Preseden wujud dalam domain AI lain; Rangka Kerja Pengurusan Risiko AI NIST menekankan penilaian khusus konteks, yang amat diperlukan oleh pendidikan.

Butiran Teknikal & Kerangka Analisis

Reka bentuk penanda aras ini secara tersirat memodelkan kompetensi pedagogi sebagai fungsi pelbagai keupayaan. Kita boleh memformalkan prestasi dijangkakan $P$ pada tugas pengajaran $T$ sebagai:

$P(T) = f(K_d, K_p, K_c, R)$

Di mana:
$K_d$ = Pengetahuan Deklaratif (peraturan tatabahasa),
$K_p$ = Pengetahuan Prosedur (cara mengaplikasikan peraturan),
$K_c$ = Pengetahuan Bersyarat (bila/mengapa mengaplikasikan peraturan),
$R$ = Ketahanan terhadap gangguan dan kes tepi.

Tugas CPG-EVAL dipetakan kepada pemboleh ubah ini: Tugas 1-3 menyelidik $K_d$, Tugas 4 menyelidik $K_p$ dan $K_c$, dan Tugas 5 menguji $R$ secara langsung. Keputusan menunjukkan bahawa walaupun penskalaan meningkatkan $K_d$ dan sedikit sebanyak $R$, $K_p$ dan $K_c$ kekal sebagai halangan utama.

Contoh Kes Kerangka Analisis

Senario: Menilai penjelasan LLM untuk ralat dalam "*Semalam saya pergi ke sekolah."

Analisis Kerangka CPG-EVAL:
1. Tugas 1 (Penghakiman): Model melabel ayat sebagai tidak gramatis dengan betul. [Menguji $K_d$]
2. Tugas 2 (Pengenalpastian): Model mengenal pasti "pergi" sebagai ralat. [Menguji $K_d$]
3. Tugas 3 (Pengkategorian): Model mengklasifikasikan ralat sebagai "Ketidakselarasan Kala." [Menguji $K_d$]
4. Tugas 4 (Penjelasan): Model menjana: "Untuk tindakan lampau, gunakan kala lampau 'pergi'. Kata keterangan 'semalam' menandakan masa lampau." [Menguji $K_p$, $K_c$—menghubungkan peraturan kepada petunjuk konteks].
5. Tugas 5 (Mengelirukan): Dibentangkan dengan "Semalam saya pergi..." dan "Setiap hari saya pergi...", model mesti menerangkan kedua-duanya dengan betul, tidak menggeneralisasi secara berlebihan. [Menguji $R$].

Model mungkin lulus 1-3 tetapi gagal 4 dengan memberikan peraturan samar ("guna kala lampau") tanpa kaitan dengan "semalam", dan gagal 5 dengan mengaplikasikan peraturan kala lampau secara tegar kepada tindakan kebiasaan dalam contoh kedua.

7. Aplikasi & Hala Tuju Masa Depan

Rangka kerja CPG-EVAL membuka jalan untuk beberapa kemajuan kritikal:

• Latihan Model Khusus: Penanda aras ini boleh digunakan sebagai objektif latihan untuk menala halus "LLM Guru" dengan kemahiran tatabahasa pedagogi yang dipertingkatkan, melangkaui pengoptimuman sembang umum.
• Alat Penilaian Dinamik: Mengintegrasikan penilaian gaya CPG-EVAL ke dalam platform pembelajaran adaptif untuk mendiagnosis secara dinamik kekuatan dan kelemahan tutor model secara masa nyata, mengarahkan pertanyaan pelajar sewajarnya.
• Penanda Aras Rentas Bahasa: Membangunkan penanda aras serupa untuk bahasa lain yang diajar secara meluas (cth., Inggeris, Sepanyol, Arab) untuk mencipta peta komprehensif kesediaan pedagogi global LLM.
• Integrasi dengan Teori Pendidikan: Iterasi masa depan boleh menggabungkan aspek pemerolehan bahasa kedua yang lebih bernuansa, seperti susunan pemerolehan, trajektori pelajar biasa, dan keberkesanan strategi maklum balas pembetulan berbeza, seperti yang dibincangkan dalam karya penting seperti Ellis (2008).
• Ke Arah Tutor AI Disahkan: CPG-EVAL menyediakan metrik asas untuk program pensijilan masa depan yang berpotensi untuk alat pendidikan AI, memastikan asas kompetensi pedagogi sebelum penggunaan di bilik darjah.

8. Rujukan

1. Wang, D. (2025). CPG-EVAL: A Multi-Tiered Benchmark for Evaluating the Chinese Pedagogical Grammar Competence of Large Language Models. arXiv preprint arXiv:2504.13261.
2. Brown, T., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33.
3. Ellis, R. (2008). The Study of Second Language Acquisition (2nd ed.). Oxford University Press.
4. Liang, P., et al. (2023). Holistic Evaluation of Language Models. Transactions on Machine Learning Research.
5. OpenAI. (2023). GPT-4 Technical Report. arXiv preprint arXiv:2303.08774.
6. NIST. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology.
7. Hugging Face. (2023). Evaluating Large Language Models. Hugging Face Blog. Diperoleh daripada https://huggingface.co/blog/evaluation-llms
8. Bin-Hady, W. R. A., et al. (2023). Exploring the role of ChatGPT in language learning and teaching. Journal of Computer Assisted Learning.