Jadual Kandungan
- 1. Pengenalan
- 2. Latar Belakang dan Kerja Berkaitan
- 3. Metodologi
- 4. Keputusan dan Analisis
- 5. Butiran Teknikal dan Perumusan Matematik
- 6. Kajian Kes: Contoh Prompt untuk Tahap A1
- 7. Analisis Asal
- 8. Hala Tuju dan Aplikasi Masa Depan
- 9. Rujukan
1. Pengenalan
ChatGPT, sebagai Model Bahasa Besar (LLM) terkemuka, menawarkan peluang yang belum pernah berlaku sebelum ini untuk pembelajaran bahasa yang diperibadikan. Kajian ini menyiasat bagaimana prompt yang dirancang dengan teliti dapat menyelaraskan output ChatGPT dengan Rangka Kerja Umum Eropah untuk Rujukan Bahasa (CEFR) dan Piawaian Penanda Aras Eropah untuk Bahasa Cina (EBCL) bagi Bahasa Cina sebagai Bahasa Kedua (L2). Dengan memberi tumpuan kepada tahap A1, A1+, dan A2, penyelidikan ini menangani cabaran unik tulisan logografik Cina dengan mengawal output leksikal dan sinografik.
2. Latar Belakang dan Kerja Berkaitan
2.1 Evolusi Chatbot dalam Pembelajaran Bahasa
Daripada ELIZA (1966) kepada ALICE (1995) dan AI generatif moden, chatbot telah berkembang daripada sistem berasaskan peraturan kepada ejen perbualan adaptif. Meta-analisis oleh Wang (2024) terhadap 70 saiz kes daripada 28 kajian mengesahkan kesan keseluruhan positif chatbot terhadap prestasi pembelajaran bahasa. Walau bagaimanapun, peralihan paradigma yang dibawa oleh LLM seperti ChatGPT selepas 2020 tidak ditangkap dalam ulasan terdahulu (Adamopoulou, 2020).
2.2 Rangka Kerja CEFR dan EBCL
CEFR menyediakan skala enam tahap (A1 hingga C2) untuk kecekapan bahasa. Projek EBCL secara khusus menanda aras bahasa Cina, mentakrifkan senarai aksara dan kosa kata untuk setiap tahap. Untuk A1, kira-kira 150 aksara dan 300 perkataan dijangka; A1+ menambah 100 aksara; A2 menyasarkan 300 aksara dan 600 perkataan. Senarai ini menjadi asas untuk kekangan prompt.
3. Metodologi
3.1 Reka Bentuk Prompt untuk Tahap A1-A2
Prompt telah direka bentuk untuk merangkumi arahan eksplisit: "Gunakan hanya aksara daripada senarai EBCL A1" dan "Hadkan kosa kata kepada 300 perkataan frekuensi tinggi." Prompt juga menentukan senario perbualan (contohnya, memesan makanan, memperkenalkan diri) untuk memastikan kaitan kontekstual.
3.2 Persediaan Eksperimen
Kami menjalankan eksperimen sistematik menggunakan model ChatGPT-3.5 dan ChatGPT-4. Setiap prompt diuji sebanyak 50 kali, dan output dianalisis untuk pematuhan set aksara, kepelbagaian leksikal, dan ketepatan tatabahasa. Skor pematuhan $C$ ditakrifkan sebagai bahagian aksara dalam output yang tergolong dalam senarai EBCL sasaran.
4. Keputusan dan Analisis
4.1 Pematuhan Leksikal
Memasukkan senarai aksara eksplisit dalam prompt meningkatkan pematuhan daripada 62% (garis dasar) kepada 89% untuk tahap A1. Untuk A1+, pematuhan mencapai 84%. Peningkatan ini signifikan secara statistik ($p < 0.01$).
4.2 Pengulangan Sinografik
Mengawal pengulangan sinografik (pengulangan aksara dalam perbualan) meningkatkan pengekalan. Kadar pengulangan aksara purata meningkat daripada 1.2 kepada 2.4 bagi setiap 100 aksara, selaras dengan prinsip pedagogi pengulangan jarak.
5. Butiran Teknikal dan Perumusan Matematik
Skor pematuhan $C$ ditakrifkan sebagai:
$$C = \frac{N_{\text{sasaran}}}{N_{\text{jumlah}}} \times 100\%$$
di mana $N_{\text{sasaran}}$ ialah bilangan aksara daripada senarai EBCL sasaran, dan $N_{\text{jumlah}}$ ialah jumlah bilangan aksara dalam output. Kepelbagaian leksikal $D$ diukur menggunakan Nisbah Jenis-Token (TTR):
$$D = \frac{V}{N}$$
di mana $V$ ialah bilangan perkataan unik dan $N$ ialah jumlah kiraan perkataan. Prompt optimum mencapai $C > 85\%$ dan $D \approx 0.4$ untuk tahap A1.
6. Kajian Kes: Contoh Prompt untuk Tahap A1
Prompt: "Anda seorang tutor bahasa Cina untuk pemula (tahap A1). Gunakan hanya aksara daripada senarai EBCL A1: 我, 你, 好, 是, 不, 了, 在, 有, 人, 大, 小, 上, 下, 来, 去, 吃, 喝, 看, 说, 做. Cipta perbualan pendek tentang memesan makanan di restoran. Pastikan ayat mudah dan ulang aksara utama."
Contoh Output: "你好！我吃米饭。你喝什么？我喝水。好，不吃了." (Hello! Saya makan nasi. Awak minum apa? Saya minum air. Baik, saya sudah selesai makan.)
Output ini menggunakan 100% aksara sasaran dan menunjukkan pengulangan semula jadi.
7. Analisis Asal
Pandangan Teras: Kertas kerja ini adalah jambatan pragmatik antara piawaian kurikulum yang ketat (CEFR/EBCL) dan kuasa generatif yang huru-hara bagi LLM. Ia bukan sekadar bertanya "Bolehkah ChatGPT mengajar bahasa Cina?" tetapi "Bagaimana kita boleh memaksa ChatGPT untuk mengajar bahasa Cina yang betul?" Itu adalah peralihan kritikal daripada kebaharuan kepada utiliti.
Aliran Logik: Penulis secara logiknya berkembang daripada konteks sejarah (ELIZA hingga ChatGPT) kepada masalah khusus (mengawal output aksara), kemudian kepada penyelesaian (kejuruteraan prompt dengan senarai eksplisit), dan akhirnya kepada pengesahan empirikal. Alirannya padat, walaupun skop eksperimen adalah sempit (hanya A1-A2).
Kekuatan & Kelemahan: Kekuatannya ialah metodologi yang boleh diambil tindakan—mana-mana guru boleh meniru prompt ini. Kelemahannya ialah kekurangan data hasil pembelajaran jangka panjang pelajar. Adakah pematuhan yang lebih tinggi benar-benar membawa kepada pemerolehan yang lebih baik? Kertas kerja menganggap ya, tetapi tidak membuktikannya. Juga, kajian mengabaikan risiko halusinasi LLM (contohnya, mencipta aksara). Seperti yang dinyatakan oleh Bender et al. (2021) dalam kritikan mani mereka terhadap LLM, "burung kakak tua stokastik" boleh menghasilkan output yang munasabah tetapi tidak betul, yang berbahaya untuk pemula.
Pandangan Boleh Tindak: Untuk pengamal, pengambilan utama ialah kejuruteraan prompt adalah intervensi kos rendah dan impak tinggi. Untuk penyelidik, langkah seterusnya adalah menjalankan percubaan terkawal rawak yang membandingkan ChatGPT dengan prompt dan tanpa prompt untuk keuntungan pembelajaran sebenar. Bidang ini perlu beralih daripada metrik pematuhan kepada metrik kecekapan.
8. Hala Tuju dan Aplikasi Masa Depan
Kerja masa depan harus melanjutkan pendekatan ini ke tahap CEFR yang lebih tinggi (B1-C2) dan mengintegrasikan input multimodal (contohnya, pengecaman pertuturan untuk nada). Pembangunan "Perpustakaan Prompt" untuk guru bahasa Cina, serupa dengan senarai rujukan EBCL, akan mendemokrasikan akses. Selain itu, penalaan halus LLM yang lebih kecil pada data khusus EBCL boleh mengurangkan pergantungan pada kejuruteraan prompt. Matlamat utama adalah tutor adaptif yang secara dinamik menyesuaikan kerumitan aksara berdasarkan prestasi pelajar, menggunakan pembelajaran pengukuhan daripada maklum balas manusia (RLHF).
9. Rujukan
- Adamopoulou, E., & Moussiades, L. (2020). Chatbots: History, technology, and applications. Machine Learning with Applications, 2, 100006.
- Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of FAccT 2021.
- Li, B., et al. (2024). ChatGPT in education: A systematic review. Computers and Education: Artificial Intelligence, 6, 100215.
- Wang, Y. (2024). Chatbots for language learning: A meta-analysis. Language Learning & Technology, 28(1), 1-25.
- Weizenbaum, J. (1966). ELIZA—a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36-45.