Jedwali la Yaliyomo
- 1. Utangulizi
- 2. Usuli na Kazi Zinazohusiana
- 3. Mbinu
- 4. Matokeo na Uchambuzi
- 5. Maelezo ya Kiufundi na Uundaji wa Hisabati
- 6. Uchunguzi Kisa: Mfano wa Prompt kwa Kiwango cha A1
- 7. Uchambuzi Asilia
- 8. Maelekezo na Matumizi ya Baadaye
- 9. Marejeleo
1. Utangulizi
ChatGPT, kama Kielelezo Kikubwa cha Lugha (LLM) kinachoongoza, inatoa fursa zisizo na kifani za kujifunza lugha kwa njia ya kibinafsi. Utafiti huu unachunguza jinsi prompts zilizoundwa kwa uangalifu zinaweza kulinganisha matokeo ya ChatGPT na viwango vya Common European Framework of Reference for Languages (CEFR) na European Benchmarking Chinese Language (EBCL) kwa Kichina kama Lugha ya Pili (L2). Kwa kuzingatia viwango vya A1, A1+, na A2, utafiti unashughulikia changamoto za kipekee za mfumo wa uandishi wa Kichina kwa kudhibiti matokeo ya msamiati na herufi.
2. Usuli na Kazi Zinazohusiana
2.1 Mageuzi ya Chatbot katika Kujifunza Lugha
Kuanzia ELIZA (1966) hadi ALICE (1995) na AI ya kisasa ya kuzalisha, chatbot zimebadilika kutoka mifumo inayotegemea sheria hadi mawakala wa mazungumzo wanaobadilika. Uchambuzi wa meta wa Wang (2024) wa ukubwa wa athari 70 kutoka tafiti 28 unathibitisha athari chanya ya jumla ya chatbot kwenye utendaji wa kujifunza lugha. Hata hivyo, mabadiliko ya dhana yaliyoletwa na LLM kama ChatGPT baada ya 2020 hayajashughulikiwa katika mapitio ya awali (Adamopoulou, 2020).
2.2 Mifumo ya CEFR na EBCL
CEFR inatoa kiwango cha ngazi sita (A1 hadi C2) cha ujuzi wa lugha. Mradi wa EBCL hasa unapima Kichina, ukifafanua orodha za herufi na msamiati kwa kila ngazi. Kwa A1, takriban herufi 150 na maneno 300 yanatarajiwa; A1+ inaongeza herufi 100; A2 inalenga herufi 300 na maneno 600. Orodha hizi ndizo msingi wa vikwazo vya prompt.
3. Mbinu
3.1 Usanifu wa Prompt kwa Viwango vya A1-A2
Prompts ziliundwa kujumuisha maagizo ya wazi: "Tumia herufi tu kutoka kwenye orodha ya EBCL A1" na "Punguza msamiati kwa maneno 300 ya marudio ya juu." Prompts pia zilielezea mazingira ya mazungumzo (kwa mfano, kuagiza chakula, kujitambulisha) ili kuhakikisha umuhimu wa muktadha.
3.2 Mpangilio wa Majaribio
Tulifanya majaribio ya utaratibu kwa kutumia mifano ya ChatGPT-3.5 na ChatGPT-4. Kila prompt ilijaribiwa mara 50, na matokeo yalichambuliwa kwa uzingatiaji wa seti ya herufi, utofauti wa msamiati, na usahihi wa sarufi. Alama ya uzingatiaji $C$ ilifafanuliwa kama uwiano wa herufi katika matokeo ambazo ni za orodha lengwa ya EBCL.
4. Matokeo na Uchambuzi
4.1 Uzingatiaji wa Msamiati
Kujumuisha orodha za herufi wazi katika prompts kuliongeza uzingatiaji kutoka 62% (msingi) hadi 89% kwa ngazi ya A1. Kwa A1+, uzingatiaji ulifikia 84%. Uboreshaji ulikuwa muhimu kitakwimu ($p < 0.01$).
4.2 Urejeshaji wa Herufi za Kichina
Kudhibiti urejeshaji wa herufi (kurudiwa kwa herufi ndani ya mazungumzo) kuliboresha uhifadhi. Kiwango cha wastani cha kurudiwa kwa herufi kiliongezeka kutoka 1.2 hadi 2.4 kwa kila herufi 100, kikilingana na kanuni za ufundishaji za kurudia kwa nafasi.
5. Maelezo ya Kiufundi na Uundaji wa Hisabati
Alama ya uzingatiaji $C$ inafafanuliwa kama:
$$C = \frac{N_{\text{lengwa}}}{N_{\text{jumlah}}} \times 100\%$$
ambapo $N_{\text{lengwa}}$ ni idadi ya herufi kutoka kwenye orodha lengwa ya EBCL, na $N_{\text{jumlah}}$ ni jumla ya idadi ya herufi katika matokeo. Utofauti wa msamiati $D$ unapimwa kwa kutumia Uwiano wa Aina-Neno (TTR):
$$D = \frac{V}{N}$$
ambapo $V$ ni idadi ya maneno ya kipekee na $N$ ni jumla ya hesabu ya maneno. Prompts bora zilifikia $C > 85\%$ na $D \approx 0.4$ kwa ngazi ya A1.
6. Uchunguzi Kisa: Mfano wa Prompt kwa Kiwango cha A1
Prompt: "Wewe ni mwalimu wa Kichina kwa mwanafunzi anayeanza (ngazi ya A1). Tumia herufi tu kutoka kwenye orodha ya EBCL A1: 我, 你, 好, 是, 不, 了, 在, 有, 人, 大, 小, 上, 下, 来, 去, 吃, 喝, 看, 说, 做. Unda mazungumzo mafupi kuhusu kuagiza chakula kwenye mgahawa. Weka sentensi rahisi na rudia herufi muhimu."
Mfano wa Matokeo: "你好！我吃米饭。你喝什么？我喝水。好，不吃了." (Habari! Ninakula wali. Unakunywa nini? Ninakunywa maji. Sawa, nimekula.)
Matokeo haya yanatumia 100% ya herufi lengwa na yanaonyesha urudiaji wa asili.
7. Uchambuzi Asilia
Ufahamu wa Msingi: Karatasi hii ni daraja la vitendo kati ya viwango vikali vya mtaala (CEFR/EBCL) na nguvu ya kuzalisha yenye machafuko ya LLM. Haiulizi tu "Je, ChatGPT inaweza kufundisha Kichina?" bali "Tunawezaje kulazimisha ChatGPT kufundisha Kichina sahihi?" Hiyo ni mabadiliko muhimu kutoka kwa riwaya hadi matumizi.
Mtiririko wa Mantiki: Waandishi wanaendelea kimantiki kutoka muktadha wa kihistoria (ELIZA hadi ChatGPT) hadi tatizo maalum (kudhibiti matokeo ya herufi), kisha hadi suluhisho (usanifu wa prompt na orodha wazi), na hatimaye hadi uthibitishaji wa majaribio. Mtiririko ni mzuri, ingawa wigo wa majaribio ni mwembamba (A1-A2 tu).
Nguvu na Udhaifu: Nguvu ni mbinu inayoweza kutekelezeka—mwalimu yeyote anaweza kuiga prompts hizi. Udhaifu ni ukosefu wa data ya matokeo ya muda mrefu ya mwanafunzi. Je, uzingatiaji wa juu zaidi husababisha upataji bora zaidi? Karatasi inadhania hivyo, lakini haithibitishi. Pia, utafiti unapuuza hatari ya udanganyifu wa LLM (kwa mfano, kuvumbua herufi). Kama ilivyobainishwa na Bender et al. (2021) katika ukosoaji wao muhimu wa LLM, "kasuku wa stochastic" wanaweza kutoa matokeo yanayowezekana lakini si sahihi, ambayo ni hatari kwa wanaoanza.
Ufahamu Unaotekelezeka: Kwa watendaji, jambo kuu la kuchukua ni kwamba usanifu wa prompt ni uingiliaji wa gharama nafuu na wenye athari kubwa. Kwa watafiti, hatua inayofuata ni kuendesha jaribio la udhibiti nasibu linalolinganisha ChatGPT iliyopromptwa na isiyopromptwa kwa faida halisi za kujifunza. Uwanja unahitaji kuhamia kutoka vipimo vya uzingatiaji hadi vipimo vya ujuzi.
8. Maelekezo na Matumizi ya Baadaye
Kazi ya baadaye inapaswa kupanua mbinu hii kwa viwango vya juu vya CEFR (B1-C2) na kuunganisha pembejeo za aina mbalimbali (kwa mfano, utambuzi wa sauti kwa toni). Uundaji wa "Maktaba ya Prompt" kwa walimu wa Kichina, sawa na orodha za marejeleo za EBCL, ungewezesha ufikiaji wa kidemokrasia. Zaidi ya hayo, kurekebisha LLM ndogo kwenye data maalum ya EBCL kunaweza kupunguza utegemezi kwenye usanifu wa prompt. Lengo kuu ni mwalimu anayebadilika ambaye hubadilisha ugumu wa herufi kwa nguvu kulingana na utendaji wa mwanafunzi, kwa kutumia ujifunzaji wa kuimarisha kutoka kwa maoni ya binadamu (RLHF).
9. Marejeleo
- Adamopoulou, E., & Moussiades, L. (2020). Chatbots: Historia, teknolojia, na matumizi. Machine Learning with Applications, 2, 100006.
- Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). Kuhusu Hatari za Kasuku wa Stochastic: Je, Miundo ya Lugha Inaweza Kuwa Kubwa Sana? Proceedings of FAccT 2021.
- Li, B., na wenzake. (2024). ChatGPT katika elimu: Mapitio ya utaratibu. Computers and Education: Artificial Intelligence, 6, 100215.
- Wang, Y. (2024). Chatbot kwa ajili ya kujifunza lugha: Uchambuzi wa meta. Language Learning & Technology, 28(1), 1-25.
- Weizenbaum, J. (1966). ELIZA—programu ya kompyuta kwa ajili ya utafiti wa mawasiliano ya lugha asilia kati ya mwanadamu na mashine. Communications of the ACM, 9(1), 36-45.