1. Utangulizi

Ujumuishaji wa mabot wa hali ya juu, hasa ChatGPT, katika kujifunza lugha unawakilisha mabadiliko makubwa katika teknolojia ya elimu. Utafiti huu huchunguza matumizi maalum ya uundaji wa maagizo kutumia Mfano wa Lugha Kubwa (LLM) kufundisha Kichina kama lugha ya pili (L2). Utafiti huu unategemea Mfumo wa Kawaida wa Ulaya wa Kumbukumbu ya Lugha (CEFR) na mradi wa Kupima Kima cha Kichina cha Ulaya (EBCL), ukilenga viwango vya mwanzo A1, A1+, na A2. Dhana kuu ni kwamba maagizo yaliyoundwa kwa uangalifu yanaweza kudhibiti matokeo ya LLM ili yaendane na seti zilizowekwa za msamiati na herufi, na hivyo kuunda mazingira ya kujifunza yaliyopangwa na yanayofaa kwa kiwango.

2. Mapitio ya Fasihi na Usuli

2.1 Mabadiliko ya Mabot wa Mazungumzo katika Kujifunza Lugha

Safari kutoka kwa mifumo inayotegemea kanuni kama ELIZA (1966) na ALICE (1995) hadi AI ya kizazi cha kisasa inaonyesha mabadiliko kutoka kwa mazungumzo yaliyoandikwa hadi mazungumzo yanayobadilika na kuelewa muktadha. Mifumo ya awali ilifanya kazi kwa kufananisha muundo na miti ya maamuzi, wakati LLM za kisasa kama ChatGPT hutumia usanifu wa kujifunza kina, kama vile mfano wa Transformer, na kuwezesha uelewa na uzalishaji wa lugha asilia usio na kifani.

2.2 Mfumo wa CEFR na EBCL

CEFR hutoa kiwango cha kawaida cha uwezo wa lugha. Mradi wa EBCL unarekebisha mfumo huu hasa kwa Kichina, ukifafanua orodha za kawaida za herufi na msamiati kwa kila kiwango. Utafiti huu hutumia orodha za EBCL A1/A1+/A2 kama kiwango cha dhahabu cha kutathmini utii wa matokeo ya LLM.

2.3 Changamoto za Kichina kama Lugha ya Picha-Herufi

Kichina huleta vikwazo vya kipekee vya kufundisha kutokana na mfumo wake wa kuandika usio wa alfabeti, wa picha-herufi. Ustadi unahitaji ukuzi wa wakati mmoja wa kutambua herufi, mpangilio wa mstari, matamshi (Pinyin), na ufahamu wa sauti. LLM lazima ziongozwe ili kuimarisha ustadi huu unaohusiana bila kumzidisha mwanafunzi mwanzo.

3. Mbinu na Ubunifu wa Jaribio

3.1 Mkakati wa Uundaji wa Maagizo

Mbinu hiyo inazingatia uundaji wa maagizo wa kimfumo. Maagizo yaliundwa ili kumwamuru ChatGPT waziwazi:

  • Kutumia herufi tu kutoka kwa orodha maalum ya kiwango cha EBCL (k.m., A1).
  • Kujumuisha msamiati wa mzunguko wa juu unaofaa kwa kiwango hicho.
  • Kuzalisha mazungumzo, mazoezi, au maelezo ambayo yanajumuisha sehemu za mdomo (Pinyin/sauti) na za maandishi (herufi).
  • Kutenda kama mwalimu mwenye subira, akitoa marekebisho na maelezo rahisi.

3.2 Udhibiti wa Herufi na Msamiati

Changamoto kuu ya kiufundi ilikuwa kutekeleza vikwazo vya msamiati. Utafiti huu ulitumia njia mbili: 1) Maagizo wazi katika maagizo, na 2) Uchambuzi wa baada ya uzalishaji kupima asilimia ya herufi/msamiati ulio nje ya orodha lengwa ya EBCL.

3.3 Vipimo vya Tathmini

Utii ulipimwa kwa kutumia:

  • Kiwango cha Kuzingatia Seti ya Herufi (CSAR): $CSAR = (\frac{N_{valid}}{N_{total}}) \times 100\%$, ambapo $N_{valid}$ ni idadi ya herufi kutoka kwa orodha lengwa ya EBCL na $N_{total}$ ni jumla ya herufi zilizozalishwa.
  • Uchambuzi wa ubora wa ufaa wa kielimu na uhalisi wa mwingiliano.

4. Matokeo na Uchambuzi

4.1 Kuzingatia Seti ya Herufi za EBCL

Majaribio yalionyesha kwamba maagizo yanayorejelea wazi orodha za herufi za EBCL A1/A1+ yaliboresha utii kwa kiasi kikubwa. Matokeo yaliyozalishwa na maagizo haya yaliyodhibitiwa yalionyesha CSAR ya zaidi ya 95% kwa viwango vilivyolengwa, ikilinganishwa na kiwango cha msingi cha takriban 60-70% kwa maagizo ya jumla ya "Kichina cha mwanzo".

4.2 Athari kwa Ujumuishaji wa Ustadi wa Kuongea na Kuandika

Mazungumzo yaliyoagizwa yalijumuisha kwa mafanikio maelezo ya Pinyin na alama za sauti pamoja na herufi, na kutoa uzoefu wa kujifunza wa njia nyingi. LLM ilikuwa na uwezo wa kuzalisha mazoezi ya muktadha yakiomba wanafunzi kufananisha herufi na Pinyin au kutambua sauti, na kuvuka kizuizi cha "kurudiwa kwa msamiati na herufi za Kichina".

4.3 Umuhimu wa Takwimu wa Matokeo

Mfululizo wa vipimo vya t-ulithibitisha kwamba tofauti katika CSAR kati ya maagizo yaliyojulikana na EBCL na maagizo ya udhibiti ilikuwa na umuhimu wa takwimu ($p < 0.01$), na kuthibitisha ufanisi wa njia ya uundaji wa maagizo.

Matokeo Muhimu ya Jaribio

Utii wa Maagizo ya EBCL: >95% ya kuzingatia herufi kwa viwango vya A1/A1+.

Utii wa Maagizo ya Msingi: ~65% ya kuzingatia herufi.

Umuhimu wa Takwimu: $p < 0.01$.

5. Majadiliano

5.1 LLM kama Walimu Binafsi

Utafiti huu unathibitisha uwezekano wa LLM zilizoagizwa ipasavyo kutenda kama "mabot wa kibinafsi". Zinaweza kuzalisha nyenzo za mazoezi zisizo na kikomo, zenye muktadha tofauti zilizobinafsishwa kwa kiwango cha mwanafunzi maalum, na kushughulikia kikwazo kikuu cha vitabu vya kiada visivyobadilika au programu za lugha zilizopangwa awali.

5.2 Vikwazo na Changamoto

Vikwazo ni pamoja na: 1) "Ubunifu" wa LLM mara kwa mara katika kuanzisha msamiati usio lengwa, na kuhitaji ubunifu thabiti wa maagizo. 2) Ukosefu wa maendeleo ya muundo wa msingi, uliopangwa—mzigo uko kwa mwanafunzi au mwalimu kupanga maagizo kwa ufanisi. 3) Uhitaji wa tathmini ya mtu katika mzunguko ili kutathmini ubora wa kielimu wa maudhui yaliyozalishwa zaidi ya utii wa msamiati tu.

6. Hitimisho na Kazi ya Baadaye

Utafiti huu hutoa uthibitisho wa dhana kwamba kuagiza kwa kimkakati kunaweza kuunganisha matokeo ya AI ya kizazi na mifumo iliyowekwa ya uwezo wa lugha kama CEFR/EBCL. Inatoa mbinu inayoweza kurudiwa ya kutumia LLM katika kujifunza kwa muundo L2, hasa kwa lugha za picha-herufi kama Kichina. Kazi ya baadaye inapaswa kulenga kuendeleza mifumo ya kiotomatiki ya uboreshaji wa maagizo na masomo ya muda mrefu yanayopima matokeo ya kujifunza.

7. Uchambuzi wa Asili na Uchambuzi wa Mtaalamu

Uelewa wa Msingi

Karatasi hii sio tu juu ya kutumia ChatGPT kwa kujifunza lugha; ni darasa bora katika kudhibiti AI ya kizazi kwa usahihi wa kielimu. Waandishi wanatambua kwa usahihi kwamba nguvu ghafi, isiyozuiwa ya LLM ni hatari katika elimu ya mwanzo. Mafanikio yao ni kuchukulia maagizo sio kama swali rahisi, bali kama hati ya maelezo ambayo inafunga mfano kwenye mipaka madhubuti ya mfumo wa EBCL. Hii inapita zaidi ya simulasho ya kawaida ya "kuzungumza na mzungumzaji asili" na kuingia katika ulimwengu wa ubunifu wa mtaala wa kompyuta.

Mtiririko wa Kimantiki

Hoja inaendelea kwa mantiki ya upasuaji: 1) Kubali tatizo (matokeo ya msamiati yasiyodhibitiwa). 2) Ingiza suluhisho kutoka kwa isimu ya matumizi (viwango vya CEFR/EBCL). 3) Tekeleza suluhisho kwa kiufundi (uundaji wa maagizo kama tatizo la kuridhisha vikwazo). 4) Thibitisha kwa majaribio (kupima viwango vya utii). Hii inafanana na mbinu katika utafiti wa kujifunza mashine ambapo kazi mpya ya hasara (hapa, maagizo) imeundwa ili kuboresha kipimo maalum (utii wa EBCL), sawa na jinsi watafiti walivyounda kazi za hasara maalum katika CycleGAN kufikia kazi maalum za kutafsiri picha-hadi-picha (Zhu et al., 2017).

Nguvu na Kasoro

Nguvu: Mwelekeo kwenye Kichina ni wa busara—ni lugha yenye ugumu mkubwa, yenye mahitaji makubwa ambapo suluhisho za kuwafundisha wengi zinahitajika sana. Uthibitishaji wa majaribio na vipimo vya takwimu huipa utafiti uaminifu ambao mara nyingi haupo katika karatasi za AI-katika-elimu. Kasoro Muhimu: Utafiti huu unafanya kazi katika utupu wa data ya matokeo ya mwanafunzi. Kiwango cha 95% cha kuzingatia herufi ni cha kuvutia, lakini je, kinatafsiriwa kuwa upatikanaji wa haraka wa herufi au kukumbuka bora kwa sauti? Kama ilivyoelezwa katika uchambuzi wa meta kama Wang (2024), athari chanya ya mabot kwenye utendaji wa kujifunza ni wazi, lakini mifumo hiyo haijulikani sana. Utafiti huu unashughulikia kwa ustadi ubora wa "pembejeo" lakini unaacha sehemu za "uchukuzi" na "matokeo" (Swain, 1985) za mchakato wa kujifunza zisizopimwa.

Uelewa Unaotekelezeka

Kwa waalimu na watengenezaji wa edtech: Acheni kutumia maagizo ya jumla. Kiolezo kiko hapa—weka mwingiliano wako wa AI katika mifumo iliyowekwa ya kielimu. Hatua inayofuata ni kujenga maktaba za maagizo au programu ya kati ambayo inatumia kiotomatiki vikwazo hivi vya EBCL/CEFR kulingana na kiwango kilichotambuliwa cha mwanafunzi. Zaidi ya hayo, utafiti unasisitiza hitaji la "API za kielimu"—mwingiliano wa kawaida ambao huruhusu viwango vya maudhui ya kielimu kujulisha moja kwa moja uundaji wa swali la LLM, dhana inayochunguzwa na mipango kama IMS Global Learning Consortium. Siku zijazi sio walimu wa AI kuchukua nafasi ya walimu; ni walimu wa AI walioundwa kwa uangalifu kutekeleza upeo wa mtaala na mpangilio uliofafanuliwa na walimu wakuu.

8. Maelezo ya Kiufundi na Mfumo wa Hisabati

Tathmini kuu inategemea kipimo cha kawaida cha utii. Acha $C_{EBCL}$ iwe seti ya herufi katika orodha ya kiwango lengwa la EBCL. Acha $S = \{c_1, c_2, ..., c_n\}$ iwe mfuatano wa herufi uliozalishwa na LLM kwa maagizo fulani.

Kiwango cha Kuzingatia Seti ya Herufi (CSAR) kinafafanuliwa kama: $$CSAR(S, C_{EBCL}) = \frac{|\{c_i \in S : c_i \in C_{EBCL}\}|}{|S|} \times 100\%$$

Uundaji wa maagizo unalenga kuongeza CSAR inayotarajiwa kwenye usambazaji wa majibu yaliyozalishwa $R$ kwa maagizo $p$: $$\underset{p}{\text{maximize}} \, \mathbb{E}_{S \sim R(p)}[CSAR(S, C_{EBCL})]$$ Hii inaweka uboreshaji wa maagizo kama tatizo la uboreshaji la nasibu.

9. Matokeo ya Jaribio na Maelezo ya Chati

Chati: Kiwango cha Kuzingatia Herufi kwa Aina ya Maagizo na Kiwango cha CEFR
Chati ya baa ingeonyesha matokeo muhimu. Mhimili wa x ungewakilisha hali tatu: 1) Maagizo ya jumla ya "Mwanzo", 2) Maagizo yaliyojulikana na EBCL-A1, 3) Maagizo yaliyojulikana na EBCL-A1+. Mhimili wa y ungeonyesha Kiwango cha Kuzingatia Seti ya Herufi (CSAR) kutoka 0% hadi 100%. Baa mbili zilizokusanywa kwa kila hali zingewakilisha matokeo kwa tathmini ya kiwango cha A1 na A1+ mtawalia. Tungeona:

  • Maagizo ya Jumla: Baa kwa ~65% kwa tathmini ya A1 na A1+.
  • Maagizo ya EBCL-A1: Baa ya juu sana (~97%) kwa tathmini ya A1, na baa ya wastani ya juu (~80%) kwa tathmini ya A1+ (kwa kuwa ina herufi kadhaa za A1+).
  • Maagizo ya EBCL-A1+: Baa ya juu (~90%) kwa tathmini ya A1+, na baa ya chini kidogo (~85%) kwa tathmini ya A1 (kwa kuwa ni seti kuu ya A1).
Chati hii ingeonyesha wazi faida ya uhasibu iliyopatikana kwa kuagiza kulenga kiwango.

10. Mfumo wa Uchambuzi: Mfano wa Kesi

Muktadha: Mwalimu anataka ChatGPT izalishe mazungumzo rahisi kwa mwanafunzi wa A1 anayejitayarisha kwa salamu na kujitambulisha.

Maagizo Dhaifu: "Andika mazungumzo rahisi kwa Kichina kwa wanaoanza."
Matokeo: Yanaweza kujumuisha herufi kama 您 (nín - wewe, rasmi) au 贵姓 (guìxìng - jina lako la ukoo), ambazo sio msamiati wa kawaida wa A1.

Maagizo Yaliyoundwa (Kulingana na Mbinu ya Utafiti):
"Wewe ni mwalimu wa Kichina kwa wanaoanza kabisa katika kiwango cha CEFR A1. Kwa kutumia herufi TU kutoka kwa orodha ya herufi za EBCL A1 (k.m., 你, 好, 我, 叫, 吗, 呢, 很, 高, 兴), zalishe mazungumzo mafupi kati ya watu wawili wanaokutana kwa mara ya kwanza. Jumuisha Pinyin na alama za sauti kwa herufi zote. Weka sentensi kwa upeo wa herufi 5 kila moja. Baada ya mazungumzo, toa maswali mawili ya uelewa kwa kutumia vikwazo sawa vya herufi."

Matokeo Yanayotarajiwa: Mazungumzo yaliyodhibitiwa kwa uangalifu yanayotumia maneno ya mzunguko wa juu wa A1, na Pinyin sahihi, na kutumika kama chombo cha kielimu kinachofaa kwa kiwango.

11. Matumizi ya Baadaye na Mwelekeo

  • Mifumo ya Maagizo Yanayobadilika: Uendelezaji wa programu ya kati ya AI ambayo hubadilisha kiotomatiki vikwazo vya maagizo kulingana na tathmini ya wakati halisi ya utendaji wa mwanafunzi, na kuunda njia ya kujifunza inayobadilika kweli.
  • Ujumuishaji wa Njia Nyingi: Kuchanganya kuagiza kwa maandishi na utambuzi wa sauti na usanisi ili kuunda zana kamili za mazoezi ya kuongea/kusikiliza ambazo pia zinazingatia vikwazo vya sauti na sauti.
  • Ujumuishaji wa Mfumo Mwingine: Kutumia mbinu sawa kwa mifumo mingine ya uwezo (k.m., ACTFL kwa muktadha wa Marekani, HSK kwa upimaji maalum wa Kichina) na lugha zingine zenye mifumo ngumu ya kuandika (k.m., Kijapani, Kiarabu).
  • Rasilimali za Elimu Wazi: Kuunda maktaba ya wazi ya maagizo yaliyothibitishwa, yanayolenga kiwango kwa lugha na ustadi tofauti, sawa na dhana ya "Promptbook" inayoibuka katika jamii za AI.
  • Zana za Kusaidia Walimu: Kujenga zana zinazoruhusu walimu kuzalisha haraka nyenzo za mazoezi zilizobinafsishwa, zinazofaa kwa kiwango, karatasi za kazi, na tathmini, na kupunguza wakati wa maandalizi.

12. Marejeo

  1. Adamopoulou, E., & Moussiades, L. (2020). An overview of chatbot technology. Artificial Intelligence Applications and Innovations, 373-383.
  2. Council of Europe. (2001). Common European Framework of Reference for Languages: Learning, teaching, assessment. Cambridge University Press.
  3. Glazer, K. (2023). AI in the language classroom: Ethical and practical considerations. CALICO Journal, 40(1), 1-20.
  4. Huang, W., Hew, K. F., & Fryer, L. K. (2022). Chatbots for language learning—Are they really useful? A systematic review of chatbot-supported language learning. Journal of Computer Assisted Learning, 38(1), 237-257.
  5. Imran, M. (2023). The role of generative AI in personalized language education. International Journal of Emerging Technologies in Learning, 18(5).
  6. Li, J., Zhang, Y., & Wang, X. (2024). Evaluating ChatGPT's potential for educational discourse. Computers & Education, 210, 104960.
  7. Swain, M. (1985). Communicative competence: Some roles of comprehensible input and comprehensible output in its development. Input in second language acquisition, 235-253.
  8. Wallace, R. S. (2009). The anatomy of A.L.I.C.E. In Parsing the Turing Test (pp. 181-210). Springer.
  9. Wang, Y. (2024). A meta-analysis of the effectiveness of chatbots on language learning performance. System, 121, 103241.
  10. Weizenbaum, J. (1966). ELIZA—a computer program for the study of natural language communication between man and machine. Communications of the ACM, 9(1), 36-45.
  11. Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. Proceedings of the IEEE international conference on computer vision (pp. 2223-2232).
  12. European Benchmarking Chinese Language (EBCL) Project. (n.d.). Retrieved from relevant EU project repository.
  13. IMS Global Learning Consortium. (n.d.). Retrieved from https://www.imsglobal.org/