Chagua Lugha

Ufuatiliaji wa Ujuzi Wenye Haki katika Ujifunzaji wa Lugha ya Pili: Uchambuzi wa Upendeleo wa Algorithm

Uchambuzi wa haki katika miundo ya utabiri ya ujifunzaji wa lugha ya pili, tathmini ya upendeleo kwenye majukwaa na nchi mbalimbali kwa kutumia data ya Duolingo.
study-chinese.com | PDF Size: 8.4 MB
Ukadiriaji: 4.5/5
★ ★ ★ ★ ★
Ukadiriaji Wako
Umekadiria waraka huu tayari
Kifuniko cha Waraka PDF - Ufuatiliaji wa Ujuzi Wenye Haki katika Ujifunzaji wa Lugha ya Pili: Uchambuzi wa Upendeleo wa Algorithm
Tazama Waraka PDF Pakua PDF Tafsiri PDF
Nyumbani » Nyaraka » Ufuatiliaji wa Ujuzi Wenye Haki katika Ujifunzaji wa Lugha ya Pili: Uchambuzi wa Upendeleo wa Algorithm

1. Utangulizi

Uundaji wa miundo ya utabiri katika elimu, hasa Ufuatiliaji wa Ujuzi (KT), unalenga kuiga hali ya ujuzi wa mwanafunzi ili kubinafsisha ujifunzaji. Mbinu za jadi zilitegemea uamuzi wa binadamu, zikiwa na mwelekeo wa upendeleo kutokana na mipaka ya kumbukumbu, uchovu, na upendeleo wa chanya. Ufuatiliaji wa Ujuzi wa Kikokotozi, ulioanzishwa na Corbett na Anderson (1994), hutumia data ya mwingiliano wa wanafunzi (alama, maoni, ushiriki) kutabiri utendaji wa baadaye na kuboresha mafundisho.

Ingawa usahihi umekuwa lengo kuu, utafiti huu unasisitiza pengo muhimu: haki ya algorithm. Utafiti huu unachunguza ikiwa miundo ya utabiri katika ujifunzaji wa lugha ya pili (kwa kutumia data ya Duolingo) inaonyesha upendeleo usiokusudiwa dhidi ya makundi maalum kulingana na jukwaa (iOS, Android, Wavuti) au hali ya maendeleo ya nchi (zilizoendelea dhidi ya zinazoendelea).

2. Mbinu & Usanidi wa Majaribio

Utafiti huu unatumia mfumo wa uchambuzi wa kulinganisha ili kutathmini haki pamoja na usahihi.

2.1 Seti za Data & Njia za Kujifunza

Njia tatu za kujifunza kutoka kwenye seti ya data ya kazi ya pamoja ya Duolingo 2018 zilitumika:

  • en_es: Wazungumzaji wa Kiingereza wanaojifunza Kihispania.
  • es_en: Wazungumzaji wa Kihispania wanaojifunza Kiingereza.
  • fr_en: Wazungumzaji wa Kifaransa wanaojifunza Kiingereza.

Data inajumuisha mlolongo wa mazoezi ya wanafunzi, usahihi, na metadata (jukwaa ya klienti, nchi). Nchi ziligawanywa kama "Zilizoendelea" au "Zinazoendelea" kulingana na fahirisi za kawaida za kiuchumi (mfano, uainishaji wa IMF).

2.2 Miundo ya Kutabiri

Aina mbili za miundo zilithaminiwa:

  • Kujifunza kwa Mashine (ML): Miundo ya jadi kama vile Uregeshaji wa Mantiki, Misitu ya Nasibu.
  • Kujifunza kwa kina (DL): Miundo ya mtandao wa neva, pengine ikijumuisha aina mbalimbali za Ufuatiliaji wa Ujuzi wa kina (DKT) au miundo ya msingi wa Transformer.

Kazi kuu ilikuwa utabiri wa jozi mbili: je, mwanafunzi atajibu mazoezi yanayofuata kwa usahihi?

2.3 Vipimo vya Haki

Haki ilithaminiwa kwa kutumia vipimo vya haki vya kikundi, ikilinganisha utendaji wa muundo kati ya makundi yaliyolindwa:

  • Haki ya Jukwaa: Linganisha usahihi, alama ya F1, au AUC kati ya watumiaji wa klienti za iOS, Android, na Wavuti.
  • Haki ya Kijiografia: Linganisha vipimo vya utendaji kati ya watumiaji kutoka nchi zilizoendelea na zinazoendelea.

Tofauti katika vipimo hivi zinaonyesha upendeleo wa algorithm. Muundo wenye haki kamili ungekuwa na utendaji sawa kwa makundi yote.

3. Matokeo & Uvumbuzi

Utafiti huu ulitoa uvumbuzi muhimu manne, ukifunua mabadiliko muhimu na upendeleo.

3.1 Usahihi dhidi ya Haki: Mabadiliko

Miundo ya Kujifunza kwa kina (DL) kwa ujumla ilifanya vizuri zaidi kuliko Miundo ya Kujifunza kwa Mashine (ML) katika usahihi na haki. Uwezo wa DL wa kukamata muundo tata, usio na mstari katika data ya kujifunza kwa mlolongo husababisha utabiri thabiti zaidi ambao hautegemei sana uhusiano wa uwongo unaohusishwa na sifa nyeti.

3.2 Upendeleo wa Jukwaa (iOS/Android/Wavuti)

Algorithmi zote za ML na DL zilionyesha upendeleo unaoonekana unaopendelea watumiaji wa simu (iOS/Android) kuliko watumiaji wasio na simu (Wavuti). Hii inaweza kutokana na tofauti za ubora wa data (mfano, muundo wa mwingiliano, urefu wa kipindi), muundo wa kiolesura, au wasifu wa kidemografia unaohusishwa kwa kawaida na kila jukwaa. Upendeleo huu unaweza kuwa hatari kwa wale wanaojifunza ambao wanatumia zana za kielimu kupitia kompyuta za mezani.

3.3 Upendeleo wa Kijiografia (Nchi Zilizoendelea dhidi ya Zinazoendelea)

Algorithmi za ML zilionyesha upendeleo mkubwa zaidi dhidi ya watumiaji kutoka nchi zinazoendelea ikilinganishwa na algorithmi za DL. Hii ni uvumbuzi muhimu, kwani miundo ya ML inaweza kujifunza na kuongeza ukosefu wa usawa wa kihistoria uliopo kwenye data ya mafunzo (mfano, tofauti katika upatikanaji wa elimu ya awali, uaminifu wa mtandao). Miundo ya DL, ingawa haijakwamishwa, ilionyesha uwezo mkubwa wa kukabiliana na upendeleo huu wa kijiografia.

Uchaguzi Bora wa Muundo: Utafiti huu unapendekeza mbinu ya kina:

  • Tumia Kujifunza kwa kina kwa njia za en_es na es_en kwa usawa bora wa haki na usahihi.
  • Fikiria Kujifunza kwa Mashine kwa njia ya fr_en, ambapo wasifu wake wa haki na usahihi ulionekana kuwa unaofaa zaidi kwa muktadha huo maalum.

4. Uchambuzi wa Kiufundi & Mfumo

4.1 Uundaji wa Ufuatiliaji wa Ujuzi

Kimsingi, Ufuatiliaji wa Ujuzi huiga hali ya ujuzi ya siri ya mwanafunzi. Kwa kuzingatia mlolongo wa mwingiliano $X_t = \{(q_1, a_1), (q_2, a_2), ..., (q_t, a_t)\}$, ambapo $q_i$ ni mazoezi/swali na $a_i \in \{0,1\}$ ni usahihi, lengo ni kutabiri uwezekano wa usahihi kwenye mazoezi yanayofuata: $P(a_{t+1}=1 | X_t)$.

Ufuatiliaji wa Ujuzi wa kina (Piech et al., 2015) hutumia Mtandao wa Neva wa Kurudia (RNN) kuiga hii:

$h_t = \text{RNN}(h_{t-1}, x_t)$

$P(a_{t+1}=1) = \sigma(W \cdot h_t + b)$

ambapo $h_t$ ni hali ya siri inayowakilisha hali ya ujuzi kwa wakati $t$, $x_t$ ni uingizaji wa pembejeo wa $(q_t, a_t)$, na $\sigma$ ni kitendakazi cha sigmoid.

4.2 Mfumo wa Tathmini ya Haki

Utafiti huu unatumia kwa njia ya siri dhana ya haki ya kikundi. Kwa kitabiri cha jozi mbili $\hat{Y}$ na sifa nyeti $A$ (mfano, jukwaa au kikundi cha nchi), vipimo vya kawaida vinajumuisha:

  • Tofauti ya Usawa wa Takwimu: $|P(\hat{Y}=1|A=0) - P(\hat{Y}=1|A=1)|$
  • Tofauti ya Fursa Sawa: $|P(\hat{Y}=1|A=0, Y=1) - P(\hat{Y}=1|A=1, Y=1)|$ (Inatumika wakati lebo halisi Y zinajulikana).
  • Tofauti ya Kipimo cha Utendaji: Tofauti katika usahihi, AUC, au alama ya F1 kati ya makundi.

Tofauti ndogo inaonyesha haki kubwa zaidi. Uvumbuzi wa karatasi hii unapendekeza kuwa miundo ya DL inapunguza tofauti hizi kwa ufanisi zaidi kuliko miundo ya ML kwenye makundi yaliyofafanuliwa.

5. Uchunguzi wa Kesi: Utumizi wa Mfumo

Muktadha: Kampuni ya EdTech inatumia muundo wa KT kupendekeza mazoezi ya kukagua katika programu yake ya kujifunza lugha. Muundo huo umefunzwa kwenye data ya watumiaji wa kimataifa.

Tatizo: Uchambuzi wa baada ya kutumia unaonyesha kuwa watumiaji katika Nchi X (nchi inayoendelea) wana kiwango cha juu cha 15% cha kupendekezwa vibaya mazoezi magumu mno, na kusababisha kuchoka na kujiondoa, ikilinganishwa na watumiaji katika Nchi Y (nchi iliyoendelea).

Uchambuzi kwa kutumia mfumo wa karatasi hii:

  1. Tambua Kikundi Kinyeti: Watumiaji kutoka nchi zinazoendelea dhidi ya zilizoendelea.
  2. Ukaguzi wa Muundo: Kokotoa vipimo vya utendaji (Usahihi, AUC) kando kwa kila kikundi. Tofauti ya 15% iliyoonwa katika "kiwango cha mapendekezo ya ugumu unaofaa" ni ukiukaji wa haki.
  3. Ugunduzi: Je, muundo huo ni ML au DL? Kulingana na utafiti huu, muundo wa ML una uwezekano mkubwa wa kuonyesha upendeleo huu wa kijiografia. Chunguza usambazaji wa sifa—labda muundo hutegemea kupita kiasi sifa zinazohusiana na maendeleo ya nchi (mfano, kasi ya wastani ya muunganisho, aina ya kifaa).
  4. Rekebisha: Fikiria kubadilisha kwa muundo wa KT wa msingi wa DL, ambao utafiti huu ulipata kuwa ni thabiti zaidi kwa upendeleo huu. Vinginevyo, tumia mbinu za mafunzo zenye ufahamu wa haki (mfano, kuondoa upendeleo kwa kupinga, upya uzani) kwa muundo uliopo.
  5. Fuatilia: Fuatilia kwa mfululizo kipimo cha haki baada ya kuingilia kati ili kuhakikisha upendeleo umepunguzwa.

6. Matumizi ya Baadaye & Mwelekeo

Matokeo ya utafiti huu yanapanuka zaidi ya ujifunzaji wa lugha ya pili:

  • Kujifunza Kibinafsi kwa Kiasi Kikubwa: Miundo ya KT yenye haki inaweza kuwezesha mifumo ya kujifunza inayobadilika yenye usawa katika MOOCs (kama Coursera, edX) na mifumo ya kufundisha yenye akili, ikihakikisha mapendekezo yanafaa kwa watu wote wa kidemografia.
  • Ukaguzi wa Upendeleo kwa EdTech: Mfumo huu unatoa mwongozo wa kukagua programu ya kielimu ya kibiashara kwa upendeleo wa algorithm, jambo linalowakosesha wasiwasi wadhibiti na waelimishaji.
  • Haki ya Vikoa Mbalimbali: Kazi ya baadaye inapaswa kuchunguza haki kwenye sifa nyingine nyeti: jinsia, umri, hali ya kijamii na kiuchumi inayotambuliwa kutoka kwa data, na ulemavu wa kujifunza.
  • Uchambuzi wa Haki wa Sababu: Kuendelea zaidi ya uhusiano kuelewa sababu za upendeleo—je, ni data, muundo wa muundo, au muktadha wa kujifunza? Mbinu kutoka kwa utambuzi wa sababu zinaweza kuunganishwa.
  • Kujifunza kwa Haki kwa Mfumo wa Shirikisho na Kulinda Faragha: Kufunza miundo yenye haki kwenye data ya watumiaji isiyo na kituo cha kati bila kukiuka faragha, mwelekeo muhimu kwa AI ya kimaadili katika elimu.

7. Marejeo

  1. Baker, R.S., Inventado, P.S. (2014). Educational Data Mining and Learning Analytics. In: Larusson, J., White, B. (eds) Learning Analytics. Springer, New York, NY.
  2. Corbett, A. T., & Anderson, J. R. (1994). Knowledge tracing: Modeling the acquisition of procedural knowledge. User modeling and user-adapted interaction, 4(4), 253-278.
  3. Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L. J., & Sohl-Dickstein, J. (2015). Deep knowledge tracing. Advances in neural information processing systems, 28.
  4. Barocas, S., Hardt, M., & Narayanan, A. (2019). Fairness and Machine Learning: Limitations and Opportunities. fairmlbook.org.
  5. Duolingo. (2018). Second Language Acquisition Modeling (SLAM) Workshop Dataset. Retrieved from https://sharedtask.duolingo.com/
  6. Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys (CSUR), 54(6), 1-35.

8. Uchambuzi wa Mtaalam & Maoni

Uelewa Msingi: Karatasi hii inatoa ukweli muhimu, unaopuuzwa mara nyingi katika EdTech: usahihi wa juu hailingani na elimu yenye usawa. Waandishi wanaonyesha kwa uthabiti kwamba miundo ya kawaida ya Ufuatiliaji wa Ujuzi, inapotumiwa kwa ujinga, inawadhuru kimfumo makundi yote ya wanaojifunza—hasa, wale wanaotumia majukwaa ya wavuti na wale walio katika nchi zinazoendelea. Uvumbuzi wa kushangaza zaidi ni kwamba miundo rahisi ya Kujifunza kwa Mashine sio tu isiyo sahihi; ni isiyo na haki sana, ikifanya kazi kama viimarishaji vya mgawanyiko uliopo wa kijamii na kidijitali. Hii inaweka haki ya algorithm sio kama jambo la kimaadili la pekee, bali kama sehemu kuu ya utendaji wa muundo na ufanisi wa kielimu.

Mtiririko wa Mantiki: Hoja hii ni ya kimfumo. Inaanza kwa kuanzisha hatari kubwa (elimu ya kibinafsi) na pengo la kihistoria (haki). Kisha inaweka jaribio safi la kulinganisha la jozi mbili (ML dhidi ya DL) kwenye miktadha mitatu tofauti ya kujifunza lugha. Uchaguzi wa mihimili ya haki—jukwaa na jiografia—ni wenye busara, ukionyesha vigezo halisi vya matumizi ambavyo vinaathiri moja kwa moja uzoefu wa mtumiaji. Matokeo yanafuata kimantiki: uwezo bora wa uwakilishi wa DL hautoi tu utabiri bora, bali wenye haki zaidi. Mapendekezo ya kina (DL kwa en_es/es_en, ML kwa fr_en) yanavutia, yakiepuka dhana ya ukubwa mmoja na kukubali utegemezi wa muktadha, dalili ya uchambuzi mkali.

Nguvu & Kasoro: Nguvu kuu ni mwelekeo wake unaoweza kutekelezwa, wa kihalisi. Inaendelea zaidi ya majadiliano ya kinadharia ya haki kutoa ushahidi unaopimika wa upendeleo kwenye seti ya data inayotumika sana (Duolingo). Hii ni kiolezo chenye nguvu cha ukaguzi wa ndani wa muundo. Hata hivyo, uchambuzi una mipaka. Inachukulia "zilizoendelea" na "zinazoendelea" kama vizuizi vikubwa, ikipuuza tofauti kubwa ndani ya makundi haya (mfano, watumiaji wa mijini dhidi ya vijijini). Utafiti pia hauingii kwa kina kuhusu kwa nini upendeleo upo. Je, ni uwakilishi wa sifa, kiasi cha data kwa kila kikundi, au tofauti za kitamaduni katika muundo wa kujifunza? Kama ilivyoelezwa katika uchunguzi kamili wa Mehrabi et al. (2021), kutambua chanzo cha msingi cha upendeleo ni muhimu kwa kuunda njia bora za kukabiliana. Zaidi ya hayo, ingawa DL inaonekana kuwa na haki zaidi hapa, hali yake ya "sanduku jeusi" inaweza kuficha upendeleo wa kina zaidi, usioonekana kwa urahisi, changamoto iliyoelezewa katika fasihi ya haki.

Uelewa Unaoweza Kutekelezwa: Kwa viongozi wa EdTech na wasimamizi wa bidhaa, utafiti huu ni amri ya mabadiliko. Kwanza, vipimo vya haki lazima viunganishwe kwenye dashibodi ya kawaida ya tathmini ya muundo, pamoja na usahihi na AUC. Kabla ya kutumia kipengele chochote cha kujifunza kinachobadilika, fanya ukaguzi sawa na utafiti huu. Pili, weka kipaumbele miundo ya Kujifunza kwa kina kwa kazi kuu za kuiga wanafunzi, kwani inatoa kinga bora ya asili dhidi ya upendeleo, ikithibitisha mwelekeo unaoonekana katika nyanja nyingine ambapo mitandao ya kina hujifunza sifa thabiti zaidi. Tatu, gawanya data yako. Usiangalie tu utendaji wa "kimataifa". Gawanya vipimo kwa jukwaa, eneo, na demografia nyingine zinazofaa kama desturi ya kawaida. Mwisho, weke uwekezaji katika uchambuzi wa sababu ili kuondoka kutoka kwa kutazama upendeleo hadi kuelewa na kuondoa kwa uhandisi. Mustakabali wa EdTech yenye usawa unategemea kutibu haki kwa ukali sawa na usahihi wa utabiri.