Daidaiton Binciken Ilimi a Cikin Koyon Harshe Na Biyu: Nazarin Karkatarwar Algorithm

1. Gabatarwa & Bayanan Fage

Tsarin hasashe a fannin ilimi, musamman Binciken Ilimi (KT), yana nufin ƙirƙirar yanayin ilimin ɗalibi mai ci gaba don hasashen aikin gaba da keɓancewa koyarwa. Hanyoyin gargajiya da suka dogara da fassarar ɗan adam na bayanan aiki suna da saurin kamuwa da ra'ayi mai karkata (misali, ra'ayi mai kyau, iyakokin ƙwaƙwalwa). KT na lissafi, wanda Corbett da Anderson suka gabatar, yana rage waɗannan ta hanyar amfani da bayanan hulɗar ɗalibi.

Yayin da yawancin bincike ke ba da fifiko ga daidaiton tsari, wannan takarda ta mai da hankali ga wani muhimmin fanni amma ba a bincika shi sosai ba: daidaiton algorithm. Daidaito yana tabbatar da cewa tsare-tsare ba sa yin rashin adalci ga ƙungiyoyi bisa ga halaye masu mahimmanci (misali, nau'in na'ura, ƙasar asali). A cikin mahallin Koyon Harshe Na Biyu (SLA) ta dandamali kamar Duolingo, karkatawa na iya ci gaba da rashin daidaiton ilimi.

Tambayoyin Bincike na Asali: Wannan binciken yana kimanta daidaiton tsarin KT a cikin: 1) Dandamalin abokin ciniki daban-daban (iOS, Android, Yanar Gizo), da 2) Masu koyo daga ƙasashe masu ci gaba da masu tasowa.

2. Hanyoyin Bincike & Tsarin Gwaji

Binciken yana amfani da tsarin nazarin kwatancen don kimanta duka aikin hasashe da daidaiton tsare-tsare.

2.1 Bayanai: Hanyoyin Koyo na Duolingo

An yi amfani da hanyoyin koyo daban-daban guda uku daga Aikin Rarraba na Duolingo na 2018 akan Koyon Harshe Na Biyu:

en_es: Masu magana da Ingilishi suna koyon Sifen.
es_en: Masu magana da Sifen suna koyon Ingilishi.
fr_en: Masu magana da Faransanci suna koyon Ingilishi.

Bayanan sun haɗa da jerin ƙoƙarin motsa jiki na ɗalibi, bayanan bayanai akan dandamalin abokin ciniki (iOS/Android/Yanar Gizo), da kuma matsayin ci gaban ƙasa da aka ƙaddara.

2.2 Tsarin Hasashen da Aka Kimanta

Binciken ya kwatanta manyan azuzuwan tsare-tsare guda biyu:

Tsarin Koyon Injini (ML): Wataƙila ya haɗa da tsare-tsaren gargajiya kamar Regression na Logistic, Dazuzzukan Bazuwar, ko Binciken Ilimi na Bayesian (BKT).
Tsarin Koyo Mai Zurfi (DL): Wataƙila ya haɗa da tsarin jeri kamar cibiyoyin sadarwar LSTM (Ƙwaƙwalwar Gajere Mai Tsayi) ko Binciken Ilimi Mai Zurfi (DKT), waɗanda suka ƙware wajen ɗaukar dogaro na lokaci a cikin jerin koyo.

Zaɓin yana nuna juyin halitta daga tsarin ƙididdiga na gargajiya zuwa hanyoyin da suka dogara da hanyar sadarwa a cikin KT.

2.3 Ma'aunin Daidaito & Tsarin Kimantawa

An kimanta daidaito ta amfani da ma'auni na daidaiton rukuni. Don hasashe na binary (misali, shin ɗalibin zai amsa abu na gaba daidai?), ma'auni na gama gari sun haɗa da:

Daidaituwar Al'umma: Matsakaicin hasashe iri ɗaya a cikin ƙungiyoyi.
Daidaiton Damar: Matsakaicin ingantaccen tabbataccen ƙimar iri ɗaya a cikin ƙungiyoyi.
Daidaiton Hasashe: Daidaiton daidaito iri ɗaya a cikin ƙungiyoyi.

Bambance-bambance a cikin waɗannan ma'auni tsakanin ƙungiyoyi (misali, masu amfani da wayar hannu da waɗanda ba na hannu ba) suna nuna karkatarwar algorithm.

3. Sakamakon Gwaji & Bincike

Nazarin ya haifar da manyan bincike guda huɗu, yana nuna musanya tsakanin daidaito da daidaito.

Muhimman Bincike a Sauƙaƙe

Fifikon DL: Tsarin DL gabaɗaya sun fi ML aiki a cikin duka daidaito da daidaito.
Karkatar da Wayar Hannu: Duka ML da DL sun nuna karkatawa ga masu amfani da wayar hannu (iOS/Android) fiye da masu amfani da yanar gizo.
Karkatar da Ci Gaba: Tsarin ML sun nuna ƙarin karkatawa ga masu koyo daga ƙasashe masu tasowa fiye da tsarin DL.
Zaɓin Dogaro da Mahalli: Mafi kyawun zaɓin tsari (DL vs. ML) ya dogara da takamaiman hanyar koyo.

3.1 Aiki: Kwatancen Daidaito

Tsarin Koyo Mai Zurfi sun nuna fa'ida mai mahimmanci a cikin daidaiton hasashe a cikin hanyoyin da aka kimanta. Wannan ya yi daidai da ƙarfin da aka kafa na tsarin jeri na jijiyoyi kamar DKT don ƙirƙirar hanyoyin koyo masu rikitarwa, marasa layi yadda ya kamata fiye da ƙananan tsarin ML, kamar yadda aka lura a cikin takardar DKT ta asali ta Piech da sauransu.

3.2 Daidaito Tsakanin Dandamalin Abokan Ciniki

An lura da karkatawa mai daidaito kuma a fili yana fifita masu amfani da app ɗin wayar hannu (iOS, Android) akan masu amfani da burauzar yanar gizo. Wannan na iya fitowa daga:

Bambance-bambancen ingancin bayanai (misali, tsarin hulɗa, tsawon zaman).
Haɗin kai da ba a yi niyya ba tsakanin zaɓin dandamali da haɗin kai na mai koyo ko abubuwan tattalin arziki da aka shigar cikin bayanan horo.

Wannan binciken yana da mahimmanci ga kamfanonin edtech waɗanda ke hidimar tushen masu amfani da dandamali da yawa.

3.3 Daidaito Tsakanin Matakan Ci Gaban Ƙasa

Algorithm na Koyon Injini sun nuna ƙarin karkatawa a fili ga masu koyo daga ƙasashe masu tasowa idan aka kwatanta da algorithm na Koyo Mai Zurfi. Wannan yana nuna cewa tsarin DL, tare da ƙarfin su mafi girma, suna iya koyon ƙarin ƙaƙƙarfan ƙira, ƙira na gabaɗaya waɗanda ba su da hankali ga haɗin kai na ƙarya da ke da alaƙa da matsayin ci gaba.

3.4 Nazarin Musanya: Daidaito vs. Daidaito

Binciken ya ba da shawarar hanyar da ta dace, ta musamman:

Don hanyoyin en_es da es_en, Koyo Mai Zurfi ya fi dacewa, yana ba da mafi kyawun daidaito.
Don hanyar fr_en, Koyon Injini ya fito a matsayin zaɓi mafi dacewa, mai yiwuwa saboda halayen bayanan inda ƙananan tsare-tsare suka fi yin gabaɗaya cikin adalci.

Wannan yana jaddada cewa babu azuzuwan tsari na "mafi adalci" a duniya; mafi kyawun zaɓi ya dogara da aikin.

4. Zurfin Binciken Fasaha

4.1 Tsarin Binciken Ilimi

A ainihinsa, KT yana ƙirƙirar yanayin ilimin mai koyo a matsayin mai canzawa mai ɓoye wanda ke haɓaka akan lokaci. Idan aka ba da jerin hulɗar mai koyo (misali, ƙoƙarin motsa jiki) $X = \{x_1, x_2, ..., x_t\}$, manufar ita ce hasashen yuwuwar daidaito akan abu na gaba, $P(r_{t+1} = 1 | X)$.

Binciken Ilimi Mai Zurfi (DKT) yana amfani da Cibiyar Sadarwar Jijiya Mai Maimaitawa (RNN) don ƙirƙirar wannan:

$h_t = \text{RNN}(x_t, h_{t-1})$

$P(r_{t+1}) = \sigma(W \cdot h_t + b)$

inda $h_t$ shine yanayin ɓoye wanda ke wakiltar yanayin ilimi a lokacin $t$, kuma $\sigma$ shine aikin sigmoid.

4.2 Tsarin Ma'aunin Daidaito

Bari $A \in \{0,1\}$ ya zama sifa mai mahimmanci (misali, $A=1$ don mai amfani da wayar hannu, $A=0$ don mai amfani da yanar gizo). Bari $\hat{Y}$ ya zama hasashen tsarin. Daidaituwar Al'umma tana buƙatar:

$P(\hat{Y}=1 | A=1) = P(\hat{Y}=1 | A=0)$

Daidaiton Damar (la'akari da daidaito a matsayin sakamako mai kyau) yana buƙatar:

$P(\hat{Y}=1 | A=1, Y=1) = P(\hat{Y}=1 | A=0, Y=1)$

Karkatar da aka lura a cikin binciken za a iya ƙididdige shi azaman bambanci ko rabo tsakanin waɗannan yuwuwar sharuɗɗan don ƙungiyoyi daban-daban.

5. Tsarin Nazari & Misalin Lamari

Tsarin Binciken Daidaiton KT: Masu haɓaka Edtech za su iya ɗaukar wannan tsari mai tsari:

Rarraba Kimantawa: Kada a taɓa bayar da rahoton jimlar daidaito kawai. Koyaushe a lissafta ma'aunin aiki (daidaito, AUC) da ma'auni na daidaito (bambancin daidaiton al'umma, bambancin damar daidai) daban don kowane ƙungiyar mai hankali (ta dandamali, ƙasa, jinsi idan akwai).
Nazarin Tushen Dalili: Don karkatattun da aka gano, bincika haɗin kai na fasali. Shin "adadin zaman" yana da alaƙa da dandamali da sakamakon hasashe? Shin masu wakiltar masu canjin tattalin arziki za su iya shiga cikin tsarin ta hanyar bayanan ɗabi'a?
Zaɓin Dabarun Ragewa: Dangane da dalilin, zaɓi dabarar ragewa: pre-processing (sake auna bayanai), in-processing (ƙara ƙuntatawa na daidaito ga aikin asara, kamar a cikin hanyoyin kamar waɗanda ke cikin al'ummar taron FAT*), ko post-processing (daidaita kofofi kowace ƙungiya).

Misalin Lamari - Karkatar da Wayar Hannu: Ka yi tunanin tsarin KT na tushen LSTM wanda aka horar da bayanan Duolingo yana nuna ƙarin yuwuwar nasara na kashi 15% ga masu amfani da iOS vs. Masu amfani da Yanar Gizo, tare da riƙe ainihin aiki akai-akai. Bincikenmu ya bayyana cewa fasalin "lokacin rana" shine babban mai tuƙi: Masu amfani da iOS suna yin aiki da yawa a cikin gajerun fashe-fashe masu yawa (tafiye-tafiye), yayin da masu amfani da Yanar Gizo suna da tsawon lokaci, ƙananan lokutan. Tsarin yana haɗa "tsarin tafiya" tare da haɗin kai mafi girma kuma yana haɓaka hasashe, yana hukunta masu amfani da Yanar Gizo ba da adalci ba waɗanda za su iya koyo yadda ya kamata a cikin tsari daban-daban. Ragewa: Za mu iya amfani da lokacin daidaitawa mai sanin daidaito yayin horo wanda ke hukunta tsarin don bambance-bambance a cikin rarraba hasashe tsakanin ƙungiyoyin dandamali, bisa jagorancin aikin masu bincike kamar Zemel da sauransu akan koyon wakilci na gaskiya.

6. Nazari Mai Zurfi & Fassarar Ƙwararru

Fahimta ta Asali: Wannan takarda tana ba da gaskiya mai mahimmanci, marar jin daɗi ga sashin EdTech mai bunƙasa: tsarin binciken ilimin ku na zamani yana yiwuwa yana yin karkatawa na tsarin da ke fifita masu arziƙi, masu amfani da wayar hannu na farko da ƙasashe masu ci gaba. Neman daidaito ya makantar da fagen ga bashin ɗabi'a da ke taruwa a cikin algorithms ɗinsa. Gano cewa karkatawa ya ci gaba ko da a cikin tsarin Koyo Mai Zurfi na fasaha abin ƙyama ne ga imani cewa ƙarin tsare-tsare masu rikitarwa suna koyon wakilci "mafi adalci".

Tsarin Ma'ana: Marubutan sun ci gaba da ma'ana daga kafa tsarin KT zuwa fallasa makafinsa na daidaito. Yin amfani da ingantaccen bayanan Duolingo yana ba da aminci da sake yin samfuri. Binciken da aka raba—karkatar da dandamali da karkatar da siyasa—ya kama manyan gatari biyu na rarraba dijital. Kwatanta tsakanin ML na gargajiya da DL na zamani ba kawai fasaha ba ne amma dabara, yana taimaka wa masu aiki su zaɓi kayan aiki tare da la'akari da abubuwan ɗabi'a.

Ƙarfi & Kurakurai: Babban ƙarfinsa shine aikin sa, mai ma'ana akan bayanan duniya na gaske da bayyanannun bincike na kwatancen. Ya wuce tattaunawar daidaito na ka'ida. Duk da haka, babban aibi shine rashin bayanin injiniyanci. Me yasa karkatar da wayar hannu ke faruwa? Shin kayan bayanai ne, bambancin ɗabi'ar mai amfani, ko iyakar tsari? Takardar ta gano cutar amma ba ta ba da bayanin cutar ba. Bugu da ƙari, shawarar yin amfani da ML don hanyar `fr_en` bisa ga daidaito, duk da ƙarancin daidaito, yana gabatar da matsalar gaske ta duniya: nawa ne daidaiton da muke son sadaukar don daidaito, kuma wa ke yanke shawara?

Fahimta Mai Aiki: Ga shugabannin samfur da injiniyoyi, wannan binciken umarni ne don canji. Na farko, binciken daidaito dole ne ya zama ma'auni na yau da kullun tare da gwajin A/B don sabbin ayyukan tsari, kamar ayyukan da ƙungiyar PAIR ta Google ta ba da shawarar. Na biyu, karkatattun da aka lura suna nuna buƙatar ƙirƙirar fasali ko daidaitawa na musamman na dandamali. Wataƙila masu amfani da yanar gizo suna buƙatar tsarin hasashe daban-daban. Na uku, binciken ya jaddada buƙatar ƙarin bayanan horo iri-iri da wakilci. Haɗin gwiwa tare da ƙungiyoyi masu zaman kansu ko hukumomin ilimi a yankuna masu tasowa zai iya taimakawa sake daidaita bayanai. A ƙarshe, dole ne fagen ya haɓaka kuma ya karɓi tsarin gine-ginen KT na "Daidaito-ta-Zane", haɗa ƙuntatawa tun daga farko, maimakon sake gyara daidaito a matsayin bayan baya.

7. Aikace-aikace na Gaba & Hanyoyin Bincike

Koyarwa Keɓaɓɓe Mai Sanin Daidaito: ITS na gaba na iya daidaitawa ba kawai don yanayin ilimi ba, har ma don hana karkatattun hasashe. Idan tsarin ya gano ɗalibi yana daga ƙungiyar da ba a wakilta ba wanda tsarin bai da kwarin gwiwa sosai, zai iya ba da ƙarin tallafi ko tattara ƙarin bayanai don rage rashin tabbas cikin adalci.
Canja wurin Tsarin Tsakanin Al'adu & Harsuna: Bincike ya kamata ya bincika daidaito a cikin koyon canja wuri. Shin tsarin KT da aka horar da masu koyon Ingilishi yana da adalci lokacin da aka gyara shi don masu magana da Sifen? Za a iya haɗa fasahohin daidaitawa na yanki tare da ƙuntatawa na daidaito.
Bayanin Daidaito (XFairness): Bayan auna karkatawa, muna buƙatar kayan aiki don bayyana waɗanne fasali ke ba da gudummawa ga sakamako mara adalci. Wannan ya yi daidai da ƙarin motsi na XAI (AI Mai Bayyanawa) kuma yana da mahimmanci ga amincin mai haɓakawa da ingantaccen ragewa.
Binciken Daidaito na Tsawon Lokaci: Shin karkatar da algorithm yana ƙaruwa ko raguwa a kan tafiyar ɗalibi na shekaru da yawa? Ana buƙatar bincike na tsawon lokaci don fahimtar tasirin haɗakar madaukai na karkatawa a cikin tsarin daidaitawa.
Haɗin kai tare da Kimiyyar Koyo: Aikin gaba dole ne ya haɗa gibin da ka'idar ilmantarwa. Menene ma'anar "daidaito" daga mahangar nauyin fahimi ko motsa rai? Daidaito ya kamata ya yi daidai da ƙa'idodin daidaiton ilimi, ba kawai daidaiton ƙididdiga ba.

8. Nassoshi

Corbett, A. T., & Anderson, J. R. (1994). Binciken ilimi: Ƙirƙirar samun ilimin tsari. Ƙirƙirar mai amfani da hulɗar mai amfani da aka keɓance, 4(4), 253-278.
Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L. J., & Sohl-Dickstein, J. (2015). Binciken ilimi mai zurfi. Ci gaba a cikin tsarin sarrafa bayanai na jijiyoyi, 28.
Zemel, R., Wu, Y., Swersky, K., Pitassi, T., & Dwork, C. (2013). Koyon wakilci na gaskiya. Taron duniya akan koyon injini (shafi na 325-333). PMLR.
Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). Bincike akan karkatawa da daidaito a cikin koyon injini. Binciken Lissafi na ACM (CSUR), 54(6), 1-35.
Google PAIR. (ba a sani ba). Jagorar Mutane + AI. An samo daga https://pair.withgoogle.com/
Duolingo. (2018). Aikin Rarraba Koyon Harshe Na Biyu na Duolingo. Gudanar da aikin EMNLP na 2018 W-NUT.
Barocas, S., Hardt, M., & Narayanan, A. (2019). Daidaito da Koyon Injini: Iyakoki da Damar. fairmlbook.org.