Chagua Lugha

Mashine za Uainishaji wa Kina kwa Ufuatiliaji wa Maarifa: Uchambuzi wa Suluhisho la Duolingo SLAM la 2018

Uchambuzi wa kina wa kutumia Mashine za Uainishaji wa Kina kwenye kazi ya Duolingo ya Uundaji wa Kujifunza Lugha ya Pili (SLAM) kwa ajili ya ufuatiliaji wa maarifa katika kiwango cha neno.
study-chinese.com | PDF Size: 0.1 MB
Ukadiriaji: 4.5/5
★ ★ ★ ★ ★
Ukadiriaji Wako
Umekadiria waraka huu tayari
Kifuniko cha Waraka PDF - Mashine za Uainishaji wa Kina kwa Ufuatiliaji wa Maarifa: Uchambuzi wa Suluhisho la Duolingo SLAM la 2018
Tazama Waraka PDF Pakua PDF Tafsiri PDF
Nyumbani » Nyaraka » Mashine za Uainishaji wa Kina kwa Ufuatiliaji wa Maarifa: Uchambuzi wa Suluhisho la Duolingo SLAM la 2018

Yaliyomo

1. Utangulizi na Muhtasari

Makala haya yanawasilisha suluhisho la mwandishi kwa Kazi ya Shiriki ya Duolingo ya 2018 juu ya Uundaji wa Kujifunza Lugha ya Pili (SLAM). Changamoto kuu ilikuwa ufuatiliaji wa maarifa katika kiwango cha neno: kutabiri kama mwanafunzi angeandika kwa usahihi maneno ya sentensi mpya, kwa kuzingatia data yake ya historia ya majaribio kwenye maelfu ya sentensi zilizotajwa na vipengele vya kisemantiki, kimofolojia na kisintaksia.

Suluhisho lililopendekezwa linatumia Mashine za Uainishaji wa Kina (DeepFM), mfano mseto unaounganisha sehemu ya upana (Mashine ya Uainishaji) kwa ajili ya kujifunza mwingiliano wa vipengele viwili-vwili na sehemu ya kina (Mtandao wa Neva wa Kina) kwa ajili ya kujifunza mwingiliano wa vipengele vya mpangilio wa juu. Mfano ulipata AUC ya 0.815, ukizidi mfano wa msingi wa urejeshaji wa logistiki (AUC 0.774) lakini ukishindwa kufikia mfano ulio bora zaidi (AUC 0.861). Kazi hii inaweka DeepFM kama mfumo mbadala mzuri unaoweza kujumuisha mifano ya kitamaduni ya kielimu kama Nadharia ya Majibu ya Kipengele (IRT).

2. Kazi Zinazohusiana na Msingi wa Nadharia

Makala yanaweka mchango wake ndani ya mazingira mapana ya uundaji wa mwanafunzi na ufuatiliaji wa maarifa.

2.1. Nadharia ya Majibu ya Kipengele (IRT)

IRT ni mfumo wa kitamaduni wa kisaikometri unaounda uwezekano wa majibu sahihi kama utendakazi wa uwezo wa siri wa mwanafunzi ($\theta$) na vigezo vya kipengele (mfano, ugumu $b$). Mfano wa kawaida ni mfano wa logistiki wa vigezo viwili (2PL): $P(\text{sahihi} | \theta) = \sigma(a(\theta - b))$, ambapo $a$ ni ubaguzi na $\sigma$ ni utendakazi wa logistiki. Makala yanasema kuwa IRT huunda msingi thabiti, unaoweza kufafanulika lakini kwa kawaida haijumuishi taarifa za ziada tajiri.

2.2. Mabadiliko ya Ufuatiliaji wa Maarifa

Ufuatiliaji wa maarifa unalenga kuunda mabadiliko ya maarifa ya mwanafunzi kwa muda.

  • Ufuatiliaji wa Maarifa wa Bayes (BKT): Huunda mwanafunzi kama Mfano wa Markov Uliofichwa wenye hali za maarifa za siri.
  • Ufuatiliaji wa Maarifa wa Kina (DKT): Hutumia Mitandao ya Neva ya Kurudia (RNNs), kama LSTMs, kuunda mfuatano wa wakati wa mwingiliano wa mwanafunzi. Makala yanataja kazi ya Wilson et al. (2016) inayoonyesha kuwa aina za IRT zinaweza kuzidi mifano ya mapema ya DKT, ikionyesha hitaji la miundo thabiti, inayotambua vipengele.

2.3. Ujifunzaji wa Upana na Kina

Makala yanajenga juu ya Ujifunzaji wa Upana na Kina ulioletwa na Cheng et al. (2016) katika Google. Mfano wa mstari "wa upana" unakumbuka matukio ya mara kwa mara ya vipengele vinavyotokea pamoja, wakati mtandao wa neva "wa kina" unajumlisha kwa mchanganyiko wa vipengele usioonekana. Guo et al. (2017) walipendekeza kuchukua nafasi ya mfano wa mstari wa upana na Mashine ya Uainishaji (FM), ambayo huunda kwa ufanisi mwingiliano wote wa vipengele viwili-vwili kupitia vigezo vilivyogawanywa, na kusababisha muundo wa DeepFM.

3. DeepFM kwa Ufuatiliaji wa Maarifa

Makala yanabadilisha mfano wa DeepFM kwa kikoa cha ufuatiliaji wa maarifa.

3.1. Muundo wa Mfano na Uundaji

DeepFM ina sehemu mbili zinazofanana ambazo matokeo yake zinaunganishwa:

  1. Sehemu ya FM: Huunda mwingiliano wa mstari na wa vipengele viwili-vwili. Kwa vekta ya kipengele cha pembejeo $\mathbf{x}$, matokeo ya FM ni: $y_{FM} = w_0 + \sum_{i=1}^n w_i x_i + \sum_{i=1}^n \sum_{j=i+1}^n \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j$, ambapo $\mathbf{v}_i$ ni vekta za sababu za siri.
  2. Sehemu ya Kina: Mtandao wa kawaida wa neva wa mbele-mbele unaochukua uingizaji mnene wa vipengele kama pembejeo na kujifunza muundo tata, wa mpangilio wa juu.
Utabiri wa mwisho ni: $p(\mathbf{x}) = \psi(y_{FM} + y_{DNN})$, ambapo $\psi$ ni utendakazi wa kiungo (mfano, sigmoid $\sigma$ au CDF ya kawaida $\Phi$).

3.2. Usimbaji wa Vipengele na Uingizaji

Mchango muhimu ni utunzaji wa vipengele. Mfano unazingatia Jamii C za vipengele (mfano, user_id, item_id, ujuzi, nchi, wakati). Kila thamani tofauti ndani ya jamii (mfano, user=123, nchi='FR') au thamani ya kuendelea yenyewe inaitwa kitu. Kila moja ya vitu N vinavyowezekana hupewa vekta ya uingizaji inayoweza kujifunza. Kielelezo (mfano, mwanafunzi akijibu neno) husimbwa kama vekta nadra $\mathbf{x}$ ya ukubwa N, ambapo vipengele vimewekwa kuwa 1 (kwa vitu tofauti vilivyopo), thamani halisi (kwa vipengele vinavyoendelea), au 0.

4. Utumizi kwenye Kazi ya SLAM

4.1. Utayarishaji wa Data

Kwa kazi ya Duolingo SLAM, vipengele vilijumuisha kitambulisho cha mtumiaji, kipengele cha kisemantiki (neno), vipengele vyake vya lugha (sehemu ya hotuba, mofolojia), muktadha wa sentensi, na taarifa za wakati. Hizi zilibadilishwa kuwa umbizo la nadra lenye msingi wa kitu linalohitajika na DeepFM. Usimbaji huu huruhusu mfano kujifunza mwingiliano kati ya jozi yoyote ya vitu, kama vile (user=Alice, neno="ser") na (neno="ser", wakati=uliopita).

4.2. Usanidi wa Majaribio

Mfano ulifunzwa kutabiri matokeo ya binary (sahihi/sio sahihi) kwa mwanafunzi anayeandika neno maalum. AUC (Eneo Chini ya Mkunjo wa ROC) ilitumika kama kipimo cha tathmini kikuu, cha kawaida kwa kazi za uainishaji wa binary na data isiyo sawa inayojulikana katika mazingira ya kielimu.

5. Matokeo na Uchambuzi wa Utendaji

Mfano wa DeepFM ulipata AUC ya majaribio ya 0.815. Hii inawakilisha uboreshaji mkubwa ukilinganisha na msingi wa urejeshaji wa logistiki (AUC 0.774), ikionyesha thamani ya kuunda mwingiliano wa vipengele. Hata hivyo, haikufikia alama ya juu zaidi ya 0.861. Makala yanapendekeza kuwa hii inaonyesha "mikakati ya kuvutia ya kujenga juu ya mifano ya nadharia ya majibu ya kipengele," ikimaanisha kuwa ingawa DeepFM inatoa mfumo mzuri, wenye vipengele vingi, kuna nafasi ya kujumuisha nadharia zaidi ya kina ya kielimu au vipengele vya kuunda mfuatano ambavyo mfano wa juu zaidi unaweza kuwa umeshika.

Muhtasari wa Utendaji (AUC)

  • Msingi wa Urejeshaji wa Logistiki: 0.774
  • DeepFM (Kazi Hii): 0.815
  • Mfano Ulio Bora Zaidi: 0.861

AUC ya juu zaidi inaonyesha utendaji bora wa kutabiri.

6. Uchambuzi Muhimu na Ufahamu wa Wataalamu

Ufahamu Mkuu: Makala haya si kuhusu algoriti mpya ya kuvunja-vunja, bali ni matumizi ya busara, ya vitendo ya mfano uliokuwepo wa mfumo wa mapendekezo wenye nguvu ya kiindasitiri (DeepFM) kwa eneo la tatizo jipya: ufuatiliaji wa maarifa wa kina, wenye vipengele vingi. Hatua ya mwandishi inaelezea—wanapita mzunguko wa hyped ya kitaaluma kuhusu ujifunzaji wa kina safi kwa ajili ya elimu (kama DKT ya mapema) na badala yake wanatumia tena mfano uliothibitishwa katika biashara ya elektroniki kwa kushika mwingiliano tata wa mtumiaji-kipengele-kipengele. Ufahamu halisi ni kuweka ufuatiliaji wa maarifa sio tu kama tatizo la utabiri wa mfuatano, bali kama tatizo la mwingiliano wa vipengele vya mwelekeo mwingi, nadra, kama vile kutabiri kubofya kwenye matangazo.

Mtiririko wa Mantiki na Uwekaji wa Mkakati: Mantiki ni ya kulazimisha. 1) Mifano ya kitamaduni (IRT, BKT) inaweza kufafanulika lakini imepewa mwingiliano wa mwelekeo mdogo uliofafanuliwa mapema. 2) Mifano ya mapema ya ujifunzaji wa kina (DKT) inashika mfuatano lakini inaweza kuwa na njaa ya data na kuwa opaque, wakati mwingine ikishindwa kufanya vizuri kama mifano rahisi kama ilivyotajwa na Wilson et al. 3) Kazi ya SLAM inatoa hazina ya taarifa za ziada (vipengele vya lugha). 4) Kwa hivyo, tumia mfano ulioundwa wazi kwa hili: DeepFM, ambayo inachanganya kukumbuka kwa mwingiliano wa vipengele viwili-vwili vilivyogawanywa (sehemu ya FM, sawa na mwingiliano wa mwanafunzi-kipengele wa IRT) na nguvu ya jumlisha ya DNN. Makala yanaonyesha kwa busara jinsi IRT inaweza kuonekana kama kesi maalum, rahisi ya mfumo huu, na hivyo kudai nafasi ya juu ya ujumla.

Nguvu na Kasoro: Nguvu kuu ni utendaji na utumiaji wa vipengele. DeepFM ni muundo thabiti, wa kukodisha kwa kutumia seti tajiri ya vipengele ya kazi ya SLAM. Kasoro yake, kama inavyoonyeshwa na matokeo, ni kwamba ilikuwa imezidiwa na mifano iliyoshika vyema mienendo ya wakati iliyomo katika kujifunza. Mfano wenye msingi wa LSTM au muundo wa transformer (kama vile yale yaliyotumika baadaye katika KT, mfano, SAKT au AKT) unaweza kuwa umeshikilia historia ya mfuatano kwa ufanisi zaidi. AUC ya makala ya 0.815, ingawa ni uboreshaji thabiti ukilinganisha na msingi, inaacha pengo la 0.046 hadi mshindi—pengo ambalo kwa uwezekano linawakilisha bei iliyolipwa kwa kutojihusisha na mwelekeo wa wakati. Kama utafiti kutoka kwa Changamoto ya AI ya Riiid! na kazi za baadaye zinaonyesha, kuchanganya miundo inayotambua vipengele kama DeepFM na mifano ya kisasa ya mfuatano ndiyo njia ya kushinda.

Ufahamu Unaoweza Kutekelezwa: Kwa watendaji na watafiti: 1) Usipuuze uhandisi wa vipengele. Mafanikio ya kutumia DeepFM yanaonyesha kuwa katika data ya kielimu, "taarifa za ziada" (vitambulisho vya ujuzi, ugumu, wakati wa majibu, vipengele vya lugha) mara nyingi ndiyo taarifa kuu. 2) Angalia nyanja zilizo karibu. Mifumo ya mapendekezo imetumia muongo mmoja kutatua matatizo sawa ya kuanzia baridi, unyogovu, na mwingiliano wa vipengele; zana zao (FM, DeepFM, DCN) inaweza kuhamishwa moja kwa moja. 3) Baadaye ni mseto. Hatua inayofuata ni wazi: jumuisha nguvu ya mwingiliano wa vipengele ya DeepFM na moduli ya kisasa ya mfuatano. Fikiria "DeepFM ya Wakati" ambapo sehemu ya kina ni LSTM au Transformer inayochakua mfuatano wa uwakilishi huu wa mwingiliano uliogawanywa. Hii inalingana na mwelekeo unaoonekana katika kazi kama "Mtandao wa Mabadiliko ya Masilahi ya Kina" (DIEN) kwenye matangazo, ambayo inachanganya mwingiliano wa vipengele na uundaji wa mfuatano wa mabadiliko ya masilahi ya mtumiaji—mfano kamili wa mabadiliko ya maarifa.

7. Maelezo ya Kiufundi na Uundaji wa Kihisabati

Kiini cha DeepFM kiko katika muundo wake wa sehemu mbili. Acha pembejeo iwe vekta nadra ya kipengele $\mathbf{x} \in \mathbb{R}^n$.

Sehemu ya Mashine ya Uainishaji (FM):
$y_{FM} = w_0 + \sum_{i=1}^{n} w_i x_i + \sum_{i=1}^{n} \sum_{j=i+1}^{n} \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j$
Hapa, $w_0$ ni upendeleo wa ulimwengu, $w_i$ ni uzito wa istilahi za mstari, na $\mathbf{v}_i \in \mathbb{R}^k$ ni vekta ya sababu ya siri ya kipengele cha i-th. Bidhaa ya ndani $\langle \mathbf{v}_i, \mathbf{v}_j \rangle$ huunda mwingiliano kati ya kipengele $i$ na $j$. Hii inahesabiwa kwa ufanisi katika muda wa $O(kn)$.

Sehemu ya Kina:
Acha $\mathbf{a}^{(0)} = [\mathbf{e}_1, \mathbf{e}_2, ..., \mathbf{e}_m]$ iwe muunganisho wa vekta za uingizaji kwa vipengele vilivyopo katika $\mathbf{x}$, ambapo $\mathbf{e}_i$ inatafutwa kutoka kwa matriki ya uingizaji. Hii hupitishwa kupitia safu ya tabaka zilizounganishwa kabisa:
$\mathbf{a}^{(l+1)} = \sigma(\mathbf{W}^{(l)} \mathbf{a}^{(l)} + \mathbf{b}^{(l)})$
Matokeo ya tabaka ya mwisho ni $y_{DNN}$.

Utabiri wa Mwisho:
$\hat{y} = \sigma(y_{FM} + y_{DNN})$
Mfano unafunzwa mwisho-hadi-mwisho kwa kupunguza hasara ya msalaba-entropia ya binary.

8. Mfumo wa Uchambuzi na Mfano wa Kimawazo

Hali: Kutabiri kama Mwanafunzi_42 ataweza kutafsiri kwa usahihi neno "was" (neno kuu: "be", wakati: uliopita) katika zoezi la Kihispania.

Vitu vya Kipengele na Usimbaji:

  • user_id=42 (Tofauti)
  • neno_kuu="be" (Tofauti)
  • sarufi_wakati="past" (Tofauti)
  • usahihi_wa_awali=0.85 (Kuendelea, uliokadiriwa)
Vekta ya pembejeo nadra $\mathbf{x}$ ingekuwa na 1 katika nafasi zinazolingana na vitu tofauti, thamani 0.85 kwa kipengele kinachoendelea, na 0 mahali pengine.

Ufafanuzi wa Mfano:

  • Sehemu ya FM inaweza kujifunza kuwa uzito wa mwingiliano $\langle \mathbf{v}_{user42}, \mathbf{v}_{wakati:past} \rangle$ ni hasi, ikipendekeza Mwanafunzi_42 ana shida na wakati uliopita kwa ujumla.
  • Wakati huo huo, inaweza kujifunza $\langle \mathbf{v}_{neno_kuu:be}, \mathbf{v}_{wakati:past} \rangle$ ni hasi sana, ikionyesha "be" katika wakati uliopita ni ngumu sana kwa wanafunzi wote.
  • Sehemu ya Kina inaweza kujifunza muundo mgumu zaidi, usio na mstari: mfano, usahihi_wa_awali wa juu uliochanganywa na muundo maalum wa makosa ya zamani kwenye vitenzi visivyo ya kawaida hubadilisha utabiri wa mwisho, ikishika mwingiliano wa mpangilio wa juu zaidi ya jozi.
Hii inaonyesha jinsi DeepFM inaweza kushika wakati mmoja uhusiano rahisi, unaoweza kufafanulika (kama IRT) na muundo mgumu, usio na mstari.

9. Matumizi ya Baadaye na Mwelekeo wa Utafiti

Matumizi ya DeepFM kwa ufuatiliaji wa maarifa yanafungua njia kadhaa zenye matumaini:

  1. Ujumuishaji na Mifano ya Mfuatano: Upanuzi wa moja kwa moja ni kujumuisha mienendo ya wakati. DeepFM inaweza kutumika kama injini ya mwingiliano wa kipengele katika kila hatua ya wakati, na matokeo yake yakipelekwa kwenye RNN au Transformer kuunda mabadiliko ya hali ya maarifa kwa muda, ikichanganya nguvu za mifano inayotambua vipengele na inayotambua mfuatano.
  2. Mapendekezo ya Maudhui ya Kibinafsi: Zaidi ya utabiri, uingizaji uliojifunza kwa watumiaji, ujuzi, na vipengele vya maudhui unaweza kuendesha mifumo ya kisasa ya mapendekezo ndani ya majukwaa ya kujifunza yanayobadilika, ikipendekeza zoezi linalofuata bora zaidi au rasilimali ya kujifunza.
  3. Uhamishaji wa Ujifunzaji Kati ya Nyanja: Uingizaji wa vitu uliojifunza kutoka kwa data ya kujifunza lugha (mfano, uingizaji wa dhana za kisarufi) kwa uwezekano unaweza kuhamishwa au kuboreshwa kwa nyanja zingine kama kufundisha hisabati au sayansi, ikiharakisha ukuzaji wa mfano ambapo data ni chache.
  4. Uwezo wa Kufafanua na Uingiliaji: Ingawa inaweza kufafanulika zaidi kuliko DNN safi, maelezo ya DeepFM bado yanatokana na sababu za siri. Kazi ya baadaye inaweza kulenga kuendeleza njia za maelezo ya baada ya tukio kutafsiri mwingiliano wa sababu kuwa ufahamu unaoweza kutekelezwa kwa walimu (mfano, "Mwanafunzi ana shida hasa na mwingiliano kati ya sauti ya kipokezi na wakati uliopita kamili").
  5. Upimaji Unaobadilika wa Wakati Halisi: Ufanisi wa sehemu ya FM unaufanya uwezo kwa mifumo ya wakati halisi. Inaweza kutumiwa katika mazingira ya upimaji unaobadilika wa kompyuta (CAT) kuchagua kwa nguvu swali linalofuata kulingana na makadirio yanayosasishwa kila mara ya uwezo wa mwanafunzi na mwingiliano wa kipengele-kipengele.

10. Marejeo

  1. Corbett, A. T., & Anderson, J. R. (1994). Ufuatiliaji wa maarifa: Kuunda upatikanaji wa maarifa ya taratibu. Uundaji wa mtumiaji na mwingiliano uliobinafsishwa wa mtumiaji, 4(4), 253-278.
  2. Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L. J., & Sohl-Dickstein, J. (2015). Ufuatiliaji wa maarifa wa kina. Maendeleo katika mifumo ya usindikaji wa taarifa za neva, 28.
  3. Wilson, K. H., Karklin, Y., Han, B., & Ekanadham, C. (2016). Kurudi kwenye misingi: Upanuzi wa Bayes wa IRT unazidi mitandao ya neva kwa makadirio ya ustadi. Katika Uchimbaji wa Data ya Kielimu.
  4. Cheng, H. T., Koc, L., Harmsen, J., Shaked, T., Chandra, T., Aradhye, H., ... & Shah, H. (2016, Septemba). Ujifunzaji wa upana na kina kwa mifumo ya mapendekezo. Katika Proceedings ya warsha ya 1 ya ujifunzaji wa kina kwa mifumo ya mapendekezo (uk. 7-10).
  5. Guo, H., Tang, R., Ye, Y., Li, Z., & He, X. (2017). DeepFM: mtandao wa neva wenye msingi wa mashine ya uainishaji kwa utabiri wa CTR. arXiv preprint arXiv:1703.04247.
  6. Vie, J. J., & Kashima, H. (2018). Mashine za ufuatiliaji wa maarifa: Mashine za uainishaji kwa ufuatiliaji wa maarifa. arXiv preprint arXiv:1811.03388.
  7. Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Misingi ya nadharia ya majibu ya kipengele. Sage.
  8. Settles, B., Brust, C., Gustafson, E., Hagiwara, M., & Madnani, N. (2018). Uundaji wa kujifunza lugha ya pili. Katika Proceedings ya Warsha ya NAACL-HLT ya Matumizi ya Ubunifu ya NLP kwa Kujenga Matumizi ya Kielimu.