Zaɓi Harshe

Koyon Harshe Na Biyu na Tsarin Harshe na Jijiyoyi: Nazarin Canja Harshe Tsakanin Harsuna

Nazarin yadda tsarin harshe na jijiyoyi (LMs) ke koyon harshe na biyu (L2), tare da bincika tasirin horar da harshe na farko (L1), tsarin canja harshe, da kuma fahimtar harshe.
study-chinese.com | PDF Size: 0.5 MB
Kima: 4.5/5
★ ★ ★ ★ ★
Kimarku
Kun riga kun ƙididdige wannan takarda
Murfin Takardar PDF - Koyon Harshe Na Biyu na Tsarin Harshe na Jijiyoyi: Nazarin Canja Harshe Tsakanin Harsuna
Duba Takardar PDF Zazzage PDF Fassara PDF
Gida » Takaddun » Koyon Harshe Na Biyu na Tsarin Harshe na Jijiyoyi: Nazarin Canja Harshe Tsakanin Harsuna

1. Gabatarwa & Bayyani

Wannan binciken yana bincika tsarin koyon harshe na biyu (L2) a cikin tsarin harshe na jijiyoyi (LMs), yana mai da hankali daga binciken koyon harshe na farko (L1) na yau da kullun. Tambaya ta asali ita ce yadda ilimin L1 na baya ke tasiri inganci da yanayin samun ilimin nahawu a cikin sabon harshe (L2). Binciken ya tsara yanayin koyon L2 mai kama da na ɗan adam don LMs masu harsuna biyu, yana horar da su a kan L1 (Faransanci, Jamusanci, Rashanci, Japananci) kafin a fallasa su da Ingilishi a matsayin L2. Manufar ita ce nazarin canja harshe daga mahangar harshe, ta amfani da gwaje-gwajen hukunci na nahawu don kimanta fahimta.

2. Tsarin Gwaji & Hanyoyin Bincike

Hanyar binciken ta bi tsari mai matakai uku, kamar yadda aka kwatanta a cikin Hoto na 1 na PDF:

  1. Horar da L1 (Koyon Harshe na Farko): Ana horar da tsarin harshe mai rufaffiyar harshe ɗaya (misali, tsarin BERT) daga farko akan tarin rubutu na harshe guda ɗaya (L1).
  2. Horar da L2 (Koyon Harshe na Biyu): Tsarin da aka horar da L1 yana ci gaba da horo a ƙarƙashin yanayin harsuna biyu. Wannan ya haɗa da fallasa bayanan Ingilishi (L2). An gwada saitoci daban-daban, ciki har da rubutun harshe ɗaya na L2 kawai da nau'ikan fassarori masu kama da L1-L2.
  3. Ƙima & Nazari: Ana kimanta fahimtar harshe na tsarin a cikin L2 ta amfani da ma'auni na BLiMP, wanda ke gwada iyawar haɗin kai. Ana nazarin tasirin zaɓin L1 da tsarin horo.

An ƙuntata girman bayanan horo da gangan don kwaikwayi yanayin koyo mai inganci na bayanai, mai kama da na ɗan adam, maimakon yanayin bayanai masu yawa na zamani na LLMs.

3. Ra'ayoyin Shigarwa a Hanyoyin Horar da L2

Binciken ya fara bincika yadda hanyoyi daban-daban na gabatar da bayanan L2 ke tasiri koyo. Wani muhimmin bincike shine cewa tsarin da aka horar akan nau'ikan fassarori na L1-L2 sun nuna koyon nahawun L2 a hankali idan aka kwatanta da tsarin da aka horar akan rubutun harshe ɗaya na L2 da aka gabatar a tsaka-tsaki (misali, kowane zamani biyu). Wannan yana nuna cewa fallasa fassara kai tsaye na iya haifar da ra'ayi mai rikitarwa na shigarwa ko nauyin sarrafawa wanda ke hana koyon tsarin L2 mai tsafta, wani fahimta mai tasiri ga tsara manhajar horo na harsuna da yawa.

4. Tasirin Horar da L1 akan Koyon Nahawun L2

4.1 Ilimin L1 Yana Ƙarfafa Fahimtar L2

Binciken da aka gano shi ne cewa horo a kan L1 yana haɓaka da inganta fahimtar harshe a cikin L2 (Ingilishi), idan aka kwatanta da tsarin da ke koyon Ingilishi daga farko. Wannan yana nuna canja wuri mai kyau, inda wakilcin harshe da aka koya daga L1 yake da amfani ga samun L2.

4.2 Tasiri Daban-daban na Harsunan L1

Amfanin horar da L1 ba daidai bane. Tsarin da ke da L1s masu kusanci da harshe ga Ingilishi (Faransanci, Jamusanci) sun nuna fahimtar L2 mafi girma idan aka kwatanta da waɗanda ke da L1s masu nisa (Japananci, Rashanci). Wannan ya yi daidai da ka'idar koyon harshe na biyu na ɗan adam (SLA), kamar Hasashen Binciken Kwatancen, da kuma bayanan gwaji akan wahalar canja harshe (Chiswick & Miller, 2004).

4.3 Tasirin Canja Nahawun Musamman

Ribobin canja wuri sun bambanta a cikin abubuwan nahawu. An lura da mafi girman haɓaka daga horar da L1 don abubuwan siffofin kalma da haɗin kai (misali, yarjejeniyar mai magana da fi'ili, tsibiran haɗin kai). An ga ƙananan ribobi don abubuwan ma'ana da maɗaurin ma'ana-haɗin kai (misali, iyakar ƙididdiga). Wannan yana nuna cewa ilimin tsarin asali yana canzawa cikin sauƙi fiye da ƙuntatawa masu alaƙa da ma'ana.

5. Nazarin Tsarin Koyon L2

5.1 Ci gaban Samun Ilimin L2

Nazarin yanayin koyo ya bayyana fahimta guda biyu masu mahimmanci:

  1. Rashin Ingancin Bayanai: Muhimmin samun ilimin L2 bai faru ba har sai tsarin ya ga dukkan bayanan L2 sau da yawa (misali, zamani 50-100), yana nuna bambanci sosai da ikon ɗan adam na yin fahimta daga ƴan misalai.
  2. Tsangwama Mai Muni / Lalacewar Ilimin L1: A lokacin horar da L2, aikin tsarin akan ayyukan L1 na asali ya lalace. Wannan abin da aka sani da mantuwa mai muni a cikin ci gaba da koyo, yana nuna wani muhimmin al'amari mara kama da na ɗan adam na LMs na yanzu kuma yana nuna buƙatar hanyoyin daidaita ilimin harshe na tushe da manufa.

6. Fahimta ta Asali & Ra'ayin Mai Bincike

Fahimta ta Asali: Wannan takarda tana ba da gaskiya mai mahimmanci, wacce ake yawan yin watsi da ita: LMs na jijiyoyi ba masu koyon harsuna biyu na sihiri ba ne; su masu ƙwaƙwalwar ƙididdiga ne marasa inganci wadanda "koyon harshe" nasu yana da ƙuntatawa sosai ta hanyar rarraba bayanai, ra'ayoyin gine-gine, da mantuwa mai muni. "Canja wurinsu mai kyau" yana kwaikwayon SLA na ɗan adam ne kawai a zahiri, wanda ke motsa shi ta hanyar daidaita ƙa'idodin ƙididdiga maimakon rabe-raben fahimi.

Kwararar Ma'ana: Marubutan sun raba tsarin koyon harshe na LM cikin gwaji mai sarrafawa, mai kama da na ɗan adam (L1 pretrain → fallasa L2). Wannan yana ba su damar ware masu canji kamar nau'in L1 da tsarin horo. Ci gaban ma'ana daga bincika ra'ayoyin shigarwa (Sashe na 3) zuwa auna tasirin canja wuri (Sashe na 4) kuma a ƙarshe gano tsarin koyo da kansa (Sashe na 5) yana da inganci kuma yana bayyana.

Ƙarfi & Kurakurai: Ƙarfin binciken shine ƙaƙƙarfan ƙirar gwajinsa, wanda ya dogara da ilimin harshe, yana motsawa fiye da ma'auni kamar rudani. Yana ba da cikakkun bayanai, na musamman game da abubuwan da suka faru. Duk da haka, babban laifinsa shine sikelin. Yin amfani da ƙananan bayanai, sarrafawa da girman samfuri yana da kyau don keɓance kimiyya amma yana iyakance aikace-aikacen kai tsaye ga LLMs na iyaka na yau (GPT-4, Claude, Gemini) waɗanda aka horar da su akan tarin alamun tiriliyan. Tasirin da aka lura na iya ƙaruwa ko raguwa a sikelin. Bugu da ƙari, nazarin, ko da yake yana da fahimta, ya kasance na haɗin kai; bai nuna hanyoyin canja wuri a cikin wakilcin samfurin ba.

Fahimta Mai Aiki: Ga masu aiki, wannan binciken kira ne mai mahimmanci. Na farko, tsara manhaja yana da mahimmanci. Kar a zubar da bayanan daidaitattun kawai; tsari, fallasa L2 mai yawan harshe ɗaya na iya zama mafi inganci da farko, kamar yadda aka nuna ta hanyar jinkirin nau'in fassara. Na biyu, kula da nisan harshe. Canja wuri daga Japananci zuwa Ingilishi zai fi wahala fiye da na Jamusanci; raba albarkatu da saita tsammanin daidai. Na uku, mantuwa mai muni haɗari ne na samfurin gaske. Ɗaukar samfurin da aka daidaita akan sabon harshe ba tare da kariya ba zai iya lalata iyawar sa na asali, wani muhimmin la'akari ga samfuran AI na yankuna da yawa. Kamfanoni yakamata su saka hannun jari a cikin dabarun ci gaba da koyo waɗanda aka yi wahayi zuwa gare su ta hanyar ayyuka kamar "Ci gaba da Koyo na Rayuwa tare da Cibiyoyin Jijiyoyi: Bita" (Parisi et al., 2019) don rage wannan. A ƙarshe, ga masu bincike, takardar ta tsara tsari don ƙarin aikin fassara na injiniya don fahimtar yadda ake ɓoye ilimin nahawu da canja shi tsakanin iyakokin harshe a cikin waɗannan samfuran.

7. Cikakkun Bayanai na Fasaha & Tsarin Lissafi

Binciken da alama yana amfani da maƙasudin Tsarin Harshe Mai Rufi (MLM) na yau da kullun, kamar yadda ake amfani da shi a cikin BERT. Manufar horo ta asali ita ce haɓaka yuwuwar sake gina alamomi da aka rufe bazuwar [MASK] idan aka yi la'akari da mahallinsu.

Manufar MLM: Don jerin alamomi $X = (x_1, ..., x_T)$, ana rufe wani yanki na alamomi bazuwar (misali, 15%), wanda ke haifar da jerin gurɓatattun $ ilde{X}$. Ana horar da samfurin (wanda aka ƙayyade ta $ heta$) don hasashen alamomin asali a wuraren da aka rufe:

$\mathcal{L}_{MLM}(\theta) = - \mathbb{E}_{X \sim \mathcal{D}} \sum_{i \in M} \log P_{\theta}(x_i | \tilde{X})$

inda $M$ shine saitin wuraren da aka rufe kuma $\mathcal{D}$ shine tarin bayanan horo (na farko L1, sannan L2).

Ma'aunin Nazarin Canja Wuri: Ma'aunin kimantawa na asali shine daidaito akan ma'auni na BLiMP. Nazarin sau da yawa ya haɗa da kwatanta bambancin aiki ($\Delta Acc$) tsakanin samfurin da aka horar da L1 da samfurin tushe wanda aka horar da shi kawai akan L2:

$\Delta Acc_{L1\rightarrow L2} = Acc_{Model(L1 + L2)} - Acc_{Model(L2\ only)}$

$\Delta Acc$ mai kyau yana nuna canja wuri mai kyau tsakanin harsuna.

8. Sakamakon Gwaji & Fassarar Chati

Yayin da ɓangaren PDF da aka bayar bai ƙunshi takamaiman chati na lambobi ba, yana bayyana sakamakon da za a iya gani a zahiri:

  • Hoto 1 (Zane na Ra'ayi): Yana kwatanta tsarin gwaji mai matakai uku: samfuran L1 daban-daban (Fr, Ge, Ja, Ru) suna jurewa horon L1, sannan fallasa L2 (Ingilishi), sannan gwaji akan ma'auni na BLiMP.
  • Layukan Ayyuka na Hasashe: Mutum zai yi tsammanin ganin zane-zanen layi da ke nuna daidaiton L2 (BLiMP) akan axis-y akan lokutan horon L2 akan axis-x, tare da layuka daban-daban ga kowane samfurin da aka horar da L1 da tushen L2 kawai. Layukan na samfuran Faransanci da Jamusanci za su yi girma da sauri kuma zuwa madaidaicin ƙarshe mafi girma fiye da samfuran Japananci da Rashanci.
  • Chat na Sanduna na Hasashe: Chati na sanduna da ke kwatanta daidaiton BLiMP na ƙarshe a cikin samfura don abubuwan nahawu daban-daban (siffofin kalma, haɗin kai, ma'ana). Sandunan samfuran da aka horar da L1 za su zama mafi tsayi fiye da tushe, tare da bambancin tsayi (ribar canja wuri) ya fi girma ga sandunan siffofin kalma/haɗin kai.
  • Layin Mantuwa: Wani chati mai yuwuwa zai iya nuna aikin aikin L1 (axis-y) yana raguwa yayin da lokutan horon L2 (axis-x) ke ƙaruwa, yana nuna tsangwama mai muni.

9. Tsarin Nazari: Misalin Lamari

Yanayi: Nazarin canja ilimin game da yarjejeniyar mai magana da fi'ili daga Faransanci (L1) zuwa Ingilishi (L2).

Aikace-aikacen Tsarin:

  1. Daidaituwar Harshe: Duka Faransanci da Ingilishi suna buƙatar yarjejeniyar mai magana da fi'ili a cikin lamba (misali, He walks / Il marche vs. They walk / Ils marchent). Wannan kamancen tsarin yana hasashen babban yuwuwar canja wuri mai kyau.
  2. Binciken Samfuri: Bayan horar da L1, yi amfani da mai rarrabe bincike (bincike) akan jihohin ɓoye na samfurin Faransanci don auna yadda yake wakiltar siffar "yarjejeniya". Babban daidaito yana nuna cewa an koyi siffar sosai a cikin L1.
  3. Auna Canja Wuri: Bayan horar da L2, kimanta samfurin akan abubuwan yarjejeniya na Ingilishi a cikin BLiMP (misali, "The key on the cabinets *are/*is..."). Kwatanta daidaito da samfurin ba tare da ilimin L1 na Faransanci ba.
  4. Nazarin Sifa: Yi amfani da dabaru kamar ganin hankali ko sifa dangane da gradient don ganin ko samfurin yana amfani da hanyoyin jijiyoyi masu kama da hanyoyin sadarwa don warware yarjejeniya a cikin Ingilishi kamar yadda ya yi a Faransanci.

Sakamakon da ake tsammani: Samfurin da aka horar da Faransanci yakamata ya nuna mafi girman kuma saurin samun ƙa'idodin yarjejeniya na Ingilishi, kuma bincike na iya nuna sake kunna hanyar sadarwar "ganowa yarjejeniya" da aka koya yayin horar da Faransanci.

10. Aikace-aikace na Gaba & Hanyoyin Bincike

  • Ingantaccen Horar da Samfurin Harsuna da Yawa: Sanar da tsara bayanai da manhajar horo ga kamfanonin da ke gina LLMs don kasuwanni na duniya (misali, Meta, Google). Dabarun na iya haɗawa da horo mai matakai wanda ya fara da ƙungiyoyin harsuna masu alaƙa.
  • Kayan Aikin Koyon Harshe Na Musamman: Malamai na AI waɗanda ke daidaita bayani da atisaye dangane da L1 na mai koyo, suna hasashen kurakurai na musamman na canja wuri (misali, gargadin mai magana da Japananci game da labaran Ingilishi).
  • NLP na Harshe Mai Ƙarancin Albarkatu: Yin amfani da canja wuri daga L1 mai albarkatu mai alaƙa don ƙaddamar da samfura don harsuna masu ƙarancin albarkatu, wata hanya da bincike a cibiyoyi kamar Cibiyar AI ta Allen ta haskaka.
  • Harshe na Jijiyoyi & Ƙirar Fahimi: Yin amfani da LMs a matsayin samfuran gwada hasashe na koyon harshe na ɗan adam, mai yuwuwar gyara ka'idoji kamar Tsarin Gasar Haɗin Kai.
  • Rage Mantuwa Mai Muni: Haɓaka ƙarin algorithms masu ƙarfi na ci gaba da koyo don LLMs, waɗanda aka yi wahayi zuwa gare su ta hanyar lura da lalacewar L1 na wannan binciken, tabbatar da ingantaccen iyawar harsuna da yawa.
  • Fassara na Injiniya: Babban alkibla na gaba shine matsar da baya ga haɗin kai na aiki kuma a yi amfani da kayan aikin fassara na ci gaba (kamar waɗanda daga binciken Anthropic ko ƙoƙarin microscope na OpenAI) don gano ainihin da'irori da siffofi waɗanda ake canjawa ko tsangwama yayin koyon L2.

11. Nassoshi

  1. Oba, M., Kuribayashi, T., Ouchi, H., & Watanabe, T. (2023). Koyon Harshe Na Biyu na Tsarin Harshe na Jijiyoyi. arXiv preprint arXiv:2306.02920.
  2. Brown, T. B., et al. (2020). Tsarin Harshe Masu Ƙaramin Koyo. Ci gaba a cikin Tsarin Bayanai na Jijiyoyi, 33, 1877-1901.
  3. Chiswick, B. R., & Miller, P. W. (2004). Nisan Harshe: Ma'auni na Ƙididdiga na Nisa Tsakanin Ingilishi da Sauran Harsuna. Jarida na Ci gaban Harsuna da Yawa da Al'adu, 26(1), 1-11.
  4. Parisi, G. I., Kemker, R., Part, J. L., Kanan, C., & Wermter, S. (2019). Ci gaba da koyo na rayuwa tare da cibiyoyin jijiyoyi: bita. Cibiyoyin Jijiyoyi, 113, 54-71.
  5. Warstadt, A., Singh, A., & Bowman, S. R. (2020). BLiMP: Ma'auni na Ƙananan Nau'i na Harshe. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.
  6. Papadimitriou, I., & Jurafsky, D. (2020). Horar da Bayanan da ba na Ingilishi ba Yana Inganta Fahimtar Canja Harshe. Proceedings of the 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics.