目次
1. はじめに
第二言語習得（SLA）研究では、話者の母語（L1）の言語構造が外国語（L2）の習得成功に与える影響である言語間転移について、広範に研究されてきた。このような転移の効果は、正の転移（習得を促進する）または負の転移（習得を妨げる）のいずれかとなる。我々は、自然言語処理（NLP）の文献において、負の転移という現象に十分な注意が払われていないと考える。L1とL2間の正の転移と負の転移の両方のパターンを理解するために、我々は言語モデル（LM）における逐次的な第二言語習得をモデル化する。さらに、5つの類型論的に多様な言語（ドイツ語、フランス語、ポーランド語、インドネシア語、日本語）からなる多言語年齢順CHILDES（MAO-CHILDES）データセットを構築し、母語による子ども向け発話（CDS）[L1]が英語習得[L2]をどの程度促進または阻害するかを理解する。
2. 関連研究
言語間転移は、NLP研究においてかなりの注目を集めてきた（Wu and Dredze, 2019; Wu et al., 2019; Conneau et al., 2017, 2018; Artetxe et al., 2018; Ruder et al., 2017）。これらの研究のほとんどは、適切なトークナイザーが言語間転移をどの程度最適化できるかといった実用的な意味合いに集中しており、人間の第二言語習得で生じるような逐次的な転移関係には注目してこなかった。TILT（Test for Inductive Bias via Language Model Transfer）（Papadimitriou and Jurafsky, 2020）のようなアプローチは、MIDI音楽とスペイン語のような発散する訓練セットのペアを用いた正の転移に焦点を当て、どのような種類のデータが言語データと非言語データが共有する一般化可能な構造的特徴を誘導するかを明らかにしようとしている。
3. 方法論
3.1 データセットの構築
我々は、CHILDESデータベースからMAO-CHILDESデータセットを構築し、5つの言語（ドイツ語（ゲルマン語派）、フランス語（ロマンス語派）、ポーランド語（スラブ語派）、インドネシア語（オーストロネシア語族）、日本語（日琉語族））からの子ども向け発話を選択した。データセットは、言語習得の逐次的な性質を模倣するために年齢順に並べられている。各言語サブセットには、2歳から5歳の子どもに向けた養育者からの約50,000の発話が含まれている。
3.2 モデルアーキテクチャ
我々のSLABERTフレームワークは、12のトランスフォーマー層、768の隠れ次元、12のアテンションヘッドを持つBERT-baseアーキテクチャ（Devlin et al., 2019）に基づいている。我々は2段階の学習プロセスを採用する。まず、モデルをL1のCDSデータで事前学習し、次にL2（英語）のCDSデータで微調整する。この逐次的な学習は、L1がL2の前に習得されるという人間のSLAプロセスを模倣している。
3.3 学習手順
学習手順は、TILTベースの言語間転移学習アプローチに従う。モデルはまず、マスク率15%のマスク言語モデリング（MLM）目的関数を用いてL1データで学習される。その後、同じMLM目的関数を用いて英語のCDSデータで微調整される。損失関数は以下のように定義される：
$\mathcal{L}_{MLM} = -\sum_{i \in \mathcal{M}} \log P(x_i | x_{\backslash \mathcal{M}})$
ここで、$\mathcal{M}$はマスクされた位置の集合であり、$x_{\backslash \mathcal{M}}$はマスクされていないトークンを表す。
4. 実験
4.1 実験設定
我々は、13のカテゴリに編成された67の文法現象を含むBLiMP（Benchmark of Linguistic Minimal Pairs for English）文法テストスイート（Warstadt et al., 2020）でモデルを評価する。異なるL1言語で学習されたモデルを、英語のCDSデータのみで学習されたベースラインモデルと比較する。評価指標は、BLiMPテストセットにおける正解率である。
4.2 結果
表1は、異なるL1言語で学習されたモデルのBLiMP正解率を示している。ドイツ語L1は最も高い正の転移（85.2%）を示し、日本語L1は最も低い正解率（72.1%）を示しており、これは言語系統距離の予測と一致している。フランス語とポーランド語は中間的な結果（それぞれ81.3%と78.6%）を示している。インドネシア語は76.4%の正解率を示している。
5. 分析
5.1 正の転移と負の転移
我々は、英語と同じ語族（ゲルマン語派）の言語は主に正の転移を示す一方、遠い語族（日琉語族）の言語は有意な負の転移を示すことを観察した。これは、類型論的距離が転移効果を予測するという人間のSLA研究（Jarvis and Pavlenko, 2007）と一致している。
5.2 言語系統距離
我々は、系統発生距離指標を用いて言語系統距離を定量化する。言語系統距離と負の転移の間の相関は統計的に有意である（ピアソンのr = -0.89, p < 0.05）。これは、SLABERTフレームワークが類型論的関係を研究するための計算モデルとして機能できることを示唆している。
6. 結論
我々のSLABERTフレームワークは、第二言語習得における正と負の両方の言語間転移効果をモデル化することに成功した。言語系統距離が負の転移を予測すること、また、会話音声データはスクリプト化された音声データよりも言語習得に対してより大きな促進効果を示すことを発見した。我々の発見は、トランスフォーマーベースのSLAモデルを用いたさらなる研究を促すものであり、我々はコード、データ、モデルを公開し、これを奨励する。
7. 独自分析
核心的洞察： SLABERTは、計算言語学と第二言語習得研究を橋渡しする大胆な試みであるが、根本的な限界を抱えている。すなわち、言語モデルの事前学習を人間の言語習得と同一視しており、SLAの身体化された、社会的、認知的側面を無視している。本論文の主な貢献は、BERTが言語間転移効果をシミュレートできることを示したことであるが、これは狭い範囲での勝利である。
論理の流れ： 著者らは、確立されたSLAの概念である言語間転移から出発し、それをモデル化するための計算フレームワークを構築している。論理は妥当である。もしLMがデータから言語構造を学習できるならば、L1、次にL2での逐次学習は転移効果を明らかにするはずである。MAO-CHILDESデータセットの構築は実用的な革新であり、生態学的に妥当な子ども向け発話データを提供する。評価にBLiMPを使用することは、文法的知識をテストするため適切である。
長所と欠点： 主な長所は、TILTベースの転移学習をSLAに新規に応用したことであり、これにより新たな研究方向が開かれる。言語系統距離が負の転移を予測するという発見は説得力があり、人間の研究と一致している。しかし、本論文には重大な欠点もある。第一に、5言語というサンプルサイズは、頑健な類型論的結論を導くには小さすぎる。第二に、モデルは習得年齢の効果を考慮しておらず、これは人間のSLAにおいて極めて重要である（Lenneberg, 1967）。第三に、評価は英語の文法に限定されており、モデルが他のL2に一般化するかどうかは不明である。第四に、競合モデル（MacWhinney, 2005）のような伝統的なSLAモデルとの比較が欠けている。
実用的な洞察： 研究者にとって、この研究はトランスフォーマーベースのモデルがSLA研究の有用なツールとなり得ることを示唆しているが、それらは認知モデルと組み合わせる必要がある。実務家にとって、会話音声データがスクリプト化されたデータよりも効果的であるという発見は、言語教育教材に示唆を与える。今後の研究では、言語サンプルを拡大し、習得年齢を変数として含め、複数のL2でテストすべきである。コードとデータの公開は称賛に値し、再現と拡張を促進するはずである。
8. 技術的詳細
SLABERTモデルは、1億1000万のパラメータを持つBERT-baseアーキテクチャを使用する。学習ハイパーパラメータは以下の通り：学習率2e-5、バッチサイズ32、最大シーケンス長128、L1事前学習のエポック数10、L2微調整のエポック数5。最適化には、重み減衰0.01のAdamWを使用する。MLM目的関数はトークンの15%をマスクし、そのうち80%は[MASK]に置き換えられ、10%はランダムなトークンに置き換えられ、10%は変更されない。
転移学習目的関数の数学的定式化は以下の通り：
$\mathcal{L}_{transfer} = \mathcal{L}_{MLM}^{L1} + \lambda \cdot \mathcal{L}_{MLM}^{L2}$
ここで、$\lambda$はスケーリング係数であり、我々の実験では0.5に設定されている。
9. 実験結果
図1（非表示）は、L1言語間のBLiMP正解率を比較する棒グラフを示している。ベースライン（英語のみ）は83.5%の正解率を達成している。ドイツ語L1は最も高い改善（+1.7%）を示し、日本語L1は最も大きな低下（-11.4%）を示している。フランス語とポーランド語は中間的な効果を示している。結果は、類型論的距離が負の転移と相関することを確認している。
表1：L1言語別のBLiMP正解率
| L1言語 | 正解率（%） | ベースラインからの変化 |
|---|---|---|
| 英語（ベースライン） | 83.5 | - |
| ドイツ語 | 85.2 | +1.7 |
| フランス語 | 81.3 | -2.2 |
| ポーランド語 | 78.6 | -4.9 |
| インドネシア語 | 76.4 | -7.1 |
| 日本語 | 72.1 | -11.4 |
10. ケーススタディ
英語の文法現象である主語と動詞の一致を考えてみよう。同様の一致パターンを持つドイツ語では、モデルは高い正解率（92%）を示す。人称・数の一致を欠く日本語では、モデルは低い正解率（65%）を示す。これは負の転移を示している。すなわち、L1の文法がL2の習得を妨害している。BLiMPからのサンプル文ペア：
文法的："The dogs run fast."
非文法的："The dogs runs fast."
ドイツ語L1モデルは、文法的な文を92%の確率で正しく識別するが、日本語L1モデルは65%の確率でしか正しく識別できない。
11. 今後の展望
SLABERTフレームワークは、将来の研究にいくつかの道を開く。第一に、より類型論的に多様な言語（例：アラビア語、北京語、スワヒリ語）を含めるように言語サンプルを拡大することで、発見を強化できるだろう。第二に、習得年齢を変数として組み込むことで、SLAにおける臨界期効果をモデル化できる可能性がある（Lenneberg, 1967）。第三に、複数のL2（例：スペイン語、フランス語）でテストすることで、フレームワークの一般化可能性を検証できる。第四に、SLABERTを競合モデル（MacWhinney, 2005）のような認知モデルと組み合わせることで、より現実的なシミュレーションを提供できる可能性がある。第五に、このフレームワークを言語喪失（L2優位によるL1の喪失）の研究に適用することは自然な拡張である。最後に、このフレームワークは、学習者のL1に適応するパーソナライズされた言語学習ツールの開発に使用できる可能性がある。
12. 参考文献
- Artetxe, M., Labaka, G., & Agirre, E. (2018). A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings. In Proceedings of ACL.
- Berzak, Y., Barbu, A., Harari, D., Katz, B., & Ullman, S. (2014). Do you see what I mean? Visual resolution of linguistic ambiguities. In Proceedings of EMNLP.
- Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2017). Word translation without parallel data. In Proceedings of ICLR.
- Conneau, A., Rinott, R., Lample, G., Williams, A., Bowman, S. R., Schwenk, H., & Stoyanov, V. (2018). XNLI: Evaluating cross-lingual sentence representations. In Proceedings of EMNLP.
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT.
- Jarvis, S., & Pavlenko, A. (2007). Crosslinguistic Influence in Language and Cognition. Routledge.
- Lenneberg, E. H. (1967). Biological Foundations of Language. Wiley.
- MacWhinney, B. (2005). A unified model of language acquisition. In Handbook of Bilingualism: Psycholinguistic Approaches.
- Papadimitriou, I., & Jurafsky, D. (2020). Learning Music Helps You Read: Using transfer to study linguistic structure in language models. In Proceedings of EMNLP.
- Ruder, S., Vulić, I., & Søgaard, A. (2017). A survey of cross-lingual word embedding models. Journal of Artificial Intelligence Research, 65, 569-631.
- Warstadt, A., Parrish, A., Liu, H., Mohananey, A., Peng, W., Wang, S.-F., & Bowman, S. R. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs for English. Transactions of the ACL, 8, 377-392.
- Wu, S., & Dredze, M. (2019). Beto, Bentz, Becas: The surprising cross-lingual effectiveness of BERT. In Proceedings of EMNLP.
- Wu, S., Conneau, A., Li, H., Zettlemoyer, L., & Stoyanov, V. (2019). Emerging cross-lingual structure in pretrained language models. In Proceedings of ACL.