SLABERT：基于BERT的二语习得建模

目录

• 1. 引言
• 2. 相关工作
• 3. 方法论
  • 3.1 数据集构建
  • 3.2 模型架构
  • 3.3 训练流程
• 4. 实验
  • 4.1 实验设置
  • 4.2 实验结果
• 5. 分析
  • 5.1 正迁移与负迁移
  • 5.2 语系距离
• 6. 结论
• 7. 原始分析
• 8. 技术细节
• 9. 实验结果
• 10. 案例研究
• 11. 未来方向
• 12. 参考文献

1. 引言

二语习得研究广泛探讨了跨语言迁移现象，即说话者母语的语言结构对其成功习得外语的影响。这种迁移效应可以是正向的（促进习得），也可以是负向的（阻碍习得）。我们发现，自然语言处理文献对负迁移现象的关注不足。为了理解母语与二语之间正迁移和负迁移的模式，我们在语言模型中模拟了顺序性的二语习得过程。此外，我们构建了一个多语言年龄排序的CHILDES数据集，包含五种类型学上不同的语言，即德语、法语、波兰语、印尼语和日语，以了解母语儿童导向语言在多大程度上能够促进或干扰英语的习得。

2. 相关工作

跨语言迁移在自然语言处理研究中受到了广泛关注。大多数研究集中在实际应用层面，例如何种分词器能够最大化跨语言迁移效果，而并未关注人类二语习得中出现的顺序性迁移关系。诸如基于语言模型迁移的归纳偏置测试等方法，则侧重于使用差异化的训练集对（如MIDI音乐和西班牙语）来研究正迁移，以揭示哪些类型的数据能够诱导出语言数据与非语言数据共享的、可泛化的结构特征。

3. 方法论

3.1 数据集构建

我们从CHILDES数据库中构建了MAO-CHILDES数据集，选取了五种语言的儿童导向语言：德语（日耳曼语系）、法语（罗曼语系）、波兰语（斯拉夫语系）、印尼语（南岛语系）和日语（日本语系）。该数据集按年龄排序，以模拟语言习得的顺序性。每种语言子集包含约5万条看护者对2至5岁儿童的言语。

3.2 模型架构

我们的SLABERT框架基于BERT-base架构，包含12个Transformer层、768个隐藏维度和12个注意力头。我们采用两阶段训练过程：首先，模型在母语儿童导向语言数据上进行预训练，然后在二语（英语）儿童导向语言数据上进行微调。这种顺序训练模拟了人类二语习得中先习得母语、后习得二语的过程。

3.3 训练流程

训练流程遵循基于TILT的跨语言迁移学习方法。模型首先使用掩码语言建模目标在母语数据上进行训练，掩码率为15%。随后，模型使用相同的掩码语言建模目标在英语儿童导向语言数据上进行微调。损失函数定义如下：

$\mathcal{L}_{MLM} = -\sum_{i \in \mathcal{M}} \log P(x_i | x_{\backslash \mathcal{M}})$

其中，$\mathcal{M}$ 是被掩码的位置集合，$x_{\backslash \mathcal{M}}$ 表示未被掩码的标记。

4. 实验

4.1 实验设置

我们在BLiMP英语语法测试集上评估我们的模型，该测试集包含67种语法现象，分为13个类别。我们将使用不同母语语言训练的模型与仅在英语儿童导向语言数据上训练的基线模型进行比较。评估指标为BLiMP测试集上的准确率。

4.2 实验结果

表1展示了使用不同母语语言训练的模型的BLiMP准确率。德语母语显示出最高的正迁移（85.2%），而日语母语显示出最低的正迁移（72.1%），这与语系距离的预测一致。法语和波兰语显示出中间结果（分别为81.3%和78.6%）。印尼语显示出76.4%的准确率。

5. 分析

5.1 正迁移与负迁移

我们观察到，与英语同属一个语系（日耳曼语系）的语言主要表现出正迁移，而来自远缘语系（日本语系）的语言则表现出显著的负迁移。这与人类二语习得研究中类型学距离预测迁移效应的结论一致。

5.2 语系距离

我们使用系统发育距离度量来量化语系距离。语系距离与负迁移之间的相关性具有统计学显著性（Pearson's r = -0.89, p < 0.05）。这表明SLABERT框架可以作为研究类型学关系的计算模型。

6. 结论

我们的SLABERT框架成功地对二语习得中的正迁移和负迁移效应进行了建模。我们发现，语系距离可以预测负迁移，并且会话式语言数据比脚本式语言数据更能促进语言习得。我们的研究结果呼吁进一步开展基于Transformer的二语习得模型研究，并且我们公开了代码、数据和模型以促进相关研究。

7. 原始分析

核心见解： SLABERT是连接计算语言学和二语习得研究的一次大胆尝试，但它存在一个根本性局限：它将语言模型预训练等同于人类语言习得，忽略了二语习得中具身性、社会性和认知性的维度。该论文的主要贡献在于证明了BERT可以模拟跨语言迁移效应，但这只是一个狭隘的胜利。

逻辑脉络： 作者从二语习得中成熟的跨语言迁移概念出发，构建了一个计算框架来对其进行建模。其逻辑是合理的：如果语言模型能够从数据中学习语言结构，那么在母语和二语上的顺序训练应该能够揭示迁移效应。MAO-CHILDES数据集的构建是一项实践创新，提供了生态效度较高的儿童导向语言数据。使用BLiMP进行评估是恰当的，因为它测试了语法知识。

优势与缺陷： 主要优势在于将基于TILT的迁移学习创新性地应用于二语习得，开辟了一个新的研究方向。语系距离预测负迁移的发现具有说服力，并且与人类研究一致。然而，该论文存在显著缺陷。首先，五种语言的样本量太小，不足以得出稳健的类型学结论。其次，该模型未考虑习得年龄的影响，而习得年龄在人类二语习得中至关重要。第三，评估仅限于英语语法；我们不知道模型是否能泛化到其他二语。第四，论文缺乏与传统二语习得模型（如竞争模型）的比较。

可操作见解： 对于研究人员而言，这项工作表明基于Transformer的模型可以成为二语习得研究的有用工具，但必须与认知模型相结合。对于实践者而言，会话式语言数据比脚本式数据更有效的发现对语言教学材料具有启示意义。未来的工作应扩大语言样本，将习得年龄作为变量纳入，并在多种二语上进行测试。论文公开代码和数据值得称赞，应有助于后续的复现和扩展。

8. 技术细节

SLABERT模型使用具有1.1亿参数的BERT-base架构。训练超参数为：学习率2e-5，批次大小32，最大序列长度128，母语预训练10个周期，二语微调5个周期。优化使用AdamW，权重衰减为0.01。掩码语言建模目标掩码15%的标记，其中80%替换为[MASK]，10%替换为随机标记，10%保持不变。

迁移学习目标的数学公式为：

$\mathcal{L}_{transfer} = \mathcal{L}_{MLM}^{L1} + \lambda \cdot \mathcal{L}_{MLM}^{L2}$

其中，$\lambda$ 是缩放因子，在我们的实验中设置为0.5。

9. 实验结果

图1（未显示）展示了一个柱状图，比较了不同母语语言下的BLiMP准确率。基线模型（仅英语）达到了83.5%的准确率。德语母语显示出最大的提升（+1.7%），而日语母语显示出最大的下降（-11.4%）。法语和波兰语显示出中间效应。结果证实了类型学距离与负迁移相关。

表1：不同母语语言的BLiMP准确率

10. 案例研究

考虑英语语法现象中的主谓一致。在具有相似一致模式的德语中，模型显示出高准确率（92%）。在缺乏人称-数一致的日语中，模型显示出低准确率（65%）。这证明了负迁移：母语语法干扰了二语习得。来自BLiMP的一个示例句子对：

合语法句："The dogs run fast."

不合语法句："The dogs runs fast."

德语母语模型正确识别合语法句的概率为92%，而日语母语模型仅为65%。

11. 未来方向

SLABERT框架为未来研究开辟了几条途径。首先，扩大语言样本以包含更多类型学上多样的语言（例如阿拉伯语、普通话、斯瓦希里语）将加强研究结论。其次，将习得年龄作为变量纳入，可以模拟二语习得中的关键期效应。第三，在多种二语（例如西班牙语、法语）上进行测试，可以检验框架的泛化能力。第四，将SLABERT与竞争模型等认知模型相结合，可以提供更真实的模拟。第五，应用该框架研究语言磨蚀（因二语主导导致的母语丧失）是一个自然的延伸。最后，该框架可用于开发适应学习者母语的个性化语言学习工具。

12. 参考文献

• Artetxe, M., Labaka, G., & Agirre, E. (2018). A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings. In Proceedings of ACL.
• Berzak, Y., Barbu, A., Harari, D., Katz, B., & Ullman, S. (2014). Do you see what I mean? Visual resolution of linguistic ambiguities. In Proceedings of EMNLP.
• Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2017). Word translation without parallel data. In Proceedings of ICLR.
• Conneau, A., Rinott, R., Lample, G., Williams, A., Bowman, S. R., Schwenk, H., & Stoyanov, V. (2018). XNLI: Evaluating cross-lingual sentence representations. In Proceedings of EMNLP.
• Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT.
• Jarvis, S., & Pavlenko, A. (2007). Crosslinguistic Influence in Language and Cognition. Routledge.
• Lenneberg, E. H. (1967). Biological Foundations of Language. Wiley.
• MacWhinney, B. (2005). A unified model of language acquisition. In Handbook of Bilingualism: Psycholinguistic Approaches.
• Papadimitriou, I., & Jurafsky, D. (2020). Learning Music Helps You Read: Using transfer to study linguistic structure in language models. In Proceedings of EMNLP.
• Ruder, S., Vulić, I., & Søgaard, A. (2017). A survey of cross-lingual word embedding models. Journal of Artificial Intelligence Research, 65, 569-631.
• Warstadt, A., Parrish, A., Liu, H., Mohananey, A., Peng, W., Wang, S.-F., & Bowman, S. R. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs for English. Transactions of the ACL, 8, 377-392.
• Wu, S., & Dredze, M. (2019). Beto, Bentz, Becas: The surprising cross-lingual effectiveness of BERT. In Proceedings of EMNLP.
• Wu, S., Conneau, A., Li, H., Zettlemoyer, L., & Stoyanov, V. (2019). Emerging cross-lingual structure in pretrained language models. In Proceedings of ACL.