SLABERT: Моделирование усвоения второго языка с помощью BERT

Содержание

• 1. Введение
• 2. Связанные работы
• 3. Методология
  • 3.1 Создание набора данных
  • 3.2 Архитектура модели
  • 3.3 Процедура обучения
• 4. Эксперименты
  • 4.1 Настройка эксперимента
  • 4.2 Результаты
• 5. Анализ
  • 5.1 Положительный и отрицательный перенос
  • 5.2 Расстояние между языковыми семьями
• 6. Заключение
• 7. Оригинальный анализ
• 8. Технические детали
• 9. Результаты экспериментов
• 10. Пример из практики
• 11. Будущие направления
• 12. Список литературы

1. Введение

Исследования усвоения второго языка (SLA) широко изучают межъязыковой перенос — влияние лингвистической структуры родного языка говорящего [L1] на успешное овладение иностранным языком [L2]. Эффекты такого переноса могут быть положительными (облегчающими усвоение) или отрицательными (препятствующими усвоению). Мы обнаружили, что в литературе по NLP явлению отрицательного переноса уделяется недостаточно внимания. Чтобы понять закономерности как положительного, так и отрицательного переноса между L1 и L2, мы моделируем последовательное усвоение второго языка в языковых моделях. Кроме того, мы создали набор данных Multilingual Age Ordered CHILDES (MAO-CHILDES), состоящий из 5 типологически различных языков: немецкого, французского, польского, индонезийского и японского, чтобы понять, в какой степени родная речь, обращенная к детям (CDS) [L1], может помочь или помешать усвоению английского языка [L2].

2. Связанные работы

Межъязыковой перенос получил значительное внимание в исследованиях NLP (Wu and Dredze, 2019; Wu et al., 2019; Conneau et al., 2017, 2018; Artetxe et al., 2018; Ruder et al., 2017). Большая часть этих исследований была сосредоточена на практических аспектах, таких как степень, в которой правильный токенизатор может оптимизировать межъязыковой перенос, и не рассматривала виды последовательных отношений переноса, возникающих при усвоении второго языка человеком. Подходы, такие как Test for Inductive Bias via Language Model Transfer (TILT) (Papadimitriou and Jurafsky, 2020), фокусируются на положительном переносе с расходящимися парами обучающих наборов, такими как музыка MIDI и испанский язык, чтобы пролить свет на то, какие типы данных индуцируют обобщаемые структурные признаки, общие для лингвистических и нелингвистических данных.

3. Методология

3.1 Создание набора данных

Мы создали набор данных MAO-CHILDES из базы данных CHILDES, отобрав речь, обращенную к детям, на пяти языках: немецком (германская группа), французском (романская группа), польском (славянская группа), индонезийском (австронезийская группа) и японском (японо-рюкюская группа). Набор данных упорядочен по возрасту, чтобы имитировать последовательный характер усвоения языка. Каждый языковой поднабор содержит примерно 50 000 высказываний от лиц, осуществляющих уход, адресованных детям в возрасте 2-5 лет.

3.2 Архитектура модели

Наша структура SLABERT основана на архитектуре BERT-base (Devlin et al., 2019) с 12 слоями трансформера, 768 скрытыми размерностями и 12 головками внимания. Мы используем двухэтапный процесс обучения: сначала модель предварительно обучается на данных L1 CDS, затем донастраивается на данных L2 (английский) CDS. Это последовательное обучение отражает процесс усвоения второго языка человеком, при котором L1 усваивается до L2.

3.3 Процедура обучения

Процедура обучения следует подходу трансферного обучения на основе TILT. Сначала модель обучается на данных L1 с использованием цели маскированного языкового моделирования (MLM) с уровнем маскирования 15%. Впоследствии модель донастраивается на английских данных CDS с той же целью MLM. Функция потерь определяется как:

$\mathcal{L}_{MLM} = -\sum_{i \in \mathcal{M}} \log P(x_i | x_{\backslash \mathcal{M}})$

где $\mathcal{M}$ — множество маскированных позиций, а $x_{\backslash \mathcal{M}}$ представляет немаскированные токены.

4. Эксперименты

4.1 Настройка эксперимента

Мы оцениваем наши модели на тестовом наборе грамматики BLiMP (Benchmark of Linguistic Minimal Pairs for English) (Warstadt et al., 2020), который содержит 67 грамматических явлений, организованных в 13 категорий. Мы сравниваем модели, обученные на разных языках L1, с базовой моделью, обученной только на английских данных CDS. Метрика оценки — точность на тестовом наборе BLiMP.

4.2 Результаты

В таблице 1 показана точность BLiMP для моделей, обученных на разных языках L1. Немецкий L1 показывает наибольший положительный перенос (85,2%), в то время как японский L1 показывает наименьший (72,1%), что согласуется с прогнозами расстояния между языковыми семьями. Французский и польский показывают промежуточные результаты (81,3% и 78,6% соответственно). Индонезийский показывает точность 76,4%.

5. Анализ

5.1 Положительный и отрицательный перенос

Мы наблюдаем, что языки из той же семьи (германской), что и английский, демонстрируют преимущественно положительный перенос, в то время как языки из отдаленных семей (японо-рюкюской) показывают значительный отрицательный перенос. Это согласуется с исследованиями усвоения второго языка человеком, показывающими, что типологическое расстояние предсказывает эффекты переноса (Jarvis and Pavlenko, 2007).

5.2 Расстояние между языковыми семьями

Мы количественно оцениваем расстояние между языковыми семьями, используя метрики филогенетического расстояния. Корреляция между расстоянием между языковыми семьями и отрицательным переносом является статистически значимой (коэффициент корреляции Пирсона r = -0,89, p < 0,05). Это предполагает, что структура SLABERT может служить вычислительной моделью для изучения типологических отношений.

6. Заключение

Наша структура SLABERT успешно моделирует как положительные, так и отрицательные эффекты межъязыкового переноса при усвоении второго языка. Мы обнаружили, что расстояние между языковыми семьями предсказывает отрицательный перенос, а данные разговорной речи в большей степени способствуют усвоению языка, чем данные сценарной речи. Наши результаты призывают к дальнейшим исследованиям с использованием моделей SLA на основе трансформеров, и мы публикуем наш код, данные и модели, чтобы стимулировать это.

7. Оригинальный анализ

Основная идея: SLABERT — это смелая попытка соединить вычислительную лингвистику и исследования усвоения второго языка, но она страдает от фундаментального ограничения: она приравнивает предварительное обучение языковой модели к усвоению языка человеком, игнорируя воплощенные, социальные и когнитивные аспекты SLA. Ключевой вклад статьи заключается в демонстрации того, что BERT может моделировать эффекты межъязыкового переноса, но это узкая победа.

Логическая последовательность: Авторы начинают с хорошо известной концепции SLA — межъязыкового переноса, а затем строят вычислительную структуру для его моделирования. Логика обоснована: если языковые модели могут изучать лингвистическую структуру из данных, то последовательное обучение на L1, а затем на L2 должно выявить эффекты переноса. Создание набора данных MAO-CHILDES является практическим нововведением, предоставляя экологически валидные данные речи, обращенной к детям. Использование BLiMP для оценки является уместным, так как он проверяет грамматические знания.

Сильные стороны и недостатки: Основная сильная сторона — это новое применение трансферного обучения на основе TILT к SLA, которое открывает новое направление исследований. Вывод о том, что расстояние между языковыми семьями предсказывает отрицательный перенос, является убедительным и согласуется с исследованиями на людях. Однако статья имеет существенные недостатки. Во-первых, размер выборки из пяти языков слишком мал для надежных типологических выводов. Во-вторых, модель не учитывает эффекты возраста усвоения, которые имеют решающее значение в SLA человека (Lenneberg, 1967). В-третьих, оценка ограничена английской грамматикой; мы не знаем, обобщается ли модель на другие L2. В-четвертых, в статье не хватает сравнения с традиционными моделями SLA, такими как Модель конкуренции (MacWhinney, 2005).

Практические выводы: Для исследователей эта работа предполагает, что модели на основе трансформеров могут быть полезными инструментами для исследований SLA, но их необходимо комбинировать с когнитивными моделями. Для практиков вывод о том, что данные разговорной речи более эффективны, чем данные сценарной речи, имеет значение для материалов по обучению языку. Будущие работы должны расширить языковую выборку, включить возраст усвоения в качестве переменной и протестировать на нескольких L2. Публикация кода и данных в статье заслуживает похвалы и должна способствовать воспроизведению и расширению.

8. Технические детали

Модель SLABERT использует архитектуру BERT-base со 110 миллионами параметров. Гиперпараметры обучения: скорость обучения 2e-5, размер пакета 32, максимальная длина последовательности 128 и количество эпох обучения 10 для предварительного обучения L1 и 5 для донастройки L2. Оптимизация использует AdamW с коэффициентом затухания веса 0,01. Цель MLM маскирует 15% токенов, причем 80% заменяются на [MASK], 10% заменяются случайными токенами, а 10% остаются без изменений.

Математическая формулировка цели трансферного обучения:

$\mathcal{L}_{transfer} = \mathcal{L}_{MLM}^{L1} + \lambda \cdot \mathcal{L}_{MLM}^{L2}$

где $\lambda$ — масштабирующий коэффициент, установленный на 0,5 в наших экспериментах.

9. Результаты экспериментов

На рисунке 1 (не показан) представлена столбчатая диаграмма, сравнивающая точность BLiMP для разных языков L1. Базовая модель (только английский) достигает точности 83,5%. Немецкий L1 показывает наибольшее улучшение (+1,7%), в то время как японский L1 показывает наибольшее снижение (-11,4%). Французский и польский показывают промежуточные эффекты. Результаты подтверждают, что типологическое расстояние коррелирует с отрицательным переносом.

Таблица 1: Точность BLiMP по языку L1

10. Пример из практики

Рассмотрим грамматическое явление английского языка — согласование подлежащего и глагола. В немецком языке, который имеет аналогичные модели согласования, модель показывает высокую точность (92%). В японском языке, где отсутствует согласование по лицу и числу, модель показывает низкую точность (65%). Это демонстрирует отрицательный перенос: грамматика L1 препятствует усвоению L2. Пример пары предложений из BLiMP:

Грамматически правильное: "The dogs run fast."

Грамматически неправильное: "The dogs runs fast."

Модель с немецким L1 правильно идентифицирует грамматически правильное предложение в 92% случаев, в то время как модель с японским L1 — только в 65% случаев.

11. Будущие направления

Структура SLABERT открывает несколько направлений для будущих исследований. Во-первых, расширение языковой выборки для включения более типологически разнообразных языков (например, арабского, китайского, суахили) укрепило бы полученные результаты. Во-вторых, включение возраста усвоения в качестве переменной могло бы моделировать эффекты критического периода в SLA (Lenneberg, 1967). В-третьих, тестирование на нескольких L2 (например, испанском, французском) проверило бы обобщаемость структуры. В-четвертых, объединение SLABERT с когнитивными моделями, такими как Модель конкуренции (MacWhinney, 2005), могло бы обеспечить более реалистичные симуляции. В-пятых, применение структуры для изучения языковой аттриции (потери L1 из-за доминирования L2) является естественным расширением. Наконец, структура может быть использована для разработки персонализированных инструментов изучения языка, которые адаптируются к L1 учащегося.

12. Список литературы

• Artetxe, M., Labaka, G., & Agirre, E. (2018). A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings. In Proceedings of ACL.
• Berzak, Y., Barbu, A., Harari, D., Katz, B., & Ullman, S. (2014). Do you see what I mean? Visual resolution of linguistic ambiguities. In Proceedings of EMNLP.
• Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2017). Word translation without parallel data. In Proceedings of ICLR.
• Conneau, A., Rinott, R., Lample, G., Williams, A., Bowman, S. R., Schwenk, H., & Stoyanov, V. (2018). XNLI: Evaluating cross-lingual sentence representations. In Proceedings of EMNLP.
• Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT.
• Jarvis, S., & Pavlenko, A. (2007). Crosslinguistic Influence in Language and Cognition. Routledge.
• Lenneberg, E. H. (1967). Biological Foundations of Language. Wiley.
• MacWhinney, B. (2005). A unified model of language acquisition. In Handbook of Bilingualism: Psycholinguistic Approaches.
• Papadimitriou, I., & Jurafsky, D. (2020). Learning Music Helps You Read: Using transfer to study linguistic structure in language models. In Proceedings of EMNLP.
• Ruder, S., Vulić, I., & Søgaard, A. (2017). A survey of cross-lingual word embedding models. Journal of Artificial Intelligence Research, 65, 569-631.
• Warstadt, A., Parrish, A., Liu, H., Mohananey, A., Peng, W., Wang, S.-F., & Bowman, S. R. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs for English. Transactions of the ACL, 8, 377-392.
• Wu, S., & Dredze, M. (2019). Beto, Bentz, Becas: The surprising cross-lingual effectiveness of BERT. In Proceedings of EMNLP.
• Wu, S., Conneau, A., Li, H., Zettlemoyer, L., & Stoyanov, V. (2019). Emerging cross-lingual structure in pretrained language models. In Proceedings of ACL.