SLABERT: Modellierung des Zweitspracherwerbs mit BERT

Inhaltsverzeichnis

• 1. Einleitung
• 2. Verwandte Arbeiten
• 3. Methodik
  • 3.1 Datensatzerstellung
  • 3.2 Modellarchitektur
  • 3.3 Trainingsverfahren
• 4. Experimente
  • 4.1 Versuchsaufbau
  • 4.2 Ergebnisse
• 5. Analyse
  • 5.1 Positiver vs. Negativer Transfer
  • 5.2 Sprachfamilienabstand
• 6. Fazit
• 7. Ursprüngliche Analyse
• 8. Technische Details
• 9. Experimentelle Ergebnisse
• 10. Fallstudie
• 11. Zukünftige Richtungen
• 12. Referenzen

1. Einleitung

Die Forschung zum Zweitspracherwerb (SLA) hat sich eingehend mit dem cross-linguistischen Transfer befasst, also dem Einfluss der sprachlichen Struktur der Muttersprache [L1] eines Sprechers auf den erfolgreichen Erwerb einer Fremdsprache [L2]. Die Auswirkungen eines solchen Transfers können positiv (den Erwerb erleichternd) oder negativ (den Erwerb behindernd) sein. Wir stellen fest, dass die NLP-Literatur dem Phänomen des negativen Transfers nicht genügend Aufmerksamkeit geschenkt hat. Um Muster sowohl des positiven als auch des negativen Transfers zwischen L1 und L2 zu verstehen, modellieren wir den sequenziellen Zweitspracherwerb in Sprachmodellen. Darüber hinaus erstellen wir einen mehrsprachigen, nach Alter geordneten CHILDES-Datensatz (MAO-CHILDES), der fünf typologisch unterschiedliche Sprachen umfasst, nämlich Deutsch, Französisch, Polnisch, Indonesisch und Japanisch, um zu verstehen, inwieweit muttersprachliche, an Kinder gerichtete Sprache (CDS) [L1] den englischen Spracherwerb [L2] unterstützen oder behindern kann.

2. Verwandte Arbeiten

Cross-linguistischer Transfer hat in der NLP-Forschung beträchtliche Aufmerksamkeit erhalten (Wu and Dredze, 2019; Wu et al., 2019; Conneau et al., 2017, 2018; Artetxe et al., 2018; Ruder et al., 2017). Der Großteil dieser Forschung konzentrierte sich auf praktische Implikationen, wie etwa das Ausmaß, in dem der richtige Tokenizer den cross-linguistischen Transfer optimieren kann, und hat sich nicht mit der Art von sequenziellen Transferbeziehungen befasst, die beim menschlichen Zweitspracherwerb auftreten. Ansätze wie der Test for Inductive Bias via Language Model Transfer (TILT) (Papadimitriou and Jurafsky, 2020) konzentrieren sich auf positiven Transfer mit divergenten Trainingspaaren, wie MIDI-Musik und Spanisch, um zu beleuchten, welche Arten von Daten generalisierbare strukturelle Merkmale induzieren, die linguistische und nicht-linguistische Daten gemeinsam haben.

3. Methodik

3.1 Datensatzerstellung

Wir haben den MAO-CHILDES-Datensatz aus der CHILDES-Datenbank erstellt und dabei an Kinder gerichtete Sprache aus fünf Sprachen ausgewählt: Deutsch (Germanisch), Französisch (Romanisch), Polnisch (Slawisch), Indonesisch (Austronesisch) und Japanisch (Japonisch). Der Datensatz ist nach Alter geordnet, um die sequenzielle Natur des Spracherwerbs zu simulieren. Jeder Sprachteil enthält etwa 50.000 Äußerungen von Bezugspersonen, die an Kinder im Alter von 2-5 Jahren gerichtet sind.

3.2 Modellarchitektur

Unser SLABERT-Framework basiert auf der BERT-Base-Architektur (Devlin et al., 2019) mit 12 Transformer-Schichten, 768 verborgenen Dimensionen und 12 Aufmerksamkeitsköpfen. Wir verwenden einen zweistufigen Trainingsprozess: Zunächst wird das Modell auf L1-CDS-Daten vortrainiert, dann auf L2 (Englisch)-CDS-Daten feinabgestimmt. Dieses sequenzielle Training spiegelt den menschlichen SLA-Prozess wider, bei dem L1 vor L2 erworben wird.

3.3 Trainingsverfahren

Das Trainingsverfahren folgt dem TILT-basierten Ansatz des cross-linguistischen Transferlernens. Das Modell wird zunächst mit dem Ziel der maskierten Sprachmodellierung (MLM) mit einer Maskierungsrate von 15 % auf L1-Daten trainiert. Anschließend wird das Modell mit demselben MLM-Ziel auf englischen CDS-Daten feinabgestimmt. Die Verlustfunktion ist definiert als:

$\mathcal{L}_{MLM} = -\sum_{i \in \mathcal{M}} \log P(x_i | x_{\backslash \mathcal{M}})$

wobei $\mathcal{M}$ die Menge der maskierten Positionen und $x_{\backslash \mathcal{M}}$ die nicht maskierten Token darstellt.

4. Experimente

4.1 Versuchsaufbau

Wir evaluieren unsere Modelle anhand der BLiMP (Benchmark of Linguistic Minimal Pairs for English) Grammatik-Testsuite (Warstadt et al., 2020), die 67 grammatikalische Phänomene enthält, die in 13 Kategorien organisiert sind. Wir vergleichen Modelle, die auf verschiedenen L1-Sprachen trainiert wurden, mit einem Basismodell, das nur auf englischen CDS-Daten trainiert wurde. Die Evaluierungsmetrik ist die Genauigkeit auf dem BLiMP-Testset.

4.2 Ergebnisse

Tabelle 1 zeigt die BLiMP-Genauigkeit für Modelle, die mit verschiedenen L1-Sprachen trainiert wurden. Deutsch als L1 zeigt den höchsten positiven Transfer (85,2 %), während Japanisch als L1 den niedrigsten (72,1 %) aufweist, was mit den Vorhersagen zum Sprachfamilienabstand übereinstimmt. Französisch und Polnisch zeigen Zwischenergebnisse (81,3 % bzw. 78,6 %). Indonesisch zeigt eine Genauigkeit von 76,4 %.

5. Analyse

5.1 Positiver vs. Negativer Transfer

Wir beobachten, dass Sprachen aus derselben Familie (Germanisch) wie Englisch überwiegend positiven Transfer zeigen, während Sprachen aus entfernten Familien (Japonisch) signifikanten negativen Transfer aufweisen. Dies deckt sich mit der menschlichen SLA-Forschung, die zeigt, dass der typologische Abstand Transfereffekte vorhersagt (Jarvis and Pavlenko, 2007).

5.2 Sprachfamilienabstand

Wir quantifizieren den Sprachfamilienabstand mithilfe phylogenetischer Distanzmetriken. Die Korrelation zwischen Sprachfamilienabstand und negativem Transfer ist statistisch signifikant (Pearson's r = -0,89, p < 0,05). Dies deutet darauf hin, dass das SLABERT-Framework als Computermodell zur Untersuchung typologischer Beziehungen dienen kann.

6. Fazit

Unser SLABERT-Framework modelliert erfolgreich sowohl positive als auch negative cross-linguistische Transfereffekte im Zweitspracherwerb. Wir stellen fest, dass der Sprachfamilienabstand negativen Transfer vorhersagt und dass Konversationssprachdaten eine größere Erleichterung für den Spracherwerb zeigen als skriptbasierte Sprachdaten. Unsere Ergebnisse fordern weitere Forschung mit Transformer-basierten SLA-Modellen, und wir veröffentlichen unseren Code, unsere Daten und unsere Modelle, um dies zu fördern.

7. Ursprüngliche Analyse

Kernaussage: SLABERT ist ein kühner Versuch, Computerlinguistik und Zweitspracherwerbsforschung zu verbinden, leidet jedoch unter einer grundlegenden Einschränkung: Es setzt das Vortraining von Sprachmodellen mit menschlichem Spracherwerb gleich und ignoriert die verkörperten, sozialen und kognitiven Dimensionen des SLA. Der Hauptbeitrag des Papiers besteht darin, zu demonstrieren, dass BERT cross-linguistische Transfereffekte simulieren kann, aber dies ist ein schmaler Sieg.

Logischer Ablauf: Die Autoren gehen vom gut etablierten SLA-Konzept des cross-linguistischen Transfers aus und bauen dann einen rechnerischen Rahmen, um es zu modellieren. Die Logik ist solide: Wenn Sprachmodelle linguistische Strukturen aus Daten lernen können, dann sollte sequenzielles Training zuerst auf L1 und dann auf L2 Transfereffekte offenbaren. Die Erstellung des MAO-CHILDES-Datensatzes ist eine praktische Innovation, die ökologisch valide, an Kinder gerichtete Sprachdaten liefert. Die Verwendung von BLiMP zur Evaluierung ist angemessen, da es grammatikalisches Wissen testet.

Stärken & Schwächen: Die Hauptstärke ist die neuartige Anwendung des TILT-basierten Transferlernens auf SLA, die eine neue Forschungsrichtung eröffnet. Die Erkenntnis, dass der Sprachfamilienabstand negativen Transfer vorhersagt, ist überzeugend und deckt sich mit Humanstudien. Das Papier hat jedoch erhebliche Schwächen. Erstens ist die Stichprobengröße von fünf Sprachen für robuste typologische Schlussfolgerungen zu klein. Zweitens berücksichtigt das Modell keine Alterserwerbseffekte, die beim menschlichen SLA entscheidend sind (Lenneberg, 1967). Drittens beschränkt sich die Evaluierung auf englische Grammatik; wir wissen nicht, ob das Modell auf andere L2s verallgemeinert. Viertens fehlt dem Papier ein Vergleich mit traditionellen SLA-Modellen wie dem Competition Model (MacWhinney, 2005).

Umsetzbare Erkenntnisse: Für Forscher deutet diese Arbeit darauf hin, dass Transformer-basierte Modelle nützliche Werkzeuge für die SLA-Forschung sein können, aber sie müssen mit kognitiven Modellen kombiniert werden. Für Praktiker hat die Erkenntnis, dass Konversationssprachdaten effektiver sind als skriptbasierte Daten, Auswirkungen auf Sprachlehrmaterialien. Zukünftige Arbeiten sollten die Sprachstichprobe erweitern, das Erwerbsalter als Variable einbeziehen und an mehreren L2s testen. Die Veröffentlichung von Code und Daten durch das Papier ist lobenswert und sollte die Replikation und Erweiterung erleichtern.

8. Technische Details

Das SLABERT-Modell verwendet die BERT-Base-Architektur mit 110 Millionen Parametern. Die Trainingshyperparameter sind: Lernrate 2e-5, Batch-Größe 32, maximale Sequenzlänge 128 und Trainingsepochen 10 für das L1-Vortraining und 5 für die L2-Feinabstimmung. Die Optimierung verwendet AdamW mit Gewichtsabfall 0,01. Das MLM-Ziel maskiert 15 % der Token, wobei 80 % durch [MASK] ersetzt, 10 % durch zufällige Token ersetzt und 10 % unverändert bleiben.

Die mathematische Formulierung des Transferlernziels lautet:

$\mathcal{L}_{transfer} = \mathcal{L}_{MLM}^{L1} + \lambda \cdot \mathcal{L}_{MLM}^{L2}$

wobei $\lambda$ ein Skalierungsfaktor ist, der in unseren Experimenten auf 0,5 gesetzt wurde.

9. Experimentelle Ergebnisse

Abbildung 1 (nicht gezeigt) zeigt ein Balkendiagramm, das die BLiMP-Genauigkeit über L1-Sprachen hinweg vergleicht. Die Basislinie (nur Englisch) erreicht eine Genauigkeit von 83,5 %. Deutsch als L1 zeigt die höchste Verbesserung (+1,7 %), während Japanisch als L1 den größten Rückgang (-11,4 %) aufweist. Französisch und Polnisch zeigen Zwischeneffekte. Die Ergebnisse bestätigen, dass der typologische Abstand mit negativem Transfer korreliert.

Tabelle 1: BLiMP-Genauigkeit nach L1-Sprache

10. Fallstudie

Betrachten Sie das englische grammatikalische Phänomen der Subjekt-Verb-Kongruenz. Im Deutschen, das ähnliche Kongruenzmuster aufweist, zeigt das Modell eine hohe Genauigkeit (92 %). Im Japanischen, dem die Person-Nummer-Kongruenz fehlt, zeigt das Modell eine niedrige Genauigkeit (65 %). Dies demonstriert negativen Transfer: Die L1-Grammatik interferiert mit dem L2-Erwerb. Ein Beispielsatzpaar aus BLiMP:

Grammatikalisch: „The dogs run fast."

Ungrammatikalisch: „The dogs runs fast."

Das deutsche L1-Modell identifiziert den grammatikalischen Satz in 92 % der Fälle korrekt, während das japanische L1-Modell dies nur in 65 % der Fälle tut.

11. Zukünftige Richtungen

Das SLABERT-Framework eröffnet mehrere Wege für zukünftige Forschung. Erstens würde die Erweiterung der Sprachstichprobe um mehr typologisch unterschiedliche Sprachen (z. B. Arabisch, Mandarin, Swahili) die Ergebnisse untermauern. Zweitens könnte die Einbeziehung des Erwerbsalters als Variable kritische Periodeneffekte im SLA modellieren (Lenneberg, 1967). Drittens würde das Testen an mehreren L2s (z. B. Spanisch, Französisch) die Generalisierbarkeit des Frameworks testen. Viertens könnte die Kombination von SLABERT mit kognitiven Modellen wie dem Competition Model (MacWhinney, 2005) realistischere Simulationen liefern. Fünftens ist die Anwendung des Frameworks zur Untersuchung von Sprachverlust (Verlust der L1 durch L2-Dominanz) eine naheliegende Erweiterung. Schließlich könnte das Framework verwendet werden, um personalisierte Sprachlernwerkzeuge zu entwickeln, die sich an die L1 des Lernenden anpassen.

12. Referenzen

• Artetxe, M., Labaka, G., & Agirre, E. (2018). A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings. In Proceedings of ACL.
• Berzak, Y., Barbu, A., Harari, D., Katz, B., & Ullman, S. (2014). Do you see what I mean? Visual resolution of linguistic ambiguities. In Proceedings of EMNLP.
• Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, E., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2017). Word translation without parallel data. In Proceedings of ICLR.
• Conneau, A., Rinott, R., Lample, G., Williams, A., Bowman, S. R., Schwenk, H., & Stoyanov, V. (2018). XNLI: Evaluating cross-lingual sentence representations. In Proceedings of EMNLP.
• Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of NAACL-HLT.
• Jarvis, S., & Pavlenko, A. (2007). Crosslinguistic Influence in Language and Cognition. Routledge.
• Lenneberg, E. H. (1967). Biological Foundations of Language. Wiley.
• MacWhinney, B. (2005). A unified model of language acquisition. In Handbook of Bilingualism: Psycholinguistic Approaches.
• Papadimitriou, I., & Jurafsky, D. (2020). Learning Music Helps You Read: Using transfer to study linguistic structure in language models. In Proceedings of EMNLP.
• Ruder, S., Vulić, I., & Søgaard, A. (2017). A survey of cross-lingual word embedding models. Journal of Artificial Intelligence Research, 65, 569-631.
• Warstadt, A., Parrish, A., Liu, H., Mohananey, A., Peng, W., Wang, S.-F., & Bowman, S. R. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs for English. Transactions of the ACL, 8, 377-392.
• Wu, S., & Dredze, M. (2019). Beto, Bentz, Becas: The surprising cross-lingual effectiveness of BERT. In Proceedings of EMNLP.
• Wu, S., Conneau, A., Li, H., Zettlemoyer, L., & Stoyanov, V. (2019). Emerging cross-lingual structure in pretrained language models. In Proceedings of ACL.