Sélectionner la langue

SLABERT : Modélisation de l'Acquisition d'une Langue Seconde avec BERT

Un cadre novateur utilisant BERT pour modéliser les effets de transfert cross-linguistique dans l'acquisition d'une langue seconde, analysant les transferts positifs et négatifs à travers cinq langues typologiquement diverses.
study-chinese.com | PDF Size: 4.7 MB
Note: 4.5/5
★ ★ ★ ★ ★
Votre note
Vous avez déjà noté ce document
Couverture du document PDF - SLABERT : Modélisation de l'Acquisition d'une Langue Seconde avec BERT
Voir le document PDF Télécharger PDF Traduire PDF
Accueil » Documentation » SLABERT : Modélisation de l'Acquisition d'une Langue Seconde avec BERT

Table des matières

1. Introduction

La recherche sur l'acquisition d'une langue seconde (ALS) a largement étudié le transfert cross-linguistique, c'est-à-dire l'influence de la structure linguistique de la langue maternelle [L1] d'un locuteur sur l'acquisition réussie d'une langue étrangère [L2]. Les effets de ce transfert peuvent être positifs (facilitant l'acquisition) ou négatifs (entravant l'acquisition). Nous constatons que la littérature en TALN n'a pas accordé suffisamment d'attention au phénomène du transfert négatif. Pour comprendre les schémas de transfert à la fois positifs et négatifs entre la L1 et la L2, nous modélisons l'acquisition séquentielle d'une langue seconde dans les modèles de langue. De plus, nous construisons un jeu de données MAO-CHILDES (Multilingual Age Ordered CHILDES) composé de 5 langues typologiquement diverses, à savoir l'allemand, le français, le polonais, l'indonésien et le japonais, afin de comprendre dans quelle mesure le discours natif adressé à l'enfant (CDS) [L1] peut aider ou entrer en conflit avec l'acquisition de la langue anglaise [L2].

2. Travaux connexes

Le transfert cross-linguistique a reçu une attention considérable dans la recherche en TALN (Wu et Dredze, 2019 ; Wu et al., 2019 ; Conneau et al., 2017, 2018 ; Artetxe et al., 2018 ; Ruder et al., 2017). La plupart de ces recherches se sont concentrées sur les implications pratiques, telles que la mesure dans laquelle le bon tokenizer peut optimiser le transfert cross-linguistique, et ne se sont pas intéressées au type de relations de transfert séquentiel qui apparaissent dans l'acquisition humaine d'une langue seconde. Des approches comme le Test for Inductive Bias via Language Model Transfer (TILT) (Papadimitriou et Jurafsky, 2020) se concentrent sur le transfert positif avec des paires divergentes d'ensembles d'entraînement, comme la musique MIDI et l'espagnol, afin d'éclairer les types de données qui induisent des caractéristiques structurelles généralisables partagées par les données linguistiques et non linguistiques.

3. Méthodologie

3.1 Construction du jeu de données

Nous avons construit le jeu de données MAO-CHILDES à partir de la base de données CHILDES, en sélectionnant le discours adressé à l'enfant dans cinq langues : l'allemand (germanique), le français (romane), le polonais (slave), l'indonésien (austronésien) et le japonais (japonique). Le jeu de données est ordonné par âge pour simuler la nature séquentielle de l'acquisition du langage. Chaque sous-ensemble linguistique contient environ 50 000 énoncés de soignants adressés à des enfants âgés de 2 à 5 ans.

3.2 Architecture du modèle

Notre cadre SLABERT est basé sur l'architecture BERT-base (Devlin et al., 2019) avec 12 couches de transformeurs, 768 dimensions cachées et 12 têtes d'attention. Nous employons un processus d'entraînement en deux étapes : d'abord, le modèle est pré-entraîné sur les données CDS en L1, puis il est affiné sur les données CDS en L2 (anglais). Cet entraînement séquentiel reflète le processus humain d'ALS où la L1 est acquise avant la L2.

3.3 Procédure d'entraînement

La procédure d'entraînement suit l'approche d'apprentissage par transfert cross-linguistique basée sur TILT. Le modèle est d'abord entraîné sur les données L1 en utilisant l'objectif de modélisation de langue masquée (MLM) avec un taux de masquage de 15 %. Ensuite, le modèle est affiné sur les données CDS en anglais avec le même objectif MLM. La fonction de perte est définie comme suit :

$\mathcal{L}_{MLM} = -\sum_{i \in \mathcal{M}} \log P(x_i | x_{\backslash \mathcal{M}})$

où $\mathcal{M}$ est l'ensemble des positions masquées et $x_{\backslash \mathcal{M}}$ représente les tokens non masqués.

4. Expériences

4.1 Configuration expérimentale

Nous évaluons nos modèles sur la suite de tests grammaticaux BLiMP (Benchmark of Linguistic Minimal Pairs for English) (Warstadt et al., 2020), qui contient 67 phénomènes grammaticaux organisés en 13 catégories. Nous comparons les modèles entraînés sur différentes langues L1 à un modèle de référence entraîné uniquement sur les données CDS en anglais. La métrique d'évaluation est la précision sur l'ensemble de test BLiMP.

4.2 Résultats

Le tableau 1 présente la précision BLiMP pour les modèles entraînés avec différentes langues L1. L'allemand L1 montre le transfert positif le plus élevé (85,2 %), tandis que le japonais L1 montre le plus faible (72,1 %), ce qui est cohérent avec les prédictions de distance entre familles linguistiques. Le français et le polonais montrent des résultats intermédiaires (81,3 % et 78,6 % respectivement). L'indonésien montre une précision de 76,4 %.

5. Analyse

5.1 Transfert positif vs négatif

Nous observons que les langues de la même famille (germanique) que l'anglais montrent principalement un transfert positif, tandis que les langues de familles éloignées (japonique) montrent un transfert négatif significatif. Cela correspond à la recherche humaine en ALS qui montre que la distance typologique prédit les effets de transfert (Jarvis et Pavlenko, 2007).

5.2 Distance entre familles linguistiques

Nous quantifions la distance entre familles linguistiques à l'aide de métriques de distance phylogénétique. La corrélation entre la distance entre familles linguistiques et le transfert négatif est statistiquement significative (r de Pearson = -0,89, p < 0,05). Cela suggère que le cadre SLABERT peut servir de modèle computationnel pour étudier les relations typologiques.

6. Conclusion

Notre cadre SLABERT modélise avec succès les effets de transfert cross-linguistique à la fois positifs et négatifs dans l'acquisition d'une langue seconde. Nous constatons que la distance entre familles linguistiques prédit le transfert négatif, et que les données de discours conversationnel facilitent davantage l'acquisition du langage que les données de discours scripté. Nos résultats appellent à des recherches supplémentaires utilisant des modèles d'ALS basés sur les transformeurs, et nous publions notre code, nos données et nos modèles pour encourager cela.

7. Analyse originale

Idée centrale : SLABERT est une tentative audacieuse de faire le pont entre la linguistique computationnelle et la recherche sur l'acquisition d'une langue seconde, mais elle souffre d'une limitation fondamentale : elle assimile le pré-entraînement d'un modèle de langue à l'acquisition humaine du langage, ignorant les dimensions incarnées, sociales et cognitives de l'ALS. La contribution clé de l'article est de démontrer que BERT peut simuler les effets de transfert cross-linguistique, mais c'est une victoire étroite.

Logique : Les auteurs partent du concept bien établi en ALS de transfert cross-linguistique, puis construisent un cadre computationnel pour le modéliser. La logique est solide : si les modèles de langue peuvent apprendre la structure linguistique à partir de données, alors un entraînement séquentiel sur la L1 puis la L2 devrait révéler des effets de transfert. La construction du jeu de données MAO-CHILDES est une innovation pratique, fournissant des données de discours adressé à l'enfant écologiquement valides. L'utilisation de BLiMP pour l'évaluation est appropriée, car elle teste les connaissances grammaticales.

Forces et faiblesses : La principale force est l'application novatrice de l'apprentissage par transfert basé sur TILT à l'ALS, ce qui ouvre une nouvelle direction de recherche. La constatation que la distance entre familles linguistiques prédit le transfert négatif est convaincante et correspond aux études humaines. Cependant, l'article présente des faiblesses significatives. Premièrement, la taille de l'échantillon de cinq langues est trop petite pour des conclusions typologiques robustes. Deuxièmement, le modèle ne tient pas compte des effets de l'âge d'acquisition, qui sont cruciaux dans l'ALS humaine (Lenneberg, 1967). Troisièmement, l'évaluation se limite à la grammaire anglaise ; nous ne savons pas si le modèle se généralise à d'autres L2. Quatrièmement, l'article manque de comparaison avec des modèles d'ALS traditionnels comme le Modèle de Compétition (MacWhinney, 2005).

Informations exploitables : Pour les chercheurs, ce travail suggère que les modèles basés sur les transformeurs peuvent être des outils utiles pour la recherche en ALS, mais ils doivent être combinés avec des modèles cognitifs. Pour les praticiens, la constatation que les données de discours conversationnel sont plus efficaces que les données scriptées a des implications pour les matériels d'enseignement des langues. Les travaux futurs devraient élargir l'échantillon de langues, inclure l'âge d'acquisition comme variable et tester sur plusieurs L2. La publication du code et des données par l'article est louable et devrait faciliter la réplication et l'extension.

8. Détails techniques

Le modèle SLABERT utilise l'architecture BERT-base avec 110 millions de paramètres. Les hyperparamètres d'entraînement sont : taux d'apprentissage 2e-5, taille de lot 32, longueur maximale de séquence 128, et époques d'entraînement 10 pour le pré-entraînement L1 et 5 pour l'affinage L2. L'optimisation utilise AdamW avec un decay de poids de 0,01. L'objectif MLM masque 15 % des tokens, dont 80 % sont remplacés par [MASK], 10 % par des tokens aléatoires et 10 % inchangés.

La formulation mathématique de l'objectif d'apprentissage par transfert est :

$\mathcal{L}_{transfer} = \mathcal{L}_{MLM}^{L1} + \lambda \cdot \mathcal{L}_{MLM}^{L2}$

où $\lambda$ est un facteur d'échelle fixé à 0,5 dans nos expériences.

9. Résultats expérimentaux

La figure 1 (non montrée) présente un diagramme à barres comparant la précision BLiMP entre les langues L1. La référence (anglais uniquement) atteint une précision de 83,5 %. L'allemand L1 montre la plus grande amélioration (+1,7 %), tandis que le japonais L1 montre la plus forte baisse (-11,4 %). Le français et le polonais montrent des effets intermédiaires. Les résultats confirment que la distance typologique est corrélée au transfert négatif.

Tableau 1 : Précision BLiMP par langue L1

Langue L1Précision (%)Variation par rapport à la référence
Anglais (Référence)83,5-
Allemand85,2+1,7
Français81,3-2,2
Polonais78,6-4,9
Indonésien76,4-7,1
Japonais72,1-11,4

10. Étude de cas

Considérons le phénomène grammatical anglais de l'accord sujet-verbe. En allemand, qui a des schémas d'accord similaires, le modèle montre une précision élevée (92 %). En japonais, qui manque d'accord en personne et en nombre, le modèle montre une faible précision (65 %). Cela démontre un transfert négatif : la grammaire de la L1 interfère avec l'acquisition de la L2. Un exemple de paire de phrases de BLiMP :

Grammatical : "The dogs run fast."

Non grammatical : "The dogs runs fast."

Le modèle L1 allemand identifie correctement la phrase grammaticale 92 % du temps, tandis que le modèle L1 japonais seulement 65 % du temps.

11. Perspectives futures

Le cadre SLABERT ouvre plusieurs voies pour la recherche future. Premièrement, élargir l'échantillon de langues pour inclure des langues plus diverses typologiquement (par exemple, l'arabe, le mandarin, le swahili) renforcerait les résultats. Deuxièmement, incorporer l'âge d'acquisition comme variable pourrait modéliser les effets de période critique dans l'ALS (Lenneberg, 1967). Troisièmement, tester sur plusieurs L2 (par exemple, l'espagnol, le français) permettrait de tester la généralisabilité du cadre. Quatrièmement, combiner SLABERT avec des modèles cognitifs comme le Modèle de Compétition (MacWhinney, 2005) pourrait fournir des simulations plus réalistes. Cinquièmement, appliquer le cadre à l'étude de l'attrition linguistique (perte de la L1 due à la dominance de la L2) est une extension naturelle. Enfin, le cadre pourrait être utilisé pour développer des outils d'apprentissage des langues personnalisés qui s'adaptent à la L1 de l'apprenant.

12. Références