SLABERT: BERT के साथ द्वितीय भाषा अधिगम का मॉडलिंग

विषय-सूची

1. परिचय

यह शोध द्वितीय भाषा अधिगम (एसएलए) में नकारात्मक अंतर-भाषाई स्थानांतरण के संबंध में एनएलपी साहित्य में मौजूद अंतर को संबोधित करता है। जहाँ सकारात्मक स्थानांतरण पर ध्यान दिया गया है, वहीं नकारात्मक स्थानांतरण—जहाँ मातृभाषा संरचनाएँ द्वितीय भाषा अधिगम में बाधा डालती हैं—अभी भी कम अध्ययन का विषय है। यह पत्र SLABERT का परिचय कराता है, जो BERT आर्किटेक्चर का उपयोग करके अनुक्रमिक एसएलए के मॉडलिंग के लिए एक नवीन फ्रेमवर्क है।

2. पद्धति

2.1 SLABERT फ्रेमवर्क

द्वितीय भाषा अधिगम BERT फ्रेमवर्क, मॉडलों को पहले मातृभाषा डेटा (एल1) और फिर लक्ष्य भाषा डेटा (एल2) पर प्रशिक्षित करके मानव-जैसी भाषा सीखने की अनुक्रमिक प्रक्रिया का अनुकरण करता है। यह अनुक्रमिक प्रशिक्षण प्राकृतिक अधिगम पैटर्न की नकल करता है।

2.2 MAO-CHILDES डेटासेट

बहुभाषी आयु-क्रमबद्ध CHILDES डेटासेट में पाँच भाषाई रूप से विविध भाषाएँ शामिल हैं: जर्मन, फ्रेंच, पोलिश, इंडोनेशियाई और जापानी। इस डेटासेट में बाल-निर्देशित वाक् (सीडीएस) डेटा शामिल है, जो पारिस्थितिक रूप से वैध प्रशिक्षण सामग्री प्रदान करता है।

2.3 TILT-आधारित दृष्टिकोण

भाषा जोड़े के बीच स्थानांतरण प्रभावों को मापने के लिए पापाडिमित्रिउ और जुराफ़्स्की (2020) द्वारा स्थापित 'टेस्ट फॉर इंडक्टिव बायस वाया लैंग्वेज मॉडल ट्रांसफर' पद्धति का उपयोग करता है।

3. प्रायोगिक डिज़ाइन

3.1 भाषा चयन

भाषाओं का चयन इस परिकल्पना का परीक्षण करने के लिए भाषाई विविधता के आधार पर किया गया था कि भाषा परिवार की दूरी नकारात्मक स्थानांतरण की भविष्यवाणी करती है। चयन में इंडो-यूरोपीय (जर्मन, फ्रेंच, पोलिश) और गैर-इंडो-यूरोपीय (इंडोनेशियाई, जापानी) भाषाएँ शामिल हैं।

3.2 प्रशिक्षण प्रक्रिया

मॉडलों को पहले एल1 सीडीएस डेटा पर पूर्व-प्रशिक्षित किया गया, फिर अंग्रेज़ी एल2 डेटा पर फ़ाइन-ट्यून किया गया। नियंत्रण समूहों में केवल एल2 डेटा पर प्रशिक्षित मॉडल और मिश्रित एल1-एल2 डेटा पर प्रशिक्षित मॉडल शामिल थे।

3.3 मूल्यांकन मापदंड

प्रदर्शन का मूल्यांकन BLiMP (बेंचमार्क ऑफ़ लिंग्विस्टिक मिनिमल पेयर्स फॉर इंग्लिश) व्याकरण परीक्षण सूट का उपयोग करके किया गया, जो 67 वाक्यात्मक घटनाओं में सटीकता मापता है।

4. परिणाम एवं विश्लेषण

4.1 स्थानांतरण प्रभाव विश्लेषण

परिणाम सकारात्मक और नकारात्मक दोनों प्रकार के स्थानांतरण प्रभाव प्रदर्शित करते हैं। भाषाई रूप से समान एल1 (जैसे, जर्मन) पर पूर्व-प्रशिक्षित मॉडलों ने दूर के एल1 (जैसे, जापानी) पर पूर्व-प्रशिक्षित मॉडलों की तुलना में बेहतर अंग्रेज़ी अधिगम दिखाया।

4.2 भाषा दूरी सहसंबंध

भाषा परिवार दूरी और नकारात्मक स्थानांतरण प्रभावों के बीच मजबूत सहसंबंध (r = 0.78) पाया गया। अधिक भाषाई दूरी, एल2 अधिगम में अधिक हस्तक्षेप की भविष्यवाणी करती है।

4.3 वाक् डेटा तुलना

संवादात्मक वाक् डेटा ने लिखित/पटकथा वाले वाक् डेटा की तुलना में भाषा अधिगम के लिए 12.4% अधिक सुविधा प्रदर्शित की, जो सीडीएस की पारिस्थितिक वैधता का समर्थन करता है।

5. तकनीकी कार्यान्वयन

5.1 गणितीय फ्रेमवर्क

स्थानांतरण प्रभाव $T_{L1→L2}$ को अनुक्रमिक रूप से प्रशिक्षित मॉडलों और केवल-एल2 आधारभूत मॉडलों के प्रदर्शन के अंतर के रूप में परिमाणित किया जाता है:

$T_{L1→L2} = P_{seq}(L2|L1) - P_{base}(L2)$

जहाँ $P_{seq}$ अनुक्रमिक रूप से प्रशिक्षित मॉडलों के प्रदर्शन को दर्शाता है और $P_{base}$ आधारभूत प्रदर्शन को दर्शाता है।

5.2 मॉडल आर्किटेक्चर

12 ट्रांसफॉर्मर परतों, 768 हिडन डायमेंशन और 12 अटेंशन हेड्स वाले BERT-बेस आर्किटेक्चर पर आधारित। संशोधित प्रशिक्षण शासन में एल1 और एल2 चरणों के लिए अलग-अलग लर्निंग रेट के साथ दो-चरणीय शिक्षण शामिल है।

6. केस स्टडी उदाहरण

परिदृश्य: मातृभाषा जापानी बोलने वालों द्वारा अंग्रेज़ी अधिगम का मॉडलिंग

प्रक्रिया:

1. चरण 1: जापानी सीडीएस डेटा (5M टोकन) पर प्रशिक्षण
2. चरण 2: अंग्रेज़ी शैक्षिक सामग्री (3M टोकन) पर फ़ाइन-ट्यूनिंग
3. मूल्यांकन: BLiMP अंग्रेज़ी व्याकरण कार्यों पर परीक्षण

निष्कर्ष: मॉडल ने विशेष रूप से कर्ता-क्रिया सहमति और आर्टिकल उपयोग में, जापानी ईएसएल शिक्षार्थियों के लिए दस्तावेज़ीकृत चुनौतियों को दर्पण करते हुए, विशिष्ट नकारात्मक स्थानांतरण पैटर्न प्रदर्शित किए।

7. भविष्य के अनुप्रयोग

शैक्षिक प्रौद्योगिकी: व्यक्तिगत भाषा सीखने की प्रणालियाँ जो शिक्षार्थी की एल1 के आधार पर विशिष्ट स्थानांतरण चुनौतियों का पूर्वानुमान लगाती हैं।

नैदानिक अनुप्रयोग: भाषा विकारों के लिए नैदानिक उपकरण जो स्थानांतरण प्रभावों और वास्तविक हानि के बीच अंतर करते हैं।

बहुभाषी एआई: बहुभाषी मॉडलों के लिए बेहतर प्रशिक्षण रणनीतियाँ जो अंतर-भाषाई हस्तक्षेप को ध्यान में रखती हैं।

अनुसंधान दिशाएँ: अधिक भाषा जोड़े तक विस्तार, स्वनिम संबंधी स्थानांतरण का समावेश, और सीखने के दौरान वास्तविक-समय अनुकूलन।

8. संदर्भ

1. Papadimitriou, I., & Jurafsky, D. (2020). Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models. EMNLP.
2. Warstadt, A., et al. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs for English. TACL.
3. Jarvis, S., & Pavlenko, A. (2007). Crosslinguistic Influence in Language and Cognition. Routledge.
4. Conneau, A., et al. (2017). Supervised Learning of Universal Sentence Representations from Natural Language Inference Data. EMNLP.
5. Berzak, Y., et al. (2014). Reconstructing Native Language Typology from Foreign Language Usage. CoNLL.
6. Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

9. विशेषज्ञ विश्लेषण