اسلابرت: مدلسازی فراگیری زبان دوم با استفاده از برت

فهرست مطالب

1. مقدمه

این پژوهش به شکاف موجود در ادبیات پردازش زبان طبیعی در مورد انتقال منفی بین‌زبانی در فراگیری زبان دوم می‌پردازد. در حالی که انتقال مثبت مورد توجه قرار گرفته است، انتقال منفی—جایی که ساختارهای زبان مادری مانع فراگیری زبان دوم می‌شوند—هنوز به‌خوبی مطالعه نشده است. این مقاله اسلابرت را معرفی می‌کند، یک چارچوب نوآورانه برای مدل‌سازی فراگیری زبان دوم ترتیبی با استفاده از معماری برت.

2. روش‌شناسی

2.1 چارچوب اسلابرت

چارچوب فراگیری زبان دوم برت، با آموزش مدل‌ها ابتدا بر روی داده‌های زبان مادری و سپس بر روی داده‌های زبان هدف، توالی یادگیری زبان شبیه به انسان را شبیه‌سازی می‌کند. این آموزش ترتیبی، الگوهای فراگیری طبیعی را تقلید می‌کند.

2.2 مجموعه داده‌ی MAO-CHILDES

مجموعه داده‌ی چندزبانه‌ی مرتب‌شده بر اساس سن CHILDES شامل پنج زبان متنوع از نظر گونه‌شناسی است: آلمانی، فرانسوی، لهستانی، اندونزیایی و ژاپنی. این مجموعه داده، شامل داده‌های گفتار کودک‌محور است که مواد آموزشی معتبر از نظر بوم‌شناسی را فراهم می‌کند.

2.3 رویکرد مبتنی بر TILT

از روش آزمون سوگیری استقرایی از طریق انتقال مدل زبانی که توسط پاپادیمتریو و جورافسکی (۲۰۲۰) پایه‌گذاری شده است، برای اندازه‌گیری اثرات انتقال بین جفت زبان‌ها استفاده می‌کند.

3. طرح آزمایش

3.1 انتخاب زبان

زبان‌ها بر اساس تنوع گونه‌شناسی انتخاب شدند تا فرضیه‌ی اینکه فاصله‌ی خانواده‌ی زبانی انتقال منفی را پیش‌بینی می‌کند، آزمایش شود. این انتخاب شامل زبان‌های هندواروپایی (آلمانی، فرانسوی، لهستانی) و غیر هندواروپایی (اندونزیایی، ژاپنی) است.

3.2 فرآیند آموزش

مدل‌ها ابتدا بر روی داده‌های گفتار کودک‌محور زبان مادری پیش‌آموزش دیدند، سپس بر روی داده‌های زبان دوم انگلیسی تنظیم دقیق شدند. گروه‌های کنترل شامل مدل‌هایی بودند که تنها بر روی داده‌های زبان دوم و مدل‌هایی که بر روی داده‌های ترکیبی زبان مادری و زبان دوم آموزش دیده بودند.

3.3 معیارهای ارزیابی

عملکرد با استفاده از مجموعه آزمون دستور BLiMP (معیار جفت‌های کمینه‌ی زبانی برای انگلیسی) ارزیابی شد که دقت را در ۶۷ پدیده‌ی نحوی اندازه‌گیری می‌کند.

4. نتایج و تحلیل

4.1 تحلیل اثرات انتقال

نتایج، هر دو اثر انتقال مثبت و منفی را نشان می‌دهد. مدل‌هایی که بر روی زبان‌های مادری از نظر گونه‌شناسی مشابه (مانند آلمانی) پیش‌آموزش دیده بودند، در مقایسه با آنهایی که بر روی زبان‌های مادری دور (مانند ژاپنی) پیش‌آموزش دیده بودند، فراگیری انگلیسی بهتری نشان دادند.

4.2 همبستگی فاصله‌ی زبانی

همبستگی قوی (r = ۰.۷۸) بین فاصله‌ی خانواده‌ی زبانی و اثرات انتقال منفی مشاهده شد. فاصله‌ی گونه‌شناسی بیشتر، تداخل بیشتری را در فراگیری زبان دوم پیش‌بینی می‌کند.

4.3 مقایسه داده‌های گفتاری

داده‌های گفتار محاوره‌ای در مقایسه با داده‌های گفتار از پیش نوشته شده، ۱۲.۴٪ تسهیل بیشتر برای فراگیری زبان نشان دادند که اعتبار بوم‌شناختی گفتار کودک‌محور را تأیید می‌کند.

5. پیاده‌سازی فنی

5.1 چارچوب ریاضی

اثر انتقال $T_{L1→L2}$ به عنوان تفاوت عملکرد بین مدل‌های آموزش‌دیده به صورت ترتیبی و مدل‌های پایه‌ای که تنها بر زبان دوم آموزش دیده‌اند، کمّی‌سازی می‌شود:

$T_{L1→L2} = P_{seq}(L2|L1) - P_{base}(L2)$

که در آن $P_{seq}$ نشان‌دهنده عملکرد مدل‌های آموزش‌دیده به صورت ترتیبی و $P_{base}$ نشان‌دهنده عملکرد پایه است.

5.2 معماری مدل

بر اساس معماری برت-بیس با ۱۲ لایه ترنسفورمر، ۷۶۸ بعد پنهان و ۱۲ هد توجه. برنامه آموزشی اصلاح‌شده شامل یادگیری دو مرحله‌ای با نرخ‌های یادگیری متفاوت برای مراحل زبان مادری و زبان دوم است.

6. مثال مطالعه موردی

سناریو: مدل‌سازی فراگیری انگلیسی توسط گویشوران بومی ژاپنی

فرآیند:

1. فاز ۱: آموزش بر روی داده‌های گفتار کودک‌محور ژاپنی (۵ میلیون توکن)
2. فاز ۲: تنظیم دقیق بر روی مواد آموزشی انگلیسی (۳ میلیون توکن)
3. ارزیابی: آزمون بر روی وظایف دستور انگلیسی BLiMP

یافته‌ها: مدل الگوهای مشخص انتقال منفی را نشان داد، به ویژه در توافق فاعل-فعل و کاربرد حرف تعریف، که چالش‌های مستندشده برای زبان‌آموزان ژاپنی انگلیسی را بازتاب می‌دهد.

7. کاربردهای آینده

فناوری آموزشی: سیستم‌های شخصی‌سازی‌شده یادگیری زبان که چالش‌های انتقال خاص را بر اساس زبان مادری یادگیرنده پیش‌بینی می‌کنند.

کاربردهای بالینی: ابزارهای تشخیصی برای اختلالات زبانی که بین اثرات انتقال و اختلال واقعی تمایز قائل می‌شوند.

هوش مصنوعی چندزبانه: استراتژی‌های آموزشی بهبودیافته برای مدل‌های چندزبانه که تداخل بین‌زبانی را در نظر می‌گیرند.

جهت‌های تحقیقاتی: گسترش به جفت زبان‌های بیشتر، ادغام انتقال واج‌شناسی و سازگاری بلادرنگ در حین یادگیری.

8. مراجع

1. Papadimitriou, I., & Jurafsky, D. (2020). Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models. EMNLP.
2. Warstadt, A., et al. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs for English. TACL.
3. Jarvis, S., & Pavlenko, A. (2007). Crosslinguistic Influence in Language and Cognition. Routledge.
4. Conneau, A., et al. (2017). Supervised Learning of Universal Sentence Representations from Natural Language Inference Data. EMNLP.
5. Berzak, Y., et al. (2014). Reconstructing Native Language Typology from Foreign Language Usage. CoNLL.
6. Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.

9. تحلیل کارشناسی