یادگیری زبان دوم در مدل‌های زبانی عصبی: یک تحلیل زبان‌شناختی

1. مقدمه و مرور کلی

این پژوهش به بررسی یادگیری زبان دوم در مدل‌های زبانی عصبی می‌پردازد و تمرکز را از مطالعه متعارف فراگیری زبان اول آن‌ها تغییر می‌دهد. پرسش پژوهشی اصلی این است: فراگیری زبان اول یک مدل زبانی چگونه بر کارایی و ماهیت فراگیری دستور زبان بعدی آن در زبان دوم تأثیر می‌گذارد؟ این مطالعه یک سناریوی یادگیری زبان دوم شبیه‌سازیشده به انسان را برای مدل‌های زبانی دو زبانه طراحی می‌کند، ابتدا آن‌ها را بر روی یک زبان اول (فرانسوی، آلمانی، روسی، ژاپنی) پیش‌آموزش می‌دهد و سپس آن‌ها را در معرض انگلیسی به عنوان زبان دوم قرار می‌دهد. هدف، تحلیل انتقال بین‌زبانی از منظر زبان‌شناختی است، با استفاده از آزمون‌های قضاوت دستوری برای ارزیابی تعمیم نحوی، فراتر از معیارهای کلی مانند پرپلکسیتی.

2. روش‌شناسی و رویه آزمایشی

خط‌مشی آزمایشی، مسیر یادگیری زبان دوم انسان را با مواجهه کنترل‌شده داده تقلید می‌کند.

3. سوگیری‌های استقرایی و روش‌های آموزش زبان دوم

آزمایش‌های اولیه مقایسه کردند که چگونه پیکربندی‌های مختلف داده آموزش زبان دوم بر سرعت و کیفیت فراگیری تأثیر می‌گذارند.

4. نتایج و تحلیل اصلی آزمایش

یافته‌های اصلی، تأثیرات قابل توجه زبان اول بر فراگیری زبان دوم در مدل‌های زبانی را آشکار می‌کنند.

5. تحلیل فرآیند فراگیری زبان دوم

6. جزئیات فنی و چارچوب ریاضی

هسته مدل زبانی بر اساس معماری ترنسفورمر و هدف مدل‌سازی زبان پوشیده است. در طول پیش‌آموزش زبان اول، مدل با پیش‌بینی توکن‌های تصادفی پوشیده $w_t$ در یک دنباله $\mathbf{x} = (w_1, ..., w_T)$ بر اساس بافت آن‌ها یاد می‌گیرد. هدف، بیشینه‌کردن درست‌نمایی لگاریتمی است: $$\mathcal{L}_{MLM} = \mathbb{E}_{\mathbf{x} \sim \mathcal{D}} \sum_{t \in M} \log P(w_t | \mathbf{x}_{\backslash t}; \theta)$$ که در آن $M$ مجموعه موقعیت‌های پوشیده است، $\mathcal{D}$ پیکره زبان اول است و $\theta$ پارامترهای مدل هستند. در طول فراگیری زبان دوم، این هدف بر روی پیکره زبان دوم $\mathcal{D}_{L2}$ اعمال می‌شود، که از پارامترهای $\theta_{L1}$ شروع شده و به $\theta_{L1+L2}$ ریزتنظیم می‌شود. قضاوت دستوری روی BLiMP از نمرات احتمال نسبی مدل برای یک جفت کمینه $(s_{grammatical}, s_{ungrammatical})$ استفاده می‌کند: $$P(s_{grammatical}) > P(s_{ungrammatical})$$ که در آن $P(s) = \prod_{t=1}^{T} P(w_t | w_{

7. نتایج و توصیف نمودار

شکل ۱ (نمودار رویه آزمایشی): نمودار به صورت بصری خط‌مشی سه مرحله‌ای را ترسیم می‌کند. از چپ به راست: ۱) چندین جعبه با برچسب «مدل زبانی به فرانسوی»، «مدل زبانی به آلمانی» و غیره، که نشان‌دهنده مدل‌های مختلف زبان اول پس از پیش‌آموزش هستند. ۲) یک پیکان با برچسب «مواجهه با زبان دوم (انگلیسی)» از این مدل‌ها به یک جعبه مرکزی حاوی متن «پیکره» و آیکون معیار BLiMP اشاره می‌کند. ۳) یک پیکان دیگر با برچسب «آزمون دانش زبان دوم» از جعبه مرکزی به یک جعبه نهایی که نتیجه ارزیابی «Aa» (احتمالاً نشان‌دهنده نمرات دقت) را نشان می‌دهد، اشاره می‌کند. نمودار به طور مؤثری تنظیمات مقایسه‌ای را انتقال می‌دهد که در آن مدل‌های با پایه زبان اول متفاوت، تحت یک رژیم یادگیری و ارزیابی زبان دوم یکسان قرار می‌گیرند.

نمایش بصری نتیجه کلیدی (ضمنی): اگرچه در متن ارائه‌شده به صراحت نموداربندی نشده است، نتایج معمولاً در نمودارهای میله‌ای یا خطی نشان داده می‌شوند که: ۱) نمرات دقت BLiMP برای انگلیسی (زبان دوم) روی محور y، گروه‌بندی شده بر اساس زبان اول مدل (فرانسوی، آلمانی، روسی، ژاپنی) روی محور x، که به وضوح مزیت فرانسوی/آلمانی را نشان می‌دهد. ۲) یک نمودار خطی که دقت زبان دوم (محور y) را در طول دوره‌ها/تکرارهای آموزش (محور x) برای مدل‌های مختلف زبان اول نشان می‌دهد، که منحنی یادگیری کند و ناکارآمد از نظر داده را نشان می‌دهد. ۳) یک نمودار میله‌ای گروه‌بندی‌شده که نشان‌دهنده دستاوردهای دقت از پیش‌آموزش زبان اول برای زیردسته‌های مختلف BLiMP (ریخت‌شناسی، نحو، معناشناسی و غیره) است، که دستاوردهای بزرگ‌تر برای پدیده‌های نحوی صوری را برجسته می‌کند.

8. چارچوب تحلیل: یک مورد نمونه

مطالعه موردی: تحلیل انتقال زبان اول-دوم برای مطابقت فاعل-فعل

۱. پدیده: انگلیسی نیازمند تصریف فعل برای مطابقت با شمار فاعل است (مثلاً «The dog runs» در مقابل «The dogs run»).

۲. فرضیه تأثیر زبان اول: یک مدل زبانی پیش‌آموزش‌دیده بر فرانسوی (که دارای مطابقت غنی فاعل-فعل است) ممکن است در مقایسه با مدلی پیش‌آموزش‌دیده بر ژاپنی (که فاقد تصریف فعل برای شمار است)، بازنمایی نهفته قوی‌تری برای مفهوم «مطابقت» بین عناصر جمله داشته باشد. این سوگیری ساختاری انتزاعی می‌تواند یادگیری تحقق خاص این قاعده در انگلیسی را تسهیل کند.

۳. آزمایش با BLiMP: مدل با جفت‌های کمینه مانند زیر مواجه می‌شود:
دستوری: The key to the cabinets *is* on the table.
غیردستوری: The key to the cabinets *are* on the table.
مدل باید احتمال بالاتری به جمله دستوری اختصاص دهد.

۴. نتیجه مورد انتظار: پیش‌بینی می‌شود که مدل با زبان اول فرانسوی، در اوایل آموزش زبان دوم، دقت بالاتری در این زیرمجموعه BLiMP نسبت به مدل با زبان اول ژاپنی کسب کند، که نشان‌دهنده انتقال مثبت یک مفهوم دستوری انتزاعی است.

۵. کاربرد چارچوب: این مورد را می‌توان با سنجش بازنمایی‌های داخلی مدل (مثلاً با استفاده از طبقه‌بندهای تشخیصی) پس از آموزش زبان اول صورتبندی کرد تا ببینیم آیا یک آشکارساز «مطابقت شمار» را می‌توان به راحتی بیشتر از تعبیه‌های مدل با زبان اول فرانسوی آموزش داد. سپس، ردیابی منحنی عملکرد روی مطابقت انگلیسی در طول آموزش زبان دوم، سود انتقال را کمّی می‌کند.

9. چشم‌انداز کاربردی و جهت‌های آینده

• آموزش کارآمد مدل‌های چندزبانه: بینش‌ها می‌توانند راهبردهای یادگیری برنامه‌درسی را هدایت کنند—پیش‌آموزش بر روی زبان‌های «مجاور» از نظر زبانی قبل از هدف‌گیری زبان‌های دور، برای بهبود کارایی نمونه و عملکرد نهایی.
• ابزارهای شخصی‌سازی‌شده یادگیری زبان: مربیان هوش مصنوعی می‌توانند محتوای آموزشی را بر اساس زبان مادری یادگیرنده تطبیق دهند، بر حوزه‌های دستوری که احتمال انتقال منفی در آن‌ها وجود دارد تأکید کنند (الهام‌گرفته از تحلیل تقابلی).
• کاهش فراموشی فاجعه‌بار: کار آینده باید به مسئله زوال زبان اول در طول یادگیری زبان دوم بپردازد. تکنیک‌هایی از یادگیری مستمر (مانند تثبیت وزن الاستیک، بازپخش تجربه) می‌توانند ادغام شوند تا مدل‌هایی ایجاد شوند که شایستگی چندزبانه پایدار را حفظ کنند.
• سنجه‌های زبان‌شناختی عمیق‌تر: گسترش تحلیل فراتر از نحو به کاربردشناسی، گفتمان و شایستگی جامعه‌شناختی زبانی در فراگیری زبان دوم مدل‌های زبانی.
• فراگیری زبان دوم چندوجهی: بررسی چگونگی فراگیری یک «زبان دوم» توسط مدل‌های بینایی-زبان در یک بافت چندوجهی.

10. منابع

1. Oba, M., Kuribayashi, T., Ouchi, H., & Watanabe, T. (2023). Second Language Acquisition of Neural Language Models. arXiv preprint arXiv:2306.02920.
2. Brown, T. B., et al. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 33, 1877-1901.
3. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30.
4. Chiswick, B. R., & Miller, P. W. (2004). Linguistic Distance: A Quantitative Measure of the Distance Between English and Other Languages. Journal of Multilingual and Multicultural Development, 26(1), 1-11.
5. Warstadt, A., Singh, A., & Bowman, S. R. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs. Proceedings of the Society for Computation in Linguistics, 3(1), 217-229.
6. Devlin, J., et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019.
7. Kirkpatrick, J., et al. (2017). Overcoming catastrophic forgetting in neural networks. Proceedings of the National Academy of Sciences, 114(13), 3521-3526.

11. تحلیل اصلی و تفسیر کارشناسی