SLABERT: مدلسازی فراگیری زبان دوم با BERT

1. مقدمه

این مقاله به شکاف مهمی در پژوهش پردازش زبان طبیعی (NLP) می‌پردازد: مدلسازی نظام‌مند انتقال بین‌زبانی منفی در فراگیری زبان دوم (SLA). در حالی که NLP به‌طور گسترده انتقال مثبت را برای وظایفی مانند پیش‌آموزش مدل‌های چندزبانه مطالعه کرده است، تأثیرات زیانبار زبان مادری (L1) گوینده بر یادگیری یک زبان خارجی (L2) همچنان کمتر بررسی شده است. نویسندگان SLABERT (Second Language Acquisition BERT) را معرفی می‌کنند، یک چارچوب نوین که یادگیری زبانی متوالی را برای بررسی همزمان اثرات انتقال تسهیل‌کننده و تداخلی مدل می‌کند و از داده‌های معتبر بوم‌شناختی گفتار کودک‌محور (CDS) استفاده می‌نماید.

2. پیشینه و کارهای مرتبط

3. چارچوب SLABERT

4. تنظیمات آزمایشی و نتایج

5. تحلیل فنی و بینش‌های کلیدی

6. جزئیات فنی و فرمول‌بندی ریاضی

هسته روش‌شناسی TILT/SLABERT شامل اندازه‌گیری اثر انتقال است. فرض کنید $M_{L1}$ مدلی باشد که بر روی زبان L1 پیش‌آموزش دیده و سپس بر روی انگلیسی (L2) تنظیم دقیق شده است. فرض کنید $M_{\emptyset}$ مدلی باشد که فقط بر روی انگلیسی آموزش دیده است (خط پایه). فرض کنید $\mathcal{B}$ مجموعه ارزیابی BLiMP را نشان دهد و $\text{Score}(M, \mathcal{B})$ میانگین دقت مدل بر روی آن باشد.

اثر انتقال $\Delta_{L1}$ به صورت زیر محاسبه می‌شود:

$$\Delta_{L1} = \text{Score}(M_{L1}, \mathcal{B}) - \text{Score}(M_{\emptyset}, \mathcal{B})$$

مقدار مثبت $\Delta_{L1}$ نشان‌دهنده انتقال مثبت (تسهیل) است، در حالی که مقدار منفی $\Delta_{L1}$ نشان‌دهنده انتقال منفی (تداخل) است. ادعای مرکزی مقاله این است که $\Delta_{L1}$ تابعی از فاصله گونه‌شناختی $d(L1, L2)$ است:

$$\Delta_{L1} \approx f(d(L1, L2)) \quad \text{که در آن} \quad \frac{\partial f}{\partial d} < 0$$

این رابطه به صورت تجربی با استفاده از متریک‌های فاصله از پایگاه‌های داده زبان‌شناسی مانند WALS (اطلس جهانی ساختارهای زبانی) اعتبارسنجی شده است.

7. چارچوب تحلیل: نمونه موردی

مطالعه موردی: پیش‌بینی خطاهای حرف تعریف برای یادگیرندگان با L1 ژاپنی

گام ۱ - تحلیل L1: زبان ژاپنی فاقد حروف تعریف اجباری («یک»، «the») است. موضوع و معین بودن را از طریق روش‌های دیگر (مانند نشانه «wa») مشخص می‌کند.

گام ۲ - شبیه‌سازی SLABERT: یک مدل BERT بر روی CDS ژاپنی (MAO-CHILDES-JP) پیش‌آموزش می‌بیند و یاد می‌گیرد که معین بودن با کلمات اختصاصی قبل از اسمها نشان داده نمی‌شود. سپس بر روی متن انگلیسی تنظیم دقیق می‌شود.

گام ۳ - پیش‌بینی: در طول تنظیم دقیق انگلیسی، مدل باید سوگیری اولیه خود را بازنویسی کند. چارچوب SLABERT پیش‌بینی می‌کند که این کار دشوار خواهد بود و منجر به انتقال منفی می‌شود. هنگام ارزیابی بر روی زیرآزمون‌های BLiMP برای استفاده از حروف تعریف (مانند مطابقت حرف تعریف-اسم)، $M_{Japanese}$ عملکرد به مراتب بدتری نسبت به $M_{\emptyset}$ خواهد داشت.

گام ۴ - همبستگی انسانی: این موضوع مستقیماً خطای رایجی را بازتاب می‌دهد که در آن یادگیرندگان ژاپنی انگلیسی حروف تعریف را حذف می‌کنند (مانند «I went to *store»). نقطه شکست مدل، یک آسیب‌پذیری خاص و نظریه‌محور را شناسایی می‌کند.

این یک مورد «بدون کد» است که نشان می‌دهد چارچوب چگونه نظریه زبان‌شناسی (گام ۱) را به مسیر یادگیری مدل (گام ۲ و ۳) و سپس به یک پیش‌بینی قابل آزمون درباره الگوهای خطای شبه-انسانی (گام ۴) متصل می‌کند.

8. کاربردهای آتی و جهت‌های پژوهشی

• هوش مصنوعی یادگیری زبان شخصی‌شده: توسعه مربیانی که چالش‌های خاص L1 یادگیرنده را از پیش تشخیص می‌دهند و برنامه درسی را به صورت بلادرنگ تطبیق می‌دهند، مشابه نحوه عملکرد آزمون‌های تطبیقی اما برای مسیرهای اکتساب زبان.
• بهبود پیش‌آموزش مدل چندزبانه: اطلاع‌رسانی برنامه‌های ترکیب داده. به جای نمونه‌برداری یکنواخت، می‌توان یادگیری برنامه‌درسی را اعمال کرد: با زبان‌های گونه‌شناختی نزدیک به هدف شروع کنید، به تدریج زبان‌های دورتر را معرفی کنید تا تداخل فاجعه‌بار به حداقل برسد.
• کشف گونه‌شناسی زبانی: استفاده از الگوهای انتقال منفی/مثبت در مدل‌ها در میان جفت زبان‌های زیاد برای استنباط ویژگی‌ها یا فواصل گونه‌شناختی نهفته، که به طور بالقوه می‌تواند روابطی را کشف کند که هنوز در منابعی مانند WALS فهرست نشده‌اند.
• مدلسازی اکتساب غیرمعمول: گسترش چارچوب برای شبیه‌سازی اکتساب تحت شرایط مختلف، مانند اکتساب دو زبان اول همزمان یا اکتساب یک زبان سوم (L3)، که در آن انتقال می‌تواند هم از L1 و هم از L2 سرچشمه بگیرد.
• ادغام با داده گفتار و چندوجهی: گنجاندن انتقال واجی با استفاده از CDS مبتنی بر گفتار، مدلسازی لهجه و تداخل تلفظ، که جزء اصلی فراگیری زبان دوم انسانی است و اغلب در NLP مبتنی بر متن نادیده گرفته می‌شود.

9. منابع

1. Jarvis, S., & Pavlenko, A. (2007). Crosslinguistic influence in language and cognition. Routledge.
2. Papadimitriou, I., & Jurafsky, D. (2020). Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP).
3. Conneau, A., et al. (2019). Unsupervised Cross-lingual Representation Learning at Scale. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL).
4. Warstadt, A., et al. (2020). BLiMP: The Benchmark of Linguistic Minimal Pairs for English. Transactions of the Association for Computational Linguistics.
5. Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems (NeurIPS). [منبع معتبر خارجی درباره معماری ترنسفورمر]
6. Berzak, Y., et al. (2014). How to train your language model: A study of the effect of input data on language model acquisition. Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (ACL).
7. Dryer, M. S., & Haspelmath, M. (Eds.). (2013). The World Atlas of Language Structures Online. Max Planck Institute for Evolutionary Anthropology. [منبع معتبر خارجی برای فاصله گونه‌شناختی]

تحلیل اصلی: پل زدن بین مدل‌های محاسباتی و شناخت انسانی

مقاله SLABERT گامی محوری به سوی همسو کردن زبان‌شناسی محاسباتی با نظریه‌های شناختی اکتساب زبان است. برای مدت‌ها طولانی، رویکرد NLP به چندزبانه‌گرایی تحت سلطه پارادایم «پیکره موازی» بوده است - آموزش بر روی متن‌های عظیم و همزمان در چندین زبان برای دستیابی به شایستگی ایستا و همه‌زبانی. این با نحوه یادگیری زبان‌ها توسط انسان‌ها به شدت متفاوت است: به صورت متوالی، با اینکه زبان اول به طور عمیقی اکتساب زبان دوم را شکل می‌دهد، اغلب از طریق تضاد. همانطور که در ادبیات بنیادین SLA توسط پژوهشگرانی مانند جارویس و پاولنکو خاطرنشان شده است، این تضاد (انتقال منفی) صرفاً خطا نیست، بلکه پنجره‌ای به معماری شناختی زیربنایی است. نبوغ SLABERT در این است که یک مدل ترنسفورمر را مجبور می‌کند تا در این تنگنای متوالی شبه-انسانی قرار گیرد و شکاف‌های قابل پیش‌بینی که ظاهر می‌شوند را مشاهده کند.

از نظر فنی، دستاورد مقاله دوگانه است. اول، یک پدیده شناختی پیچیده را با استفاده از یک ابزار NLP تثبیت‌شده (TILT) عملیاتی می‌کند. فرمول‌بندی ریاضی اثر انتقال ($\Delta_{L1}$) ساده اما قدرتمند است و متریکی واضح برای مفهومی که قبلاً کیفی بود فراهم می‌کند. دوم، ایجاد مجموعه داده MAO-CHILDES به یک مسئله حیاتی اعتبار بوم‌شناختی می‌پردازد. آموزش بر روی متن‌های خزیده شده از وب، همانطور که برای مدل‌هایی مانند GPT-3 یا PaLM انجام می‌شود، سوگیری‌هایی به سمت زبان رسمی و ویرایش‌شده ایجاد می‌کند. CDS، همانطور که در اینجا استفاده شده است، «داده پیش‌آموزش» واقعی برای اکتساب زبان انسانی است - درهم‌برهم، تکراری و داربست‌بندی شده. این انتخاب، یافته‌های روانشناسی رشد را بازتاب می‌دهد و مسیر یادگیری مدل را از نظر شناختی معقول‌تر می‌سازد.

با این حال، مدل همچنان یک ساده‌سازی است. فاقد حلقه‌های تقویت تعامل اجتماعی و اثرات دوره حساس مشاهده‌شده در یادگیرندگان انسانی است. مقایسه آن با دیگر مدل‌های برجسته آموزنده است. در حالی که مدل‌های سبک CycleGAN با یافتن یک فضای نهان مشترک از طریق تابع زیان متخاصم ($\min_G \max_D V(D, G)$) یاد می‌گیرند تا بین حوزه‌ها ترجمه کنند، انتقال در SLABERT درباره ترجمه نیست، بلکه درباره سازگاری متوالی است، با زیانی که از تضاد معماری ناشی می‌شود نه از یک متمایزکننده. تداخل مشاهده‌شده بیشتر شبیه «فراموشی فاجعه‌بار» در یادگیری مداوم است، اما در اینجا سیگنال مطلوب است، نه مشکلی که باید حل شود.

جذاب‌ترین پیامد برای آینده آموزش کمک‌شده توسط هوش مصنوعی است. با نقشه‌برداری از «منظره تداخل» بین زبان‌ها، می‌توانیم فراتر از اپلیکیشن‌های زبانی یک‌اندازه-برای-همه حرکت کنیم. پلتفرمی را تصور کنید که با دانستن اینکه L1 شما ترکی است، از روز اول شما را به طور پیشگیرانه روی ترتیب کلمات انگلیسی و استفاده از حروف تعریف تمرین می‌دهد، زیرا مدل پیش‌بینی می‌کند که این‌ها نقاط درد اصلی شما خواهند بود. این پژوهش ستون فقرات محاسباتی برای چنین ابزارهای یادگیری نظریه‌محور و فوق‌شخصی‌شده را فراهم می‌کند. هدف را از ساختن هوش‌های مصنوعی چندزبانه به ساختن هوش‌های مصنوعی‌ای تغییر می‌دهد که سفر دشوار، غیرخطی و عمیقاً شخصی دوزبانه شدن را درک می‌کنند.