مشروع MOSLA: مجموعة بيانات متعددة الوسائط وطويلة الأمد لأبحاث اكتساب اللغة الثانية

1. المقدمة

يُعد اكتساب اللغة الثانية (SLA) عملية معقدة وديناميكية، تمت دراستها تقليديًا من خلال مجموعات بيانات مجزأة أو أحادية الوسائط أو قصيرة الأجل. يتصدى مشروع MOSLA (لحظات اكتساب اللغة الثانية) لهذه القيود من خلال إنشاء مجموعة بيانات رائدة طويلة الأمد ومتعددة الوسائط ومتعددة اللغات وخاضعة للرقابة. يوثق المشروع عملية تعلم المشاركين للغة العربية أو الإسبانية أو الصينية من الصفر على مدار عامين عبر تعليم حصري عبر الإنترنت، مع تسجيل كل درس. توفر مجموعة البيانات هذه، التي تضم أكثر من 250 ساعة من تسجيلات الفيديو والصوت والشاشة، مقترنة بتعليقات شبه آلية، موردًا غير مسبوق لدراسة المسار الدقيق لتعلم اللغة.

2. منهجية جمع البيانات

تم بناء مجموعة بيانات MOSLA وفقًا لبروتوكول صارم وخاضع للرقابة لضمان الاتساق وصحة البحث.

2.1 تجنيد المشاركين واختيار اللغة

تم تجنيد المشاركين لتعلم إحدى اللغات المستهدفة الثلاث: العربية أو الإسبانية أو الماندرين الصينية. يشمل الاختيار لغات ذات أبجديات غير لاتينية (العربية والصينية)، مما يوسع قابلية تطبيق مجموعة البيانات عبر اللغات إلى ما هو أبعد من اللغات الهندية الأوروبية التي تُدرس عادةً.

2.2 بيئة التعلم الخاضعة للرقابة

من السمات التصميمية الرئيسية تفويض التعرض الخاضع للرقابة. وافق المشاركون على تعلم اللغة المستهدفة فقط من خلال الدروس عبر الإنترنت المقدمة طوال مدة الدراسة التي استمرت عامين. يقلل هذا التحكم من المتغيرات المربكة الناتجة عن التعرض الخارجي للغة، مما يسمح بإسناد أكثر وضوحًا لمكاسب الكفاءة إلى طريقة التدريس.

2.3 إعداد التسجيل متعدد الوسائط

تم إجراء جميع الدروس وتسجيلها عبر Zoom، حيث تم التقاط ثلاث تدفقات متزامنة:

• الفيديو: تدفقات كاميرا الويب للمشارك والمعلم.
• الصوت: الصوت الكامل للدرس.
• مشاركة الشاشة: شاشة المعلم المشتركة التي تحتوي على المواد التعليمية والشرائح والتطبيقات.

يشكل هذا الثالوث سجلاً غنياً ومرتبطاً بالسياق لتفاعل التعلم.

3. خط أنابيب تعليق البيانات

تمت معالجة التسجيلات الأولية عبر خط أنابيب شبه آلي لتوليد بيانات وصفية منظمة وقابلة للاستعلام.

3.1 إطار التعليق شبه الآلي

تم إنتاج التعليقات باستخدام نهج هجين بين الإنسان والآلة:

1. تجزئة المتحدثين: تقسيم الصوت إلى مناطق متجانسة للمتحدثين ("من تحدث ومتى؟").
2. تحديد هوية المتحدث: تصنيف المقاطع على أنها 'معلم' أو 'متعلم'.
3. تحديد اللغة: وضع علامات على المقاطع حسب اللغة (مثلًا، اللغة الأم/الإنجليزية مقابل اللغة المستهدفة).
4. التعرف التلقائي على الكلام: توليد نصوص لجميع مقاطع الكلام.

تم إنشاء التعليقات الأولية بواسطة معلقين بشريين، مشكلين مجموعة فرعية قياسية ذهبية استُخدمت لضبط نماذج متطورة.

3.2 ضبط النموذج وتحسين الأداء

تم ضبط النماذج المدربة مسبقًا (مثلًا، للتعرف التلقائي على الكلام، تجزئة المتحدثين) على بيانات MOSLA التي علق عليها البشر. تذكر الورقة البحثية تحسينات كبيرة في الأداء بعد الضبط، مما يثبت قيمة البيانات الخاصة بمجال معين حتى بالنسبة للنماذج الكبيرة المدربة مسبقًا. كانت هذه الخطوة حاسمة لتوسيع نطاق التعليق ليشمل المجموعة الكاملة التي تزيد عن 250 ساعة.

4. التحليل اللغوي ومتعدد الوسائط

تتيح مجموعة البيانات المعلمة إجراء تحليلات جديدة لعملية اكتساب اللغة الثانية.

4.1 مقاييس تطور الكفاءة

تم تحليل الاتجاهات الطويلة الأمد باستخدام مقاييس مثل:

• نسبة استخدام اللغة المستهدفة: النسبة المئوية لتعابير المتعلم باللغة المستهدفة مقابل لغته الأم مع مرور الوقت.
• تنوع المفردات: قياس نمو وتعقيد المفردات (على سبيل المثال، عبر نسبة النوع إلى الرمز).
• طول التعابير وتعقيدها: تتبع تطور التراكيب النحوية.

ترسم هذه المقاييس صورة كمية لتطور الكفاءة خلال رحلة العامين.

4.2 كشف تركيز الشاشة

تضمن تحليل مبتكر بشكل خاص استخدام نماذج التعلم العميق متعددة الوسائط للتنبؤ بمنطقة تركيز المتعلم على الشاشة المشتركة من إشارات الفيديو والصوت غير المعلمة فقط. من خلال ربط الإشارات الصوتية (مثلًا، مناقشة كلمة محددة) بمحتوى الشاشة، يمكن للنموذج استنتاج ما ينظر إليه المتعلم، مما يوفر رؤى حول الانتباه والمشاركة.

5. الرؤية الأساسية ومنظور المحلل

الرؤية الأساسية: مشروع MOSLA ليس مجرد مجموعة بيانات أخرى؛ إنه خطوة بنية تحتية أساسية تكشف الفجوة الحرجة بين دراسات اكتساب اللغة الثانية المنعزلة واللقطات السريعة وبين واقع التعلم الفوضوي والمستمر. تكمن قيمته المقترحة في طوليته الخاضعة للرقابة - وهي ميزة نادرة بقدر ما هي أساسية. بينما تقوم مشاريع مثل مجموعة بيانات Mozilla Common Voice بتعميم بيانات الكلام، فإنها تفتقر إلى مسار التعلم المنظم والسياق متعدد الوسائط الذي يوفره MOSLA. وبالمثل، ركزت المهمة المشتركة BEA-2019 على كفاءة الكتابة المنعزلة، مما يعني إغفال البعد التفاعلي الغني الذي تم التقاطه هنا.

التدفق المنطقي: منطق المشروع خطي بأناقة: 1) تحديد فراغ منهجي (نقص بيانات اكتساب اللغة الثانية الطويلة الأمد والمتعددة الوسائط والخاضعة للرقابة)، 2) هندسة حل (بروتوكول مشارك صارم + تسجيل Zoom)، 3) حل مشكلة التوسع (تعليق التعلم الآلي مع تدخل بشري)، و 4) إثبات الفائدة (التحليل اللغوي + مهام جديدة متعددة الوسائط). يمثل خط الأنابيب الشامل هذا من إنشاء البيانات إلى التطبيق مخططًا لعلوم التعلم التجريبية.

نقاط القوة والضعف: القوة لا يمكن إنكارها: الحجم، والرقابة، وثراء الوسائط المتعددة. إنه حلم الباحث لدراسة الديناميكيات الزمنية. ومع ذلك، تكمن العيوب في المقايضات. البيئة "الخاضعة للرقابة" هي أيضًا أكبر مصطنع لها - اكتساب اللغة في العالم الحقيقي غير خاضع للرقابة بشكل مجيد. قد يحدد حجم العينة، رغم إنشائه لمجموعة بيانات طولية عميقة، إمكانية التعميم عبر مجموعات المتعلمين المتنوعة. علاوة على ذلك، يظل الحاجز التقني لاستخدام مجموعة بيانات متعددة الوسائط معقدة كهذه مرتفعًا، مما قد يحد من اعتمادها الفوري.

رؤى قابلة للتنفيذ: بالنسبة للباحثين، فإن الإجراء الفوري هو استكشاف مجموعة البيانات المفتوحة هذه. بالنسبة لشركات تكنولوجيا التعليم، فإن الرؤية هي الانتقال إلى ما هو أبعد من مقاييس الإكمال البسيطة ونمذجة عملية التعلم كما يفعل MOSLA. تشير تجربة كشف تركيز الشاشة وحدها إلى مستقبل تستنتج فيه منصات التعلم المشاركة المعرفية في الوقت الفعلي. الهدف الأكبر هو أن يتحول المجال من "الصور" المقطعية إلى "الأفلام" الطويلة الأمد للتعلم. لقد بنى MOSLA الكاميرا؛ حان الوقت الآن للمجتمع لبدء صنع الأفلام.

6. تفاصيل التنفيذ التقني

يعتمد خط أنابيب التعليق على عدة نماذج للتعلم الآلي. يمكن صياغة نظرة مبسطة لمهمة تجزئة وتحديد هوية المتحدث كمشكلة تحسين. لنفترض أن $X = \{x_1, x_2, ..., x_T\}$ تمثل تسلسل ميزات الصوت. الهدف هو العثور على تسلسل تسميات المتحدث $S = \{s_1, s_2, ..., s_T\}$ وهويات المتحدثين $Y = \{y_1, y_2, ..., y_K\}$ التي تعظم الاحتمال اللاحق:

$P(S, Y | X) \propto P(X | S, Y) \cdot P(S) \cdot P(Y)$

حيث:

• $P(X | S, Y)$ هو احتمالية ميزات الصوت بشرط مقاطع المتحدثين وهوياتهم، غالبًا ما يتم نمذجتها باستخدام نماذج خليط غاوسي (GMMs) أو تضمينات الشبكات العصبية العميقة مثل x-vectors.
• $P(S)$ هو توزيع احتمالي مسبق لديناميكيات دور المتحدث، يشجع على الاستمرارية الزمنية (مثلًا، باستخدام نموذج ماركوف المخفي).
• $P(Y)$ يمثل المعرفة المسبقة بهويات المتحدثين (المعلم مقابل المتعلم).

يُحسن الضبط على بيانات MOSLA بشكل أساسي تقدير $P(X | S, Y)$ من خلال تكييف النموذج الصوتي (مثل مستخرج x-vector) مع الظروف الصوتية المحددة وخصائص المتحدثين في الفصل الدراسي عبر الإنترنت.

7. النتائج التجريبية والاستنتاجات

تقدم الورقة البحثية النتائج الرئيسية من تحليل مجموعة بيانات MOSLA:

• مسارات الكفاءة: تُظهر الرسوم البيانية زيادة واضحة وغير خطية في نسبة استخدام اللغة المستهدفة من قبل المتعلمين مع مرور الوقت، مع وجود مراحل استقرار وقفزات تتوافق مع وحدات تعليمية مختلفة. تُظهر مقاييس تنوع المفردات اتجاهًا تصاعديًا ثابتًا، يتسارع بعد الأشهر الستة الأولى.
• مكاسب أداء النموذج: أدى ضبط نموذج Wav2Vec2.0 المدرب مسبقًا للتعرف التلقائي على الكلام على 10 ساعات فقط من نصوص MOSLA البشرية إلى تقليل معدل الخطأ في الكلمات (WER) بأكثر من 35٪ على بيانات MOSLA المحجوزة مقارنة بالنموذج الأساسي. تم الإبلاغ عن تحسينات كبيرة مماثلة لمهام تحديد المتحدث واللغة.
• كشف تركيز الشاشة: تم تدريب نموذج متعدد الوسائط (مثلًا، محول رؤية لإطارات الشاشة مقترنًا بمشفر صوتي) لتصنيف منطقة تركيز الشاشة الواسعة (مثلًا، "نص الشريحة"، "فيديو"، "السبورة البيضاء"). حقق النموذج دقة أعلى بكثير من الصدفة، مما يثبت أن الارتباط بين الصوت والصورة يحتوي على إشارات ذات معنى حول انتباه المتعلم، حتى بدون أجهزة تتبع العين.

الشكل 1 (مفاهيمي): تتضمن الورقة البحثية شكلاً مفاهيميًا يوضح خط أنابيب MOSLA: جمع البيانات (تسجيلات Zoom) -> تعليق البيانات (تجزئة، تحديد هوية، التعرف التلقائي على الكلام) -> التحليل متعدد الوسائط (تركيز الشاشة) والتحليل اللغوي لاكتساب اللغة الثانية (مقاييس الكفاءة). يؤكد هذا الشكل على نهج المشروع الشامل الموجه نحو خطوط الأنابيب.

8. إطار التحليل: نمذجة مسار الكفاءة

حالة: نمذجة مسار "استخدام اللغة المستهدفة"

يمكن للباحثين استخدام مجموعة بيانات MOSLA لبناء نماذج منحنيات النمو. مثال مبسط يحلل النسبة الأسبوعية لتعابير اللغة المستهدفة (TL) للمتعلم. لنفترض أن $R_t$ هي نسبة TL في الأسبوع $t$.

يمكن تحديد نموذج مختلط خطي أساسي على النحو التالي:

R_t ~ 1 + Time_t + (1 + Time_t | Learner_ID)
        

حيث:

• 1 + Time_t يُمثل التأثير الثابت للتقاطع العام والمنحدر (مسار النمو المتوسط).
• (1 + Time_t | Learner_ID) يسمح لكل من نقطة البداية (التقاطع) ومعدل النمو (المنحدر) بالتباين عشوائيًا عبر المتعلمين الأفراد.

باستخدام بيانات MOSLA، يمكن ملاءمة هذا النموذج (مثلًا، باستخدام lme4 في R أو statsmodels في Python) لتقدير متوسط الزيادة الأسبوعية في استخدام TL ودرجة التباين الفردي. يمكن للنماذج الأكثر تعقيدًا أن تتضمن مرحلة التعليم كمتنبئ أو نمذجة النمو غير الخطي باستخدام مصطلحات متعددة الحدود أو خطية لـ Time. ينتقل هذا الإطار إلى ما هو أبعد من مقارنة الاختبارات القبلية والبعدية إلى نمذجة منحنى التعلم بأكمله.

9. التطبيقات المستقبلية واتجاهات البحث

تفتح مجموعة بيانات MOSLA العديد من المسارات للعمل المستقبلي:

• مسارات التعلم الشخصية: يمكن للخوارزميات تحليل المسار المبكر للمتعلم في MOSLA للتنبؤ بالعقبات المستقبلية والتوصية بمواد مراجعة أو ممارسة مخصصة.
• تقييم الكفاءة الآلي: تطوير نماذج تقييم مستمرة دقيقة تتجاوز الاختبارات الموحدة، باستخدام إشارات متعددة الوسائط (الطلاقة، اختيار المفردات، النطق، المشاركة) كما في بحث ETS حول التقييم الآلي للتحدث.
• تحليلات المعلم: تحليل استراتيجيات المعلم وارتباطها بتقدم المتعلم، وتقديم ملاحظات مدفوعة بالبيانات لتدريب المعلمين.
• دراسات النقل عبر اللغات: مقارنة أنماط الاكتساب بين العربية والإسبانية والصينية لفهم كيفية تأثير الميزات الخاصة باللغة (مثل نظام النغمات، الكتابة) على عملية التعلم.
• نماذج الأساس متعددة الوسائط: يُعد MOSLA أرضية تدريب مثالية لبناء نماذج الذكاء الاصطناعي متعددة الوسائط التي تفهم الحوار التعليمي، مما قد يؤدي إلى معلمين ذكاء اصطناعي أكثر تطوراً.
• التوسع: يمكن أن تتضمن التكرارات المستقبلية المزيد من اللغات، ومجموعات مشاركين أكبر وأكثر تنوعًا، وبيانات بيومترية (مثل معدل ضربات القلب للتوتر/الحمل المعرفي)، والتكامل مع بيانات نظام إدارة التعلم (LMS).

10. المراجع

1. Geertzen, J., Alexopoulou, T., & Korhonen, A. (2014). Automatic Linguistic Annotation of Large Scale L2 Databases: The EF-Cambridge Open Language Database (EFCAMDAT). In Proceedings of the 9th Workshop on Innovative Use of NLP for Building Educational Applications.
2. Settles, B., T. LaFlair, G., & Hagiwara, M. (2018). Machine Learning-Driven Language Assessment. Transactions of the Association for Computational Linguistics.
3. Stasaski, K., Devlin, J., & Hearst, M. A. (2020). Measuring and Improving Semantic Diversity of Dialogue Generation. In Findings of the Association for Computational Linguistics: EMNLP 2020.
4. Hampel, R., & Stickler, U. (2012). The use of videoconferencing to support multimodal interaction in an online language classroom. ReCALL, 24(2), 116-137.
5. Mozilla Common Voice. (n.d.). Retrieved from https://commonvoice.mozilla.org/
6. Educational Testing Service (ETS). (2021). Automated Scoring of Speech. Research Report.
7. Hagiwara, M., & Tanner, J. (2024). Project MOSLA: Recording Every Moment of Second Language Acquisition. arXiv preprint arXiv:2403.17314.