Projekt MOSLA: Ein multimodaler, longitudinaler Datensatz für die Zweitspracherwerbsforschung

1. Einleitung

Der Zweitspracherwerb (Second Language Acquisition, SLA) ist ein komplexer, dynamischer Prozess, der traditionell mit fragmentierten, unimodalen oder kurzfristigen Datensätzen untersucht wurde. Das Projekt MOSLA (Moments of Second Language Acquisition) adressiert diese Einschränkungen durch die Schaffung eines wegweisenden longitudinalen, multimodalen, mehrsprachigen und kontrollierten Datensatzes. Das Projekt dokumentiert Lernende, die über zwei Jahre hinweg Arabisch, Spanisch oder Chinesisch von Grund auf über exklusiven Online-Unterricht erlernen, wobei jede Unterrichtsstunde aufgezeichnet wird. Dieser Datensatz, bestehend aus über 250 Stunden Video-, Audio- und Bildschirmaufnahmen, gepaart mit semi-automatisierten Annotationen, bietet eine beispiellose Ressource für die Untersuchung des nuancierten Verlaufs des Sprachenlernens.

2. Datenerhebungsmethodik

Der MOSLA-Datensatz wurde nach einem rigorosen, kontrollierten Protokoll erstellt, um Konsistenz und Forschungsvalidität zu gewährleisten.

2.1 Teilnehmerrekrutierung & Sprachauswahl

Teilnehmer wurden rekrutiert, um eine von drei Zielsprachen zu erlernen: Arabisch, Spanisch oder Mandarin-Chinesisch. Die Auswahl umfasst Sprachen mit nicht-lateinischen Alphabeten (Arabisch und Chinesisch), was die sprachübergreifende Anwendbarkeit des Datensatzes über die häufig untersuchten indogermanischen Sprachen hinaus erweitert.

2.2 Kontrollierte Lernumgebung

Ein zentrales Gestaltungsmerkmal ist das Mandat der kontrollierten Exposition. Die Teilnehmer verpflichteten sich, die Zielsprache ausschließlich über die bereitgestellten Online-Lektionen während der zweijährigen Studiendauer zu erlernen. Diese Kontrolle minimiert Störvariablen durch externe Sprachexposition und ermöglicht eine klarere Zuordnung von Kompetenzgewinnen zur Unterrichtsmethode.

2.3 Multimodale Aufnahmekonfiguration

Alle Lektionen wurden über Zoom durchgeführt und aufgezeichnet, wobei drei synchronisierte Streams erfasst wurden:

• Video: Webcam-Aufnahmen von Teilnehmer und Lehrkraft.
• Audio: Vollständiger Unterrichts-Audio.
• Bildschirmfreigabe: Der geteilte Bildschirm der Lehrkraft mit Lehrmaterialien, Folien und Anwendungen.

Diese Trias schafft eine reichhaltige, kontextualisierte Aufzeichnung der Lerninteraktion.

3. Datenannotations-Pipeline

Die Rohaufnahmen wurden durch eine semi-automatisierte Pipeline verarbeitet, um strukturierte, abfragbare Metadaten zu generieren.

3.1 Semi-automatisiertes Annotationsframework

Annotationen wurden mit einem hybriden Mensch-Maschine-Ansatz erstellt:

1. Speaker Diarization: Segmentierung des Audios in sprecherhomogene Regionen („Wer sprach wann?“).
2. Speaker Identification: Kennzeichnung von Segmenten als 'Lehrkraft' oder 'Lernende(r)'.
3. Language Identification: Markierung von Segmenten nach Sprache (z.B. L1/Englisch vs. Zielsprache).
4. Automatic Speech Recognition (ASR): Erstellung von Transkripten für alle Sprachsegmente.

Erste Annotationen wurden von menschlichen Annotatoren erstellt und bilden einen Goldstandard-Teil, der zum Fine-tuning modernster Modelle verwendet wurde.

3.2 Modell-Fine-tuning & Leistung

Vorab trainierte Modelle (z.B. für ASR, Diarization) wurden auf den menschlich annotierten MOSLA-Daten feinabgestimmt. Die Publikation berichtet von erheblichen Leistungsverbesserungen nach dem Fine-tuning, was den Wert domänenspezifischer Daten selbst für große vortrainierte Modelle demonstriert. Dieser Schritt war entscheidend, um die Annotation auf das gesamte 250+ Stunden umfassende Korpus zu skalieren.

4. Linguistische & multimodale Analyse

Der annotierte Datensatz ermöglicht neuartige Analysen des SLA-Prozesses.

4.1 Metriken zur Kompetenzentwicklung

Longitudinale Trends wurden anhand von Metriken wie den folgenden analysiert:

• Zielsprachenanteil: Der prozentuale Anteil von Lernendenäußerungen in der Zielsprache im Vergleich zu ihrer Muttersprache über die Zeit.
• Lexikalische Diversität: Messung des Wortschatzwachstums und der -komplexität (z.B. über Type-Token Ratio).
• Äußerungslänge & -komplexität: Verfolgung der Entwicklung syntaktischer Strukturen.

Diese Metriken zeichnen ein quantitatives Bild der Kompetenzentwicklung über die zweijährige Reise.

4.2 Bildschirmfokus-Erkennung

Eine besonders innovative Analyse beinhaltete die Verwendung von multimodalen Deep-Learning-Modellen, um den Fokusbereich des Lernenden auf dem geteilten Bildschirm ausschließlich aus den nicht annotierten Video- und Audiosignalen vorherzusagen. Durch die Korrelation von Audio-Hinweisen (z.B. die Diskussion eines bestimmten Wortes) mit dem Bildschirminhalt kann das Modell ableiten, worauf der Lernende schaut, und bietet so Einblicke in Aufmerksamkeit und Engagement.

5. Kernaussage & Analystenperspektive

Kernaussage: Projekt MOSLA ist nicht einfach nur ein weiterer Datensatz; es ist ein infrastrukturelles Grundlagenprojekt, das die kritische Lücke zwischen isolierten, momentaufnahmeartigen SLA-Studien und der chaotischen, kontinuierlichen Realität des Lernens aufzeigt. Sein Wertversprechen liegt in der kontrollierten Longitudinalität – ein Merkmal, das ebenso selten wie essenziell ist. Während Projekte wie das Mozilla Common Voice-Korpus Sprachdaten demokratisieren, fehlt ihnen die strukturierte Lernverlaufskurve und der multimodale Kontext, den MOSLA bietet. Ebenso konzentrierte sich die BEA-2019 Shared Task auf isolierte Schreibkompetenz und verpasste die hier erfasste reichhaltige, interaktive Dimension.

Logischer Ablauf: Die Logik des Projekts ist elegant linear: 1) Identifikation einer methodologischen Lücke (Fehlen kontrollierter, multimodaler, longitudinaler SLA-Daten), 2) Entwicklung einer Lösung (rigoroses Teilnehmerprotokoll + Zoom-Aufnahmen), 3) Lösung des Skalierungsproblems (ML-Annotation mit menschlicher Beteiligung), und 4) Demonstration des Nutzens (linguistische Analyse + neuartige multimodale Aufgaben). Diese End-to-End-Pipeline von der Datenerstellung zur Anwendung ist ein Blaupause für die empirischen Lernwissenschaften.

Stärken & Schwächen: Die Stärke ist unbestreitbar: Umfang, Kontrolle und multimodale Reichhaltigkeit. Es ist ein Traum für Forschende, die zeitliche Dynamik zu untersuchen. Die Schwächen liegen jedoch in den Kompromissen. Die „kontrollierte“ Umgebung ist auch ihre größte Künstlichkeit – der reale Spracherwerb ist herrlich unkontrolliert. Die Stichprobengröße, obwohl sie einen tiefen longitudinalen Datensatz schafft, kann die Verallgemeinerbarkeit auf verschiedene Lernendengruppen einschränken. Darüber hinaus bleibt die technische Hürde zur Nutzung eines solch komplexen multimodalen Datensatzes hoch, was seine unmittelbare Verbreitung möglicherweise einschränkt.

Umsetzbare Erkenntnisse: Für Forschende ist die unmittelbare Handlung, diesen offenen Datensatz zu erkunden. Für EdTech-Unternehmen liegt die Erkenntnis darin, über einfache Abschlussmetriken hinauszugehen und den Prozess des Lernens zu modellieren, wie es MOSLA tut. Das Experiment zur Bildschirmfokus-Erkennung allein deutet auf eine Zukunft hin, in der Lernplattformen kognitives Engagement in Echtzeit ableiten. Die größere Notwendigkeit für das Feld ist der Wechsel von querschnittlichen „Fotos“ zu longitudinalen „Filmen“ des Lernens. MOSLA hat die Kamera gebaut; jetzt ist es an der Community, die Filme zu drehen.

6. Technische Implementierungsdetails

Die Annotationspipeline stützt sich auf mehrere maschinelle Lernmodelle. Eine vereinfachte Sicht auf die Aufgabe der Sprecherdiarisierung und -identifikation kann als Optimierungsproblem formuliert werden. Sei $X = \{x_1, x_2, ..., x_T\}$ die Sequenz der Audio-Features. Das Ziel ist es, die Sequenz der Sprecherlabels $S = \{s_1, s_2, ..., s_T\}$ und Sprecheridentitäten $Y = \{y_1, y_2, ..., y_K\}$ zu finden, die die A-posteriori-Wahrscheinlichkeit maximieren:

$P(S, Y | X) \propto P(X | S, Y) \cdot P(S) \cdot P(Y)$

Wobei:

• $P(X | S, Y)$ die Likelihood der Audio-Features gegeben der Sprechersegmente und -identitäten ist, oft modelliert mit Gaussian Mixture Models (GMMs) oder Deep-Neural-Network-Embeddings wie x-vectors.
• $P(S)$ ein Prior über Sprecherwechseldynamiken ist, der zeitliche Kontinuität fördert (z.B. unter Verwendung eines Hidden-Markov-Modells).
• $P(Y)$ das Vorwissen über Sprecheridentitäten (Lehrkraft vs. Lernende(r)) repräsentiert.

Das Fine-tuning auf MOSLA-Daten verbessert hauptsächlich die Schätzung von $P(X | S, Y)$, indem das akustische Modell (z.B. der x-vector-Extraktor) an die spezifischen akustischen Bedingungen und Sprechercharakteristika des Online-Klassenzimmers angepasst wird.

7. Experimentelle Ergebnisse & Erkenntnisse

Die Publikation präsentiert zentrale Erkenntnisse aus der Analyse des MOSLA-Datensatzes:

• Kompetenzverläufe: Grafiken zeigen einen klaren, nicht-linearen Anstieg des prozentualen Anteils der Zielsprachennutzung durch Lernende über die Zeit, mit Plateaus und Sprüngen, die verschiedenen Unterrichtseinheiten entsprechen. Metriken der lexikalischen Diversität zeigen einen stetigen Aufwärtstrend, der sich nach den ersten sechs Monaten beschleunigt.
• Modellleistungsgewinne: Das Fine-tuning eines vortrainierten Wav2Vec2.0-Modells für ASR auf nur 10 Stunden MOSLA-Transkripte reduzierte die Word Error Rate (WER) auf zurückgehaltenen MOSLA-Daten um über 35% im Vergleich zum Basismodell. Ähnlich signifikante Verbesserungen werden für Sprecher- und Spracherkennungsaufgaben berichtet.
• Bildschirmfokus-Erkennung: Ein multimodales Modell (z.B. ein Vision Transformer für Bildschirmframes kombiniert mit einem Audio-Encoder) wurde trainiert, um den groben Bereich des Bildschirmfokus (z.B. „Folientext“, „Video“, „Whiteboard“) zu klassifizieren. Das Modell erreichte eine Genauigkeit deutlich über dem Zufallsniveau, was demonstriert, dass audiovisuelle Korrelationen bedeutungsvolle Signale über die Aufmerksamkeit der Lernenden enthalten, selbst ohne Eye-Tracking-Hardware.

Abbildung 1 (konzeptionell): Die Publikation enthält eine konzeptionelle Abbildung, die die MOSLA-Pipeline illustriert: Datenerhebung (Zoom-Aufnahmen) -> Datenannotation (Diarization, ID, ASR) -> Multimodale Analyse (Bildschirmfokus) & SLA-linguistische Analyse (Kompetenzmetriken). Diese Abbildung unterstreicht den umfassenden, pipeline-orientierten Ansatz des Projekts.

8. Analyseframework: Modellierung von Kompetenzverläufen

Fall: Modellierung des „Zielsprachennutzung“-Verlaufs

Forschende können den MOSLA-Datensatz verwenden, um Wachstumskurvenmodelle zu erstellen. Ein vereinfachtes Beispiel analysiert den wöchentlichen Anteil von Zielsprachenäußerungen (TL) eines Lernenden. Sei $R_t$ der TL-Anteil in Woche $t$.

Ein grundlegendes lineares gemischtes Modell könnte wie folgt spezifiziert werden:

R_t ~ 1 + Time_t + (1 + Time_t | Learner_ID)
        

Wobei:

• 1 + Time_t den festen Effekt eines Gesamt-Intercepts und einer Steigung (durchschnittlicher Wachstumsverlauf) modelliert.
• (1 + Time_t | Learner_ID) es ermöglicht, dass sowohl der Startpunkt (Intercept) als auch die Wachstumsrate (Steigung) zufällig zwischen einzelnen Lernenden variieren.

Unter Verwendung der MOSLA-Daten könnte man dieses Modell anpassen (z.B. mit Rs lme4 oder Pythons statsmodels), um den durchschnittlichen wöchentlichen Anstieg der TL-Nutzung und das Ausmaß der individuellen Variabilität zu schätzen. Komplexere Modelle könnten die Unterrichtsphase als Prädiktor einbeziehen oder nicht-lineares Wachstum unter Verwendung von Polynom- oder Spline-Termen für Time modellieren. Dieser Rahmen geht über den Vergleich von Vor- und Nachtests hinaus zur Modellierung der gesamten Lernkurve.

9. Zukünftige Anwendungen & Forschungsrichtungen

Der MOSLA-Datensatz eröffnet zahlreiche Wege für zukünftige Arbeiten:

• Personalisierte Lernpfade: Algorithmen könnten den frühen Verlauf eines Lernenden in MOSLA analysieren, um zukünftige Stolpersteine vorherzusagen und personalisierte Wiederholungs- oder Übungsmaterialien zu empfehlen.
• Automatisierte Kompetenzbewertung: Entwicklung feingranularer, kontinuierlicher Bewertungsmodelle, die über standardisierte Tests hinausgehen und multimodale Hinweise (Flüssigkeit, Wortwahl, Aussprache, Engagement) nutzen, wie in der Forschung der ETS zur automatisierten Sprechbewertung.
• Lehrkraft-Analytik: Analyse von Lehrstrategien und ihrer Korrelation mit dem Lernfortschritt, um datengestützte Rückmeldungen für die Lehrerausbildung zu liefern.
• Studien zum sprachübergreifenden Transfer: Vergleich von Erwerbsmustern zwischen Arabisch, Spanisch und Chinesisch, um zu verstehen, wie sprachspezifische Merkmale (z.B. Tonsystem, Schrift) den Lernprozess beeinflussen.
• Multimodale Foundation Models: MOSLA ist ein idealer Trainingsgrund für den Aufbau multimodaler KI-Modelle, die Bildungsdialoge verstehen, was potenziell zu anspruchsvolleren KI-Tutoren führen könnte.
• Erweiterung: Zukünftige Iterationen könnten mehr Sprachen, größere und diversere Teilnehmergruppen, biometrische Daten (wie Herzfrequenz für Stress/kognitive Belastung) und die Integration mit Learning-Management-System (LMS)-Daten umfassen.

10. Referenzen

1. Geertzen, J., Alexopoulou, T., & Korhonen, A. (2014). Automatic Linguistic Annotation of Large Scale L2 Databases: The EF-Cambridge Open Language Database (EFCAMDAT). In Proceedings of the 9th Workshop on Innovative Use of NLP for Building Educational Applications.
2. Settles, B., T. LaFlair, G., & Hagiwara, M. (2018). Machine Learning-Driven Language Assessment. Transactions of the Association for Computational Linguistics.
3. Stasaski, K., Devlin, J., & Hearst, M. A. (2020). Measuring and Improving Semantic Diversity of Dialogue Generation. In Findings of the Association for Computational Linguistics: EMNLP 2020.
4. Hampel, R., & Stickler, U. (2012). The use of videoconferencing to support multimodal interaction in an online language classroom. ReCALL, 24(2), 116-137.
5. Mozilla Common Voice. (n.d.). Retrieved from https://commonvoice.mozilla.org/
6. Educational Testing Service (ETS). (2021). Automated Scoring of Speech. Research Report.
7. Hagiwara, M., & Tanner, J. (2024). Project MOSLA: Recording Every Moment of Second Language Acquisition. arXiv preprint arXiv:2403.17314.