Projeto MOSLA: Um Conjunto de Dados Multimodal e Longitudinal para Pesquisa em Aquisição de Segunda Língua

1. Introdução

A aquisição de segunda língua (ASL) é um processo complexo e dinâmico que tradicionalmente tem sido estudado por meio de conjuntos de dados fragmentados, unimodais ou de curto prazo. O Projeto MOSLA (Momentos de Aquisição de Segunda Língua) aborda essas limitações criando um conjunto de dados pioneiro, longitudinal, multimodal, multilíngue e controlado. O projeto documenta aprendizes adquirindo árabe, espanhol ou chinês do zero ao longo de dois anos por meio de instrução online exclusiva, gravando cada aula. Este conjunto de dados, compreendendo mais de 250 horas de vídeo, áudio e gravações de tela, emparelhado com anotações semiautomáticas, fornece um recurso sem precedentes para estudar a trajetória matizada da aprendizagem de línguas.

2. Metodologia de Coleta de Dados

O conjunto de dados MOSLA foi construído sob um protocolo rigoroso e controlado para garantir consistência e validade da pesquisa.

2.1 Recrutamento de Participantes & Seleção de Língua

Os participantes foram recrutados para aprender uma de três línguas-alvo: árabe, espanhol ou mandarim. A seleção inclui línguas com alfabetos não latinos (árabe e chinês), expandindo a aplicabilidade translinguística do conjunto de dados para além das línguas indo-europeias comumente estudadas.

2.2 Ambiente de Aprendizagem Controlado

Uma característica de design fundamental é o mandato de exposição controlada. Os participantes concordaram em aprender a língua-alvo apenas por meio das aulas online fornecidas durante a duração do estudo de dois anos. Este controle minimiza variáveis de confusão provenientes da exposição externa à língua, permitindo uma atribuição mais clara dos ganhos de proficiência ao método de instrução.

2.3 Configuração de Gravação Multimodal

Todas as aulas foram conduzidas e gravadas via Zoom, capturando três fluxos sincronizados:

• Vídeo: Feeds da webcam do participante e do instrutor.
• Áudio: Áudio completo da aula.
• Compartilhamento de Tela: A tela compartilhada do instrutor contendo materiais de ensino, slides e aplicativos.

Esta tríade cria um registro rico e contextualizado da interação de aprendizagem.

3. Pipeline de Anotação de Dados

As gravações brutas foram processadas por meio de um pipeline semiautomático para gerar metadados estruturados e consultáveis.

3.1 Estrutura de Anotação Semiautomática

As anotações foram produzidas usando uma abordagem híbrida homem-máquina:

1. Diarização de Locutor: Segmentação do áudio em regiões homogêneas de locutor ("quem falou quando?").
2. Identificação do Locutor: Rotulagem dos segmentos como 'instrutor' ou 'aprendiz'.
3. Identificação de Língua: Marcação dos segmentos por língua (ex.: L1/Inglês vs. Língua-Alvo).
4. Reconhecimento Automático de Fala (ASR): Geração de transcrições para todos os segmentos de fala.

As anotações iniciais foram criadas por anotadores humanos, formando um subconjunto padrão-ouro usado para ajustar modelos de última geração.

3.2 Ajuste Fino do Modelo & Desempenho

Modelos pré-treinados (ex.: para ASR, diarização) foram ajustados nos dados MOSLA anotados por humanos. O artigo relata melhorias substanciais de desempenho após o ajuste fino, demonstrando o valor de dados específicos do domínio mesmo para grandes modelos pré-treinados. Esta etapa foi crucial para escalar a anotação para todo o corpus de mais de 250 horas.

4. Análise Linguística & Multimodal

O conjunto de dados anotado permite novas análises do processo de ASL.

4.1 Métricas de Desenvolvimento de Proficiência

Tendências longitudinais foram analisadas usando métricas como:

• Razão de Uso da Língua-Alvo: A percentagem de enunciados do aprendiz na língua-alvo vs. sua língua nativa ao longo do tempo.
• Diversidade Lexical: Medição do crescimento e complexidade do vocabulário (ex.: via Razão Tipo-Token).
• Comprimento & Complexidade do Enunciado: Acompanhamento do desenvolvimento de estruturas sintáticas.

Estas métricas pintam um quadro quantitativo do desenvolvimento da proficiência ao longo da jornada de dois anos.

4.2 Detecção de Foco na Tela

Uma análise particularmente inovadora envolveu o uso de modelos de aprendizagem profunda multimodal para prever a área de foco do aprendiz na tela compartilhada apenas a partir dos sinais de vídeo e áudio não anotados. Ao correlacionar pistas de áudio (ex.: discutir uma palavra específica) com o conteúdo da tela, o modelo pode inferir para onde o aprendiz está olhando, oferecendo insights sobre atenção e engajamento.

5. Insight Central & Perspectiva do Analista

Insight Central: O Projeto MOSLA não é apenas mais um conjunto de dados; é uma jogada de infraestrutura fundamental que expõe a lacuna crítica entre estudos de ASL isolados, de momento, e a realidade desordenada e contínua da aprendizagem. Sua proposta de valor reside na longitudinalidade controlada—uma característica tão rara quanto essencial. Embora projetos como o corpus Mozilla Common Voice democratizem dados de fala, eles carecem da trajetória de aprendizagem estruturada e do contexto multimodal que o MOSLA fornece. Da mesma forma, a Tarefa Compartilhada BEA-2019 focou na proficiência de escrita isolada, perdendo a dimensão rica e interativa capturada aqui.

Fluxo Lógico: A lógica do projeto é elegantemente linear: 1) Identificar um vácuo metodológico (falta de dados de ASL controlados, multimodais e longitudinais), 2) Engenhar uma solução (protocolo rigoroso de participante + gravação Zoom), 3) Resolver o problema de escala (anotação de ML com humano no ciclo), e 4) Demonstrar utilidade (análise linguística + tarefas multimodais inovadoras). Este pipeline de ponta a ponta, da criação de dados à aplicação, é um modelo para as ciências da aprendizagem empíricas.

Pontos Fortes & Fraquezas: O ponto forte é inegável: escala, controle e riqueza multimodal. É o sonho de um pesquisador para estudar dinâmicas temporais. No entanto, as fraquezas estão nas compensações. O ambiente "controlado" é também sua maior artificialidade—a aquisição de língua no mundo real é gloriosamente descontrolada. O tamanho da amostra, embora crie um conjunto de dados longitudinal profundo, pode limitar a generalização para diversas populações de aprendizes. Além disso, a barreira técnica para utilizar um conjunto de dados multimodal tão complexo permanece alta, potencialmente limitando sua adoção imediata.

Insights Acionáveis: Para pesquisadores, a ação imediata é explorar este conjunto de dados aberto. Para empresas de EdTech, o insight é ir além de métricas simples de conclusão e modelar o processo de aprendizagem como o MOSLA faz. O experimento de detecção de foco na tela por si só sugere um futuro onde plataformas de aprendizagem inferem engajamento cognitivo em tempo real. O imperativo maior é para o campo mudar de "fotos" transversais para "filmes" longitudinais da aprendizagem. O MOSLA construiu a câmera; agora é hora da comunidade começar a fazer os filmes.

6. Detalhes de Implementação Técnica

O pipeline de anotação depende de vários modelos de aprendizagem de máquina. Uma visão simplificada da tarefa de diarização e identificação de locutor pode ser enquadrada como um problema de otimização. Seja $X = \{x_1, x_2, ..., x_T\}$ a sequência de características de áudio. O objetivo é encontrar a sequência de rótulos de locutor $S = \{s_1, s_2, ..., s_T\}$ e identidades de locutor $Y = \{y_1, y_2, ..., y_K\}$ que maximizem a probabilidade posterior:

$P(S, Y | X) \propto P(X | S, Y) \cdot P(S) \cdot P(Y)$

Onde:

• $P(X | S, Y)$ é a verossimilhança das características de áudio dadas os segmentos e identidades do locutor, frequentemente modelada usando Modelos de Mistura Gaussiana (GMMs) ou incorporações de redes neurais profundas como x-vectors.
• $P(S)$ é um prior sobre a dinâmica de turnos do locutor, incentivando continuidade temporal (ex.: usando um modelo de Markov oculto).
• $P(Y)$ representa o conhecimento prévio das identidades dos locutores (instrutor vs. aprendiz).

O ajuste fino nos dados MOSLA melhora principalmente a estimativa de $P(X | S, Y)$ ao adaptar o modelo acústico (ex.: o extrator de x-vector) às condições acústicas específicas e características dos locutores da sala de aula online.

7. Resultados Experimentais & Descobertas

O artigo apresenta descobertas-chave da análise do conjunto de dados MOSLA:

• Trajetórias de Proficiência: Gráficos mostram um aumento claro e não linear na percentagem de uso da língua-alvo pelos aprendizes ao longo do tempo, com platôs e saltos correspondentes a diferentes unidades de instrução. As métricas de diversidade lexical mostram uma tendência ascendente constante, acelerando após os primeiros seis meses.
• Ganhos de Desempenho do Modelo: O ajuste fino de um modelo Wav2Vec2.0 pré-treinado para ASR em apenas 10 horas de transcrições humanas do MOSLA reduziu a Taxa de Erro de Palavra (WER) em mais de 35% nos dados MOSLA retidos, em comparação com o modelo base. Melhorias significativas semelhantes são relatadas para tarefas de identificação de locutor e língua.
• Detecção de Foco na Tela: Um modelo multimodal (ex.: um transformador de visão para quadros da tela combinado com um codificador de áudio) foi treinado para classificar a área ampla de foco na tela (ex.: "texto do slide", "vídeo", "quadro branco"). O modelo alcançou uma precisão significativamente acima do acaso, demonstrando que a correlação áudio-visual contém sinais significativos sobre a atenção do aprendiz, mesmo sem hardware de rastreamento ocular.

Figura 1 (Conceitual): O artigo inclui uma figura conceitual ilustrando o pipeline MOSLA: Coleta de Dados (gravações Zoom) -> Anotação de Dados (Diarização, ID, ASR) -> Análise Multimodal (Foco na tela) & Análise Linguística de ASL (Métricas de proficiência). Esta figura enfatiza a abordagem abrangente e orientada a pipeline do projeto.

8. Estrutura de Análise: Modelagem da Trajetória de Proficiência

Caso: Modelando a Trajetória de "Uso da Língua-Alvo"

Pesquisadores podem usar o conjunto de dados MOSLA para construir modelos de curva de crescimento. Um exemplo simplificado analisa a razão semanal de enunciados na língua-alvo (LA) por um aprendiz. Seja $R_t$ a razão de LA na semana $t$.

Um modelo linear de efeitos mistos básico poderia ser especificado como:

R_t ~ 1 + Time_t + (1 + Time_t | Learner_ID)
        

Onde:

• 1 + Time_t modela o efeito fixo de um intercepto geral e uma inclinação (trajetória média de crescimento).
• (1 + Time_t | Learner_ID) permite que tanto o ponto de partida (intercepto) quanto a taxa de crescimento (inclinação) variem aleatoriamente entre aprendizes individuais.

Usando os dados MOSLA, pode-se ajustar este modelo (ex.: usando o lme4 do R ou o statsmodels do Python) para estimar o aumento médio semanal no uso da LA e o grau de variabilidade individual. Modelos mais complexos poderiam incluir a fase instrucional como preditor ou modelar crescimento não linear usando termos polinomiais ou spline para Tempo. Esta estrutura vai além de comparar pré e pós-testes para modelar toda a curva de aprendizagem.

9. Aplicações Futuras & Direções de Pesquisa

O conjunto de dados MOSLA abre inúmeras avenidas para trabalhos futuros:

• Caminhos de Aprendizagem Personalizados: Algoritmos poderiam analisar a trajetória inicial de um aprendiz no MOSLA para prever futuros obstáculos e recomendar materiais de revisão ou prática personalizados.
• Avaliação Automatizada de Proficiência: Desenvolvimento de modelos de avaliação contínua e refinada que vão além de testes padronizados, usando pistas multimodais (fluência, escolha lexical, pronúncia, engajamento) como na pesquisa da ETS sobre avaliação automatizada de fala.
• Análise de Professor: Analisar estratégias do instrutor e sua correlação com o progresso do aprendiz, fornecendo feedback baseado em dados para a formação de professores.
• Estudos de Transferência Translinguística: Comparar padrões de aquisição entre árabe, espanhol e chinês para entender como características específicas da língua (ex.: sistema tonal, escrita) afetam o processo de aprendizagem.
• Modelos de Fundação Multimodal: O MOSLA é um terreno de treinamento ideal para construir modelos de IA multimodal que entendam o diálogo educacional, potencialmente levando a tutores de IA mais sofisticados.
• Expansão: Iterações futuras poderiam incluir mais línguas, grupos de participantes maiores e mais diversos, dados biométricos (como frequência cardíaca para estresse/carga cognitiva) e integração com dados de sistemas de gestão da aprendizagem (LMS).

10. Referências

1. Geertzen, J., Alexopoulou, T., & Korhonen, A. (2014). Automatic Linguistic Annotation of Large Scale L2 Databases: The EF-Cambridge Open Language Database (EFCAMDAT). In Proceedings of the 9th Workshop on Innovative Use of NLP for Building Educational Applications.
2. Settles, B., T. LaFlair, G., & Hagiwara, M. (2018). Machine Learning-Driven Language Assessment. Transactions of the Association for Computational Linguistics.
3. Stasaski, K., Devlin, J., & Hearst, M. A. (2020). Measuring and Improving Semantic Diversity of Dialogue Generation. In Findings of the Association for Computational Linguistics: EMNLP 2020.
4. Hampel, R., & Stickler, U. (2012). The use of videoconferencing to support multimodal interaction in an online language classroom. ReCALL, 24(2), 116-137.
5. Mozilla Common Voice. (n.d.). Retrieved from https://commonvoice.mozilla.org/
6. Educational Testing Service (ETS). (2021). Automated Scoring of Speech. Research Report.
7. Hagiwara, M., & Tanner, J. (2024). Project MOSLA: Recording Every Moment of Second Language Acquisition. arXiv preprint arXiv:2403.17314.