Deep Factorization Machines para Rastreamento de Conhecimento: Análise da Solução Duolingo SLAM 2018

Índice

---

1. Introdução & Visão Geral

Este artigo apresenta a solução do autor para a Tarefa Compartilhada Duolingo 2018 sobre Modelagem de Aquisição de Segunda Língua (SLAM). O desafio central foi o rastreamento de conhecimento ao nível da palavra: prever se um estudante escreveria corretamente as palavras de uma nova frase, dados seus dados históricos de tentativas em milhares de frases anotadas com características lexicais, morfológicas e sintáticas.

A solução proposta utiliza Deep Factorization Machines (DeepFM), um modelo híbrido que combina um componente "wide" (uma Factorization Machine) para aprender interações de características aos pares e um componente "deep" (uma Rede Neural Profunda) para aprender interações de características de ordem superior. O modelo alcançou uma AUC de 0.815, superando uma linha de base de regressão logística (AUC 0.774), mas ficando aquém do modelo de melhor desempenho (AUC 0.861). O trabalho posiciona o DeepFM como uma estrutura flexível que pode englobar modelos educacionais tradicionais como a Teoria de Resposta ao Item (IRT).

2. Trabalhos Relacionados & Fundamentação Teórica

O artigo situa sua contribuição no panorama mais amplo da modelagem de estudantes e rastreamento de conhecimento.

2.1. Teoria de Resposta ao Item (IRT)

A IRT é uma estrutura psicométrica clássica que modela a probabilidade de uma resposta correta como uma função da habilidade latente do estudante ($\theta$) e dos parâmetros de um item (ex.: dificuldade $b$). Um modelo comum é o modelo logístico de 2 parâmetros (2PL): $P(\text{correto} | \theta) = \sigma(a(\theta - b))$, onde $a$ é a discriminação e $\sigma$ é a função logística. O artigo observa que a IRT forma uma linha de base forte e interpretável, mas tipicamente não incorpora informações laterais ricas.

2.2. Evolução do Rastreamento de Conhecimento

O rastreamento de conhecimento concentra-se em modelar a evolução do conhecimento de um estudante ao longo do tempo.

• Bayesian Knowledge Tracing (BKT): Modela o aprendiz como um Modelo de Markov Oculto com estados de conhecimento latentes.
• Deep Knowledge Tracing (DKT): Usa Redes Neurais Recorrentes (RNNs), como LSTMs, para modelar sequências temporais de interações do estudante. O artigo cita o trabalho de Wilson et al. (2016) mostrando que variantes da IRT podem superar os primeiros modelos DKT, destacando a necessidade de arquiteturas robustas e conscientes das características.

2.3. Aprendizado Wide & Deep

O artigo se baseia no paradigma Wide & Deep Learning introduzido por Cheng et al. (2016) no Google. O modelo linear "wide" memoriza co-ocorrências frequentes de características, enquanto a rede neural "deep" generaliza para combinações de características não vistas. Guo et al. (2017) propuseram substituir o modelo linear wide por uma Factorization Machine (FM), que modela eficientemente todas as interações aos pares entre características via parâmetros fatorados, levando à arquitetura DeepFM.

3. DeepFM para Rastreamento de Conhecimento

O artigo adapta o modelo DeepFM para o domínio de rastreamento de conhecimento.

3.1. Arquitetura & Formulação do Modelo

O DeepFM consiste em dois componentes paralelos cujas saídas são combinadas:

1. Componente FM: Modela interações lineares e aos pares de características. Para um vetor de características de entrada $\mathbf{x}$, a saída do FM é: $y_{FM} = w_0 + \sum_{i=1}^n w_i x_i + \sum_{i=1}^n \sum_{j=i+1}^n \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j$, onde $\mathbf{v}_i$ são vetores de fatores latentes.
2. Componente Deep: Uma rede neural feed-forward padrão que recebe os embeddings densos de características como entrada e aprende padrões complexos e de alta ordem.

A previsão final é: $p(\mathbf{x}) = \psi(y_{FM} + y_{DNN})$, onde $\psi$ é uma função de ligação (ex.: sigmoide $\sigma$ ou a CDF normal $\Phi$).

3.2. Codificação de Características & Embeddings

Uma contribuição chave é o tratamento das características. O modelo considera C categorias de características (ex.: user_id, item_id, habilidade, país, tempo). Cada valor discreto dentro de uma categoria (ex.: user=123, country='FR') ou um valor contínuo em si é denominado uma entidade. Cada uma das N entidades possíveis recebe um vetor de embedding aprendível. Uma instância (ex.: um estudante respondendo a uma palavra) é codificada como um vetor esparso $\mathbf{x}$ de tamanho N, onde os componentes são definidos como 1 (para entidades discretas presentes), o valor real (para características contínuas) ou 0.

4. Aplicação à Tarefa SLAM

4.1. Preparação dos Dados

Para a tarefa Duolingo SLAM, as características incluíam ID do usuário, item lexical (palavra), suas características linguísticas associadas (classe gramatical, morfologia), contexto da frase e informação temporal. Estas foram transformadas no formato esparso baseado em entidade exigido pelo DeepFM. Esta codificação permite que o modelo aprenda interações entre qualquer par de entidades, como (user=Alice, word="ser") e (word="ser", tense=past).

4.2. Configuração Experimental

O modelo foi treinado para prever o resultado binário (correto/incorreto) para um estudante escrevendo uma palavra específica. A AUC (Área Sob a Curva ROC) foi usada como a métrica de avaliação principal, padrão para tarefas de classificação binária com dados desbalanceados comuns em ambientes educacionais.

5. Resultados & Análise de Desempenho

O modelo DeepFM alcançou uma AUC de teste de 0.815. Isto representa uma melhoria significativa em relação à linha de base de regressão logística (AUC 0.774), demonstrando o valor de modelar interações de características. No entanto, não atingiu a pontuação máxima de 0.861. O artigo sugere que isto revela "estratégias interessantes para construir sobre modelos da teoria de resposta ao item", implicando que, embora o DeepFM forneça uma estrutura poderosa e rica em características, há espaço para incorporar aspectos mais sutis da teoria educacional ou de modelagem sequencial que o modelo de topo pode ter capturado.

6. Análise Crítica & Insights de Especialistas

Insight Central: Este artigo não é sobre um algoritmo novo e revolucionário, mas uma aplicação perspicaz e pragmática de um modelo de sistema de recomendação de força industrial existente (DeepFM) a um espaço de problema emergente: rastreamento de conhecimento granular e rico em características. A jogada do autor é reveladora—ele ignora o ciclo de hype acadêmico em torno do aprendizado profundo puro para educação (como os primeiros DKT) e, em vez disso, reaproveita um modelo comprovado no comércio eletrônico para capturar interações complexas usuário-item-característica. O verdadeiro insight é enquadrar o rastreamento de conhecimento não apenas como um problema de previsão de sequência, mas como um problema de interação de características esparsas e de alta dimensionalidade, muito parecido com prever um clique em anúncios.

Fluxo Lógico & Posicionamento Estratégico: A lógica é convincente. 1) Modelos tradicionais (IRT, BKT) são interpretáveis, mas limitados a interações pré-definidas e de baixa dimensão. 2) Os primeiros modelos de aprendizado profundo (DKT) capturam sequências, mas podem ser famintos por dados e opacos, às vezes com desempenho inferior a modelos mais simples, como observado por Wilson et al. 3) A tarefa SLAM fornece um tesouro de informações laterais (características linguísticas). 4) Portanto, use um modelo projetado explicitamente para isso: DeepFM, que hibridiza a memorização de interações aos pares fatoradas (a parte FM, semelhante à interação estudante-item da IRT) com o poder de generalização de uma DNN. O artigo mostra habilmente como a IRT pode ser vista como um caso especial e simplista desta estrutura, reivindicando assim o terreno elevado da generalidade.

Pontos Fortes & Fraquezas: O ponto forte principal é a praticidade e exploração de características. O DeepFM é uma arquitetura robusta e pronta para uso para aproveitar o rico conjunto de características da tarefa SLAM. Sua fraqueza, conforme revelado pelos resultados, é que ele provavelmente foi superado por modelos que capturaram melhor a dinâmica temporal inerente à aprendizagem. Um modelo baseado em LSTM ou uma arquitetura de transformador (como as usadas posteriormente em KT, ex.: SAKT ou AKT) poderia ter integrado o histórico sequencial de forma mais eficaz. A AUC de 0.815 do artigo, embora uma melhoria sólida em relação à linha de base, deixa uma lacuna de 0.046 para o vencedor—uma lacuna que provavelmente representa o preço pago por não se especializar na dimensão temporal. Como mostram pesquisas do Desafio Riiid! AI e trabalhos posteriores, combinar arquiteturas conscientes de características como o DeepFM com modelos sequenciais sofisticados é o caminho vencedor.

Insights Acionáveis: Para profissionais e pesquisadores: 1) Não negligencie a engenharia de características. O sucesso da aplicação do DeepFM ressalta que, em dados educacionais, a "informação lateral" (tags de habilidade, dificuldade, tempo de resposta, características linguísticas) é frequentemente a informação principal. 2) Olhe para campos adjacentes. Os sistemas de recomendação passaram uma década resolvendo problemas análogos de início frio, esparsidade e interação de características; seu kit de ferramentas (FM, DeepFM, DCN) é diretamente transferível. 3) O futuro é híbrido. O próximo passo é claro: integrar o poder de interação de características do DeepFM com um módulo sequencial de última geração. Imagine um "DeepFM Temporal" onde o componente deep é um LSTM ou Transformer que processa uma sequência dessas representações de interação fatoradas. Isto se alinha com a trajetória vista em trabalhos como "Deep Interest Evolution Network" (DIEN) em anúncios, que combina interação de características com modelagem sequencial da evolução do interesse do usuário—um análogo perfeito para a evolução do conhecimento.

7. Detalhes Técnicos & Formulação Matemática

O cerne do DeepFM está em sua arquitetura de duplo componente. Seja a entrada um vetor de características esparso $\mathbf{x} \in \mathbb{R}^n$.

Componente Factorization Machine (FM):
$y_{FM} = w_0 + \sum_{i=1}^{n} w_i x_i + \sum_{i=1}^{n} \sum_{j=i+1}^{n} \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j$
Aqui, $w_0$ é o viés global, $w_i$ são pesos para os termos lineares, e $\mathbf{v}_i \in \mathbb{R}^k$ é o vetor de fator latente para a i-ésima característica. O produto interno $\langle \mathbf{v}_i, \mathbf{v}_j \rangle$ modela a interação entre a característica $i$ e $j$. Isto é calculado eficientemente em tempo $O(kn)$.

Componente Deep:
Seja $\mathbf{a}^{(0)} = [\mathbf{e}_1, \mathbf{e}_2, ..., \mathbf{e}_m]$ a concatenação dos vetores de embedding para as características presentes em $\mathbf{x}$, onde $\mathbf{e}_i$ é buscado de uma matriz de embedding. Isto é alimentado através de uma série de camadas totalmente conectadas:
$\mathbf{a}^{(l+1)} = \sigma(\mathbf{W}^{(l)} \mathbf{a}^{(l)} + \mathbf{b}^{(l)})$
A saída da camada final é $y_{DNN}$.

Previsão Final:
$\hat{y} = \sigma(y_{FM} + y_{DNN})$
O modelo é treinado de ponta a ponta minimizando a perda de entropia cruzada binária.

8. Estrutura de Análise & Exemplo Conceitual

Cenário: Prever se o Estudante_42 traduzirá corretamente a palavra "was" (lema: "be", tempo: passado) em um exercício de espanhol.

Entidades & Codificação de Características:

• user_id=42 (Discreto)
• word_lemma="be" (Discreto)
• grammar_tense="past" (Discreto)
previous_accuracy=0.85 (Contínuo, normalizado)

O vetor de entrada esparso $\mathbf{x}$ teria 1s nas posições correspondentes às entidades discretas, o valor 0.85 para a característica contínua e 0s em outros lugares.

Interpretação do Modelo:

• A parte FM pode aprender que o peso de interação $\langle \mathbf{v}_{user42}, \mathbf{v}_{tense:past} \rangle$ é negativo, sugerindo que o Estudante_42 geralmente tem dificuldade com o tempo passado.
• Simultaneamente, pode aprender que $\langle \mathbf{v}_{lemma:be}, \mathbf{v}_{tense:past} \rangle$ é altamente negativo, indicando que "be" no tempo passado é particularmente difícil para todos os estudantes.
• A parte Deep pode aprender um padrão mais complexo e não linear: ex.: uma alta previous_accuracy combinada com um padrão específico de erros passados em verbos irregulares modula a previsão final, capturando uma interação de ordem superior além das interações aos pares.

Isto demonstra como o DeepFM pode capturar simultaneamente relações simples e interpretáveis (como a IRT) e padrões complexos e não lineares.

9. Aplicações Futuras & Direções de Pesquisa

A aplicação do DeepFM ao rastreamento de conhecimento abre várias vias promissoras:

1. Integração com Modelos Sequenciais: A extensão mais direta é incorporar dinâmicas temporais. Um DeepFM poderia servir como o mecanismo de interação de características em cada passo de tempo, com sua saída alimentada em uma RNN ou Transformer para modelar a evolução do estado de conhecimento ao longo do tempo, combinando os pontos fortes de modelos conscientes de características e de sequência.
2. Recomendação de Conteúdo Personalizado: Além da previsão, os embeddings aprendidos para usuários, habilidades e itens de conteúdo podem alimentar sistemas de recomendação sofisticados dentro de plataformas de aprendizagem adaptativa, sugerindo o próximo melhor exercício ou recurso de aprendizagem.
3. Aprendizado de Transferência entre Domínios: Os embeddings de entidades aprendidos a partir de dados de aprendizagem de línguas (ex.: embeddings para conceitos gramaticais) poderiam potencialmente ser transferidos ou ajustados para outros domínios, como tutoria de matemática ou ciências, acelerando o desenvolvimento de modelos onde os dados são mais escassos.
4. Explicabilidade & Intervenção: Embora mais interpretável que uma DNN pura, as explicações do DeepFM ainda são baseadas em fatores latentes. Trabalhos futuros poderiam focar no desenvolvimento de métodos de explicação post-hoc para traduzir interações de fatores em insights acionáveis para professores (ex.: "Estudante tem dificuldade especificamente com a interação entre voz passiva e pretérito mais-que-perfeito").
5. Testagem Adaptativa em Tempo Real: A eficiência do componente FM o torna adequado para sistemas em tempo real. Ele poderia ser implantado em ambientes de teste adaptativo computadorizado (CAT) para selecionar dinamicamente a próxima questão com base em uma estimativa continuamente atualizada da habilidade do estudante e das interações item-característica.

10. Referências

1. Corbett, A. T., & Anderson, J. R. (1994). Knowledge tracing: Modeling the acquisition of procedural knowledge. User modeling and user-adapted interaction, 4(4), 253-278.
2. Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L. J., & Sohl-Dickstein, J. (2015). Deep knowledge tracing. Advances in neural information processing systems, 28.
3. Wilson, K. H., Karklin, Y., Han, B., & Ekanadham, C. (2016). Back to the basics: Bayesian extensions of IRT outperform neural networks for proficiency estimation. In Educational Data Mining.
4. Cheng, H. T., Koc, L., Harmsen, J., Shaked, T., Chandra, T., Aradhye, H., ... & Shah, H. (2016, September). Wide & deep learning for recommender systems. In Proceedings of the 1st workshop on deep learning for recommender systems (pp. 7-10).
5. Guo, H., Tang, R., Ye, Y., Li, Z., & He, X. (2017). DeepFM: a factorization-machine based neural network for CTR prediction. arXiv preprint arXiv:1703.04247.
6. Vie, J. J., & Kashima, H. (2018). Knowledge tracing machines: Factorization machines for knowledge tracing. arXiv preprint arXiv:1811.03388.
7. Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Sage.
8. Settles, B., Brust, C., Gustafson, E., Hagiwara, M., & Madnani, N. (2018). Second language acquisition modeling. In Proceedings of the NAACL-HLT Workshop on Innovative Use of NLP for Building Educational Applications.