第二语言习得中的公平知识追踪：算法偏见分析

1. 引言与背景

教育领域的预测建模，特别是知识追踪，旨在模拟学生不断变化的知识状态，以预测其未来表现并实现个性化教学。依赖人工解读表现数据的传统方法容易受到认知偏见（例如，积极性偏见、记忆限制）的影响。由Corbett和Anderson引入的计算知识追踪方法，通过利用学生交互数据来缓解这些问题。

虽然大多数研究优先考虑模型准确性，但本文将焦点转向一个关键但尚未充分探索的维度：算法公平性。公平性确保模型不会基于敏感属性（例如，设备类型、来源国）系统性地使某些群体处于不利地位。在通过多邻国等平台进行第二语言习得的背景下，偏见可能会加剧教育不平等。

核心研究问题：本研究评估知识追踪模型在以下两个方面的公平性：1) 不同的客户端平台（iOS、Android、Web）；2) 来自发达国家与发展中国家的学习者。

2. 方法论与实验设置

本研究采用比较分析框架来评估模型的预测性能和公平性。

2.1 数据集：多邻国学习路径

使用了来自2018年多邻国第二语言习得共享任务的三个不同学习路径：

• en_es： 英语母语者学习西班牙语。
• es_en： 西班牙语母语者学习英语。
• fr_en： 法语母语者学习英语。

2.2 评估的预测模型

本研究比较了两大类模型：

• 机器学习模型： 可能包括逻辑回归、随机森林或贝叶斯知识追踪等传统模型。
• 深度学习模型： 可能包括长短期记忆网络或深度知识追踪等序列模型，这些模型擅长捕捉学习序列中的时间依赖性。

2.3 公平性指标与评估框架

使用群体公平性指标评估公平性。对于二元预测（例如，学生是否能正确回答下一个问题？），常用指标包括：

• 人口统计均等： 不同群体间的预测率相等。
• 机会均等： 不同群体间的真正例率相等。
• 预测均等： 不同群体间的精确率相等。

3. 实验结果与发现

分析得出了四个关键发现，突显了准确性与公平性之间的权衡。

3.1 性能：准确率比较

深度学习模型在所有评估的学习路径上都显示出显著的预测准确性优势。这与Piech等人的开创性深度知识追踪论文中指出的观点一致，即像深度知识追踪这样的神经序列模型比简单的机器学习模型更能有效地模拟复杂、非线性的学习轨迹。

3.2 跨客户端平台的公平性

观察到一种持续且明显的偏见，即偏向移动应用用户（iOS、Android），而非网页浏览器用户。这可能源于：

• 数据质量差异（例如，交互模式、会话时长）。
• 平台选择与学习者参与度或社会经济因素之间在训练数据中存在的无意关联。

3.3 跨国家发展水平的公平性

与深度学习算法相比，机器学习算法对来自发展中国家的学习者表现出更明显的偏见。这表明，能力更强的深度学习模型可能在学习更稳健、可泛化的模式，这些模式对与发展状况相关的虚假关联不那么敏感。

3.4 权衡分析：准确率 vs. 公平性

本研究建议采取细致入微、具体情境的方法：

• 对于en_es和es_en路径，深度学习模型更合适，能提供更好的平衡。
• 对于fr_en路径，机器学习模型成为一个更合适的选择，可能是由于数据集特征使得简单模型能更公平地泛化。

4. 技术深度解析

4.1 知识追踪的形式化定义

知识追踪的核心是将学习者的知识状态建模为一个随时间演变的潜在变量。给定一系列学习者交互（例如，练习尝试）$X = \{x_1, x_2, ..., x_t\}$，目标是预测下一个项目正确的概率，即 $P(r_{t+1} = 1 | X)$。

深度知识追踪使用循环神经网络对此进行建模：

$h_t = \text{RNN}(x_t, h_{t-1})$

$P(r_{t+1}) = \sigma(W \cdot h_t + b)$

其中 $h_t$ 是表示时间 $t$ 知识状态的隐藏状态，$\sigma$ 是 sigmoid 函数。

4.2 公平性指标的公式化表达

令 $A \in \{0,1\}$ 为一个敏感属性（例如，$A=1$ 表示移动用户，$A=0$ 表示网页用户）。令 $\hat{Y}$ 为模型的预测。人口统计均等要求：

$P(\hat{Y}=1 | A=1) = P(\hat{Y}=1 | A=0)$

机会均等（将正确回答视为积极结果）要求：

$P(\hat{Y}=1 | A=1, Y=1) = P(\hat{Y}=1 | A=0, Y=1)$

研究中观察到的偏见可以量化为这些条件概率在不同群体之间的差异或比率。

5. 分析框架与案例示例

知识追踪公平性审计框架： 教育科技开发者可以采用以下结构化方法：

1. 分拆评估： 切勿仅报告总体准确率。始终为每个敏感子组（按平台、国家、性别，如果可用）分别计算性能指标（准确率、AUC）和公平性指标（人口统计均等差异、机会均等差异）。
2. 根本原因分析： 对于已识别的偏见，调查特征相关性。“会话次数”是否与平台和预测结果都相关？社会经济状况的代理变量是否可能通过行为数据泄露到模型中？
3. 缓解策略选择： 根据原因选择缓解技术：预处理（重新加权数据）、处理中（在损失函数中添加公平性约束，如FAT*会议社区倡导的方法）或后处理（按组校准阈值）。

案例示例 - 移动端偏见： 假设一个基于LSTM的知识追踪模型在多邻国数据上训练后显示，在保持实际表现不变的情况下，iOS用户比网页用户获得成功预测的概率高出15%。我们的审计发现，“一天中的时间”特征是关键驱动因素：iOS用户更倾向于在短时、频繁的碎片时间（如通勤时）练习，而网页用户则有更长、频率更低的会话。模型将“通勤模式”与更高的参与度关联起来，从而提升了预测，这就不公平地惩罚了那些可能以不同模式有效学习的网页用户。缓解措施： 我们可以在训练期间应用一个公平感知的正则化项，该正则化项基于Zemel等研究人员在学习公平表示方面的工作，惩罚模型在不同平台组之间预测分布的差异。

6. 批判性分析与专家解读

核心见解： 本文为蓬勃发展的教育科技行业揭示了一个关键且令人不安的事实：你们最先进的知识追踪模型很可能正在固化系统性偏见，这些偏见偏向富裕的、移动优先的用户和发达国家。对准确性的追求使该领域忽视了其算法中不断累积的“道德债务”。即使在复杂的深度学习模型中偏见依然存在，这一发现是对“更复杂的模型天生能学习‘更公平’的表示”这一信念的清醒反驳。

逻辑脉络： 作者从建立知识追踪范式，到揭露其公平性盲点，逻辑清晰。使用公认的多邻国数据集提供了可信度和可复现性。分叉分析——平台偏见和地缘政治偏见——巧妙地捕捉了数字鸿沟的两个主要维度。经典机器学习与现代深度学习的比较不仅是技术性的，更是战略性的，有助于从业者在考虑伦理影响的情况下选择工具。

优势与不足： 主要优势在于其对现实世界数据、清晰且具有比较性的发现采取了可操作的、实证性的关注，超越了理论上的公平性讨论。然而，一个显著缺陷是缺乏机制性解释。移动端偏见为何发生？是数据伪影、用户行为差异，还是模型局限性？论文诊断了疾病，但几乎没有提供病理分析。此外，尽管机器学习模型在`fr_en`路径上准确性较低，但基于公平性建议使用它，这提出了一个现实困境：我们愿意为公平性牺牲多少准确性？由谁来决定？

可操作的洞见： 对于产品负责人和工程师而言，这项研究是一份变革的指令。首先，公平性审计必须成为新模型部署的标准关键绩效指标，与A/B测试并列，类似于谷歌PAIR计划倡导的做法。其次，观察到的偏见表明需要进行针对特定平台的特征工程或校准。也许网页用户需要一个略有不同的预测模型。第三，该研究强调了需要更多样化、更具代表性的训练数据。与发展中国家的非政府组织或教育机构合作可能有助于重新平衡数据集。最后，该领域必须开发并采用“设计即公平”的知识追踪架构，从一开始就整合约束条件，而不是事后补救性地添加公平性考量。

7. 未来应用与研究展望

• 个性化公平感知辅导： 未来的智能辅导系统不仅可以动态调整以适应知识状态，还可以抵消预测的偏见。如果系统检测到学生来自模型信心不足的少数群体，它可以提供更多支持性的支架，或收集更多数据以公平地减少不确定性。
• 跨文化、跨语言模型迁移： 研究应探索迁移学习中的公平性。一个在英语学习者数据上训练的知识追踪模型，在为西班牙语使用者微调后是否公平？领域自适应技术可以与公平性约束相结合。
• 可解释的公平性： 除了衡量偏见，我们还需要工具来解释哪些特征导致了不公平的结果。这与更广泛的可解释人工智能运动相一致，对于开发者的信任和有效的缓解至关重要。
• 纵向公平性研究： 算法偏见在学习者多年的学习旅程中是增加还是减少？需要进行纵向研究，以理解自适应系统中偏见反馈循环的复合效应。
• 与学习科学的整合： 未来的工作必须弥合与教学理论的鸿沟。从认知负荷或动机的角度来看，“公平性”意味着什么？公平性应与教育公平原则保持一致，而不仅仅是统计上的均等。

8. 参考文献

1. Corbett, A. T., & Anderson, J. R. (1994). Knowledge tracing: Modeling the acquisition of procedural knowledge. User modeling and user-adapted interaction, 4(4), 253-278.
2. Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L. J., & Sohl-Dickstein, J. (2015). Deep knowledge tracing. Advances in neural information processing systems, 28.
3. Zemel, R., Wu, Y., Swersky, K., Pitassi, T., & Dwork, C. (2013). Learning fair representations. International conference on machine learning (pp. 325-333). PMLR.
4. Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys (CSUR), 54(6), 1-35.
5. Google PAIR. (n.d.). People + AI Guidebook. Retrieved from https://pair.withgoogle.com/
6. Duolingo. (2018). Duolingo Second Language Acquisition Shared Task. Proceedings of the 2018 EMNLP Workshop W-NUT.
7. Barocas, S., Hardt, M., & Narayanan, A. (2019). Fairness and Machine Learning: Limitations and Opportunities. fairmlbook.org.