第二語言習得中的公平知識追蹤：演算法偏見分析

1. 引言與背景

教育領域的預測建模，特別是知識追蹤，旨在模擬學生不斷變化的知識狀態，以預測未來表現並實現個人化教學。傳統方法依賴於對表現數據的人為解讀，容易受到認知偏見的影響。由Corbett和Anderson引入的計算機化知識追蹤，透過使用學生互動數據來減輕這些偏見。

雖然大多數研究優先考慮模型的準確性，但本文將焦點轉向一個關鍵但尚未充分探索的維度：演算法公平性。公平性確保模型不會基於敏感屬性系統性地使某些群體處於不利地位。在透過Duolingo等平台進行第二語言習得的背景下，偏見可能會延續教育不平等。

核心研究問題：本研究評估知識追蹤模型在以下兩個方面的公平性：1) 不同的客戶端平台，以及 2) 來自已開發國家與開發中國家的學習者。

2. 方法論與實驗設置

本研究採用比較分析框架來評估模型的預測效能和公平性。

2.1 資料集：Duolingo學習軌跡

使用了來自2018年Duolingo第二語言習得共享任務的三個不同學習軌跡：

• en_es： 英語使用者學習西班牙語。
• es_en： 西班牙語使用者學習英語。
• fr_en： 法語使用者學習英語。

2.2 評估的預測模型

本研究比較了兩大類模型：

• 機器學習模型： 可能包括傳統模型，如邏輯迴歸、隨機森林或貝氏知識追蹤。
• 深度學習模型： 可能包括序列模型，如長短期記憶網路或深度知識追蹤，這些模型擅長捕捉學習序列中的時間依賴性。

2.3 公平性指標與評估框架

使用群體公平性指標評估公平性。對於二元預測，常見的指標包括：

• 人口統計平等： 各群體間的預測率相等。
• 機會均等： 各群體間的真陽性率相等。
• 預測平等： 各群體間的精確度相等。

3. 實驗結果與發現

分析得出了四項關鍵發現，突顯了準確性與公平性之間的權衡。

3.1 效能：準確度比較

深度學習模型在所有評估的學習軌跡上都展現出顯著的預測準確度優勢。這與神經序列模型的能力相符，如深度知識追蹤論文中所指出的，它們比簡單的機器學習模型更能有效模擬複雜、非線性的學習軌跡。

3.2 跨客戶端平台的公平性

觀察到一致且明顯的偏見，偏向行動應用程式使用者。這可能源於：

• 資料品質差異。
• 平台選擇與學習者參與度或社會經濟因素之間的無意關聯。

3.3 跨國家發展水準的公平性

與深度學習演算法相比，機器學習演算法對來自開發中國家的學習者表現出更明顯的偏見。這表明，能力更強的深度學習模型可能正在學習更穩健、可泛化的模式，對與發展狀態相關的虛假關聯較不敏感。

3.4 權衡分析：準確度 vs. 公平性

本研究建議採取細緻、因地制宜的方法：

• 對於en_es和es_en軌跡，深度學習更適合，能提供更好的平衡。
• 對於fr_en軌跡，機器學習成為更合適的選擇，這可能是由於資料集特性，使得較簡單的模型能更公平地泛化。

4. 技術深度解析

4.1 知識追蹤形式化

知識追蹤的核心是將學習者的知識狀態建模為一個隨時間變化的潛在變數。給定一系列學習者互動，目標是預測下一個項目正確的概率。

深度知識追蹤使用循環神經網路來建模：

$h_t = \text{RNN}(x_t, h_{t-1})$

$P(r_{t+1}) = \sigma(W \cdot h_t + b)$

其中 $h_t$ 是代表時間 $t$ 知識狀態的隱藏狀態，$\sigma$ 是Sigmoid函數。

4.2 公平性指標公式化

令 $A \in \{0,1\}$ 為一個敏感屬性。令 $\hat{Y}$ 為模型的預測。人口統計平等要求：

$P(\hat{Y}=1 | A=1) = P(\hat{Y}=1 | A=0)$

機會均等要求：

$P(\hat{Y}=1 | A=1, Y=1) = P(\hat{Y}=1 | A=0, Y=1)$

研究中觀察到的偏見可以量化為這些條件機率在不同群體間的差異或比率。

5. 分析框架與案例範例

審計知識追蹤公平性的框架： 教育科技開發者可以採用此結構化方法：

1. 分組評估： 絕不僅報告總體準確度。始終為每個敏感子群體分別計算效能指標和公平性指標。
2. 根本原因分析： 針對已識別的偏見，調查特徵關聯性。是否有特徵同時與平台和預測結果相關？
3. 緩解策略選擇： 根據原因選擇緩解技術：預處理、處理中或後處理。

案例範例 - 行動裝置偏見： 假設一個基於LSTM的知識追蹤模型顯示，在實際表現相同的情況下，對iOS使用者的成功預測概率比網頁使用者高15%。我們的審計發現「一天中的時間」特徵是關鍵驅動因素：iOS使用者在通勤時進行更多短暫、頻繁的練習，而網頁使用者的練習時段較長、頻率較低。模型將「通勤模式」與更高的參與度聯繫起來，從而提高了預測，這不公平地懲罰了可能以不同模式有效學習的網頁使用者。緩解措施： 我們可以在訓練期間應用公平感知正則化項，懲罰模型在平台群體間預測分佈的差異。

6. 批判性分析與專家解讀

核心洞見： 本文為蓬勃發展的教育科技領域提供了一個關鍵且令人不安的事實：您最先進的知識追蹤模型很可能內建了系統性偏見，偏袒富裕、以行動裝置為主的用戶和已開發國家。對準確性的追求使該領域忽視了其演算法中累積的道德債務。即使在複雜的深度學習模型中偏見仍然存在，這一發現清醒地反駁了「更複雜的模型本質上能學習『更公平』的表徵」這一信念。

邏輯流程： 作者從建立知識追蹤典範，邏輯性地推進到揭露其公平性盲點。使用已確立的Duolingo資料集提供了可信度和可重現性。分為平台偏見和地緣政治偏見的雙重分析，巧妙地捕捉了數位落差的兩個主要軸線。傳統機器學習與現代深度學習的比較不僅是技術性的，更是戰略性的，有助於實踐者在考慮倫理影響的情況下選擇工具。

優點與缺陷： 主要優點是其對真實世界數據的可操作、實證性關注，以及清晰、比較性的發現。它超越了理論上的公平性討論。然而，一個重大缺陷是缺乏機制性解釋。行動裝置偏見為何發生？是資料人為因素、用戶行為差異還是模型限制？本文診斷了疾病，但幾乎沒有提供病理學解釋。此外，儘管機器學習在`fr_en`軌跡上準確度較低，但基於公平性建議使用它，這提出了一個現實困境：我們願意為公平性犧牲多少準確度？由誰決定？

可操作的見解： 對於產品負責人和工程師而言，這項研究是一項變革的指令。首先，公平性審計必須成為新模型部署的標準關鍵績效指標。其次，觀察到的偏見表明需要針對特定平台進行特徵工程或校準。第三，研究強調需要更多樣化和具代表性的訓練數據。最後，該領域必須開發並採用「設計即公平」的知識追蹤架構，從一開始就整合約束條件，而不是事後補救。

7. 未來應用與研究方向

• 個人化公平感知輔導： 未來的智慧教學系統不僅可以根據知識狀態動態調整，還可以對抗預測的偏見。
• 跨文化與跨語言模型遷移： 研究應探索遷移學習中的公平性。
• 可解釋的公平性： 除了測量偏見，我們還需要工具來解釋哪些特徵導致了不公平的結果。
• 縱向公平性研究： 在學習者多年的學習旅程中，演算法偏見是增加還是減少？
• 與學習科學整合： 未來的工作必須彌合與教學理論的差距。從認知負荷或動機的角度來看，「公平性」意味著什麼？

8. 參考文獻

1. Corbett, A. T., & Anderson, J. R. (1994). Knowledge tracing: Modeling the acquisition of procedural knowledge. User modeling and user-adapted interaction, 4(4), 253-278.
2. Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L. J., & Sohl-Dickstein, J. (2015). Deep knowledge tracing. Advances in neural information processing systems, 28.
3. Zemel, R., Wu, Y., Swersky, K., Pitassi, T., & Dwork, C. (2013). Learning fair representations. International conference on machine learning (pp. 325-333). PMLR.
4. Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys (CSUR), 54(6), 1-35.
5. Google PAIR. (n.d.). People + AI Guidebook. Retrieved from https://pair.withgoogle.com/
6. Duolingo. (2018). Duolingo Second Language Acquisition Shared Task. Proceedings of the 2018 EMNLP Workshop W-NUT.
7. Barocas, S., Hardt, M., & Narayanan, A. (2019). Fairness and Machine Learning: Limitations and Opportunities. fairmlbook.org.