द्वितीय भाषा अधिगम में निष्पक्ष ज्ञान अनुरेखण: एल्गोरिदमिक पूर्वाग्रह का विश्लेषण

1. Introduction & Background

शिक्षा में भविष्यवाणी मॉडलिंग, विशेष रूप से नॉलेज ट्रेसिंग (केटी), का उद्देश्य किसी छात्र की विकसित हो रही ज्ञान अवस्था को मॉडल करना है ताकि भविष्य के प्रदर्शन का पूर्वानुमान लगाया जा सके और निर्देशन को व्यक्तिगत बनाया जा सके। प्रदर्शन डेटा की मानवीय व्याख्या पर निर्भर पारंपरिक विधियाँ संज्ञानात्मक पूर्वाग्रहों (जैसे, सकारात्मकता पूर्वाग्रह, स्मृति सीमाएँ) के प्रति संवेदनशील होती हैं। कॉर्बेट और एंडरसन द्वारा प्रस्तुत कम्प्यूटेशनल केटी, छात्र अंतःक्रिया डेटा का उपयोग करके इन्हें कम करती है।

जबकि अधिकांश शोध मॉडल सटीकता को प्राथमिकता देते हैं, यह पत्र एक महत्वपूर्ण परंतु अपर्याप्त रूप से खोजे गए आयाम पर ध्यान केंद्रित करता है: एल्गोरिदमिक निष्पक्षता. निष्पक्षता यह सुनिश्चित करती है कि मॉडल संवेदनशील विशेषताओं (जैसे, डिवाइस प्रकार, मूल देश) के आधार पर समूहों को व्यवस्थित रूप से नुकसान न पहुंचाएं। Duolingo जैसे प्लेटफ़ॉर्म के माध्यम से Second Language Acquisition (SLA) के संदर्भ में, पूर्वाग्रह शैक्षिक असमानता को बनाए रख सकता है।

मुख्य शोध प्रश्न: यह अध्ययन KT मॉडलों की निष्पक्षता का मूल्यांकन करता है: 1) विभिन्न क्लाइंट प्लेटफॉर्म (iOS, Android, Web), और 2) विकसित बनाम विकासशील देशों के शिक्षार्थियों के संदर्भ में।

2. Methodology & Experimental Setup

यह अध्ययन मॉडलों की भविष्यवाणी करने वाले प्रदर्शन और निष्पक्षता दोनों का मूल्यांकन करने के लिए एक तुलनात्मक विश्लेषण ढांचा अपनाता है।

2.1 डेटासेट: डुओलिंगो ट्रैक्स

द्वितीय भाषा अधिग्रहण पर 2018 डुओलिंगो शेयर्ड टास्क के तीन अलग-अलग शिक्षण ट्रैक्स का उपयोग किया गया:

• en_es: अंग्रेजी बोलने वाले जो स्पेनिश सीख रहे हैं।
• es_en: स्पेनिश बोलने वाले जो अंग्रेजी सीख रहे हैं।
• fr_en: फ्रेंच भाषी जो अंग्रेजी सीख रहे हैं।

2.2 मूल्यांकित पूर्वानुमान मॉडल

अध्ययन मॉडलों के दो व्यापक वर्गों की तुलना करता है:

• मशीन लर्निंग (ML) मॉडल: संभवतः लॉजिस्टिक रिग्रेशन, रैंडम फॉरेस्ट्स, या बायेसियन नॉलेज ट्रेसिंग (BKT) जैसे पारंपरिक मॉडल शामिल हैं।
• डीप लर्निंग (DL) मॉडल: संभवतः इसमें लॉन्ग शॉर्ट-टर्म मेमोरी (LSTM) नेटवर्क या डीप नॉलेज ट्रेसिंग (DKT) जैसे सीक्वेंस मॉडल शामिल हैं, जो सीखने के क्रम में समय-संबंधी निर्भरताओं को पकड़ने में कुशल हैं।

2.3 Fairness Metrics & Evaluation Framework

समूह निष्पक्षता मेट्रिक्स का उपयोग करके निष्पक्षता का आकलन किया गया। एक द्विआधारी भविष्यवाणी (उदाहरण के लिए, क्या छात्र अगले आइटम को सही ढंग से उत्तर देगा?) के लिए, सामान्य मेट्रिक्स में शामिल हैं:

• जनसांख्यिकीय समता: समूहों में समान भविष्यवाणी दर।
• समान अवसर: समूहों में समान सही सकारात्मक दरें।
• भविष्यवाणी समानता: समूहों में समान परिशुद्धता।

3. Experimental Results & Findings

विश्लेषण से चार प्रमुख निष्कर्ष प्राप्त हुए, जो सटीकता और निष्पक्षता के बीच समायोजन पर प्रकाश डालते हैं।

3.1 प्रदर्शन: सटीकता तुलना

मूल्यांकन किए गए ट्रैक्स में, डीप लर्निंग मॉडल ने भविष्यवाणी सटीकता में एक स्पष्ट लाभ प्रदर्शित किया। यह Piech et al. के मौलिक DKT पेपर में उल्लेखित तथ्य के अनुरूप है कि DKT जैसे न्यूरल अनुक्रम मॉडल, सरल ML मॉडल्स की तुलना में जटिल, गैर-रैखिक शिक्षण प्रक्षेपवक्रों को अधिक प्रभावी ढंग से मॉडल करने की स्थापित क्षमता रखते हैं।

3.2 क्लाइंट प्लेटफ़ॉर्म्स में निष्पक्षता

मोबाइल ऐप उपयोगकर्ताओं (iOS, Android) के पक्ष में वेब ब्राउज़र उपयोगकर्ताओं की तुलना में एक सुसंगत और स्पष्ट पूर्वाग्रह देखा गया। इसके कारण हो सकते हैं:

• डेटा गुणवत्ता में अंतर (जैसे, इंटरैक्शन पैटर्न, सत्र की अवधि)।
• प्रशिक्षण डेटा में निहित प्लेटफ़ॉर्म चुनाव और शिक्षार्थी संलग्नता या सामाजिक-आर्थिक कारकों के बीच अनजाने सहसंबंध।

3.3 देश विकास स्तरों में निष्पक्षता

Machine Learning algorithms ने Deep Learning algorithms की तुलना में विकासशील देशों के शिक्षार्थियों के प्रति अधिक स्पष्ट पूर्वाग्रह दिखाया। इससे पता चलता है कि DL models, अपनी अधिक क्षमता के साथ, अधिक मजबूत, सामान्यीकरण योग्य पैटर्न सीख रहे होंगे जो विकास स्थिति से जुड़े गलत सहसंबंधों के प्रति कम संवेदनशील हैं।

3.4 Trade-off Analysis: Accuracy vs. Fairness

अध्ययन एक सूक्ष्म, संदर्भ-विशिष्ट दृष्टिकोण की सिफारिश करता है:

• के लिए en_es और es_en tracks, Deep Learning अधिक उपयुक्त है, जो एक बेहतर संतुलन प्रदान करता है।
• For the fr_en ट्रैक के लिए, मशीन लर्निंग एक अधिक उपयुक्त विकल्प के रूप में उभरा, संभवतः डेटासेट की विशेषताओं के कारण जहां सरल मॉडल अधिक निष्पक्ष रूप से सामान्यीकरण करते हैं।

4. Technical Deep Dive

4.1 Knowledge Tracing Formalism

इसके मूल में, केटी एक शिक्षार्थी की ज्ञान अवस्था को एक अव्यक्त चर के रूप में मॉडल करता है जो समय के साथ विकसित होता है। शिक्षार्थी अंतःक्रियाओं के एक अनुक्रम (जैसे, अभ्यास प्रयास) $X = \{x_1, x_2, ..., x_t\}$ को देखते हुए, लक्ष्य अगले आइटम पर सही होने की संभावना, $P(r_{t+1} = 1 | X)$ की भविष्यवाणी करना है।

डीप नॉलेज ट्रेसिंग (DKT) इसे मॉडल करने के लिए एक रिकरंट न्यूरल नेटवर्क (RNN) का उपयोग करता है:

$h_t = \text{RNN}(x_t, h_{t-1})$

$P(r_{t+1}) = \sigma(W \cdot h_t + b)$

जहाँ $h_t$ समय $t$ पर ज्ञान की स्थिति का प्रतिनिधित्व करने वाली छिपी हुई अवस्था है, और $\sigma$ सिग्मॉइड फ़ंक्शन है।

4.2 Fairness Metrics Formulation

Let $A \in \{0,1\}$ be a sensitive attribute (e.g., $A=1$ for mobile user, $A=0$ for web user). Let $\hat{Y}$ be the model's prediction. Demographic Parity आवश्यकताएँ:

$P(\hat{Y}=1 | A=1) = P(\hat{Y}=1 | A=0)$

Equal Opportunity (सही परिणाम को सकारात्मक परिणाम मानते हुए) आवश्यकता है:

$P(\hat{Y}=1 | A=1, Y=1) = P(\hat{Y}=1 | A=0, Y=1)$

अध्ययन में देखे गए पूर्वाग्रह को विभिन्न समूहों के लिए इन सशर्त संभावनाओं के बीच अंतर या अनुपात के रूप में मापा जा सकता है।

5. Analysis Framework & Case Example

KT निष्पक्षता ऑडिटिंग के लिए ढांचा: एडटेक डेवलपर्स इस संरचित दृष्टिकोण को अपना सकते हैं:

1. विघटित मूल्यांकन: केवल समग्र सटीकता रिपोर्ट न करें। हमेशा प्रदर्शन मेट्रिक्स (सटीकता, AUC) और निष्पक्षता मेट्रिक्स (जनसांख्यिकीय समानता अंतर, समान अवसर अंतर) की गणना प्रत्येक संवेदनशील उपसमूह (प्लेटफ़ॉर्म, देश, लिंग के अनुसार, यदि उपलब्ध हो) के लिए अलग-अलग करें।
2. मूल कारण विश्लेषण: पहचानी गई पूर्वाग्रहों के लिए, फ़ीचर सहसंबंधों की जांच करें। क्या "सत्रों की संख्या" प्लेटफ़ॉर्म और पूर्वानुमान परिणाम दोनों से सहसंबद्ध है? क्या सामाजिक-आर्थिक स्थिति के लिए प्रॉक्सी चर व्यवहारिक डेटा के माध्यम से मॉडल में रिसाव कर सकते हैं?
3. शमन रणनीति चयन: कारण के आधार पर, एक शमन तकनीक चुनें: प्री-प्रोसेसिंग (डेटा का पुनर्भार), इन-प्रोसेसिंग (हानि फ़ंक्शन में निष्पक्षता बाधाएँ जोड़ना, जैसे कि FAT* सम्मेलन समुदाय के दृष्टिकोणों में), या पोस्ट-प्रोसेसिंग (प्रति समूह सीमाएँ कैलिब्रेट करना)।

केस उदाहरण - मोबाइल पूर्वाग्रह: कल्पना कीजिए कि डुओलिंगो डेटा पर प्रशिक्षित एक एलएसटीएम-आधारित केटी मॉडल आईओएस उपयोगकर्ताओं के लिए वेब उपयोगकर्ताओं की तुलना में सफलता की 15% अधिक भविष्यवाणी संभावना दिखाता है, जबकि वास्तविक प्रदर्शन समान रहता है। हमारी ऑडिट से पता चलता है कि "दिन के समय" फीचर एक प्रमुख चालक है: आईओएस उपयोगकर्ता छोटे, लगातार विस्फोटों (आवागमन) में अधिक अभ्यास करते हैं, जबकि वेब उपयोगकर्ताओं के सत्र लंबे और कम बार होते हैं। मॉडल "आवागमन पैटर्न" को उच्च संलग्नता से जोड़ता है और भविष्यवाणियों को बढ़ावा देता है, जो वेब उपयोगकर्ताओं के साथ अनुचित रूप से पक्षपात करता है जो विभिन्न पैटर्न में प्रभावी ढंग से सीख सकते हैं। शमन: हम प्रशिक्षण के दौरान एक निष्पक्षता-जागरूक नियमितीकरण शब्द लागू कर सकते हैं जो प्लेटफ़ॉर्म समूहों के बीच भविष्यवाणी वितरण में अंतर के लिए मॉडल को दंडित करता है, जो ज़ेमेल एट अल जैसे शोधकर्ताओं के निष्पक्ष प्रतिनिधित्व सीखने पर कार्य द्वारा निर्देशित है।

6. Critical Analysis & Expert Interpretation

मूल अंतर्दृष्टि: यह शोधपत्र तेजी से बढ़ते एडटेक क्षेत्र के लिए एक महत्वपूर्ण और असहज सत्य प्रस्तुत करता है: आपके अत्याधुनिक नॉलेज ट्रेसिंग मॉडल संभवतः व्यवस्थित पूर्वाग्रहों को समाहित कर रहे हैं जो धनी, मोबाइल-फर्स्ट उपयोगकर्ताओं और विकसित देशों का पक्ष लेते हैं। सटीकता की खोज ने इस क्षेत्र को उस नैतिक ऋण के प्रति अंधा कर दिया है जो इसके एल्गोरिदम में जमा हो रहा है। यह तथ्य कि परिष्कृत डीप लर्निंग मॉडलों में भी पूर्वाग्रह बना रहता है, इस विश्वास के लिए एक गंभीर प्रतिवाद है कि अधिक जटिल मॉडल स्वाभाविक रूप से "अधिक निष्पक्ष" प्रतिनिधित्व सीखते हैं।

तार्किक प्रवाह: लेखक तार्किक रूप से KT प्रतिमान स्थापित करने से लेकर उसकी निष्पक्षता के अंध स्थान को उजागर करने तक आगे बढ़ते हैं। सुस्थापित Duolingo डेटासेट का उपयोग विश्वसनीयता और पुनरुत्पादन क्षमता प्रदान करता है। द्विभाजित विश्लेषण—प्लेटफ़ॉर्म पूर्वाग्रह और भू-राजनीतिक पूर्वाग्रह—डिजिटल विभाजन के दो प्रमुख अक्षों को चतुराई से पकड़ता है। शास्त्रीय ML और आधुनिक DL के बीच तुलना केवल तकनीकी नहीं बल्कि रणनीतिक है, जो व्यवसायियों को नैतिक प्रभावों को ध्यान में रखते हुए उपकरण चुनने में मदद करती है।

Strengths & Flaws: इसकी प्राथमिक शक्ति वास्तविक दुनिया के डेटा और स्पष्ट, तुलनात्मक निष्कर्षों पर कार्रवाई योग्य, अनुभवजन्य ध्यान केंद्रित करना है। यह सैद्धांतिक निष्पक्षता चर्चाओं से आगे बढ़ता है। हालाँकि, एक महत्वपूर्ण खामी यांत्रिकी स्पष्टीकरण का अभाव है। क्यों मोबाइल पूर्वाग्रह होता है? क्या यह डेटा आर्टिफैक्ट, उपयोगकर्ता व्यवहार अंतर, या मॉडल सीमा है? पेपर बीमारी का निदान करता है लेकिन पैथोलॉजी बहुत कम प्रदान करता है। इसके अलावा, `fr_en` ट्रैक के लिए एमएल का उपयोग करने का सुझाव, निष्पक्षता के आधार पर, इसकी कम सटीकता के बावजूद, एक वास्तविक दुनिया की दुविधा प्रस्तुत करता है: हम निष्पक्षता के लिए कितनी सटीकता का त्याग करने को तैयार हैं, और यह कौन तय करता है?

कार्रवाई योग्य अंतर्दृष्टि: उत्पाद नेताओं और इंजीनियरों के लिए, यह अध्ययन परिवर्तन के लिए एक आदेश है। सबसे पहले, निष्पक्षता ऑडिटिंग एक मानक KPI बननी चाहिए नए मॉडल तैनाती के लिए A/B टेस्टिंग के साथ, जैसा कि Google की PAIR पहल द्वारा प्रचारित प्रथाओं के समान है। दूसरा, देखे गए पूर्वाग्रह यह सुझाव देते हैं कि प्लेटफ़ॉर्म-विशिष्ट फ़ीचर इंजीनियरिंग या कैलिब्रेशन. शायद वेब उपयोगकर्ताओं को एक सूक्ष्म रूप से भिन्न पूर्वानुमान मॉडल की आवश्यकता होती है। तीसरा, यह शोध इस आवश्यकता को रेखांकित करता है कि अधिक विविध और प्रतिनिधि प्रशिक्षण डेटाविकासशील क्षेत्रों में गैर-सरकारी संगठनों या शैक्षिक निकायों के साथ सहयोग से डेटासेट को संतुलित करने में मदद मिल सकती है। अंततः, इस क्षेत्र को विकसित करना और अपनाना होगा "फेयरनेस-बाय-डिज़ाइन" केटी आर्किटेक्चर, शुरुआत से ही बाधाओं को एकीकृत करना, न कि बाद में उचितता को जोड़ना।

7. Future Applications & Research Directions

• व्यक्तिगत निष्पक्षता-जागरूक शिक्षण: भविष्य के ITS न केवल ज्ञान की स्थिति के लिए, बल्कि अनुमानित पूर्वाग्रहों का मुकाबला करने के लिए भी गतिशील रूप से समायोजित हो सकते हैं। यदि सिस्टम पता लगाता है कि एक छात्र एक अल्पप्रतिनिधित्व वाले समूह से है जिसके लिए मॉडल कम आश्वस्त है, तो यह अधिक सहायक मचान प्रदान कर सकता है या अनिश्चितता को निष्पक्ष रूप से कम करने के लिए अधिक डेटा एकत्र कर सकता है।
• Cross-Cultural & Cross-Linguistic Model Transfer: शोध में ट्रांसफर लर्निंग में निष्पक्षता का पता लगाना चाहिए। क्या अंग्रेजी बोलने वाले शिक्षार्थियों पर प्रशिक्षित एक केटी मॉडल स्पेनिश बोलने वालों के लिए फाइन-ट्यून किए जाने पर निष्पक्ष है? डोमेन एडाप्टेशन की तकनीकों को निष्पक्षता की बाधाओं के साथ मिलाया जा सकता है।
• एक्सप्लेनेबल फेयरनेस (एक्सफेयरनेस): पूर्वाग्रह को मापने से परे, हमें ऐसे उपकरणों की आवश्यकता है जो यह समझा सकें कि कौन सी विशेषताएं अनुचित परिणामों में योगदान करती हैं। यह व्यापक एक्सएआई (एक्सप्लेनेबल एआई) आंदोलन के साथ संरेखित है और डेवलपर विश्वास एवं प्रभावी शमन के लिए महत्वपूर्ण है।
• अनुदैर्ध्य निष्पक्षता अध्ययन: क्या एक शिक्षार्थी की बहु-वर्षीय यात्रा में एल्गोरिदमिक पूर्वाग्रह बढ़ता या घटता है? अनुकूली प्रणालियों में पक्षपातपूर्ण प्रतिक्रिया लूप के संचयी प्रभावों को समझने के लिए अनुदैर्ध्य अध्ययनों की आवश्यकता है।
• लर्निंग साइंस के साथ एकीकरण: भविष्य के कार्य को शैक्षणिक सिद्धांत के साथ अंतर को पाटना होगा। "निष्पक्षता" का संज्ञानात्मक भार या प्रेरणा के परिप्रेक्ष्य से क्या अर्थ है? निष्पक्षता को केवल सांख्यिकीय समानता नहीं, बल्कि शैक्षिक समानता के सिद्धांतों के अनुरूप होना चाहिए।

8. References

1. Corbett, A. T., & Anderson, J. R. (1994). Knowledge tracing: Modeling the acquisition of procedural knowledge. User modeling and user-adapted interaction, 4(4), 253-278.
2. Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L. J., & Sohl-Dickstein, J. (2015). Deep knowledge tracing. Advances in neural information processing systems, 28.
3. Zemel, R., Wu, Y., Swersky, K., Pitassi, T., & Dwork, C. (2013). Learning fair representations. International conference on machine learning (pp. 325-333). PMLR.
4. Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias और fairness in machine learning. ACM Computing Surveys (CSUR), 54(6), 1-35.
5. Google PAIR. (n.d.). People + AI Guidebook. Retrieved from https://pair.withgoogle.com/
6. Duolingo. (2018). Duolingo Second Language Acquisition Shared Task. Proceedings of the 2018 EMNLP Workshop W-NUT.
7. Barocas, S., Hardt, M., & Narayanan, A. (2019). निष्पक्षता और मशीन लर्निंग: सीमाएँ और अवसर. fairmlbook.org.