দ্বিতীয় ভাষা অর্জনে ন্যায্য জ্ঞান ট্রেসিং: অ্যালগরিদমিক পক্ষপাত বিশ্লেষণ

1. ভূমিকা ও পটভূমি

শিক্ষায় পূর্বাভাসমূলক মডেলিং, বিশেষ করে জ্ঞান ট্রেসিং (কেটি), ভবিষ্যত কর্মক্ষমতা পূর্বাভাস দেওয়া এবং নির্দেশনা ব্যক্তিগতকরণের জন্য একজন শিক্ষার্থীর বিবর্তনশীল জ্ঞান অবস্থা মডেল করার লক্ষ্য রাখে। কর্মক্ষমতা তথ্যের মানুষের ব্যাখ্যার উপর নির্ভরশীল ঐতিহ্যগত পদ্ধতিগুলি জ্ঞানীয় পক্ষপাতের (যেমন, ইতিবাচকতা পক্ষপাত, স্মৃতি সীমা) প্রতি সংবেদনশীল। করবেট এবং অ্যান্ডারসন দ্বারা প্রবর্তিত কম্পিউটেশনাল কেটি, শিক্ষার্থীর মিথস্ক্রিয়া তথ্য ব্যবহার করে এগুলি প্রশমিত করে।

যদিও অধিকাংশ গবেষণা মডেলের নির্ভুলতাকে অগ্রাধিকার দেয়, এই গবেষণাপত্রটি একটি গুরুত্বপূর্ণ কিন্তু কম অন্বেষিত মাত্রার দিকে দৃষ্টি সরিয়ে নেয়: অ্যালগরিদমিক ন্যায্যতা। ন্যায্যতা নিশ্চিত করে যে মডেলগুলি সংবেদনশীল বৈশিষ্ট্যের (যেমন, ডিভাইসের ধরন, দেশের উৎপত্তি) ভিত্তিতে গোষ্ঠীগুলিকে পদ্ধতিগতভাবে অসুবিধায় ফেলবে না। ডুয়োলিঙ্গোর মতো প্ল্যাটফর্মের মাধ্যমে দ্বিতীয় ভাষা অর্জনের (এসএলএ) প্রসঙ্গে, পক্ষপাত শিক্ষাগত বৈষম্যকে চিরস্থায়ী করতে পারে।

মূল গবেষণা প্রশ্নসমূহ: এই গবেষণা কেটি মডেলগুলির ন্যায্যতা মূল্যায়ন করে: ১) বিভিন্ন ক্লায়েন্ট প্ল্যাটফর্ম (আইওএস, অ্যান্ড্রয়েড, ওয়েব), এবং ২) উন্নত বনাম উন্নয়নশীল দেশের শিক্ষার্থীদের মধ্যে।

2. পদ্ধতি ও পরীক্ষামূলক সেটআপ

গবেষণাটি মডেলগুলির পূর্বাভাসমূলক কর্মক্ষমতা এবং ন্যায্যতা উভয়ই মূল্যায়নের জন্য একটি তুলনামূলক বিশ্লেষণ কাঠামো ব্যবহার করে।

2.1 ডেটাসেট: ডুয়োলিঙ্গো ট্র্যাকসমূহ

দ্বিতীয় ভাষা অর্জনে ২০১৮ ডুয়োলিঙ্গো শেয়ার্ড টাস্ক থেকে তিনটি স্বতন্ত্র শেখার ট্র্যাক ব্যবহার করা হয়েছিল:

• en_es: স্প্যানিশ শেখা ইংরেজি ভাষাভাষী।
• es_en: ইংরেজি শেখা স্প্যানিশ ভাষাভাষী।
• fr_en: ইংরেজি শেখা ফরাসি ভাষাভাষী।

2.2 মূল্যায়নকৃত পূর্বাভাসমূলক মডেলসমূহ

গবেষণাটি মডেলের দুটি বিস্তৃত শ্রেণীর তুলনা করে:

• মেশিন লার্নিং (এমএল) মডেলসমূহ: সম্ভবত লজিস্টিক রিগ্রেশন, র্যান্ডম ফরেস্ট, বা বেইজিয়ান নলেজ ট্রেসিং (বিকেটি) এর মতো ঐতিহ্যগত মডেল অন্তর্ভুক্ত।
• ডিপ লার্নিং (ডিএল) মডেলসমূহ: সম্ভবত লং শর্ট-টার্ম মেমরি (এলএসটিএম) নেটওয়ার্ক বা ডিপ নলেজ ট্রেসিং (ডিকেটি) এর মতো সিকোয়েন্স মডেল অন্তর্ভুক্ত, যা শেখার ক্রমে সময়গত নির্ভরতা ক্যাপচার করতে দক্ষ।

2.3 ন্যায্যতা মেট্রিক্স ও মূল্যায়ন কাঠামো

গ্রুপ ন্যায্যতা মেট্রিক্স ব্যবহার করে ন্যায্যতা মূল্যায়ন করা হয়েছিল। একটি বাইনারি পূর্বাভাসের জন্য (যেমন, শিক্ষার্থী কি পরবর্তী আইটেমটি সঠিকভাবে উত্তর দেবে?), সাধারণ মেট্রিক্সগুলির মধ্যে রয়েছে:

• জনসংখ্যাগত সমতা: গোষ্ঠী জুড়ে সমান পূর্বাভাস হার।
• সমান সুযোগ: গোষ্ঠী জুড়ে সমান সত্যিকারের ইতিবাচক হার।
• পূর্বাভাসমূলক সমতা: গোষ্ঠী জুড়ে সমান নির্ভুলতা।

3. পরীক্ষামূলক ফলাফল ও অনুসন্ধান

বিশ্লেষণটি নির্ভুলতা এবং ন্যায্যতার মধ্যে বিনিময়কে তুলে ধরে চারটি মূল অনুসন্ধান দিয়েছে।

3.1 কর্মক্ষমতা: নির্ভুলতা তুলনা

ডিপ লার্নিং মডেলগুলি মূল্যায়নকৃত ট্র্যাকগুলিতে পূর্বাভাসমূলক নির্ভুলতায় একটি লক্ষণীয় সুবিধা প্রদর্শন করেছে। এটি পাইচ এট আল-এর যুগান্তকারী ডিকেটি গবেষণাপত্রে উল্লিখিত হিসাবে, সরল এমএল মডেলগুলির তুলনায় ডিকেটির মতো নিউরাল সিকোয়েন্স মডেলগুলির জটিল, অ-রৈখিক শেখার গতিপথ আরও কার্যকরভাবে মডেল করার প্রতিষ্ঠিত ক্ষমতার সাথে সামঞ্জস্যপূর্ণ।

3.2 ক্লায়েন্ট প্ল্যাটফর্ম জুড়ে ন্যায্যতা

ওয়েব ব্রাউজার ব্যবহারকারীদের তুলনায় মোবাইল অ্যাপ ব্যবহারকারীদের (আইওএস, অ্যান্ড্রয়েড) পক্ষে একটি ধারাবাহিক এবং লক্ষণীয় পক্ষপাত লক্ষ্য করা গেছে। এটি হতে পারে:

• তথ্যের গুণগত পার্থক্য (যেমন, মিথস্ক্রিয়া প্যাটার্ন, সেশন দৈর্ঘ্য)।
• প্রশিক্ষণ তথ্যে বেকড প্ল্যাটফর্ম পছন্দ এবং শিক্ষার্থীর সম্পৃক্ততা বা আর্থ-সামাজিক কারণগুলির মধ্যে অনিচ্ছাকৃত পারস্পরিক সম্পর্ক।

3.3 দেশের উন্নয়ন স্তর জুড়ে ন্যায্যতা

মেশিন লার্নিং অ্যালগরিদমগুলি ডিপ লার্নিং অ্যালগরিদমের তুলনায় উন্নয়নশীল দেশের শিক্ষার্থীদের বিরুদ্ধে আরও স্পষ্ট পক্ষপাত দেখিয়েছে। এটি পরামর্শ দেয় যে তাদের বৃহত্তর ক্ষমতা সহ ডিএল মডেলগুলি আরও শক্তিশালী, সাধারণীকরণযোগ্য প্যাটার্ন শিখতে পারে যা উন্নয়ন অবস্থার সাথে যুক্ত ভুয়া পারস্পরিক সম্পর্কের প্রতি কম সংবেদনশীল।

3.4 বিনিময় বিশ্লেষণ: নির্ভুলতা বনাম ন্যায্যতা

গবেষণাটি একটি সূক্ষ্ম, প্রসঙ্গ-নির্দিষ্ট পদ্ধতির সুপারিশ করে:

• en_es এবং es_en ট্র্যাকের জন্য, ডিপ লার্নিং আরও উপযুক্ত, একটি ভাল ভারসাম্য প্রদান করে।
• fr_en ট্র্যাকের জন্য, মেশিন লার্নিং একটি আরও উপযুক্ত বিকল্প হিসাবে আবির্ভূত হয়েছে, সম্ভবত ডেটাসেট বৈশিষ্ট্যের কারণে যেখানে সরল মডেলগুলি আরও ন্যায্যভাবে সাধারণীকরণ করে।

4. প্রযুক্তিগত গভীর অনুসন্ধান

4.1 জ্ঞান ট্রেসিং ফর্মালিজম

এর মূলভিত্তিতে, কেটি একজন শিক্ষার্থীর জ্ঞান অবস্থাকে একটি সুপ্ত চলক হিসাবে মডেল করে যা সময়ের সাথে বিবর্তিত হয়। শিক্ষার্থীর মিথস্ক্রিয়ার একটি ক্রম দেওয়া হলে (যেমন, অনুশীলন প্রচেষ্টা) $X = \{x_1, x_2, ..., x_t\}$, লক্ষ্য হল পরবর্তী আইটেমে সঠিকতার সম্ভাবনা পূর্বাভাস দেওয়া, $P(r_{t+1} = 1 | X)$।

ডিপ নলেজ ট্রেসিং (ডিকেটি) এটি মডেল করার জন্য একটি রিকারেন্ট নিউরাল নেটওয়ার্ক (আরএনএন) ব্যবহার করে:

$h_t = \text{RNN}(x_t, h_{t-1})$

$P(r_{t+1}) = \sigma(W \cdot h_t + b)$

যেখানে $h_t$ হল সময় $t$-এ জ্ঞান অবস্থা প্রতিনিধিত্বকারী গোপন অবস্থা, এবং $\sigma$ হল সিগময়েড ফাংশন।

4.2 ন্যায্যতা মেট্রিক্স সূত্রায়ন

ধরা যাক $A \in \{0,1\}$ একটি সংবেদনশীল বৈশিষ্ট্য (যেমন, মোবাইল ব্যবহারকারীর জন্য $A=1$, ওয়েব ব্যবহারকারীর জন্য $A=0$)। ধরা যাক $\hat{Y}$ হল মডেলের পূর্বাভাস। জনসংখ্যাগত সমতা প্রয়োজন:

$P(\hat{Y}=1 | A=1) = P(\hat{Y}=1 | A=0)$

সমান সুযোগ (ইতিবাচক ফলাফল হিসাবে সঠিকতা বিবেচনা করে) প্রয়োজন:

$P(\hat{Y}=1 | A=1, Y=1) = P(\hat{Y}=1 | A=0, Y=1)$

গবেষণায় পর্যবেক্ষিত পক্ষপাতকে বিভিন্ন গোষ্ঠীর জন্য এই শর্তাধীন সম্ভাব্যতার মধ্যে পার্থক্য বা অনুপাত হিসাবে পরিমাপ করা যেতে পারে।

5. বিশ্লেষণ কাঠামো ও কেস উদাহরণ

কেটি ন্যায্যতা নিরীক্ষণের কাঠামো: এডটেক ডেভেলপাররা এই কাঠামোবদ্ধ পদ্ধতি গ্রহণ করতে পারেন:

1. বিচ্ছিন্ন মূল্যায়ন: কখনই শুধুমাত্র সমষ্টিগত নির্ভুলতা রিপোর্ট করবেন না। সর্বদা কর্মক্ষমতা মেট্রিক্স (নির্ভুলতা, এইউসি) এবং ন্যায্যতা মেট্রিক্স (জনসংখ্যাগত সমতা পার্থক্য, সমান সুযোগ পার্থক্য) প্রতিটি সংবেদনশীল উপগোষ্ঠীর জন্য (প্ল্যাটফর্ম, দেশ, লিঙ্গ অনুযায়ী, যদি উপলব্ধ থাকে) আলাদাভাবে গণনা করুন।
2. মূল কারণ বিশ্লেষণ: চিহ্নিত পক্ষপাতের জন্য, বৈশিষ্ট্য পারস্পরিক সম্পর্ক তদন্ত করুন। "সেশনের সংখ্যা" কি প্ল্যাটফর্ম এবং পূর্বাভাস ফলাফল উভয়ের সাথে সম্পর্কিত? আর্থ-সামাজিক অবস্থার জন্য প্রক্সি চলকগুলি কি আচরণগত তথ্যের মাধ্যমে মডেলে প্রবেশ করছে?
3. প্রশমন কৌশল নির্বাচন: কারণের উপর ভিত্তি করে, একটি প্রশমন কৌশল নির্বাচন করুন: প্রি-প্রসেসিং (তথ্য পুনরায় ওজন করা), ইন-প্রসেসিং (লস ফাংশনে ন্যায্যতা সীমাবদ্ধতা যোগ করা, যেমন FAT* সম্মেলন সম্প্রদায়ের পদ্ধতিগুলির মতো), বা পোস্ট-প্রসেসিং (প্রতি গোষ্ঠীর জন্য থ্রেশহোল্ড ক্যালিব্রেট করা)।

কেস উদাহরণ - মোবাইল পক্ষপাত: কল্পনা করুন যে ডুয়োলিঙ্গো তথ্যের উপর প্রশিক্ষিত একটি এলএসটিএম-ভিত্তিক কেটি মডেল আইওএস ব্যবহারকারীদের জন্য ওয়েব ব্যবহারকারীদের তুলনায় সাফল্যের পূর্বাভাসিত সম্ভাবনা ১৫% বেশি দেখায়, প্রকৃত কর্মক্ষমতা স্থির রেখে। আমাদের নিরীক্ষা প্রকাশ করে যে "দিনের সময়" বৈশিষ্ট্যটি একটি মূল চালক: আইওএস ব্যবহারকারীরা সংক্ষিপ্ত, ঘন ঘন বিস্ফোরণে (যাতায়াত) আরও অনুশীলন করে, যখন ওয়েব ব্যবহারকারীদের দীর্ঘ, কম ঘন ঘন সেশন থাকে। মডেলটি "যাতায়াত প্যাটার্ন" কে উচ্চতর সম্পৃক্ততার সাথে যুক্ত করে এবং পূর্বাভাস বাড়িয়ে দেয়, ওয়েব ব্যবহারকারীদের অন্যায্যভাবে শাস্তি দেয় যারা বিভিন্ন প্যাটার্নে কার্যকরভাবে শিখতে পারে। প্রশমন: আমরা প্রশিক্ষণের সময় একটি ন্যায্যতা-সচেতন নিয়মিতকরণ শব্দ প্রয়োগ করতে পারি যা প্ল্যাটফর্ম গোষ্ঠীগুলির মধ্যে পূর্বাভাস বন্টনের পার্থক্যের জন্য মডেলকে শাস্তি দেয়, জেমেল এট আল-এর মতো গবেষকদের ন্যায্য উপস্থাপনা শেখার কাজ দ্বারা পরিচালিত।

6. সমালোচনামূলক বিশ্লেষণ ও বিশেষজ্ঞ ব্যাখ্যা

মূল অন্তর্দৃষ্টি: এই গবেষণাপত্রটি সমৃদ্ধিশালী এডটেক খাতের জন্য একটি গুরুত্বপূর্ণ, অস্বস্তিকর সত্য সরবরাহ করে: আপনার অত্যাধুনিক জ্ঞান ট্রেসিং মডেলগুলি সম্ভবত ধনী, মোবাইল-প্রথম ব্যবহারকারী এবং উন্নত দেশগুলিকে পক্ষপাতিত্ব করে এমন পদ্ধতিগত পক্ষপাত বেক করছে। নির্ভুলতার সাধনা এই ক্ষেত্রটিকে তার অ্যালগরিদমে জমা হওয়া নৈতিক ঋণ থেকে অন্ধ করে দিয়েছে। জটিল ডিপ লার্নিং মডেলগুলিতেও পক্ষপাত বিদ্যমান রয়েছে এই অনুসন্ধানটি এই বিশ্বাসের জন্য একটি গম্ভীর পাল্টা যুক্তি যে আরও জটিল মডেলগুলি স্বাভাবিকভাবেই "ন্যায্য" উপস্থাপনা শেখে।

যুক্তিগত প্রবাহ: লেখকরা যৌক্তিকভাবে কেটি প্যারাডাইম প্রতিষ্ঠা থেকে শুরু করে এর ন্যায্যতা অন্ধ স্পট প্রকাশের দিকে অগ্রসর হন। সুপ্রতিষ্ঠিত ডুয়োলিঙ্গো ডেটাসেট ব্যবহার করা বিশ্বাসযোগ্যতা এবং পুনরুৎপাদনযোগ্যতা প্রদান করে। দ্বিখণ্ডিত বিশ্লেষণ—প্ল্যাটফর্ম পক্ষপাত এবং ভূ-রাজনৈতিক পক্ষপাত—ডিজিটাল বিভাজনের দুটি প্রধান অক্ষকে চতুরভাবে ক্যাপচার করে। ধ্রুপদী এমএল এবং আধুনিক ডিএল-এর মধ্যে তুলনা কেবল প্রযুক্তিগত নয় বরং কৌশলগত, অনুশীলনকারীদের নৈতিক প্রভাব সহকারে সরঞ্জাম বেছে নিতে সাহায্য করে।

শক্তি ও ত্রুটি: প্রাথমিক শক্তি হল বাস্তব-বিশ্বের তথ্য এবং স্পষ্ট, তুলনামূলক অনুসন্ধানের উপর এর কার্যকরী, অভিজ্ঞতামূলক ফোকাস। এটি তাত্ত্বিক ন্যায্যতা আলোচনার বাইরে চলে যায়। যাইহোক, একটি উল্লেখযোগ্য ত্রুটি হল যান্ত্রিক ব্যাখ্যার অভাব। কেন মোবাইল পক্ষপাত ঘটে? এটি কি তথ্যের কৃত্রিমতা, ব্যবহারকারীর আচরণের পার্থক্য, নাকি মডেলের সীমাবদ্ধতা? গবেষণাপত্রটি রোগ নির্ণয় করে কিন্তু খুব কম রোগতত্ত্ব দেয়। তদুপরি, ন্যায্যতার ভিত্তিতে `fr_en` ট্র্যাকের জন্য এমএল ব্যবহারের পরামর্শ, এর কম নির্ভুলতা সত্ত্বেও, একটি বাস্তব-বিশ্বের দ্বিধা উপস্থাপন করে: আমরা ন্যায্যতার জন্য কতটা নির্ভুলতা ত্যাগ করতে ইচ্ছুক, এবং কে সিদ্ধান্ত নেয়?

কার্যকরী অন্তর্দৃষ্টি: পণ্য নেতা এবং প্রকৌশলীদের জন্য, এই গবেষণাটি পরিবর্তনের জন্য একটি আদেশ। প্রথমত, ন্যায্যতা নিরীক্ষণ অবশ্যই একটি মানক কেপিআই হয়ে উঠতে হবে নতুন মডেল স্থাপনার জন্য এ/বি টেস্টিংয়ের পাশাপাশি, গুগলের পেয়ার উদ্যোগের দ্বারা প্রচারিত অনুশীলনের অনুরূপ। দ্বিতীয়ত, পর্যবেক্ষিত পক্ষপাতগুলি প্ল্যাটফর্ম-নির্দিষ্ট বৈশিষ্ট্য প্রকৌশল বা ক্যালিব্রেশন এর প্রয়োজনীয়তা নির্দেশ করে। সম্ভবত ওয়েব ব্যবহারকারীদের একটি সূক্ষ্মভাবে ভিন্ন পূর্বাভাসমূলক মডেলের প্রয়োজন। তৃতীয়ত, গবেষণাটি আরও বৈচিত্র্যময় এবং প্রতিনিধিত্বমূলক প্রশিক্ষণ তথ্য এর প্রয়োজনীয়তার উপর জোর দেয়। উন্নয়নশীল অঞ্চলে এনজিও বা শিক্ষা সংস্থার সাথে সহযোগিতা ডেটাসেটগুলিকে পুনরায় ভারসাম্যপূর্ণ করতে সাহায্য করতে পারে। সর্বোপরি, ক্ষেত্রটিকে অবশ্যই বিকাশ করতে হবে এবং গ্রহণ করতে হবে "ন্যায্যতা-বাই-ডিজাইন" কেটি স্থাপত্য, শুরু থেকেই সীমাবদ্ধতা একীভূত করা, ন্যায্যতাকে চিন্তার পরে রূপান্তরিত করার পরিবর্তে।

7. ভবিষ্যত প্রয়োগ ও গবেষণা দিকনির্দেশনা

• ব্যক্তিগতকৃত ন্যায্যতা-সচেতন টিউটরিং: ভবিষ্যতের আইটিএস কেবল জ্ঞান অবস্থার জন্য নয়, পূর্বাভাসিত পক্ষপাতের বিরুদ্ধে লড়াই করার জন্যও গতিশীলভাবে সামঞ্জস্য করতে পারে। যদি সিস্টেমটি সনাক্ত করে যে একজন শিক্ষার্থী এমন একটি প্রতিনিধিত্বহীন গোষ্ঠীর অন্তর্ভুক্ত যার জন্য মডেলটি কম আত্মবিশ্বাসী, তবে এটি আরও সহায়ক ভিত্তি প্রদান করতে পারে বা অনিশ্চয়তা ন্যায্যভাবে কমাতে আরও তথ্য সংগ্রহ করতে পারে।
• ক্রস-কালচারাল ও ক্রস-লিঙ্গুইস্টিক মডেল ট্রান্সফার: গবেষণায় ট্রান্সফার লার্নিং-এ ন্যায্যতা অন্বেষণ করা উচিত। ইংরেজি ভাষাভাষী শিক্ষার্থীদের উপর প্রশিক্ষিত একটি কেটি মডেল কি স্প্যানিশ ভাষাভাষীদের জন্য ফাইন-টিউন করা হলে ন্যায্য? ডোমেন অভিযোজন থেকে কৌশলগুলিকে ন্যায্যতা সীমাবদ্ধতার সাথে একীভূত করা যেতে পারে।
• ব্যাখ্যাযোগ্য ন্যায্যতা (এক্সফেয়ারনেস): পক্ষপাত পরিমাপের বাইরে, আমাদের এমন সরঞ্জামগুলির প্রয়োজন যা ব্যাখ্যা করে যে কোন বৈশিষ্ট্যগুলি অন্যায্য ফলাফলে অবদান রাখে। এটি বৃহত্তর এক্সএআই (ব্যাখ্যাযোগ্য এআই) আন্দোলনের সাথে সামঞ্জস্যপূর্ণ এবং ডেভেলপার বিশ্বাস এবং কার্যকর প্রশমনের জন্য গুরুত্বপূর্ণ।
• দীর্ঘমেয়াদী ন্যায্যতা গবেষণা: অ্যালগরিদমিক পক্ষপাত কি একজন শিক্ষার্থীর বহু-বছরের যাত্রায় বাড়ে নাকি কমে? অভিযোজিত সিস্টেমে পক্ষপাতমূলক প্রতিক্রিয়া লুপের যৌগিক প্রভাব বোঝার জন্য দীর্ঘমেয়াদী গবেষণা প্রয়োজন।
• লার্নিং সায়েন্সের সাথে একীকরণ: ভবিষ্যতের কাজকে অবশ্যই শিক্ষাগত তত্ত্বের সাথে ব্যবধান সেতু করতে হবে। জ্ঞানীয় লোড বা প্রেরণামূলক দৃষ্টিকোণ থেকে "ন্যায্যতা" বলতে কী বোঝায়? ন্যায্যতা শুধুমাত্র পরিসংখ্যানগত সমতার সাথে নয়, শিক্ষাগত সমতার নীতির সাথে সামঞ্জস্যপূর্ণ হওয়া উচিত।

8. তথ্যসূত্র

1. Corbett, A. T., & Anderson, J. R. (1994). Knowledge tracing: Modeling the acquisition of procedural knowledge. User modeling and user-adapted interaction, 4(4), 253-278.
2. Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L. J., & Sohl-Dickstein, J. (2015). Deep knowledge tracing. Advances in neural information processing systems, 28.
3. Zemel, R., Wu, Y., Swersky, K., Pitassi, T., & Dwork, C. (2013). Learning fair representations. International conference on machine learning (pp. 325-333). PMLR.
4. Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys (CSUR), 54(6), 1-35.
5. Google PAIR. (n.d.). People + AI Guidebook. Retrieved from https://pair.withgoogle.com/
6. Duolingo. (2018). Duolingo Second Language Acquisition Shared Task. Proceedings of the 2018 EMNLP Workshop W-NUT.
7. Barocas, S., Hardt, M., & Narayanan, A. (2019). Fairness and Machine Learning: Limitations and Opportunities. fairmlbook.org.