1. ভূমিকা
শিক্ষায় পূর্বাভাসমূলক মডেলিং, বিশেষত জ্ঞান ট্রেসিং (কেটি), শেখার ব্যক্তিগতকরণের জন্য শিক্ষার্থীর জ্ঞান অবস্থা মডেল করার লক্ষ্য রাখে। ঐতিহ্যগত পদ্ধতিগুলি মানুষের বিচার-বিবেচনার উপর নির্ভর করত, যা স্মৃতির সীমাবদ্ধতা, ক্লান্তি এবং ইতিবাচকতার পক্ষপাত থেকে উদ্ভূত পক্ষপাতের প্রতি সংবেদনশীল ছিল। করবেট এবং অ্যান্ডারসন (১৯৯৪) দ্বারা প্রবর্তিত কম্পিউটেশনাল কেটি, ভবিষ্যত কর্মক্ষমতা পূর্বাভাস দেওয়ার এবং নির্দেশনা অভিযোজিত করার জন্য শিক্ষার্থীর মিথস্ক্রিয়া ডেটা (গ্রেড, প্রতিক্রিয়া, অংশগ্রহণ) ব্যবহার করে।
যদিও নির্ভুলতা প্রাথমিক ফোকাস হয়েছে, এই গবেষণা একটি গুরুত্বপূর্ণ ফাঁক তুলে ধরে: অ্যালগরিদমিক ন্যায্যতা। এই গবেষণাটি দ্বিতীয়-ভাষা অর্জনে পূর্বাভাসমূলক মডেলগুলি (ডুয়োলিঙ্গো ডেটা ব্যবহার করে) প্ল্যাটফর্ম (iOS, Android, Web) বা দেশের উন্নয়ন অবস্থা (উন্নত বনাম উন্নয়নশীল) এর ভিত্তিতে নির্দিষ্ট গোষ্ঠীর বিরুদ্ধে অনিচ্ছাকৃত পক্ষপাত প্রদর্শন করে কিনা তা তদন্ত করে।
2. পদ্ধতি ও পরীক্ষামূলক সেটআপ
এই গবেষণাটি নির্ভুলতার পাশাপাশি ন্যায্যতা মূল্যায়নের জন্য একটি তুলনামূলক বিশ্লেষণ কাঠামো ব্যবহার করে।
2.1 ডেটাসেট ও ট্র্যাকসমূহ
ডুয়োলিঙ্গো ২০১৮ শেয়ার্ড টাস্ক ডেটাসেট থেকে তিনটি শেখার ট্র্যাক ব্যবহার করা হয়েছিল:
- en_es: ইংরেজি ভাষাভাষী যারা স্প্যানিশ শিখছেন।
- es_en: স্প্যানিশ ভাষাভাষী যারা ইংরেজি শিখছেন।
- fr_en: ফরাসি ভাষাভাষী যারা ইংরেজি শিখছেন।
ডেটাতে শিক্ষার্থীর অনুশীলন ক্রম, সঠিকতা এবং মেটাডেটা (ক্লায়েন্ট প্ল্যাটফর্ম, দেশ) অন্তর্ভুক্ত রয়েছে। দেশগুলিকে প্রমিত অর্থনৈতিক সূচক (যেমন, আইএমএফ শ্রেণীবিভাগ) এর ভিত্তিতে "উন্নত" বা "উন্নয়নশীল" হিসাবে শ্রেণীবদ্ধ করা হয়েছিল।
2.2 পূর্বাভাসমূলক মডেল
দুই ধরনের মডেল মূল্যায়ন করা হয়েছিল:
- মেশিন লার্নিং (এমএল): লজিস্টিক রিগ্রেশন, র্যান্ডম ফরেস্টের মতো ঐতিহ্যগত মডেল।
- ডিপ লার্নিং (ডিএল): নিউরাল নেটওয়ার্ক-ভিত্তিক মডেল, সম্ভবত ডিপ নলেজ ট্রেসিং (ডিকেটি) বা ট্রান্সফরমার-ভিত্তিক আর্কিটেকচারের বৈচিত্র্য অন্তর্ভুক্ত।
প্রাথমিক কাজ ছিল বাইনারি পূর্বাভাস: শিক্ষার্থী কি পরবর্তী অনুশীলনটি সঠিকভাবে উত্তর দেবে?
2.3 ন্যায্যতা মেট্রিক্স
সুরক্ষিত গোষ্ঠীগুলির মধ্যে মডেল কর্মক্ষমতা তুলনা করে, গ্রুপ ন্যায্যতা মেট্রিক্স ব্যবহার করে ন্যায্যতা মূল্যায়ন করা হয়েছিল:
- প্ল্যাটফর্ম ন্যায্যতা: iOS, Android এবং Web ক্লায়েন্টের ব্যবহারকারীদের মধ্যে নির্ভুলতা, F1-স্কোর বা AUC তুলনা করুন।
- ভৌগোলিক ন্যায্যতা: উন্নত এবং উন্নয়নশীল দেশের ব্যবহারকারীদের মধ্যে কর্মক্ষমতা মেট্রিক্স তুলনা করুন।
এই মেট্রিক্সে বৈষম্য অ্যালগরিদমিক পক্ষপাত নির্দেশ করে। একটি সম্পূর্ণ ন্যায্য মডেলের সকল গোষ্ঠীতে সমান কর্মক্ষমতা থাকবে।
3. ফলাফল ও অনুসন্ধান
গবেষণাটি চারটি মূল অনুসন্ধান দিয়েছে, যা উল্লেখযোগ্য ট্রেড-অফ এবং পক্ষপাত প্রকাশ করেছে।
3.1 নির্ভুলতা বনাম ন্যায্যতা ট্রেড-অফ
ডিপ লার্নিং (ডিএল) মডেলগুলি সাধারণত নির্ভুলতা এবং ন্যায্যতা উভয় ক্ষেত্রেই মেশিন লার্নিং (এমএল) মডেলগুলিকে ছাড়িয়ে গেছে। ক্রমিক শেখার ডেটাতে জটিল, অ-রৈখিক প্যাটার্ন ক্যাপচার করার ডিএল-এর ক্ষমতা আরও শক্তিশালী পূর্বাভাসের দিকে নিয়ে যায় যা সংবেদনশীল বৈশিষ্ট্যগুলির সাথে যুক্ত ভুল পারস্পরিক সম্পর্কের উপর কম নির্ভরশীল।
3.2 প্ল্যাটফর্ম পক্ষপাত (iOS/Android/Web)
এমএল এবং ডিএল উভয় অ্যালগরিদমই মোবাইল ব্যবহারকারীদের (iOS/Android) অ-মোবাইল (Web) ব্যবহারকারীদের তুলনায় পক্ষে একটি লক্ষণীয় পক্ষপাত প্রদর্শন করেছে। এটি ডেটা গুণমানের পার্থক্য (যেমন, মিথস্ক্রিয়া প্যাটার্ন, সেশন দৈর্ঘ্য), ইন্টারফেস ডিজাইন, বা সাধারণত প্রতিটি প্ল্যাটফর্মের সাথে যুক্ত জনসংখ্যার প্রোফাইল থেকে উদ্ভূত হতে পারে। এই পক্ষপাত ডেস্কটপ কম্পিউটারের মাধ্যমে শিক্ষামূলক সরঞ্জামগুলিতে প্রাথমিকভাবে অ্যাক্সেস করা শিক্ষার্থীদের ক্ষতিগ্রস্ত হওয়ার ঝুঁকি তৈরি করে।
3.3 ভৌগোলিক পক্ষপাত (উন্নত বনাম উন্নয়নশীল)
ডিএল অ্যালগরিদমের তুলনায় এমএল অ্যালগরিদমগুলি উন্নয়নশীল দেশের ব্যবহারকারীদের বিরুদ্ধে আরও স্পষ্ট পক্ষপাত দেখিয়েছে। এটি একটি গুরুত্বপূর্ণ অনুসন্ধান, কারণ এমএল মডেলগুলি প্রশিক্ষণ ডেটাতে বিদ্যমান ঐতিহাসিক বৈষম্য শিখতে এবং প্রশস্ত করতে পারে (যেমন, পূর্ববর্তী শিক্ষাগত অ্যাক্সেস, ইন্টারনেট নির্ভরযোগ্যতার পার্থক্য)। ডিএল মডেলগুলি, যদিও অনাক্রম্য নয়, এই ভৌগোলিক পক্ষপাতের প্রতি আরও স্থিতিস্থাপকতা প্রদর্শন করেছে।
সর্বোত্তম মডেল নির্বাচন: গবেষণাটি একটি সূক্ষ্ম পদ্ধতির পরামর্শ দেয়:
- ন্যায্যতা এবং নির্ভুলতার সর্বোত্তম ভারসাম্যের জন্য en_es এবং es_en ট্র্যাকের জন্য ডিপ লার্নিং ব্যবহার করুন।
- fr_en ট্র্যাকের জন্য মেশিন লার্নিং বিবেচনা করুন, যেখানে এর ন্যায্যতা-নির্ভুলতা প্রোফাইল সেই নির্দিষ্ট প্রসঙ্গের জন্য আরও উপযুক্ত বলে বিবেচিত হয়েছিল।
4. প্রযুক্তিগত বিশ্লেষণ ও কাঠামো
4.1 জ্ঞান ট্রেসিং ফর্মুলেশন
এর মূলভিত্তিতে, জ্ঞান ট্রেসিং একজন শিক্ষার্থীর সুপ্ত জ্ঞান অবস্থা মডেল করে। মিথস্ক্রিয়ার একটি ক্রম $X_t = \{(q_1, a_1), (q_2, a_2), ..., (q_t, a_t)\}$ দেওয়া হয়েছে, যেখানে $q_i$ একটি অনুশীলন/প্রশ্ন এবং $a_i \in \{0,1\}$ হল সঠিকতা, লক্ষ্য হল পরবর্তী অনুশীলনে সঠিকতার সম্ভাবনা পূর্বাভাস দেওয়া: $P(a_{t+1}=1 | X_t)$।
ডিপ নলেজ ট্রেসিং (পিচ এট আল., ২০১৫) এটি মডেল করার জন্য একটি রিকারেন্ট নিউরাল নেটওয়ার্ক (আরএনএন) ব্যবহার করে:
$h_t = \text{RNN}(h_{t-1}, x_t)$
$P(a_{t+1}=1) = \sigma(W \cdot h_t + b)$
যেখানে $h_t$ হল সময় $t$-এ জ্ঞান অবস্থা প্রতিনিধিত্বকারী গোপন অবস্থা, $x_t$ হল $(q_t, a_t)$-এর ইনপুট এম্বেডিং, এবং $\sigma$ হল সিগময়েড ফাংশন।
4.2 ন্যায্যতা মূল্যায়ন কাঠামো
গবেষণাটি অন্তর্নিহিতভাবে একটি গ্রুপ ন্যায্যতা প্যারাডাইম ব্যবহার করে। একটি বাইনারি প্রেডিক্টর $\hat{Y}$ এবং একটি সংবেদনশীল বৈশিষ্ট্য $A$ (যেমন, প্ল্যাটফর্ম বা দেশ গোষ্ঠী) এর জন্য, সাধারণ মেট্রিক্সগুলির মধ্যে রয়েছে:
- পরিসংখ্যানগত সমতা পার্থক্য: $|P(\hat{Y}=1|A=0) - P(\hat{Y}=1|A=1)|$
- সমান সুযোগ পার্থক্য: $|P(\hat{Y}=1|A=0, Y=1) - P(\hat{Y}=1|A=1, Y=1)|$ (যখন প্রকৃত লেবেল Y জানা থাকে তখন ব্যবহৃত)।
- কর্মক্ষমতা মেট্রিক বৈষম্য: গোষ্ঠীগুলির মধ্যে নির্ভুলতা, AUC, বা F1-স্কোরের পার্থক্য।
একটি ছোট বৈষম্য বৃহত্তর ন্যায্যতা নির্দেশ করে। কাগজের অনুসন্ধানগুলি পরামর্শ দেয় যে সংজ্ঞায়িত গোষ্ঠীগুলির মধ্যে ডিএল মডেলগুলি এমএল মডেলগুলির তুলনায় এই বৈষম্যগুলি আরও কার্যকরভাবে হ্রাস করে।
5. কেস স্টাডি: কাঠামোর প্রয়োগ
পরিস্থিতি: একটি এডটেক কোম্পানি তার ভাষা শেখার অ্যাপে পর্যালোচনা অনুশীলন সুপারিশ করার জন্য একটি কেটি মডেল ব্যবহার করে। মডেলটি বিশ্বব্যাপী ব্যবহারকারীর ডেটাতে প্রশিক্ষিত।
সমস্যা: স্থাপনার পরের বিশ্লেষণে দেখা যায় যে দেশ Y (একটি উন্নত দেশ) এর ব্যবহারকারীদের তুলনায় দেশ X (একটি উন্নয়নশীল দেশ) এর ব্যবহারকারীদের ভুলভাবে খুব কঠিন অনুশীলন সুপারিশ করার হার ১৫% বেশি, যা হতাশা এবং ড্রপ-অফের দিকে নিয়ে যায়।
এই কাগজের কাঠামো ব্যবহার করে বিশ্লেষণ:
- সংবেদনশীল গোষ্ঠী চিহ্নিত করুন: উন্নয়নশীল বনাম উন্নত দেশের ব্যবহারকারী।
- মডেল অডিট করুন: প্রতিটি গোষ্ঠীর জন্য আলাদাভাবে কর্মক্ষমতা মেট্রিক্স (নির্ভুলতা, AUC) গণনা করুন। "উপযুক্ত কঠিনতা সুপারিশ হার"-এ পর্যবেক্ষণকৃত ১৫% বৈষম্য একটি ন্যায্যতা লঙ্ঘন।
- নির্ণয় করুন: মডেলটি কি এমএল নাকি ডিএল? এই গবেষণা অনুসারে, একটি এমএল মডেল এই ভৌগোলিক পক্ষপাত প্রদর্শনের সম্ভাবনা বেশি। বৈশিষ্ট্য বন্টন তদন্ত করুন—সম্ভবত মডেলটি দেশের উন্নয়নের সাথে সম্পর্কিত বৈশিষ্ট্যগুলির উপর অত্যধিক নির্ভর করে (যেমন, গড় সংযোগ গতি, ডিভাইসের ধরন)।
- সংশোধন করুন: একটি ডিএল-ভিত্তিক কেটি আর্কিটেকচারে স্যুইচ করার কথা বিবেচনা করুন, যা গবেষণায় এই পক্ষপাতের প্রতি আরও স্থিতিস্থাপক পাওয়া গেছে। বিকল্পভাবে, বিদ্যমান মডেলে ন্যায্যতা-সচেতন প্রশিক্ষণ কৌশল প্রয়োগ করুন (যেমন, প্রতিপক্ষীয় পক্ষপাত দূরীকরণ, পুনরায় ওজন করা)।
- নিরীক্ষণ করুন: হস্তক্ষেপের পরে ন্যায্যতা মেট্রিক ক্রমাগত ট্র্যাক করুন যাতে নিশ্চিত হয় যে পক্ষপাত প্রশমিত হয়েছে।
6. ভবিষ্যত প্রয়োগ ও দিকনির্দেশনা
এই গবেষণার প্রভাব দ্বিতীয়-ভাষা শেখার বাইরেও প্রসারিত:
- বড় আকারে ব্যক্তিগতকৃত শেখা: ন্যায্য কেটি মডেলগুলি MOOC-এ (যেমন Coursera, edX) এবং বুদ্ধিমান টিউটরিং সিস্টেমে সত্যিকার অর্থে সমতাপূর্ণ অভিযোজিত শেখার সিস্টেম সক্ষম করতে পারে, নিশ্চিত করে যে সুপারিশগুলি সকল জনসংখ্যার জন্য কার্যকর।
- এডটেকের জন্য পক্ষপাত অডিটিং: এই কাঠামোটি বাণিজ্যিক শিক্ষামূলক সফ্টওয়্যারকে অ্যালগরিদমিক পক্ষপাতের জন্য অডিট করার একটি নীলনকশা প্রদান করে, যা নিয়ন্ত্রক এবং শিক্ষাবিদদের জন্য একটি ক্রমবর্ধমান উদ্বেগ।
- ক্রস-ডোমেইন ন্যায্যতা: ভবিষ্যতের কাজে অন্যান্য সংবেদনশীল বৈশিষ্ট্যগুলির মধ্যে ন্যায্যতা তদন্ত করা উচিত: লিঙ্গ, বয়স, ডেটা থেকে অনুমিত আর্থ-সামাজিক অবস্থা এবং শেখার অক্ষমতা।
- কারণগত ন্যায্যতা বিশ্লেষণ: পারস্পরিক সম্পর্কের বাইরে গিয়ে পক্ষপাতের কারণগুলি বোঝা—এটা কি ডেটা, মডেল আর্কিটেকচার, নাকি শেখার প্রসঙ্গ? কার্যকারণ অনুমান থেকে কৌশলগুলি একীভূত করা যেতে পারে।
- ফেডারেটেড ও গোপনীয়তা-সংরক্ষণকারী ন্যায্য শেখা: গোপনীয়তা ছাড়াই বিকেন্দ্রীকৃত ব্যবহারকারীর ডেটাতে ন্যায্য মডেল প্রশিক্ষণ, শিক্ষায় নৈতিক AI-এর জন্য একটি মূল দিকনির্দেশনা।
7. তথ্যসূত্র
- Baker, R.S., Inventado, P.S. (2014). Educational Data Mining and Learning Analytics. In: Larusson, J., White, B. (eds) Learning Analytics. Springer, New York, NY.
- Corbett, A. T., & Anderson, J. R. (1994). Knowledge tracing: Modeling the acquisition of procedural knowledge. User modeling and user-adapted interaction, 4(4), 253-278.
- Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L. J., & Sohl-Dickstein, J. (2015). Deep knowledge tracing. Advances in neural information processing systems, 28.
- Barocas, S., Hardt, M., & Narayanan, A. (2019). Fairness and Machine Learning: Limitations and Opportunities. fairmlbook.org.
- Duolingo. (2018). Second Language Acquisition Modeling (SLAM) Workshop Dataset. Retrieved from https://sharedtask.duolingo.com/
- Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys (CSUR), 54(6), 1-35.
8. বিশেষজ্ঞ বিশ্লেষণ ও মন্তব্য
মূল অন্তর্দৃষ্টি: এই কাগজটি এডটেকে একটি গুরুত্বপূর্ণ, প্রায়শই উপেক্ষিত সত্য সরবরাহ করে: উচ্চ নির্ভুলতা সমতাপূর্ণ শিক্ষার সমান নয়। লেখকরা বিশ্বাসযোগ্যভাবে প্রদর্শন করেছেন যে প্রমিত জ্ঞান ট্রেসিং মডেলগুলি, যখন সরলভাবে স্থাপন করা হয়, তখন শিক্ষার্থীদের সম্পূর্ণ দলগুলিকে পদ্ধতিগতভাবে ক্ষতিগ্রস্ত করে—বিশেষ করে, যারা ওয়েব প্ল্যাটফর্ম ব্যবহার করে এবং যারা উন্নয়নশীল দেশে রয়েছে। সবচেয়ে চমকপ্রদ অনুসন্ধান হল যে সরল মেশিন লার্নিং মডেলগুলি শুধু কম নির্ভুল নয়; তারা উল্লেখযোগ্যভাবে কম ন্যায্য, বিদ্যমান সামাজিক এবং ডিজিটাল বিভাজনের প্রশস্তকারী হিসাবে কাজ করে। এটি অ্যালগরিদমিক ন্যায্যতাকে একটি বিশেষ নৈতিক উদ্বেগ হিসাবে নয়, বরং মডেল কর্মক্ষমতা এবং শিক্ষাগত কার্যকারিতার একটি মূল উপাদান হিসাবে স্থাপন করে।
যুক্তিগত প্রবাহ: যুক্তিটি পদ্ধতিগত। এটি উচ্চ স্টেক স্থাপন করে শুরু করে (ব্যক্তিগতকৃত শিক্ষা) এবং ঐতিহাসিক অন্ধ স্পট (ন্যায্যতা)। তারপর এটি তিনটি স্বতন্ত্র ভাষা শেখার প্রসঙ্গ জুড়ে একটি পরিষ্কার, বাইনারি তুলনামূলক পরীক্ষা (এমএল বনাম ডিএল) সেট আপ করে। ন্যায্যতা অক্ষগুলির পছন্দ—প্ল্যাটফর্ম এবং ভূগোল—চতুর, ব্যবহারকারীর অভিজ্ঞতাকে সরাসরি প্রভাবিত করে এমন বাস্তব-বিশ্ব স্থাপনা ভেরিয়েবল প্রতিফলিত করে। ফলাফলগুলি যুক্তিগতভাবে প্রবাহিত হয়: ডিএল-এর উচ্চতর প্রতিনিধিত্বমূলক ক্ষমতা শুধু ভাল পূর্বাভাস নয়, বরং ন্যায্যতর ফলাফল দেয়। সূক্ষ্ম সুপারিশ (en_es/es_en-এর জন্য ডিএল, fr_en-এর জন্য এমএল) সতেজতা দেয়, একটি এক-আকার-সব-ফিট করে মতবাদ এড়িয়ে যায় এবং প্রসঙ্গ-নির্ভরতা স্বীকার করে, যা কঠোর বিশ্লেষণের একটি বৈশিষ্ট্য।
শক্তি ও ত্রুটি: প্রাথমিক শক্তি হল এর কার্যকরী, অভিজ্ঞতামূলক ফোকাস। এটি তাত্ত্বিক ন্যায্যতা আলোচনার বাইরে গিয়ে একটি ব্যাপকভাবে ব্যবহৃত ডেটাসেট (ডুয়োলিঙ্গো) এ পক্ষপাতের পরিমাপযোগ্য প্রমাণ প্রদান করে। এটি অভ্যন্তরীণ মডেল অডিটিংয়ের জন্য একটি শক্তিশালী টেমপ্লেট। যাইহোক, বিশ্লেষণের সীমাবদ্ধতা রয়েছে। এটি "উন্নত" এবং "উন্নয়নশীল" কে একক ব্লক হিসাবে বিবেচনা করে, এই বিভাগগুলির মধ্যে বিশাল বৈচিত্র্যকে (যেমন, শহুরে বনাম গ্রামীণ ব্যবহারকারী) উপেক্ষা করে। গবেষণাটি কেন পক্ষপাতগুলি বিদ্যমান তা গভীরভাবে অনুসন্ধান করে না। এটি কি বৈশিষ্ট্য উপস্থাপনা, প্রতি গোষ্ঠীতে ডেটার পরিমাণ, নাকি শেখার প্যাটার্নে সাংস্কৃতিক পার্থক্য? মেহরাবি এট আল. (২০২১) এর ব্যাপক সমীক্ষায় উল্লিখিত হিসাবে, কার্যকরী প্রশমন বিকাশের জন্য পক্ষপাতের মূল কারণ নির্ণয় করা অপরিহার্য। তদুপরি, যদিও ডিএল এখানে ন্যায্যতর বলে মনে হয়, এর "ব্ল্যাক বক্স" প্রকৃতি আরও সূক্ষ্ম, শনাক্ত করা কঠিন পক্ষপাতগুলিকে লুকিয়ে রাখতে পারে, যা ন্যায্যতা সাহিত্যে উল্লিখিত একটি চ্যালেঞ্জ।
কার্যকরী অন্তর্দৃষ্টি: এডটেক নেতা এবং পণ্য ব্যবস্থাপকদের জন্য, এই গবেষণাটি পরিবর্তনের জন্য একটি আদেশ। প্রথমত, ন্যায্যতা মেট্রিক্স অবশ্যই নির্ভুলতা এবং AUC-এর পাশাপাশি প্রমিত মডেল মূল্যায়ন ড্যাশবোর্ডে একীভূত করতে হবে। কোনো অভিযোজিত শেখার বৈশিষ্ট্য স্থাপনের আগে, এই গবেষণার অনুরূপ একটি অডিট পরিচালনা করুন। দ্বিতীয়ত, মূল শিক্ষার্থী মডেলিং কাজের জন্য ডিপ লার্নিং আর্কিটেকচারকে অগ্রাধিকার দিন, কারণ তারা পক্ষপাতের বিরুদ্ধে একটি ভাল অন্তর্নিহিত রক্ষাকর্তা অফার করে, অন্যান্য ডোমেইনে দেখা প্রবণতাগুলিকে সমর্থন করে যেখানে গভীর নেটওয়ার্কগুলি আরও শক্তিশালী বৈশিষ্ট্য শেখে। তৃতীয়ত, আপনার ডেটা পৃথক করুন। শুধু "বৈশ্বিক" কর্মক্ষমতা দেখবেন না। একটি নিয়মিত অনুশীলন হিসাবে প্ল্যাটফর্ম, অঞ্চল এবং অন্যান্য প্রাসঙ্গিক জনসংখ্যা দ্বারা মেট্রিক্স স্লাইস করুন। সর্বশেষে, কারণগত বিশ্লেষণে বিনিয়োগ করুন পক্ষপাত পর্যবেক্ষণ থেকে বোঝা এবং প্রকৌশলগতভাবে তা দূর করার জন্য। সমতাপূর্ণ এডটেকের ভবিষ্যত পূর্বাভাস নির্ভুলতার মতোই কঠোরতার সাথে ন্যায্যতা বিবেচনার উপর নির্ভর করে।