AI हायरिंग टूल्स में एल्गोरिदमिक पूर्वाग्रह कार्यस्थल भेदभाव को कैसे दोहरा सकता है

कंपनियां तेजी से machine learning पर आधारित सॉफ्टवेयर का उपयोग करती हैं resumes को स्क्रीन करने, उम्मीदवारों को rank करने और यहां तक कि शुरुआती चरण के साक्षात्कार संचालित करने के लिए। Researchers और regulators ने पाया है कि इनमें से कई सिस्टम विभिन्न लिंग, नस्ल या आयु के आवेदकों के लिए विभिन्न परिणाम देते हैं, यहां तक कि जब अंतर्निहित योग्यताएं समान हों।

हायरिंग में एल्गोरिदमिक पूर्वाग्रह क्या है?

Algorithmic bias तब होता है जब एक machine-learning प्रणाली के आउटपुट कुछ समूहों को व्यवस्थित रूप से पक्ष या नुकसान पहुंचाते हैं, नौकरी-प्रासंगिक योग्यता से स्वतंत्र रूप से। U.S. National Institute of Standards and Technology (NIST) के draft standard पर सार्वजनिक टिप्पणियां, SP 1270, 'कृत्रिम बुद्धिमत्ता में पूर्वाग्रह की पहचान और प्रबंधन के लिए एक मानक की ओर,' NIST की वेबसाइट पर प्रकाशित, इसे एक socio-technical समस्या के रूप में वर्णित करती हैं: पूर्वाग्रह न केवल एक एल्गोरिदम के सांख्यिकीय डिजाइन के माध्यम से बल्कि ऐतिहासिक डेटा के माध्यम से भी प्रवेश कर सकता है जिस पर इसे प्रशिक्षित किया गया था और मानव और संस्थागत संदर्भ जिसमें इसे तैनात किया जाता है।

हायरिंग में विशेष रूप से, एक मॉडल आमतौर पर पिछले resumes, पिछले hiring निर्णयों, या एक बड़े language model (LLM) द्वारा generate किए गए पाठ पर प्रशिक्षित होता है। यदि वह workforce जिसने वह ऐतिहासिक डेटा तैयार किया था वह स्वयं लिंग, नस्ल या आयु द्वारा skewed था — कई industries की एक सामान्य विशेषता — तो मॉडल उस skew को दोहराना सीख सकता है जैसे यह योग्यता का एक उपाय हो।

एक documented case: Amazon का scrapped recruiting engine

सबसे पहली और सबसे व्यापक रूप से उद्धृत उदाहरणों में से एक में एक प्रायोगिक recruiting tool शामिल है जो Amazon ने 2014 से शुरू करके बनाया, job applicants को एक से पांच सितारों तक score करने के लिए, American Civil Liberties Union (ACLU) के अनुसार। सिस्टम को roughly एक दशक में Amazon द्वारा प्राप्त resumes में पैटर्न को observe करके प्रशिक्षित किया गया था, एक pool जो अत्यधिक पुरुष-प्रधान था, technical roles में पुरुष प्रभुत्व को दर्शाता था।

ACLU reports करता है कि tool ने 'women's' शब्द वाले resumes को penalize किया — उदाहरण के लिए, 'women's rugby team' — और दो all-women's colleges के graduates को downgrade किया, जबकि ऐसे resumes को favour किया जो verbs का उपयोग करते थे जो men's technical resumes में अधिक आम हैं, जैसे 'executed' और 'captured'। Amazon के engineers ने pattern को ठीक करने का प्रयास किया लेकिन, ACLU के project पर reporting के अनुसार, निष्कर्ष निकाला कि अंतर्निहित समस्या guaranteed नहीं की जा सकती और 2015 में tool को shut down कर दिया, इसे test करना शुरू करने के लगभग एक साल बाद।

AI resume screening पर हाल की research ने क्या पाया

नई research ने बड़े language models को test किया है जो अब कई commercial hiring products में embedded हैं। University of Washington का एक अध्ययन जो October 2024 में AAAI/ACM Conference on Artificial Intelligence, Ethics and Society में presented किया गया था, तीन open-source LLMs को test किया — Mistral AI, Salesforce और Contextual AI से — 120 names को assign करके जो white और Black men और women से जुड़े हैं 550 से अधिक real resumes के लिए और उन्हें 500 से अधिक real job postings के विरुद्ध rank किया नौ occupations में, 3 million से अधिक resume-to-job comparisons produce किया।

Lead author Kyra Wilson और co-author Aylin Caliskan, दोनों University of Washington के Information School में, ने पाया कि white-associated names वाले resumes को 85% समय favour किया गया Black-associated names के 9% के विरुद्ध, और male-associated names को 52% समय prefer किया गया female-associated names के 11% के विरुद्ध। मॉडल्स ने कभी भी Black male-associated names को white male names से अधिक favour नहीं किया, एक pattern जो researchers कहते हैं कि केवल तभी visible हुआ जब race और gender को अलग-अलग के बजाय एक साथ analyze किया गया।

एक नज़र में मुख्य निष्कर्ष

Bias mechanism कैसे काम करता है

प्रत्येक documented case में, pattern training data या associations के लिए trace करता है जो मॉडल ने उस पाठ से absorb किया था जिस पर इसे प्रशिक्षित किया गया था, discriminate करने के लिए explicit instruction के बजाय। Amazon tool ने historically male applicant pool से सीखा। University of Washington researchers द्वारा test किए गए LLMs ने name-based racial और gender associations carry किए broader text corpora से जिन पर उन्हें प्रशिक्षित किया गया था।

NIST के draft bias standard पर comments नोट करती हैं कि क्योंकि ये सिस्टम मौजूदा social और institutional structures के भीतर operate करते हैं, dataset से bias को remove करना अकेले एक fair outcome को guarantee नहीं देता — एक निष्कर्ष जो Amazon के अपने experience से matches करता है, जैसा ACLU ने described किया, जब engineers की repeated fixes अंतर्निहित pattern को resolve करने में fail हुई।

Regulators कैसे respond कर रहे हैं

New York City का Local Law 144, July 2023 से Department of Consumer and Worker Protection द्वारा enforce किया जाता है, employers को एक 'automated employment decision tool' का उपयोग करने के लिए hiring या promotion के लिए एक independent bias audit को सालाना commission करने, audit परिणामों का summary publicly post करने, और candidates को tool का उपयोग करने से पहले कम से कम दस business days का notice देने की आवश्यकता होती है, law firm Pivot Point Security के summary के अनुसार। Violations से civil penalties $500 से $1,500 per violation की range में draw हो सकते हैं, उसी summary के अनुसार।

California की Civil Rights Council ने state के Fair Employment and Housing Act के तहत नए regulations adopted किए हैं, October 1, 2025 से effective, clarify करते हुए कि एक employer का 'automated-decision system' का उपयोग state law को violate कर सकता है यदि यह applicants या employees को protected characteristics जैसे race, gender या disability के आधार पर harm करता है, Council के अपने June 2025 announcement के अनुसार। Regulations employers को automated-decision data को कम से कम चार साल के लिए retain करने की आवश्यकता होती है और नोट करती हैं कि कुछ automated assessments disability-related information elicit कर सकते हैं जो unlawful medical inquiries के रूप में count हो सकते हैं।

Job applicants और employers के लिए इसका क्या मतलब है

• Hiring AI में पाया गया bias अब तक training data में मौजूदा social patterns को track करता है — ऐतिहासिक resumes, ऑनलाइन images, या general-purpose पाठ — बजाय random में appear होने के।
• Documented effects में historically dominant demographic groups से resumes को favour करना और identical underlying qualifications के लिए systematically विभिन्न परिणाम produce करना शामिल है।
• New York City और California अब specific legal obligations impose करते हैं — audits, record-keeping, या दोनों — उन employers पर जो ये tools उपयोग करते हैं, हालांकि requirements jurisdiction द्वारा differ होती हैं।
• University of Washington researchers कहते हैं कि एक demographic category में identified bias (उदाहरण के लिए, केवल race) विभिन्न effects को mask कर सकती है जो केवल तभी visible हों जब categories को combine किया जाए, जैसे race और gender एक साथ।