AI ہیرنگ ٹولز میں الگورتھمک تعصب کام کی جگہ میں امتیازی سلوک کو دہرا سکتا ہے

کمپنیاں تیزی سے machine learning پر مبنی سافٹ ویئر استعمال کرتی ہیں تاکہ وہ résumés کو screen کریں، candidates کو rank کریں اور یہاں تک کہ ابتدائی مرحلہ کے interviews کو conduct کریں۔ Researchers اور regulators نے پایا ہے کہ ان میں سے کئی نظام مختلف صنف، نسل یا عمر کے applicants کے لیے مختلف نتائج دیتے ہیں، یہاں تک کہ جب بنیادی qualifications یکساں ہوں۔

ہیرنگ میں الگورتھمک تعصب کیا ہے؟

Algorithmic bias اس وقت ہوتا ہے جب ایک machine-learning نظام کے outputs منطقی طور پر کچھ گروپوں کو فائدہ دیں یا نقصان پہنچائیں، job-relevant qualifications سے قطع نظر۔ امریکی National Institute of Standards and Technology (NIST) کے ڈرافٹ معیار پر عوامی تبصرے، SP 1270، 'مصنوعی ذہانت میں تعصب کی نشاندہی اور انتظام کے لیے ایک معیار کی طرف'، NIST کی ویب سائٹ پر شائع ہوا، اس کو ایک socio-technical مسئلہ بیان کرتے ہیں: تعصب نہ صرف algorithm کے statistical ڈیزائن کے ذریعے داخل ہو سکتا ہے بلکہ تاریخی ڈیٹا کے ذریعے بھی جس پر اس کو تربیت دی گئی ہے اور انسانی اور institutional سیاق میں جس میں اس کو deploy کیا جاتا ہے۔

خاص طور پر ہیرنگ میں، ایک ماڈل عام طور پر ماضی کے résumés، ماضی کے hiring فیصلوں، یا ایک بڑے language model (LLM) کے ذریعے generate کردہ متن پر تربیت دیا جاتا ہے۔ اگر وہ workforce جس نے اس تاریخی ڈیٹا کو تخلیق کیا وہ خود صنف، نسل یا عمر کے لحاظ سے skewed تھی — جو بہت سی industries کی ایک عام خصوصیت ہے — تو ماڈل اس skew کو دہرانا سیکھ سکتا ہے جیسے یہ merit کا ایک پیمانہ ہو۔

ایک documented case: Amazon کا ترک شدہ ریکروٹنگ انجن

سب سے پہلی اور سب سے زیادہ حوالہ دی گئی مثالوں میں سے ایک میں ایک تجرباتی recruiting tool شامل ہے جو Amazon نے 2014 سے شروع کرتے ہوئے بنایا تاکہ job applicants کو ایک سے پانچ ستاروں تک score کریں، American Civil Liberties Union (ACLU) کے مطابق۔ اس نظام کو roughly ایک دہائی سے زیادہ وقت میں Amazon کو موصول ہونے والے résumés میں patterns کو observe کرتے ہوئے تربیت دی گئی، ایک pool جو بہت زیادہ مردانہ تھا، جو technical roles میں مردانہ dominance کو ظاہر کرتا تھا۔

ACLU رپورٹ کرتا ہے کہ اس tool نے résumés میں 'women's' لفظ کو سزا دی — مثال کے طور پر، 'women's rugby team' — اور دو all-women's colleges کے graduates کو downgrade کیا، جبکہ ایسے resumes کو favour کیا جو verbs استعمال کرتے تھے جو men's technical résumés میں زیادہ عام ہیں، جیسے 'executed' اور 'captured'۔ Amazon کے engineers نے اس pattern کو ٹھیک کرنے کی کوشش کی لیکن، ACLU کی اس project پر reporting کے حساب کے مطابق، اس نتیجے پر پہنچے کہ بنیادی مسئلہ guaranteed نہیں ہو سکتا اور 2015 میں اس tool کو shut down کر دیا، اس کے تقریباً ایک سال بعد اس کو test کرنا شروع ہوا۔

AI resume screening پر حالیہ تحقیق نے کیا پایا

نئی تحقیق نے بڑے language models کو test کیا ہے جو اب بہت سی commercial hiring products میں embedded ہیں۔ University of Washington کی ایک study جو October 2024 میں AAAI/ACM Conference on Artificial Intelligence, Ethics and Society میں presented ہوئی نے تین open-source LLMs کو test کیا — Mistral AI، Salesforce اور Contextual AI سے — 120 ناموں کو assign کرتے ہوئے جو white اور Black مردوں اور عورتوں سے منسلک ہیں 550 سے زیادہ حقیقی résumés کو اور انہیں 500 سے زیادہ حقیقی job postings کے خلاف rank کیا نو occupations میں، 3 ملین سے زیادہ résumé-to-job comparisons پیدا کیا۔

Lead author Kyra Wilson اور co-author Aylin Caliskan، دونوں University of Washington کے Information School میں، نے پایا کہ résumés with white-associated names کو 85% وقت favour کیا گیا Black-associated names کے مقابلے میں 9%، اور male-associated names کو 52% وقت prefer کیا گیا female-associated names کے مقابلے میں 11%۔ یہ models کبھی بھی Black male-associated names کو white male names سے زیادہ favour نہیں کریں، ایک pattern جو researchers کہتے ہیں کہ صرف اس وقت visible ہوا جب race اور gender کو الگ الگ کے بجائے مل کر analyze کیا جائے۔

کلیدی نتائج ایک نظر میں

تعصب کا mechanism کیسے کام کرتا ہے

ہر documented case میں، pattern training data یا associations پر واپس جاتا ہے جو ماڈل نے اس متن سے جذب کیا تھا جس پر اس کو تربیت دی گئی تھی، explicit instruction کی بجائے discriminate کرنے کے لیے۔ Amazon tool نے historically male applicant pool سے سیکھا۔ University of Washington researchers کے ذریعے test کیے گئے LLMs نے name-based racial اور gender associations carry کیے وسیع text corpora سے جن پر انہیں تربیت دی گئی تھی۔

NIST کے ڈرافٹ bias standard پر تبصرے نوٹ کرتے ہیں کہ کیونکہ یہ نظام موجودہ social اور institutional structures کے اندر operate کرتے ہیں، dataset سے bias کو remove کرنا تنہائی ایک منصفانہ نتیجہ کو guarantee نہیں دیتا — ایک نتیجہ جو Amazon کی اپنی تجربہ سے matches کرتا ہے، جیسے ACLU نے بیان کیا، جب engineers کی بار بار کی fixes نے بنیادی pattern کو resolve کرنے میں ناکام ہو گئیں۔

Regulators کیسے جواب دے رہے ہیں

New York City کا Local Law 144، جو July 2023 سے Department of Consumer and Worker Protection کے ذریعے enforce کیا جاتا ہے، employers کو ضرورت دیتا ہے کہ وہ ایک 'automated employment decision tool' استعمال کریں hiring یا promotion کے لیے تاکہ سالانہ ایک independent bias audit commission کریں، publicly audit کے نتائج کا خلاصہ post کریں، اور candidates کو کم از کم دس business days کا notice دیں tool کو استعمال کرنے سے پہلے، law firm Pivot Point Security کے خلاصے کے مطابق۔ Violations سے civil penalties ہو سکتی ہیں $500 سے $1,500 per violation کی حد میں، اسی خلاصے کے مطابق۔

California کی Civil Rights Council نے state کے Fair Employment and Housing Act کے تحت نئے regulations اپنایا ہے، October 1, 2025 سے موثر، اس clarify کرتے ہوئے کہ ایک employer کا ایک 'automated-decision system' کا استعمال state law کی خلاف ورزی ہو سکتا ہے اگر یہ applicants یا employees کو protected characteristics جیسے race، gender یا disability کی بنیاد پر نقصان پہنچائے، Council کے اپنے June 2025 announcement کے مطابق۔ یہ regulations employers کو ضرورت دیتے ہیں کہ automated-decision data کو کم از کم چار سال تک retain کریں اور نوٹ کرتے ہیں کہ کچھ automated assessments disability-related معلومات elicit کر سکتے ہیں شاید unlawful medical inquiries کے طور پر شمار ہوں۔

اس کا مطلب job applicants اور employers کے لیے کیا ہے

• Hiring AI میں پایا گیا bias اب تک training data میں موجودہ social patterns کو track کرتا ہے — تاریخی résumés، آن لائن تصویریں، یا general-purpose متن — بجائے random میں ظاہر ہونے کے۔
• Documented effects میں historically dominant demographic groups سے résumés کو favour کرنا اور identical underlying qualifications کے لیے systematically مختلف نتائج produce کرنا شامل ہے۔
• New York City اور California اب specific legal obligations impose کرتے ہیں — audits، record-keeping، یا دونوں — ان employers پر جو یہ tools استعمال کرتے ہیں، اگرچہ requirements jurisdiction کے لحاظ سے differ ہوتی ہیں۔
• University of Washington researchers کہتے ہیں کہ ایک demographic category میں identified bias (مثال کے طور پر، صرف race) مختلف effects کو mask کر سکتی ہے جو صرف اس وقت visible ہوں جب categories کو combine کیا جائے، جیسے race اور gender مل کر۔