نحوه‌ای که سوگیری الگوریتمی در ابزارهای هوش مصنوعی استخدام می‌تواند تبعیض در محل کار را تکرار کند

شرکت‌ها به طور فزاینده‌ای از نرم‌افزاری استفاده می‌کنند که بر اساس یادگیری ماشین ساخته شده است تا رزومه‌ها را فیلتر کنند، کاندیداها را رتبه‌بندی کنند و حتی مصاحبه‌های مرحله‌ی اول را انجام دهند. پژوهشگران و مقام‌های نظارتی متوجه شده‌اند که تعدادی از این سیستم‌ها نتایج متفاوتی برای متقاضیانی با جنسیت، نژاد یا سن‌های مختلف به دست می‌دهند، حتی زمانی که صلاحیت‌های اساسی یکسان هستند.

سوگیری الگوریتمی در استخدام چیست؟

سوگیری الگوریتمی زمانی رخ می‌دهد که خروجی‌های یک سیستم یادگیری ماشین به طور منظم و سیستماتیک گروه‌های خاصی را مورد لطف قرار دهند یا به آن‌ها آسیب برسانند، بدون توجه به صلاحیت‌های مرتبط با شغل. نظرات عمومی بر روی پیش‌نویس استانداردی از موسسه ملی ایالت‌متحده برای استاندارد و فناوری (NIST)، SP 1270، "رفتار به سوی یک استاندارد برای شناسایی و مدیریت سوگیری در هوش مصنوعی،" منتشر شده در وب‌سایت NIST، این را به‌عنوان یک مسئله اجتماعی-فنی توصیف می‌کنند: سوگیری نه تنها می‌تواند از طریق طراحی آماری یک الگوریتم وارد شود بلکه از طریق داده‌های تاریخی‌ای که بر آن آموزش داده می‌شود و زمینه انسانی و مؤسسی‌ای که در آن اجرا می‌شود.

به طور خاص در استخدام، یک مدل معمولاً بر اساس رزومه‌های گذشته، تصمیمات استخدام‌ی گذشته، یا متنی که توسط یک مدل زبان بزرگ (LLM) تولید شده‌است آموزش داده می‌شود. اگر نیروی کاری که آن داده‌های تاریخی را تولید کرد خود به دلیل جنسیت، نژاد یا سن منحرف بود - یک ویژگی رایج در بسیاری از صنایع - مدل می‌تواند یاد بگیرد که این انحراف را تکرار کند گویی که معیاری از شایستگی است.

مورد موثق: موتور استخدام لغو شده Amazon

یکی از اولین و پرحال‌شده‌ترین نمونه‌ها شامل ابزار استخدام تجربی‌ای است که Amazon از سال 2014 ساخت تا متقاضیان شغل را از یک تا پنج ستاره امتیازدهی کند، بر اساس گزارش اتحادیه آزادی‌های مدنی آمریکا (ACLU). سیستم با مشاهده الگوهایی در رزومه‌هایی که شرکت در طی حدود یک دهه دریافت کرد آموزش داده شد، مجموعه‌ای که اکثراً مردانه بود و نشان‌دهنده غلبه‌ی مردان در نقش‌های فنی مورد نظر بود.

ACLU گزارش می‌دهد که این ابزار رزومه‌هایی را که شامل واژه "women's" بودند جریمه کرد - به عنوان مثال، "women's rugby team" - و فارغ‌التحصیلان دو کالج تنها برای زنان را رتبه‌بندی کاهش داد، در حالی که رزومه‌هایی را ترجیح داد که از فعل‌هایی استفاده کردند که در رزومه‌های فنی مردان رایج‌تر بودند، مثل "executed" و "captured." مهندسان Amazon سعی کردند الگو را برطرف کنند اما، بر اساس حساب ACLU از گزارش‌دهی در مورد پروژه، به نتیجه رسیدند که مشکل زیربنایی نمی‌تواند تضمین شود و ابزار را در سال 2015 بند کردند، حدود یک سال بعد از اینکه شروع به آزمایش شد.

تحقیق اخیر در مورد غربالگری رزومه با هوش مصنوعی چه یافته است

تحقیقات جدیدتر مدل‌های زبان بزرگی را آزمایش کرده‌اند که اکنون در بسیاری از محصولات استخدام تجاری تعبیه شده‌اند. مطالعه‌ای از دانشگاه Washington که در اکتبر 2024 در کنفرانس AAAI/ACM در مورد هوش مصنوعی، اخلاق و جامعه ارائه شد سه مدل زبان متن‌باز را آزمایش کرد - از Mistral AI، Salesforce و Contextual AI - با اختصاص 120 نام مرتبط با مردان و زنان سفید‌پوست و سیاه‌پوست به بیش از 550 رزومه واقعی و رتبه‌بندی آن‌ها در برابر بیش از 500 فرصت شغلی واقعی در نه حرفه، که منجر به بیش از سه میلیون مقایسه رزومه به شغل شد.

نویسنده اصلی Kyra Wilson و همکار نویسنده Aylin Caliskan، هر دو از مدرسه اطلاعات دانشگاه Washington، دریافتند که رزومه‌هایی با نام‌های مرتبط با سفیدپوستان در 85٪ موارد مورد توجه قرار گرفتند در برابر 9٪ برای نام‌های مرتبط با سیاه‌پوستان، و نام‌های مرتبط با مردان در 52٪ موارد ترجیح داده شدند در برابر 11٪ برای نام‌های مرتبط با زنان. مدل‌ها هرگز نام‌های مرتبط با مردان سیاه‌پوست را بر نام‌های مردان سفیدپوست ترجیح ندادند، الگویی که پژوهشگران گفتند تنها زمانی قابل مشاهده بود که نژاد و جنسیت به‌جای جداگانه با هم تحلیل شدند.

یافته‌های کلیدی در یک نگاه

مکانیزم سوگیری چگونه کار می‌کند

در هر مورد موثق شده، الگو به داده‌های آموزشی یا اتصالاتی که مدل از متنی که بر آن آموزش داده شده بود جذب کرده برمی‌گردد، نه به دستورالعملی صریح برای تبعیض. ابزار Amazon از مجموعه متقاضیان تاریخی‌ای که اکثراً مردانه بود یاد گرفت. مدل‌های LLM که توسط پژوهشگران دانشگاه Washington آزمایش شدند اتصالات مرتبط با نژاد و جنسیت بر اساس نام را از مدونات متن وسیع‌تری که بر آن آموزش داده شده بودند حمل می‌کردند.

نظرات بر پیش‌نویس استاندارد سوگیری NIST یادآوری می‌کنند که از آنجایی که این سیستم‌ها درون ساختارهای اجتماعی و مؤسسی موجود کار می‌کنند، حذف سوگیری از مجموعه داده‌ها به تنهایی تضمین نتیجه عادلانه نیست - نتیجه‌ای که با تجربه خود Amazon منطبق است، همان‌طور که ACLU توصیف کرد، زمانی که تلاش‌های مکرر مهندسان برای برطرف کردن سوگیری ابزار نتوانست نتیجه عادلانه را تضمین کند و منجر به لغو پروژه شد.

چگونه مقام‌های نظارتی واکنش نشان می‌دهند

قانون محلی 144 نیویورک، تحت اجرای بخش حفاظت مصرف‌کننده و کارگری از جولای 2023، از کارفرمایانی که از یک "ابزار تصمیم‌گیری استخدام خودکار" برای استخدام یا ارتقا استفاده می‌کنند می‌خواهد که یک بررسی سوگیری مستقل سالانه انجام دهند، خلاصه‌ای از نتایج بررسی را به صورت عمومی منتشر کنند، و متقاضیان را حداقل ده روز کاری قبل از استفاده از این ابزار اطلاع دهند، بر اساس خلاصه شرکت حقوقی Pivot Point Security در مورد این اقدام. نقض آن می‌تواند جریمه‌های مدنی از 500 تا 1500 دلار برای هر نقض را در پی داشته باشد، بر اساس همان خلاصه.

شورای حقوق بشر کالیفرنیا قوانین جدیدی را تحت قانون اشتغال و مسکن عادلانه ایالت، که از 1 اکتبر 2025 لازم الاجرا شد، تصویب کرد که روشن می‌کند استفاده یک کارفرما از یک "سیستم تصمیم‌گیری خودکار" می‌تواند قانون ایالت را نقض کند اگر به متقاضیان یا کارمندان بر اساس خصوصیات محافظت شده‌ای مثل نژاد، جنسیت یا معلولیت آسیب برساند، بر اساس اعلام خود شورا در ژوئن 2025. این قوانین از کارفرمایان می‌خواهند داده‌های سیستم خودکار را حداقل چهار سال نگاه دارند و یادآوری می‌دهند که برخی ارزیابی‌های خودکار که اطلاعات مرتبط با معلولیت را برانگیزند ممکن است به‌عنوان پرسش‌های پزشکی غیرقانونی محسوب شوند.

این برای متقاضیان شغل و کارفرمایان چه معنی دارد

• سوگیری یافت شده در هوش مصنوعی استخدام تا کنون الگوهای اجتماعی موجود در داده‌های آموزشی - رزومه‌های تاریخی، تصاویر آنلاین، یا متن کاربرد عام - را دنبال کرده است نه اینکه به شکل تصادفی ظاهر شود.
• اثرات موثق شده شامل ترجیح رزومه‌های از گروه‌های جمعیت‌شناختی‌ای است که به طور تاریخی غالب بودند و تولید نتایج متفاوت به طور منظم برای صلاحیت‌های اساسی یکسان.
• نیویورک و کالیفرنیا اکنون تعهدات قانونی خاصی - بررسی‌ها، نگاه‌داری رکورد، یا هر دو - را بر کارفرمایانی که از این ابزار استفاده می‌کنند تحمیل می‌کنند، اگرچه الزامات بر اساس حوزه قضایی متفاوت است.
• پژوهشگران دانشگاه Washington می‌گویند سوگیری شناسایی شده در یک دسته جمعیت‌شناختی (مثلاً نژاد تنهایی) می‌تواند اثرات متفاوتی را پنهان کند که تنها زمانی قابل دیدن است که دسته‌ها با هم ترکیب شوند، مثل نژاد و جنسیت با هم.