كيف يمكن للتحيز الخوارزمي في أدوات الذكاء الاصطناعي للتوظيف أن يكرر التمييز في مكان العمل

تستخدم الشركات بشكل متزايد برامج مبنية على التعلم الآلي لفحص السير الذاتية وترتيب المرشحين وحتى إجراء المقابلات في المراحل الأولى. وجد الباحثون والمنظمون أن عدداً من هذه الأنظمة ينتج نتائج مختلفة للمتقدمين من أجناس أو أعمار مختلفة، حتى عندما تكون المؤهلات الأساسية متطابقة.

ما هو التحيز الخوارزمي في التوظيف؟

يحدث التحيز الخوارزمي عندما تفضل مخرجات نظام التعلم الآلي أو تضر بشكل منهجي بمجموعات معينة، بغض النظر عن المؤهلات ذات الصلة بالعمل. التعليقات العامة على مسودة معيار من المعهد الوطني الأمريكي للمعايير والتكنولوجيا (NIST)، SP 1270، "نحو معيار لتحديد وإدارة التحيز في الذكاء الاصطناعي"، المنشورة على موقع NIST، تصف هذا بأنه مشكلة اجتماعية تقنية: يمكن أن يدخل التحيز ليس فقط من خلال التصميم الإحصائي للخوارزمية بل من خلال البيانات التاريخية التي تتدرب عليها وكذلك السياق الإنساني والمؤسسي الذي يتم نشرها فيه.

في التوظيف على وجه التحديد، عادة ما يتم تدريب النموذج على سير ذاتية سابقة أو قرارات توظيف سابقة أو نصوص تم إنشاؤها بواسطة نموذج لغة كبير (LLM). إذا كانت القوى العاملة التي أنتجت تلك البيانات التاريخية منحازة بالفعل بناءً على النوع أو العرق أو العمر - وهي ميزة شائعة في العديد من الصناعات - فيمكن للنموذج أن يتعلم تكرار هذا الانحياز كما لو كان مقياساً للجدارة.

حالة موثقة: محرك التوظيف الملغى من Amazon

يتضمن أحد الأمثلة الأولى والأكثر استشهاداً على نطاق واسع أداة توظيف تجريبية بنتها Amazon بدءاً من عام 2014 لتصنيف المتقدمين للوظائف من نجمة إلى خمس نجوم، وفقاً للاتحاد الأمريكي للحريات المدنية (ACLU). تم تدريب النظام من خلال ملاحظة الأنماط في السير الذاتية التي تلقتها الشركة على مدى حوالي عقد من الزمان، وهي مجموعة كانت تهيمن عليها الذكور بشكل كبير، مما يعكس هيمنة الذكور في الأدوار التقنية المعنية.

يفيد ACLU بأن الأداة عاقبت السير الذاتية التي تحتوي على كلمة "women's" - على سبيل المثال، "women's rugby team" - وخفضت رتبة خريجي كليتين للنساء فقط، بينما فضلت السير الذاتية التي استخدمت أفعالاً أكثر شيوعاً في السير الذاتية التقنية للذكور، مثل "executed" و"captured." حاول مهندسو Amazon إصلاح النمط، لكن وفقاً لحساب ACLU لتقاريره عن المشروع، توصلوا إلى أن المشكلة الأساسية لم يمكن ضمانها والإغلاق الأداة في عام 2015، حوالي سنة بعد بدء اختبارها.

ما الذي وجدته الأبحاث الحديثة حول فحص السير الذاتية بالذكاء الاصطناعي

اختبرت الأبحاث الأحدث نماذج اللغة الكبيرة المضمنة الآن في العديد من منتجات التوظيف التجارية. اختبرت دراسة من جامعة Washington قُدمت في أكتوبر 2024 في مؤتمر AAAI/ACM حول الذكاء الاصطناعي والأخلاقيات والمجتمع ثلاثة نماذج لغة مفتوحة المصدر - من Mistral AI و Salesforce و Contextual AI - عن طريق تعيين 120 اسماً مرتبطة برجال وعتقد سود وبيض إلى أكثر من 550 سيرة ذاتية حقيقية وترتيبهم مقابل أكثر من 500 إعلان وظيفة حقيقي عبر تسعة مهن، مما أسفر عن أكثر من ثلاثة ملايين مقارنة بين السيرة الذاتية والوظيفة.

وجدت مؤلفة الدراسة الرئيسية Kyra Wilson والمؤلفة المشاركة Aylin Caliskan، كلاهما في مدرسة المعلومات بجامعة Washington، أن السير الذاتية ذات الأسماء المرتبطة بالبيض فُضلت في 85% من الحالات مقابل 9% للأسماء المرتبطة بالسود، والأسماء المرتبطة بالذكور فُضلت في 52% من الحالات مقابل 11% للأسماء المرتبطة بالإناث. لم تفضل النماذج قط الأسماء المرتبطة بالذكور السود على أسماء الذكور البيض، وهو نمط قال الباحثون إنه أصبح مرئياً فقط عند تحليل العرق والنوع معاً بدلاً من بشكل منفصل.

النتائج الرئيسية في لمحة

كيف تعمل آلية التحيز

في كل حالة موثقة، يعود النمط إلى بيانات التدريب أو الجمعيات التي امتصها النموذج من النصوص التي تم تدريبه عليها، بدلاً من التعليمات الصريحة للتمييز. تعلمت أداة Amazon من مجموعة تطبيقات تاريخية يهيمن عليها الذكور. كانت نماذج LLM التي اختبرها باحثو جامعة Washington تحمل جمعيات عنصرية وجنسانية مبنية على الأسماء من مدونات النصوص الأوسع التي تم تدريبها عليها.

تلاحظ التعليقات على مسودة معيار التحيز من NIST أنه لأن هذه الأنظمة تعمل ضمن الهياكل الاجتماعية والمؤسسية الموجودة، فإن إزالة التحيز من مجموعة البيانات وحدها لا تضمن نتيجة عادلة - وهو استنتاج يتطابق مع تجربة Amazon نفسها، كما وصفها ACLU، عندما فشلت الإصلاحات المتكررة للمهندسين في حل النمط الأساسي.

كيف يستجيب المنظمون

يتطلب القانون المحلي 144 في مدينة نيويورك، الذي ينفذه قسم حماية المستهلك والعمال منذ يوليو 2023، من أصحاب العمل الذين يستخدمون "أداة قرار توظيف آلية" للتوظيف أو الترقية بتكليف تدقيق تحيز مستقل سنوياً ونشر ملخص علني لنتائج التدقيق وإعطاء المرشحين إشعاراً بما لا يقل عن عشرة أيام عمل قبل استخدام الأداة، وفقاً لملخص الشركة القانونية Pivot Point Security للتدبير. يمكن للانتهاكات أن تترتب على عقوبات مدنية تتراوح من 500 إلى 1500 دولار لكل انتهاك، وفقاً لنفس الملخص.

اعتمد مجلس حقوق الإنسان في كاليفورنيا لوائح جديدة بموجب قانون التوظيف العادل والإسكان بالولاية، الذي بدأ نفاذه في 1 أكتوبر 2025، يوضح أن استخدام صاحب العمل لـ "نظام اتخاذ قرار آلي" يمكن أن ينتهك قانون الولاية إذا أضر بالمتقدمين أو الموظفين بناءً على خصائص محمية مثل العرق أو النوع أو الإعاقة، وفقاً لإعلان المجلس نفسه في يونيو 2025. تطلب اللوائح من أصحاب العمل الاحتفاظ ببيانات النظام الآلي لمدة أربع سنوات على الأقل وتلاحظ أن بعض التقييمات الآلية التي تثير معلومات متعلقة بالإعاقة قد تعتبر استفسارات طبية غير قانونية.

ما يعنيه هذا للمتقدمين وأصحاب العمل

• تم تتبع التحيز الموجود في ذكاء الاصطناعي للتوظيف حتى الآن من الأنماط الاجتماعية الموجودة في بيانات التدريب - السير الذاتية التاريخية أو الصور عبر الإنترنت أو نصوص الاستخدام العام - بدلاً من الظهور بشكل عشوائي.
• تشمل التأثيرات الموثقة تفضيل السير الذاتية من مجموعات ديموغرافية هيمنت تاريخياً وإنتاج نتائج مختلفة بشكل منهجي للمؤهلات الأساسية المتطابقة.
• تفرض مدينة نيويورك وكاليفورنيا الآن التزامات قانونية محددة - التدقيقات أو الاحتفاظ بالسجلات أو كليهما - على أصحاب العمل الذين يستخدمون هذه الأدوات، على الرغم من اختلاف المتطلبات حسب الولاية القضائية.
• يقول باحثو جامعة Washington أن التحيز المحدد في فئة ديموغرافية واحدة (على سبيل المثال، العرق وحده) يمكن أن يخفي تأثيرات مختلفة مرئية فقط عند دمج الفئات، مثل العرق والنوع معاً.