الذكاء الاصطناعي · مقال
كيف تطور خوارزميات الذكاء الاصطناعي التحيزات، والحفاظات الموجودة لإيقافها
نُشر:

باختصار
تصبح أنظمة الذكاء الاصطناعي متحيزة عندما تتعلم من بيانات تدريب غير ممثلة أو تضمن افتراضات بشرية ومؤسسية مدمجة في تصميمها. الحالات الموثقة - أداة توظيف أمازون ودراسة "الظلال الجنسية" لعام 2018 للتعرف على الوجوه - تظهر أن هذا يمكن أن يضر النساء والأشخاص ذوي البشرة الأغمق. المنظمون في الاتحاد الأوروبي وهيئات المعايير مثل NIST يطلبون الآن اختبار التحيز للأنظمة عالية المخاطر.
هذه النسخة ترجمة آلية للنص الأصلي (English). اقرأ النص الأصلي
يتم استخدام أنظمة الذكاء الاصطناعي بشكل متزايد لفحص طلبات العمل وتقييم طلبات القروض والإشراف على المحتوى عبر الإنترنت وتحديد المشتبه بهم للشرطة. عندما تنتج هذه الأنظمة نتائج غير متساوية بشكل منهجي لمجموعات معينة، يسمي الباحثون والمنظمون النتيجة بالتحيز الخوارزمي. مسألة كيفية تشكل هذا التحيز وما يمكن فعله بشأنه انتقلت من الأوراق الأكاديمية إلى قاعات المجالس والبرلمانات.
من أين يأتي التحيز
خلص تقرير عام 2022 من المعهد الوطني الأمريكي للمعايير والتكنولوجيا (NIST)، بعنوان المنشور الخاص 1270، إلى أن التحيز في الذكاء الاصطناعي ليس مشكلة في البيانات فقط. حدد مؤلفو التقرير ثلاثة مصادر مميزة للتحيز في أنظمة الذكاء الاصطناعي.
- التحيز الحسابي والإحصائي - ناشئ من بيانات التدريب أو الخوارزميات التي لا تمثل السكان الذين ستؤثر عليهم النظام.
- التحيز البشري - يتم إدخاله عندما يطبق المصممون أو المسؤولون عن الملصقات أو المستخدمون معلومات غير كاملة أو الأنماط النمطية أثناء بناء النظام أو تشغيله.
- التحيز المنهجي - الممارسات المؤسسية الموجودة والعدم المساواة التاريخية التي يتم ترميزها في النظام ببساطة لأنها موجودة في السجلات التي يتعلم منها.
قالت رييفا شوارتز، محققة NIST الرئيسية، إن المنظمات غالباً ما تلجأ إلى حلول تقنية ضيقة تفشل في التقاط التحيز الناشئ من السياق الاجتماعي الأوسع الذي يتم بناء الذكاء الاصطناعي ونشره فيه، وفقاً لملخص الوكالة الخاص بها للتقرير.
حالتان موثقتان
بنت أمازون أداة تجريبية لفحص السيرة الذاتية بدءاً من عام 2014، وتدريبها على حوالي عقد من السير الذاتية التي تلقتها الشركة. لأن قطاع التكنولوجيا قد وظف تاريخياً عدداً أكبر بكثير من الرجال عن النساء، فإن غالبية سير التدريب تلك جاءت من المتقدمات من الذكور. وفقاً لتقرير مراجعة MIT للتكنولوجيا، علم النظام نفسه بنفسه معاقبة السير الذاتية التي تحتوي على كلمة "نساء" وخفّض من قيمة خريجي كليتي نساء فقط. حاول مهندسو أمازون تصحيح النمط، لكن بحلول عام 2017 فقدت الشركة الثقة بأن الأداة كانت محايدة جنسانياً في جوانب أخرى وتوقفت عن استخدامها.
أجرت دراسة منفصلة عام 2018 تسمى Gender Shades، أجراها Joy Buolamwini من معهد MIT للإعلام وTimnit Gebru، حالياً في مايكروسوفت للأبحاث، اختبار ثلاثة أنظمة تحليل وجه تجاري على مجموعة بيانات تضم أكثر من 1200 صورة مصنفة حسب نغمة الجلد باستخدام مقياس Fitzpatrick. وفقاً لملخص أخبار MIT للنتائج، لم تتجاوز معدلات الخطأ للرجال ذوي البشرة الفاتحة 0.8%، في حين تراوحت معدلات الخطأ للنساء ذوات البشرة الأغمق من 20.8% إلى 34.7%، حيث وصلت إلى 46.8% للنساء ذوات البشرة الأغمق في نظام واحد.
الفشل في واحد من كل ثلاثة، في نظام تجاري، في شيء تم تقليله إلى مهمة تصنيف ثنائية، عليك أن تسأل، هل كان سيتم السماح به لو كانت معدلات الفشل هذه في مجموعة فرعية مختلفة؟
| الحالة | النظام المختبر | التحيز الذي تم العثور عليه | النتيجة |
|---|---|---|---|
| خوارزمية توظيف أمازون (2014-2017) | أداة فحص السيرة الذاتية الداخلية للذكاء الاصطناعي | عاقبت السير الذاتية التي تحتوي على "نساء" وأسماء كليات النساء | تم إيقاف الأداة، وفقاً لمراجعة MIT للتكنولوجيا |
| دراسة Gender Shades (2018) | ثلاثة برامج تحليل وجه تجاري | معدلات خطأ تصل إلى 46.8% للنساء ذوات البشرة الأغمق مقابل 0.8% للرجال ذوي البشرة الفاتحة | حفزت تغييرات البائع، وفقاً لأخبار MIT |
ما هي الحفاظات الموجودة
دخل قانون الذكاء الاصطناعي للاتحاد الأوروبي، رسمياً اللائحة (EU) 2024/1689، حيز التنفيذ في 1 أغسطس 2024، وتوصف من قبل المفوضية الأوروبية بأنها الإطار القانوني الشامل الأول للذكاء الاصطناعي في العالم. بالنسبة للأنظمة المصنفة على أنها عالية المخاطر - بما في ذلك تلك المستخدمة في التوظيف والتعليم والتعرف البيومتري - تطلب اللائحة من المزودين استخدام بيانات التدريب والتحقق والاختبار ذات جودة كافية لتقليل مخاطر النتائج التمييزية، ووضع مقاييس تقييم المخاطر والتخفيف من حدتها قبل وصول النظام إلى السوق، وفقاً لوصف المفوضية الخاصة بها للقواعد. تنص المفوضية على أن الالتزامات بأنظمة عالية المخاطر المستخدمة في مجالات حساسة مثل التوظيف والقياسات البيومترية تصبح قابلة للتطبيق في 2 ديسمبر 2027، مع القواعد الخاصة بالذكاء الاصطناعي المدمج في المنتجات المنظمة يتبع في 2 أغسطس 2028.
كان رد فعل NIST على نتائج التحيز الخاصة به هو التوصية بنهج "اجتماعي تقني": معالجة التحيز البشري والمنهجي جنباً إلى جنب مع التحيز الحسابي بإشراك الخبراء خارج الهندسة والتشاور مع المجتمعات المتضررة، بدلاً من الاعتماد على الإصلاحات التقنية وحدها، وفقاً لملخص تقرير الوكالة.
لماذا هذا يهم الآن
منصات التوظيف وأدوات تقييم الائتمان وأنظمة الإشراف على المحتوى أصبحت الآن شائعة عبر العديد من الصناعات، مما يعني أن أنواع الأخطاء الموثقة في حالات أمازون و Gender Shades يمكن أن تؤثر على أعداد كبيرة من الناس قبل أن يلاحظ أي شخص نمطاً. تشير الآجال النهائية المرحلية لقانون الذكاء الاصطناعي للاتحاد الأوروبي حتى 2028، وإرشادات إدارة التحيز المستمرة من NIST، إلى أن الإشراف على هذه الأنظمة لا يزال قيد الإنشاء بدلاً من أن يكون مكتملاً بالفعل.
أسئلة
- ما هو التحيز الخوارزمي؟
- إنه عندما ينتج نظام الذكاء الاصطناعي بشكل منهجي نتائج مختلفة، غالباً ما تكون ضارة، لمجموعات معينة من الناس، ناشئة من بيانات التدريب أو القرارات البشرية في التصميم أو عدم المساواة المؤسسية الموجودة، وفقاً لتقرير NIST لعام 2022.
- هل أداة توظيف أمازون AI ميزت فعلاً ضد النساء؟
- وفقاً لتقرير مراجعة MIT للتكنولوجيا، قللت الأداة التجريبية من قيمة السير الذاتية التي تحتوي على كلمة "نساء" وعاقبت خريجي الكليات الخاصة بالنساء فقط؛ توقفت أمازون عن استخدام النظام بحلول عام 2017 بعد فقدان الثقة بأنه كان محايداً جنسانياً.
- كم كان أسوأ التعرف على الوجوه للنساء ذوات البشرة الأغمق؟
- وجدت دراسة Gender Shades لعام 2018 معدلات خطأ تصل إلى 34.7% إلى 46.8% للنساء ذوات البشرة الأغمق عبر ثلاثة أنظمة تجارية، مقابل أقل من 0.8% للرجال ذوي البشرة الفاتحة، وفقاً لملخص أخبار MIT للبحث.
- هل يوجد أي قانون يتطلب حالياً من الشركات اختبار الذكاء الاصطناعي للتحيز؟
- يتطلب قانون الذكاء الاصطناعي للاتحاد الأوروبي اختبار التحيز وفحوصات جودة البيانات للأنظمة الذكاء الاصطناعي عالية المخاطر، مع أن الالتزامات في المجالات الحساسة مثل التوظيف والقياسات البيومترية تصبح قابلة للتطبيق في 2 ديسمبر 2027، وفقاً للمفوضية الأوروبية.
- هل بيانات التدريب السيئة هي السبب الوحيد لتحيز الذكاء الاصطناعي؟
- لا. يحدد تقرير NIST لعام 2022 ثلاثة مصادر - التحيز الحسابي/الإحصائي والبشري والمنهجي - ويجادل بأن العوامل المؤسسية والمجتمعية تساهم جنباً إلى جنب مع مشاكل البيانات.
المصادر
- NIST — There's More to AI Bias Than Biased Data, NIST Report Highlights (2022)
- MIT News — Study finds gender and skin-type bias in commercial artificial-intelligence systems (2018)
- MIT Technology Review — Amazon ditched AI recruitment software because it was biased against women (2018)
- European Commission — Regulatory framework proposal on artificial intelligence (AI Act)
أُعدّت هذه المادة بالذكاء الاصطناعي وخضعت لتدقيق آلي للمصادر قبل النشر. إن رأيت خطأً فاطلب تصحيحه. طلب تصحيح أو حق الرد · كيف نعمل
مواد ذات صلة
الذكاء الاصطناعيخبر
OpenAI ترقي GPT-6 Astra Pro في ChatGPT مع وكلاء ذكاء اصطناعي متوازية
أعلنت OpenAI في 16 أكتوبر 2026 أن GPT-6 Astra Pro داخل ChatGPT يسمح الآن لوكلاء ذكاء اصطناعي متعددين بالعمل على أجزاء منفصلة من نفس المهمة في نفس الوقت، بدلاً من أن يقوم وكيل واحد بإكمال الخطوات تسلسلياً. تقتصر الميزة حالياً على مشتركي ChatGPT Pro، الذين يمكنهم تتبع تقدم كل وكيل وفتح العمل المنتهي مباشرة في الدردشة.
الذكاء الاصطناعيمقارنة
ChatGPT مقابل Claude مقابل Gemini في أكتوبر 2026: مقارنة النماذج والأسعار والمعايير
اعتبارًا من أكتوبر 2026، يعمل ChatGPT على عائلة GPT-6 من OpenAI (Astra للمنطق، Sol/Luna للدردشة اليومية)، والرائد Anthropic هو Claude Opus 5، والنموذج الأعلى المتاح عموماً من Google هو Gemini 3.1 Pro بينما لا يزال Gemini 4 Argon الأحدث في مرحلة توزيع محدودة. تتجمع خطط الدفع على مستوى الدخول حول 20 دولاراً شهرياً، لكن الثلاثة تختلف بشكل حاد في نافذة السياق وتكلفة API والمعايير التي تسلط كل شركة الضوء عليها.

الذكاء الاصطناعيمقال
كيفية تعلم الذكاء الاصطناعي من البيانات: شرح التدريب في خضم جدل بند الكشط لدى ميتا
تتعلم نماذج الذكاء الاصطناعي بمعالجة أحجام ضخمة من النصوص والصور وغيرها من البيانات وتعديل المعاملات الداخلية حتى تتطابق توقعاتها مع الإجابات الصحيحة، وهذا يتكرر عبر مليارات الأمثلة. أصبح مصدر هذه البيانات محور نزاع في أكتوبر 2026، عندما بدت شروط ميتا التجارية الجديدة تسمح للشركة بكشط مواقع عملائها التجاريين لتدريب الذكاء الاصطناعي، مما استقطب انتقادات من الناشرين والعلماء القانونيين قبل أن تضيق ميتا صيغة الكلام.
الذكاء الاصطناعيمقال
كيف يعمل توليد الصور بالذكاء الاصطناعي: شرح نماذج الانتشار
تستخدم أدوات مثل DALL-E و Midjourney و Stable Diffusion نماذج الانتشار لإنشاء الصور: وهي شبكات عصبية مدربة على تحويل الصورة إلى ضوضاء عشوائية ثم عكس هذه العملية. لتوليد صورة جديدة، تبدأ الشبكة من ضوضاء خالصة وتزيل الضوضاء خطوة بخطوة، موجهة بطلب نصي، حتى تظهر صورة متماسكة.