هوش مصنوعی · مقاله
نحوه توسعه سوگیری در الگوریتم‌های هوش مصنوعی و حفاظتی که برای متوقف کردن آن وجود دارد
انتشار:
به‌طور خلاصه
سیستمهای هوش مصنوعی زمانی سوگیری پیدا میکنند که از دادههای آموزشی نمایندگی نکننده یاد بگیرند یا فرضیات انسانی و نهادی را که در طراحی آن‌ها کدگذاری شده‌اند، در خود بپذیرند. موارد مستند شده - ابزار استخدام آمازون و مطالعه "سایه‌های جنسیتی" سال 2018 برای شناسایی چهره - نشان می‌دهد که این می‌تواند زنان و افراد دارای پوست تیره‌تر را در معرض نقصان قرار دهد. مقررات‌گذاران در اتحادیه اروپا و بدنه‌های استانداردی مانند NIST اکنون آزمایش سوگیری را برای سیستمهای پرخطر الزامی میکنند.
این نسخه ترجمهٔ ماشینی متن اصلی (English) است. خواندن متن اصلی
سیستمهای هوش مصنوعی به طور فزاینده برای غربالگری درخواست‌های شغلی، امتیاز‌دهی به درخواست‌های وام، نظارت بر محتوای آنلاین و شناسایی مظنونان برای پلیس استفاده میشوند. هنگامی که این سیستم‌ها نتایج نابرابری سیستماتیک را برای گروههای خاص ایجاد میکنند، محققان و مقررات‌گذاران نتیجه را سوگیری الگوریتمی می‌نامند. مسئله چگونگی تشکیل این سوگیری و آنچه که می‌تواند در این باره انجام شود، از مقالات دانشگاهی به هیئت‌های شرکتی و مجالس قانونگذاری منتقل شده است.
سوگیری از کجا نشات می‌گیرد
گزارش سال 2022 از موسسه ملی ایالات‌متحده برای استاندارد و تکنولوژی (NIST)، به نام انتشار ویژه 1270، نتیجه‌گیری کرد که سوگیری هوش مصنوعی نه تنها مشکلی در دادهها است. نویسندگان گزارش سه منبع متمایز سوگیری را در سیستمهای هوش مصنوعی شناسایی کرده‌اند.
- سوگیری محاسباتی و آماری - ناشی از دادههای آموزشی یا الگوریتم‌هایی که نماینده جمعیتی نیستند که سیستم بر آن تأثیر می‌گذارد.
- سوگیری انسانی - زمانی که طراحان، برچسب‌گذاران یا کاربران اطلاعات ناقص یا کلیشه‌ها را هنگام ساخت یا استفاده از سیستم اعمال میکنند، معرفی می‌شود.
- سوگیری نظاممند - شیوه‌های نهادی موجود و نابرابریهای تاریخی که به سادگی به دلیل اینکه در رکوردهایی که سیستم از آن‌ها یاد می‌گیرد موجود هستند، در سیستم کدگذاری میشوند.
رووا شوارتز، محقق ارشد NIST، گفت که سازمان‌ها اغلب به راه‌حل‌های فنی محدود متوسل میشوند که نتوانستند سوگیری ناشی از زمینه اجتماعی گسترده‌تری را که هوش مصنوعی در آن ساخته و مستقر می‌شود، توضیح دهند، بر اساس خلاصه‌ای که خود موسسه از گزارش ارائه می‌دهد.
دو مورد مستند
آمازون در سال 2014 ابزاری تجربی برای غربالگری رزومه ایجاد کرد و آن را بر اساس حدود یک دهه رزومههایی که شرکت دریافت کرده بود آموزش داد. چون بخش تکنولوژی به طور تاریخی بسیار بیشتر مردان را نسبت به زنان استخدام کرده است، اکثریت آن رزومه‌های آموزشی از متقدمین مرد آمده بودند. بر اساس گزارش مجله MIT Technology Review، سیستم خود را آموزش داد تا رزومههایی که حاوی کلمه "زنان" بودند را جریمه کند و فارغالتحصیلان دو کالج تنها برای زنان را کاهش دهد. مهندسان آمازون سعی کردند این الگو را اصلاح کنند، اما تا سال 2017 شرکت اعتماد خود را به این که ابزار از نظر جنسیتی در دیگر جوانب بی‌طرف باشد از دست داد و استفاده از آن را متوقف کرد.
مطالعه جداگانه‌ای در سال 2018 به نام Gender Shades توسط Joy Buolamwini از رسانه MIT و Timnit Gebru، در آن زمان در مایکروسافت تحقیقات، سه سیستم تحلیل چهره تجاری را بر روی مجموعه داده‌ای بیش از 1200 تصویر که با استفاده از مقیاس Fitzpatrick طبقه‌بندی شده‌اند، آزمایش کردند. بر اساس خلاصه اخبار MIT از نتایج، نرخ خطا برای مردان با پوست روشن هرگز از 0.8% فراتر نرفت، در حالی که نرخ خطا برای زنان با پوست تیره از 20.8% تا 34.7% متغیر بود، تا 46.8% برای تیره‌ترین زنان پوستی در یک سیستم رسید.
شکست در یکی از سه‌ها، در یک سیستم تجاری، در چیزی که به یک وظیفه طبقه‌بندی باینری تقلیل یافته است، باید بپرسید، آیا اگر این نرخ‌های شکست در یک زیرگروه متفاوت بودند، اجازه داده می‌شد؟
| مورد | سیستم آزمایش‌شده | سوگیری یافت‌شده | نتیجه |
|---|---|---|---|
| الگوریتم استخدام آمازون (2014-2017) | ابزار غربالگری رزومه هوش مصنوعی داخلی | رزومههایی را که حاوی "زنان" و نام‌های کالجهای زنانه بودند، جریمه کرد | ابزار متوقف شد، بر اساس MIT Technology Review |
| مطالعه Gender Shades (2018) | سه برنامه تحلیل چهره تجاری | نرخ خطا تا 46.8% برای زنان با پوست تیره در مقابل 0.8% برای مردان با پوست روشن | تغییرات فروشنده را تحریک کرد، بر اساس اخبار MIT |
حفاظت‌های موجود کدام‌اند
قانون هوش مصنوعی اتحادیه اروپا، رسماً مقررات (EU) 2024/1689، در 1 اگست 2024 اجرایی شد و توسط کمیسیون اروپایی به عنوان اولین چارچوب قانونی جامع برای هوش مصنوعی در جهان توصیف می‌شود. برای سیستم‌هایی که به عنوان پرخطر طبقه‌بندی میشوند - از جمله مواردی که در استخدام، آموزش و شناسایی بیومتریک استفاده میشوند - مقررات از ارائه‌کنندگان میخواهد از دادههای آموزش، تأیید و آزمایش با کیفیت کافی استفاده کنند تا خطر نتایج تبعیض‌آمیز را کاهش دهند، و پیش از رسیدن سیستم به بازار، اقدامات ارزیابی و کاهش خطر را انجام دهند، بر اساس توصیف خود کمیسیون از قواعد. کمیسیون بیان میکند که الزامات برای سیستمهای پرخطر استفادهشده در مناطق حساس مثل استخدام و سنجش بیومتریک در 2 دسامبر 2027 قابل اجرا میشوند، و قواعد هوش مصنوعی تعبیه‌شده در محصولات منظم‌شده در 2 اگست 2028 پیروی میکنند.
پاسخ NIST به یافته‌های سوگیری آن، توصیه به روشی "اجتماعی-فنی" بود: مقابله با سوگیری انسانی و نظاممند در کنار سوگیری محاسباتی با درگیری متخصصان خارج از مهندسی و مشورت با جوامع آسیب‌پذیر، به جای تکیه بر اصلاحات فنی تنها، بر اساس خلاصه گزارش موسسه.
چرا این اکنون اهمیت دارد
پلت‌فرم‌های استخدام، ابزار نمره‌دهی اعتباری و سیستمهای نظارت بر محتوا اکنون در بسیاری از صنایع رایج هستند، که به این معنی است انواع خطاهایی که در موارد آمازون و Gender Shades مستند شده‌اند می‌توانند بر تعداد زیادی از مردم تأثیر بگذارند پیش از آنکه کسی یک الگو را متوجه شود. ضرب‌الاجل‌های مرحله‌ای قانون هوش مصنوعی اتحادیه اروپا تا سال 2028 و راهنمایی مستمر مدیریت سوگیری NIST نشان می‌دهد که نظارت بر این سیستم‌ها هنوز در حال ساخت است بدل از اینکه ابتدا کامل باشد.
پرسش‌ها
- سوگیری الگوریتمی چیست؟
- این موقعی است که سیستم هوش مصنوعی به طور سیستماتیک نتایج متفاوت، اغلب نقصانآمیز، را برای گروههای خاصی از مردم ایجاد میکند، ناشی از دادههای آموزشی، تصمیمات انسانی در طراحی یا نابرابریهای نهادی موجود، بر اساس گزارش NIST سال 2022.
- آیا ابزار استخدام هوش مصنوعی آمازون واقعاً علیه زنان تبعیض روا میداشت؟
- بر اساس گزارش مجله MIT Technology Review، ابزار تجربی رزومههایی که حاوی کلمه "زنان" بودند را کاهش داد و فارغالتحصیلان کالجهای تنها برای زنان را جریمه کرد؛ آمازون تا سال 2017 استفاده از سیستم را متوقف کرد بعد از اینکه از بیطرفی جنسیتی آن اعتماد از دست داد.
- تشناسایی چهره برای زنان با پوست تیره چقدر بدتر بود؟
- مطالعه Gender Shades سال 2018 نرخ خطایی تا 34.7% تا 46.8% برای زنان با پوست تیره در سه سیستم تجاری یافت، در برابر کمتر از 0.8% برای مردان با پوست روشن، بر اساس خلاصه اخبار MIT از پژوهش.
- آیا قانونی وجود دارد که در حال حاضر از شرکتها میخواهد هوش مصنوعی را برای سوگیری آزمایش کنند؟
- قانون هوش مصنوعی اتحادیه اروپا آزمایش سوگیری و بررسیهای کیفیت داده را برای سیستمهای هوش مصنوعی پرخطر الزامی میکند، با اینکه الزامات برای سیستمهای پرخطر استفادهشده در مناطق حساس مثل استخدام و سنجش بیومتریک در 2 دسامبر 2027 قابل اجرا میشوند، بر اساس کمیسیون اروپایی.
- آیا دادههای آموزشی بد تنها دلیل سوگیری هوش مصنوعی است؟
- خیر. گزارش NIST سال 2022 سه منبع را شناسایی میکند - سوگیری محاسباتی/آماری، انسانی و نظاممند - و استدلال میکند که عوامل نهادی و اجتماعی در کنار مشکلات دادهها مشارکت میکنند.
منابع
- NIST — There's More to AI Bias Than Biased Data, NIST Report Highlights (2022)
- MIT News — Study finds gender and skin-type bias in commercial artificial-intelligence systems (2018)
- MIT Technology Review — Amazon ditched AI recruitment software because it was biased against women (2018)
- European Commission — Regulatory framework proposal on artificial intelligence (AI Act)
این مطلب با هوش مصنوعی آماده شده و پیش از انتشار از بررسی خودکار منابع گذشته است. اگر خطایی دیدید، درخواست اصلاح کنید. درخواست اصلاح یا حق پاسخ · چگونه کار می‌کنیم
مطالب مرتبط
هوش مصنوعیخبر
OpenAI ارتقای GPT-6 Astra Pro در ChatGPT با عوامل هوش مصنوعی موازی
OpenAI در ۱۶ اکتبر ۲۰۲۶ اعلام کرد که GPT-6 Astra Pro درون ChatGPT اکنون امکان می‌دهد تا عوامل هوش مصنوعی متعددی روی قسمت‌های جداگانه از یک وظیفه به‌صورت همزمان کار کنند، به‌جای آنکه یک عامل به‌صورت متوالی مراحل را انجام دهد. این ویژگی در حال حاضر فقط برای مشترکین ChatGPT Pro محدود است، که می‌توانند پیشرفت هر عامل را پیگیری کنند و کار تکمیل‌شده را مستقیماً در گفت‌وگو باز کنند.
هوش مصنوعیمقایسه
ChatGPT در مقابل Claude در مقابل Gemini در اکتبر 2026: مقایسه مدل‌ها، قیمت‌ها و معیارها
تا اکتبر 2026، ChatGPT بر روی خانواده GPT-6 OpenAI (Astra برای استدلال، Sol/Luna برای چت روزمره) کار میکند، پرچمدار Anthropic Claude Opus 5 است، و بالاترین مدل‌های عمومی Google Gemini 3.1 Pro است در حالی که Gemini 4 Argon جدیدتر هنوز در راه‌اندازی محدود است. نقشه‌های پرداخت سطح ورودی حول 20 دلار در ماه جمع میشوند، اما این سه به طور تیز بر روی پنجره متن، هزینه API و معیارهایی که هر شرکت برجسته میکند متفاوت میشوند.
هوش مصنوعیمقاله
نحوه یادگیری هوش مصنوعی از دادهها: توضیح آموزش در میان مناقشه بند تکنید Meta
مدل‌های هوش مصنوعی با پردازش حجم‌های عظیمی از متن، تصویر و سایر دادهها و تنظیم پارامترهای داخلی یاد می‌گیرند تا پیش‌بینی‌های آن‌ها با پاسخ‌های صحیح مطابقت داشته باشد، این فرایند در میلیارد‌ها مثال تکرار می‌شود. منشأ این دادهها در اکتبر 2026 نقطه تنازع شد، زمانی که شرایط تجاری جدید Meta به نظر می‌رسید که این شرکت را قادر می‌سازد تا وب‌سایت‌های عملاء تجاری خود را برای آموزش هوش مصنوعی تکنید کند، که انتقاد ناشرین و صاحبان نظر حقوقی را برانگیخت، پیش از آنکه Meta تدوین را محدود کند.
هوش مصنوعیمقاله
نحوه کار تولید تصویر با هوش مصنوعی: مدل‌های انتشار توضیح داده شده
ابزارهایی مانند DALL-E، Midjourney و Stable Diffusion از مدل‌های انتشار برای ایجاد تصاویر استفاده میکنند: شبکه‌های عصبی آموزش‌دیده برای تبدیل یک تصویر به نویز تصادفی و سپس معکوس کردن این فرآیند. برای تولید یک تصویر جدید، شبکه از نویز خالص شروع میکند و نویز را قدم به قدم حذف میکند، هدایت شده توسط یک درخواست متنی، تا زمانی که یک تصویر منسجم ظاهر شود.