یہ زبان مشین کے ذریعے ترجمہ کی گئی ہے اور کسی انسان نے اس کا جائزہ نہیں لیا۔

مصنوعی ذہانت · مضمون

مصنوعی ذہانت کے الگورتھم کس طرح تعصب تیار کرتے ہیں، اور اسے روکنے کے لیے کیا حفاظتیں موجود ہیں

اشاعت:

A flow chart displaying the algorithm behind a recommendation engine.
تصویر: Jennifer A. Jacobi, Eric A. Benson, and Gregory D. Linden · CC0 · Wikimedia Commons

مختصراً

AI سسٹم اس وقت متعصبانہ ہو جاتے ہیں جب وہ نمائندگی سے محروم تربیتی ڈیٹا سے سیکھتے ہیں یا اپنے ڈیزائن میں تعمیر شدہ انسانی اور اداراتی مفروضوں کو انکوڈ کرتے ہیں۔ دستاویز شدہ معاملات — Amazon کی بھرتی کا ٹول اور 2018 کا 'Gender Shades' چہرے کی شناخت کا مطالعہ — یہ ظاہر کرتے ہیں کہ یہ خواتین اور سانولی رنگت والے لوگوں کو نقصان پہنچا سکتا ہے۔ EU کے ریگولیٹرز اور NIST جیسی معیاری تنظیمیں اب اعلیٰ خطرے والے نظاموں کے لیے تعصب کی جانچ کی ضرورت ہے۔

یہ نسخہ اصل متن (English) کا مشینی ترجمہ ہے۔ اصل متن پڑھیں

مصنوعی ذہانت کے نظام تیزی سے کام درخواست دہندگان کو چھانٹنے، قرض کی درخواستوں کو سکور کرنے، آن لائن مواد میں اعتدال پیدا کرنے، اور پولیس کے لیے مشکوک افراد کو نشاندہی کرنے کے لیے استعمال ہو رہے ہیں۔ جب یہ نظام مخصوص گروپوں کے لیے منطقی طور پر غیر برابر نتائج پیدا کرتے ہیں، تو محققین اور ریگولیٹرز نتیجے کو الگورتھمی تعصب کہتے ہیں۔ یہ سوال کہ وہ تعصب کیسے بنتا ہے، اور اس کے بارے میں کیا کیا جا سکتا ہے، اکیڈمی کے مقالوں سے کارپوریٹ بورڈ رومز اور قانون ساز میں منتقل ہو گیا ہے۔

تعصب کہاں سے آتا ہے

U.S. National Institute of Standards and Technology (NIST) کی 2022 کی رپورٹ، جس کا عنوان Special Publication 1270 ہے، نتیجہ نکالا کہ AI تعصب صرف ڈیٹا کا مسئلہ نہیں ہے۔ رپورٹ کے مصنفین AI نظاموں میں تعصب کے تین الگ الگ ذرائع کی نشاندہی کرتے ہیں۔

NIST پرنسپل انویسٹیگیٹر Reva Schwartz نے کہا کہ تنظیمیں اکثر تنگ تکنیکی اصلاحات کے لیے ڈیفالٹ کرتی ہیں جو AI کے وسیع تر سماجی تناظر میں سے نکلنے والے تعصب کو حاصل کرنے میں ناکام رہتی ہیں جس میں اسے بنایا اور تیار کیا جاتا ہے، ایجنسی کے اپنے خلاصے کے مطابق رپورٹ۔

دو دستاویز شدہ معاملات

Amazon نے 2014 میں ایک تجرباتی رزومے کی چھننی کا ٹول بنایا، اسے کم و بیش ایک دہائی کے رزومے پر تربیت دی جو کمپنی کو ملے تھے۔ کیونکہ ٹیکنالوجی سیکٹر نے تاریخی طور پر خواتین کے مقابلے میں بہت زیادہ مردوں کو ملازمت دی ہے، ان تربیتی رزومے کی اکثریت مرد درخواست دہندگان سے آئی تھی۔ MIT Technology Review کی رپورٹنگ کے مطابق، نظام نے اپنے آپ کو لفظ 'women's' والے رزومے کو سزا دینے کے لیے سکھایا اور دونوں women-only کالجز کے گریجویٹز کو کم درجہ دیا۔ Amazon کے انجینیرز نے نمونے کو درست کرنے کی کوشش کی، لیکن 2017 تک کمپنی کو اعتماد ختم ہو گیا تھا کہ ٹول دوسری باتوں میں صنف کے لحاظ سے غیر جانبدار تھا اور اسے استعمال کرنا بند کر دیا۔

2018 کے ایک الگ مطالعے کو Gender Shades کہا جاتا ہے، جو MIT Media Lab کے Joy Buolamwini اور Timnit Gebru کے ذریعے کیا گیا، جو اس وقت Microsoft Research میں تھے، تین تجارتی چہرے کے تجزیے کے نظاموں کو 1,200 سے زیادہ تصویروں کے ڈیٹاسیٹ پر جانچا گیا جو Fitzpatrick سکیل استعمال کرتے ہوئے جلد کے رنگ سے درجہ بندی تھے۔ MIT News کے خلاصے کے مطابق، ہلکی جلد والے مردوں کے لیے غلطی کی شرح کبھی 0.8٪ سے تجاوز نہیں کی، جبکہ سانولی جلد والی خواتین کے لیے غلطی کی شرح 20.8٪ سے 34.7٪ تک تھی، ایک نظام میں سب سے سانولی جلد والی خواتین کے لیے 46.8٪ تک پہنچی۔

ایک میں تین پر ناکام ہونا، ایک تجارتی نظام میں، کچھ ایسے پر جو ایک بائنری درجہ بندی کے کام میں کم کر دیا گیا ہے، آپ کو پوچھنا ہے، کیا یہ اگر وہ ناکامی کی شرح ایک مختلف subgroup میں تھی تو اجازت دی گئی ہوتی؟

— Joy Buolamwini, MIT Media Lab محقق, Gender Shades نتائج پر
دو دستاویز شدہ تعصب کے معاملات کا موازنہ
معاملہنظام جانچا گیاتعصب ملانتیجہ
Amazon بھرتی الگورتھم (2014–2017)اندرونی رزومے کی چھننی AIرزومے میں 'women's' اور women's-college ناموں کو سزا دی گئیMIT Technology Review کے مطابق ٹول بند کیا گیا
Gender Shades مطالعہ (2018)تین تجارتی چہرے کے تجزیے کے پروگرامسانولی جلد والی خواتین کے لیے 46.8٪ تک غلطی کی شرح بمقابلہ ہلکی جلد والے مردوں کے لیے 0.8٪MIT News کے مطابق فروخت دہندہ کی تبدیلیوں کو متحرک کیا

کیا حفاظتیں موجود ہیں

European Union کا AI Act، رسمی طور پر Regulation (EU) 2024/1689، 1 اگست 2024 کو نافذ ہوا، اور European Commission کے ذریعے دنیا میں AI کے لیے پہلا جامع قانونی ڈھانچہ قرار دیا گیا۔ ملازمت، تعلیم، اور بایومیٹرک شناخت میں استعمال ہونے والے نظاموں سمیت اعلیٰ خطرے کے طور پر درجہ بندی کیے جانے والے نظاموں کے لیے — تنظیم فراہم کنندگان کو تربیت، توثیق، اور جانچ کے ڈیٹا کا استعمال کرنا ضروری ہے جو امتیازی نتائج کے خطرے کو کم کرنے کے لیے کافی معیاری ہے، اور بازار تک پہنچنے سے پہلے خطرے کی تشخیص اور تدارک کے اقدامات کو نافذ کرنا ہے، Commission کے نقائص کی اپنی تفصیل کے مطابق۔ Commission کہتا ہے کہ ملازمت اور بایومیٹرکس جیسے حساس علاقوں میں استعمال ہونے والے اعلیٰ خطرے والے نظاموں کی ذمہ داریاں 2 دسمبر 2027 کو قابلِ نافذ ہوں گی، منظم شدہ مصنوعات میں سرایا ہوئے AI کے لیے قوانین 2 اگست 2028 کے بعد ہوں گے۔

United States میں، NIST کا اپنا جواب اس کے تعصب کے نتائج کے لیے ایک 'socio-technical' طریقہ تجویز کرنا تھا: الگورتھمی تعصب کے ساتھ انجینئرنگ کے باہر کے ماہرین کو شامل کر کے اور متاثرہ برادریوں سے مشورہ کر کے انسانی اور نظامی تعصب کو سنبھالنا، محض تکنیکی اصلاحات پر انحصار کے بجائے ایجنسی کی رپورٹ خلاصے کے مطابق۔

یہ اب کیوں اہم ہے

بھرتی کے منصے، کریڈٹ سکورنگ کے ٹولز، اور مواد کے اعتدال کے نظام اب بہت سی صنعتوں میں عام ہیں، جس کا مطلب ہے کہ Amazon اور Gender Shades معاملات میں دستاویز کی گئی غلطیوں کی نوعیت بہت سے لوگوں کو متاثر کر سکتی ہے پہلے کہ کوئی نمونہ نوٹ کرے۔ EU AI Act کی 2028 تک مرحلہ وار تاریخیں، اور NIST کی جاری تعصب انتظام کی ہدایات، اشارہ کرتی ہیں کہ ان نظاموں کی نگرانی ابھی تعمیر ہو رہی ہے بجائے پہلے سے مکمل۔

سوالات

الگورتھمی تعصب کیا ہے؟
یہ وہ وقت ہے جب ایک AI نظام منطقی طور پر مختلف، اکثر منفی، نتائج لوگوں کے مخصوص گروپوں کے لیے پیدا کرتا ہے، تربیتی ڈیٹا، ڈیزائن میں انسانی فیصلے، یا موجودہ اداراتی عدم مساوات سے نکلتے ہوئے، NIST کی 2022 کی رپورٹ کے مطابق۔
کیا Amazon کے AI بھرتی کے ٹول نے واقعی خواتین کے خلاف امتیاز کیا؟
MIT Technology Review کی رپورٹنگ کے مطابق، تجرباتی ٹول نے لفظ 'women's' والے رزومے کو کم درجہ دیا اور تمام women-only کالجز کے گریجویٹز کو سزا دی؛ Amazon نے 2017 تک نظام کو استعمال کرنا بند کر دیا اس کے بعد کہ یہ صنف کے لحاظ سے غیر جانبدار تھا۔
سانولی جلد والی خواتین کے لیے چہرے کی شناخت کتنی بدتر تھی؟
2018 کے Gender Shades مطالعے میں تین تجارتی نظاموں میں سانولی جلد والی خواتین کے لیے 34.7٪ سے 46.8٪ تک غلطی کی شرح پائی گئی، ہلکی جلد والے مردوں کے لیے 0.8٪ سے کم کے مقابلے میں، MIT News کے خلاصے کے مطابق۔
کیا کوئی قانون فی الوقت کمپنیوں کو AI میں تعصب کے لیے جانچ کرنے کی ضرورت ہے؟
EU AI Act اعلیٰ خطرے والے AI نظاموں کے لیے تعصب کی جانچ اور ڈیٹا معیار کی جانچ کی ضرورت ہے، ملازمت اور بایومیٹرکس جیسے حساس علاقوں میں ذمہ داریاں 2 دسمبر 2027 کو نافذ ہونے لگیں گی، European Commission کے مطابق۔
کیا برا تربیتی ڈیٹا AI تعصب کا واحد سبب ہے؟
نہیں۔ NIST کی 2022 کی رپورٹ تین ذرائع کی نشاندہی کرتی ہے — computational/statistical، انسانی، اور نظامی تعصب — اور استدلال کرتی ہے کہ اداراتی اور سماجی عوامل ڈیٹا کے مسائل کے ساتھ حصہ ڈالتے ہیں۔

ذرائع

  1. NIST — There's More to AI Bias Than Biased Data, NIST Report Highlights (2022)
  2. MIT News — Study finds gender and skin-type bias in commercial artificial-intelligence systems (2018)
  3. MIT Technology Review — Amazon ditched AI recruitment software because it was biased against women (2018)
  4. European Commission — Regulatory framework proposal on artificial intelligence (AI Act)

یہ تحریر مصنوعی ذہانت سے تیار کی گئی اور اشاعت سے پہلے ذرائع کی خودکار جانچ سے گزری۔ اگر آپ کو کوئی غلطی نظر آئے تو تصحیح کی درخواست کریں۔ تصحیح یا جواب کی درخواست · ہم کیسے کام کرتے ہیں

متعلقہ تحریریں