ایے آئی زبان کی ماڈلز کیوں غلط جواب دیتے ہیں: غلط جوابات کے پیچھے کی تحقیق

ایے آئی کی ہلوسینیشن ایک ایسا بیان ہے جو زبان کی ماڈل سے نکلتا ہے جو روانی اور اعتماد سے بھرپور لگتا ہے لیکن حقیقت سے غلط ہے — ایک جعلی حوالہ، غلط تاریخ، ایک ایسا شخص جو موجود ہی نہیں ہے۔ ستمبر 2025 میں شائع ایک تحقیقی مقالے میں، OpenAI کے محققین ہلوسینیشنز کو ان شرائط میں بیان کرتے ہیں اور کہتے ہیں کہ موجودہ تربیت اور تشخیص کے طریقوں کے ساتھ، یہ مسئلہ مکمل طور پر حل نہیں ہو سکتا۔

تربیتی عمل غلطیوں کو کیسے پیدا کرتا ہے

OpenAI کے مقالے کے مطابق، جو arXiv پر شائع ہے، وضاحت کا ایک حصہ اس بات میں ہے کہ ماڈلز کو پہلے سے کیسے تربیت دی جاتی ہے۔ پہلے سے تربیت کے دوران، ایک ماڈل صرف روانی متن سے سیکھتا ہے، بغیر ایسے لیبلز کے جو یہ نشان زد کریں کہ کون سے بیان صحیح یا غلط ہیں۔ اسے ایک شماریاتی مقصد (کراس اینٹروپی نقصان) کے ساتھ تربیت دی جاتی ہے جو ممکنہ اگلے الفاظ کی پیش گوئی کو انعام دیتا ہے، حقائق کی تصدیق نہیں۔

محققین یہ دکھاتے ہیں کہ یہ ایسے ڈیٹا پر بھی غلطیاں پیدا کرتا ہے جس میں خود کوئی غلطیاں نہیں ہیں۔ حقائق کے لیے جو تربیتی ڈیٹا میں صرف ایک بار ظاہر ہوں — محققین کسی شخص کی سالگرہ کی مثال دیتے ہیں — مقالے کا تجزیہ یہ ظاہر کرتا ہے کہ ان حقائق پر ہلوسینیشن کی شرح کم از کم ایسی "اکیلی" حقائق کے حصے کے برابر ہونی چاہیے تربیتی سیٹ میں۔ دوسرے لفاظی میں، اگر کوئی حقیقت صرف ایک بار ذکر کی گئی تھی، تو ماڈل ریاضیاتی طور پر اسے غلط سمجھنے کا خطرہ رکھتا ہے۔ مقالہ کچھ غلطیوں کو ناپذیر کہتا ہے یہاں تک کہ ان ماڈلز کے لیے بھی جن کے پاس کمپیوٹنگ طاقت پر کوئی حد نہیں ہے، کیونکہ کچھ کام وہ ہیں جو اسے ریاضیاتی لحاظ سے غیر حل قابل قرار دیتے ہیں۔

گریڈنگ سسٹمز اندازہ لگانے کو انعام کیوں دیتے ہیں

مقالے کی دوسری دلیل اس بات سے متعلق ہے کہ ماڈلز کو پہلے سے تربیت دینے کے بعد کیسے جانچا جاتا ہے۔ یہ ایک زبان کی ماڈل کا موازنہ ایک طالب علم کے ساتھ کرتا ہے جو ایک متعدد انتخاب کا امتحان دیہی ہے: ایک خالی جواب صفر سکور کرتا ہے، تو اندازہ لگانا ہمیشہ شماریاتی طور پر بہتر حکمت عملی ہے جب ہر غلط جواب خالی سوال چھوڑنے جتنا خرچ کرے۔ OpenAI کے محققین نے دس وسیع پیمانے پر استعمال شدہ AI بینچ مارکس کا جائزہ لیا — GPQA، MMLU-Pro اور SWE-bench سمیت — اور یہ پایا کہ ان میں سے نو بائنری گریڈنگ استعمال کرتے ہیں جو "مجھے نہیں معلوم" جیسے جواب کو کوئی کریڈٹ نہیں دیتے، وہی سکور جو غلط جواب۔

یہ اسکورنگ نمونہ، مقالہ کا استدلال ہے، ماڈلز کو اندازہ لگاتے رہنے کی طرف دھکیلتا ہے بجائے غیر یقینی کو قبول کرنے کے، کیونکہ یقینی اندازہ لگانا اوست میں ایماندارانہ محفوظی سے بہتر اسکور کرتا ہے۔ TechCrunch، مقالے کی رپورٹنگ میں، اس کو ایسی تشخیص قرار دیتا ہے جو غلط انگریزی پیدا کرتی ہے قسمت سے صحیح اندازوں کو اسی طریقے سے انعام دے کر جیسے واقعی اچھی طریقے سے معاون جوابات۔

استدلال ماڈلز کم نہیں بلکہ زیادہ ہلوسینیٹ کرتے ہیں

یہ رجحان پرانے ماڈلز تک محدود نہیں ہے۔ OpenAI کے اپنے سسٹم کارڈ اس کے o3 اور o4-mini استدلال ماڈلز کے لیے، اپریل 2025 میں جاری کیے گئے اور TechCrunch کی رپورٹنگ کے مطابق، یہ پایا گیا کہ ہلوسینیشن کی شرح نئے استدلال سسٹمز کے ساتھ بڑھی کمپنی کے اندرونی PersonQA بینچ مارک پر، جو لوگوں کے بارے میں حقیقی سوالات کی جانچ کرتا ہے۔

OpenAI نے کہا کہ اس بات کو سمجھنے کے لیے مزید تحقیق کی ضرورت ہے کہ ہلوسینیشنز کیوں بڑھتے ہیں جیسے استدلال ماڈلز بڑے پیمانے پر بڑھتے ہیں، نوٹ کرتے ہوئے کہ یہ ماڈلز مجموعی طور پر زیادہ دعویٰ کرتے ہیں، جو زیادہ صحیح اور زیادہ غلط بیانات پیدا کرتا ہے۔ نیل چودھری، AI تحقیق کی گروپ Transluce میں ایک محقق، TechCrunch کے ذریعے حوالہ دیے گئے، ایک مختلف قیاس دیے: o-سیریز استدلال ماڈلز کو تربیت دینے کے لیے استعمال کی جانے والی تقویت کی سیکھنے کی قسم شاید ان مسائل کو بڑھاتی ہے جو معیاری تربیتی تکنیکیں عام طور پر کم کرتی ہیں۔

OpenAI اسے ٹھیک کرنے کے لیے کیا تجویز کرتا ہے

ستمبر 2025 کے مقالے میں بینچ مارکس کو درجہ بندی کرنے کے طریقے کو تبدیل کرنے کی تجویز ہے بجائے الگ ہلوسینیشن ٹیسٹ شامل کرنے کے۔ اس کی تجویز کردہ درستی ہے گریڈنگ ہدایات میں واضح اعتماد کی حد تک بنانا — مثال کے لیے، ایک ماڈل سے کہنا کہ وہ سوال کا جواب دے صرف اگر وہ 75% سے زیادہ اعتماد سے ہو، غلطیوں کے ساتھ نقصان abstention سے زیادہ ہے۔ نظریاتی طور پر، یہ نہ سمجھنا ریاضیاتی طور پر بہتر انتخاب بناتا ہے جب ماڈل غیر یقینی ہو، بجائے موجودہ اسکورنگ سسٹمز میں جو برا ہے۔

مقالہ واضح ہے کہ یہ طریقہ کار ہلوسینیشنز کو کم کرے گا، ختم نہیں کرے گا۔ کیونکہ کچھ غلطیں شماریاتی طور پر نایاب حقائق سے یا ایسے کاموں سے آتی ہیں جو محققین ریاضیاتی لحاظ سے حل ناپذیر قرار دیتے ہیں، مصنفین یہ نتیجہ نکالتے ہیں کہ صفر ہلوسینیشنز والا ایک زبان کی ماڈل موجودہ طریقوں سے حاصل نہیں ہے۔