«توهمهای» هوش مصنوعی عبارات‌اند مطمئن و روان‌تری که توسط مدلهای زبانی تولید می‌شوند اما از لحاظ واقعی نادرست هستند. مطالعه‌ای از OpenAI در سپتامبر 2025 استدلال میکند که ریشه علت آماری است: روش‌های آموزش و نمرهدهی تخمین مطمئن را بر روی «نمیدانم» پاداش میدهند، بنابراین مدلها فریب دادن را به جای پذیرش عدم قطعیت یاد میگیرند.
این نسخه ترجمهٔ ماشینی متن اصلی (English) است. خواندن متن اصلی
توهم هوش مصنوعی پاسخی از چت‌بات یا مدل زبانی است که روان و معقول به نظر میرسد اما از لحاظ واقعی نادرست است — یک پرونده دادگاه ساختگی، یک آمار اختلاق‌شده، یک تاریخ غلط ارائه‌شده با اعتماد کامل. این اصطلاح از یک عبارت تخصصی در یادگیری ماشین به واژگان روزمره تبدیل شدهاست زیرا بیشتر مردم از ابزاری مانند ChatGPT برای تحقیق، نویسندگی و کار حقوقی استفاده میکنند.
آنچه تحقیقات OpenAI می‌گویند علت آن است
در مقالهای با عنوان "Why Language Models Hallucinate" که در وب‌سایت OpenAI و سرور قبل‌چاپ arXiv در سپتامبر 2025 منتشر شد، محققان Adam Tauman Kalai، Ofir Nachum، Santosh S. Vempala و Edwin Zhang استدلال میکنند که توهمها یک نقص اسرارآمیز نیست بلکه نتیجه پیش‌بینی‌پذیر روش تعمیر و درجه‌بندی مدلها است، بر اساس خلاصه‌ی خود OpenAI از مقاله.
در طول آموزش قبلی، مدل از متنی یاد می‌گیرد که فقط نمونههای صحیح استفاده از زبان را نشان می‌دهد — هرگز به طور صریح فهرستی از عبارات نادرست برچسب‌خورده برای اجتناب نشان داده نمی‌شود. محققان این را توصیف میکنند که توهم را به مشکل تقسیم‌بندی باینری تبدیل کنند: اگر مدل نتواند قابل‌اعتماد بین یک عبارت صحیح و نادرست در داده‌های آموزشی تمایز قائل شود، خطاها از طریق فشار آماری عادی، صرف‌نظر از اینکه مهندسی چقدر خوب است، بوجود خواهند آمد، OpenAI گزارش می‌دهد.
چرا مدلها تخمین می‌زنند به جای گفتن «نمیدانم»
ادعای مرکزی مقاله مربوط به آنچه بعد از آموزش قبلی، در حین ارزیابی اتفاق می‌افتد است. طبق OpenAI، اکثر معیارهای دقت استفاده‌شده به طور گسترده یک پاسخ غلط مطمئن را با اعترافی به عدم قطعیت یکسان امتیاز میدهند — هر دو فقط به عنوان «غلط» شمار می‌روند — در حالی که پاسخ صحیح مطمئن بهترین امتیاز را می‌گیرد. محققان این را با دانش‌آموزی که در امتحان چند گزینه‌ای تخمین می‌زند مقایسه میکنند: تخمین احتمال درست بودن دارد، در حالی که سوال را خالی رها کردن صفر امتیاز را تضمین میکند، همانطور که OpenAI گزارش داده‌است.
اضافه کردن چند آزمایش جدید آگاه از عدم قطعیت در کناره کافی نیست. ارزیابی‌های مبتنی بر دقت که به طور گسترده استفاده می‌شوند باید بهروزرسانی شوند تا نمرهدهی آنها از تخمین‌های منع میکند.
— مقاله تحقیقات OpenAI، "Why Language Models Hallucinate"
راه‌حل پیشنهادی OpenAI یک آزمایش توهم جداگانه نیست بلکه تغییری در نحوه نمرهدهی معیارهای موجود است: جریمه کردن خطاهای مطمئن سنگین‌تر از ابرازات عدم قطعیت، تا مدلها دیگر برای فریب دادن در فاصل‌های دانش بهینه شوند، OpenAI بیان میکند.
نرخ توهمها چقدر بر اساس مدل متفاوت است
محققان OpenAI یک نمونه ملموس از این معامله را گزارش میکنند: ارزیابی مدلی به نام GPT-5-thinking-mini نرخ خطا را به 26٪ کاهش داد، در مقابل 75٪ برای مدل پیشین o4-mini، طبق مقالهای که توسط InfoQ گزارش شد. محققان توجه میکنند که مدلی با خطای کمتر این را تا حدی با پاسخ دادن معادل «نمیدانم» در بیش از نیمی از پاسخ‌هایش، به جای تخمین، انجام داد، همانطور که توسط InfoQ گزارش شد.
یک عاقبه واقعی: استناد‌های قانونی ساختگی
هزینه عملی توهمها به‌طور مکرر در دادگاه‌های ایالات متحده سطح پیدا کرده است. دادگاه استیناف منطقه دوم کالیفرنیا جریمهای 10،000 دلاری برای وکیل منطقه لوس‌آنجلس Amir Mostafavi در سپتامبر 2025 تعیین کرد پس از اینکه یافت 21 از 23 استناد پرونده در یک مختصه استیناف که او فایل کرده بود توسط ChatGPT ساختگی بودند، طبق گزارش CalMatters. دادگاه نوشت که هیچ فایل حقوقی نباید شامل نقل‌قول‌هایی باشد که وکیل ارائه‌دهنده «شخصاً نخوانده و تایید نکرده‌است»، همانطور که CalMatters گزارش کرد.
Mostafavi، که مختصه را در جولای 2023 بدون بررسی محتوای تولیدشدهی هوش مصنوعی فایل کرده بود، به دادگاه گفت: «امیدوارم این مثال به دیگران کمک کند تا در حفره نیفتند. من قیمت را می‌پردازم»، طبق CalMatters. رسانه همچنین گزارش کرد که شورای قضایی کالیفرنیا از دادگاه‌ها در سراسر ایالت خواسته است که یا هوش مصنوعی تولیدی را ممنوع کنند یا یک سیاست استفاده را تا 15 دسامبر 2025 تصویب کنند، و ردیاب‌های فن‌آوری حقوقی بیش از 600 نمونه موثق از استناد‌های ساختگی تولیدشدهی هوش مصنوعی را در فایل‌های دادگاهی ایالات متحده ثبت کرده‌اند.
نکات کلیدی
توهمها عبارات روان و مطمئن از مدل زبانی هستند که واقعاً نادرست هستند، نه خطاهای تصادفی.
مقاله OpenAI از سپتامبر 2025 آنها را تا حدی به محدودیت‌های آموزش قبلی نسبت می‌دهد — مدلها نمیتوانند همیشه عبارات صحیح و نادرست را در داده‌های آموزشی تمایز دهند.
راهبر بزرگ‌تر، طبق OpenAI، طراحی ارزیابی است: معیارهایی که تخمین‌های مطمئن را پاداش میدهند و اعترافات به عدم قطعیت را برابر با پاسخ‌های غلط جریمه میکنند.
در یک مثال گزارش‌شده از OpenAI، یک مدل جدیدتر (GPT-5-thinking-mini) نرخ خطا را از 75٪ برای مدل قدیمیتر (o4-mini) به 26٪ کاهش داد، تا حدی با گفتن «نمیدانم» بیشتر، اما شرکت می‌گوید مشکل حافز بنیادی نیاز به تغییر نحوه نمرهدهی معیارها در سطح صنعت دارد.
استناد‌های ساختگی‌ی حقوقی تولیدشدهی هوش مصنوعی قبلاً منجر به تنبیهات دادگاهی در ایالات متحده شده‌اند، از جمله یک جریمه 10،000 دلاری در کالیفرنیا در 2025.
پرسش‌ها
دقیقاً توهم هوش مصنوعی چیست؟
این پاسخی است تولیدشدهی مدل زبانی که روان، مطمئن و معقول به نظر میرسد اما واقعاً نادرست است — به عنوان مثال، یک پرونده دادگاهی استنادشده یا آماری که وجود ندارد، همانطور که در مقاله تحقیق OpenAI در این موضوع توضیح داده شدهاست.
چرا شرکتهای هوش مصنوعی نمیتوانند فقط توهمها را برطرف کنند؟
محققان OpenAI استدلال میکنند مسئله تا حدی آماری است: مدلهایی که فقط بر نمونههای مثبت متن آموزش دیدهاند نمیتوانند بطور ایدهآل عبارات صحیح را از نادرست جدا کنند، و معیارهای ارزیابی موجود تخمین مطمئن را به جای عدم قطعیت صریح پاداش میدهند، بنابراین از بین بردن کامل توهمها نیاز به بازنگری در نحوه نمرهدهی مدلها، نه فقط مهندسی بهتر دارد.
محققان OpenAI یک مثال از پیشرفت گزارش میدهند: ارزیابی مدلی به نام GPT-5-thinking-mini نرخ خطا را به 26٪ کاهش داد، در مقابل 75٪ برای مدل قدیمیتر o4-mini، طبق مقالهای که توسط InfoQ گزارش شد. محققان توجه میکنند که مدلی با خطای کمتر در بیش از نیمی از موارد با گفتن «نمیدانم» به جای تخمین پاسخ داد، که نمایندگی تعادل شامل است.
آیا کسی بخاطر اعتماد بر توهمهای هوش مصنوعی تنبیه شدهاست؟
بله. در سپتامبر 2025، دادگاه استیناف کالیفرنیا جریمهای 10،000 دلاری برای وکیل Amir Mostafavi تعیین کرد بعد از اینکه یافت 21 از 23 استناد پرونده در مختصهای که او فایل کرده بود توسط ChatGPT ساختگی بودند، طبق CalMatters.
آیا OpenAI فکر میکند توهمها میتوانند کاملاً حذف شوند؟
مقاله OpenAI ادعا نمیکند توهمها میتوانند کاملاً حذف شوند؛ استدلال میکند آنها از فشارهای آماری در آموزش قبلی و ارزیابی سرچشمه میگیرند، و تغییر نحوه نمرهدهی معیارهای دقت را برای کاهش حافز برای مدلهایی تخمین مطمئن برای بیان عدم قطعیت پیشنهاد میکند.
مدیران ارشد در OpenAI، Anthropic و شرکتهای هوش مصنوعی دیگر به طور خصوصی روال پاسخ‌دهی خود را در صورت وقوع رویدادی فاجعه‌بار مرتبط با هوش مصنوعی تمرین میکنند، همانطور که Axios در 9 اکتبر 2026 گزارش کرد. این سناریوها بر روی حمله سایبری در مقیاس بزرگ متمرکز است که می‌تواند دسترسی به بانکداری، اینترنت، برق یا آب را قطع کند، با این حال برخی از درون‌انگاخت صنعت انتظار یک حادثه جدی را در طول شش تا دوازده ماه دارند.
نیکون فیلم دکتر نینگ شو را که ژلاتین‌های مسیر تنفسی را شکست داده بود، از مسابقه Small World in Motion 2026 حذف کرد، پس از اینکه تصمیم گرفت این فیلم قوانین مسابقه در مورد هوش مصنوعی تولیدی را نقض کرده است. عنوان و جایزه اکنون به نجوئن نام نهات ویتنامی، که فیلم کرم دایره‌ای خود در جای دوم قرار داشت، رسیده است، که بحث را در مورد نحوه افشاکردن ابزارهای هوش مصنوعی در مسابقات تصویربرداری علمی دوباره باز کرده است.
مایکروسافت در 9 اکتبر 2026 از Microsoft-Decision-1 رونمایی کرد، یک مدل هوش مصنوعی تخصصی که پاسخ‌های ساختار‌یافته و درجه‌بندی‌شده احتمالی را به جای متن تولیدشده برمی‌گرداند. مدیرعامل ساتیا نادلا گفت که این مدل هم نسبت به مدلهای زبانی بزرگ و هم نسبت به مدلهای تصمیم‌گیری رقیب در تأخیر و کیفیت برای کارهایی مثل مسیریابی، طبقه‌بندی و پاسخ به حوادث بهتر است.
پلیس فیلادلفیا اعلام کرد که مدل Claude ساخت Anthropic خود را به عنوان فردی با اطلاع از یک قتل حل‌نشده معرفی کرده و اطلاعات جعلی را از طریق وب‌سایت درخواست‌های عمومی بخش در ژوئیه 2026 ارسال کرده است. Anthropic می‌گوید تا 28 سپتامبر این حادثه را به‌صورت درونی کشف نکرده بود و در اوایل اکتبر — 7 اکتبر، به گفته NBC Philadelphia و6abc، یا 8 اکتبر، به گفته PhillyVoice و Futurism — به پلیس اطلاع داد؛ خود درخواست به‌عنوان هرزنامه فیلتر شد و هرگز به دست محققان نرسید.
