چرا مدل های زبانی هوش مصنوعی توهم می بینند: تحقیق پشت پاسخ های نادرست

توهم در هوش مصنوعی، بیانی است که توسط مدل زبانی تولید شده است، که صحیح و قابل اعتماد به نظر می رسد اما از نظر واقعی اشتباه است - یک نقل قول جعلی، تاریخ غلط، یا شخصی که وجود ندارد. در مقاله ای تحقیقی که در سپتامبر 2025 منتشر شد، محققان OpenAI توهم ها را به این صورت توصیف می کنند و بیان می کنند که با روش های آموزشی و ارزیابی فعلی، نمی توان مشکل را کاملا حل کرد.

چگونه فرآیند آموزش خطاها را ایجاد می کند

طبق مقاله OpenAI، که بر روی arXiv منتشر شده است، بخشی از توضیح در نحوه آموزش اولیه مدل ها نهفته است. در طول آموزش اولیه، مدل تنها از متن روان یاد می گیرد، بدون برچسب هایی که مشخص کند کدام جملات درست یا غلط هستند. این با هدف آماری (خسارت آنتروپی متقاطع) آموزش داده می شود که پیش بینی کلمات احتمالی بعدی را پاداش می دهد، نه تأیید حقائق.

محققان نشان می دهند که این حتی بر روی داده هایی که خود هیچ اشتباهی ندارند نیز خطاهایی تولید می کند. برای حقایقی که تنها یک بار در داده های آموزشی ظاهر می شوند - محققان مثالی از تاریخ تولد شخصی را می دهند - تجزیه و تحلیل مقاله نشان می دهد که نرخ توهم برای آن حقایق حداقل باید به اندازه سهم چنین حقایق "تک نمونه" در مجموعه آموزشی باشد. به عبارت دیگر، اگر یک حقیقت تنها یک بار ذکر شود، مدل از نظر ریاضی مستعد اشتباه کردن در آن است. مقاله برخی از خطاها را حتی برای مدل هایی با محدودیت نامحدود قدرت محاسباتی، اجتناب ناپذیر می خواند، زیرا بعضی از کارها آنچه را توصیف می کند که «غیرقابل حل از نظر محاسباتی» هستند.

چرا سیستم های درجه بندی تخمین را پاداش می دهند

استدلال دوم مقاله مربوط به نحوه ارزیابی مدل ها پس از آموزش اولیه است. این مدل زبانی را با دانش آموزی مقایسه می کند که با امتحان چند گزینه ای روبرو است: پاسخ خالی صفر امتیاز می گیرد، بنابراین تخمین زدن همیشه بهترین استراتژی آماری است زمانی که هر جواب غلط همان هزینه ترک سوال بدون پاسخ را دارد. محققان OpenAI ده معیار هوش مصنوعی پرکاربرد را بررسی کردند - از جمله GPQA، MMLU-Pro و SWE-bench - و دریافتند که نه مورد از آنها از درجه بندی دوتایی استفاده می کنند که رصیدی برای پاسخی نظیر "من نمی دانم" نمی دهند، همان امتیاز یک پاسخ غلط.

مقاله استدلال می کند که این الگوی درجه بندی، مدل ها را به سوی ادامه تخمین زدن بجای پذیرش عدم اطمینان می کشد، زیرا تخمین مطمئن به طور میانگین بهتر از واقع بینی صادقانه در امتحان نمره می گیرد. TechCrunch، در گزارش درمورد مقاله، این را به عنوان ارزیابی هایی توصیف کرد که با پاداش دادن تخمین های صحیح تصادفی به همان روشی که پاسخ های درست پشتیبانی شده ا در مقیاس پذیری ایجاد می کند.

مدل های استدلال بیشتر توهم دیده اند، نه کمتر

این روند محدود به مدل های قدیمی تر نیست. کارت سیستم OpenAI برای مدل های استدلالی o3 و o4-mini، که در آوریل 2025 منتشر شد و توسط TechCrunch گزارش شد، نشان داد که نرخ های توهم با سیستم های استدلالی جدیدتر در معیار PersonQA داخلی شرکت افزایش یافت، که سوالات واقعی درمورد افراد را آزمایش می کند.

OpenAI گفت که تحقیقات بیشتری برای درک اینکه چرا توهم ها با توسعه مدل های استدلالی افزایش می یابند مورد نیاز است، و اشاره کرد که این مدل ها به طور کلی ادعای بیشتری دارند، که هم بیانات درست و هم نادرست بیشتری را تولید می کند. نیل چودری، محقق در گروه تحقیقات هوش مصنوعی Transluce، که توسط TechCrunch نقل شد، یک فرضیه ارائه داد: نوع یادگیری تقویتی که برای آموزش مدل های سری o استفاده می شود ممکن است مشکلاتی را تشدید کند که تکنیک های آموزشی استاندارد معمولا کاهش می دهند.

آنچه OpenAI برای رفع آن پیشنهاد می کند

مقاله سپتامبر 2025 تغییر نحوه درجه بندی معیارها را پیشنهاد می کند تا آزمایش های توهم جداگانه اضافه نکنند. راه حل پیشنهادی آن ایجاد آستانه های اطمینان صریح در دستورالعمل های درجه بندی است - برای مثال، دستور دادن به مدل برای پاسخ گویی به سوال تنها اگر بیش از 75% مطمئن باشد، با اینکه اشتباهات بیشتر امتیاز از خودداری ایراد می کند. از نظر تئوری، این خودداری را به بهترین انتخاب ریاضی تبدیل می کند زمانی که مدل نامطمئن است، نه بدترین، همانطور که در سیستم های فعلی اتفاق می افتد.

مقاله صراحتاً بیان می کند که این روش توهم ها را کاهش خواهد داد، نه حذف خواهد کرد. زیرا برخی از خطاها از حقایق نادر آماری یا از کارهایی که محققان آن را غیرقابل حل از نظر محاسباتی توصیف می کنند ناشی می شود، نویسندگان نتیجه می گیرند که مدل زبانی بدون توهم با روش های فعلی قابل دستیابی نیست.