لماذا تهلوس نماذج اللغة الاصطناعية: البحث خلف الإجابات الخاطئة

الهلوسة في الذكاء الاصطناعي هي بيان تنتجه نموذج اللغة ويبدو سلساً وواثقاً لكنه خاطئ من الناحية الواقعية - اقتباس مختلق، تاريخ خاطئ، شخص غير موجود. في ورقة بحثية نُشرت في سبتمبر 2025، يصف باحثو OpenAI الهلاوس بهذه الطريقة ويؤكدون أنه مع الطرق الحالية للتدريب والتقييم، لا يمكن حل المشكلة بالكامل.

كيف تؤدي عملية التدريب إلى أخطاء

وفقاً لورقة OpenAI المنشورة على arXiv، يكمن جزء من التفسير في كيفية التدريب المسبق للنماذج. أثناء التدريب المسبق، يتعلم النموذج فقط من النص السلس، دون وجود تسميات توضح أي البيانات صحيحة أو خاطئة. يتم تدريبه بهدف إحصائي (خسارة الإنتروبيا المتقاطعة) يكافئ التنبؤ بالكلمات المحتملة التالية، وليس التحقق من الحقائق.

يوضح الباحثون أن هذا ينتج عنه أخطاء حتى على البيانات التي لا تحتوي بنفسها على أي أخطاء. بالنسبة للحقائق التي تظهر مرة واحدة فقط في بيانات التدريب - يعطي الباحثون مثالاً على تاريخ ميلاد شخص ما - يجد تحليل الورقة أن معدل الهلوسة على تلك الحقائق يجب أن يكون على الأقل مرتفعاً مثل نسبة حقائق "الفردية" هذه في مجموعة التدريب. بمعنى آخر، إذا تم ذكر حقيقة مرة واحدة فقط، فإن النموذج عرضة رياضياً للخطأ فيها. تسمي الورقة بعض الأخطاء بأنها حتمية حتى بالنسبة للنماذج بلا حدود في قوة الحوسبة، لأن بعض المهام هي ما تصفه بأنها غير قابلة للحل حسابياً.

لماذا أنظمة الدرجات تكافئ التخمين

تتعلق حجة الورقة الثانية بكيفية تقييم النماذج بعد التدريب المسبق. تقارن نموذج اللغة بطالب يواجه امتحان اختيار متعدد: الإجابة الفارغة تسجل صفراً، لذا فإن التخمين هو دائماً الاستراتيجية الأفضل إحصائياً عندما تكلف كل إجابة خاطئة نفس ترك السؤال بدون إجابة. فحص باحثو OpenAI عشرة معايير ذكاء اصطناعي مستخدمة على نطاق واسع - بما فيها GPQA و MMLU-Pro و SWE-bench - ووجدوا أن تسعة منها تستخدم درجات ثنائية لا تعطي رصيداً لإجابة مثل "لا أعرف"، نفس درجة الإجابة الخاطئة.

يجادل نمط الدرجات هذا بأنه يدفع النماذج إلى الاستمرار في التخمين بدلاً من الاعتراف بعدم التأكد، لأن التخمين الواثق يسجل بشكل أفضل في المتوسط من الاعتدال الصريح. وصفت TechCrunch، في تقريرها عن الورقة، هذا بأنه تقييمات تخلق حوافز خاطئة بمكافأة التخمينات الصحيحة بالصدفة بنفس الطريقة التي تكافئ بها الإجابات المدعومة بشكل حقيقي.

نماذج المحاكاة أهلوست أكثر، وليس أقل

الاتجاه ليس مقتصراً على النماذج الأقدم. وجدت بطاقة النظام الخاصة بـ OpenAI لنماذجها o3 و o4-mini للمحاكاة، المُفرجة في أبريل 2025 وعن طريق الإبلاغ عليها من TechCrunch، أن معدلات الهلوسة ارتفعت مع الأنظمة الأحدث للمحاكاة على معيار PersonQA الداخلي للشركة، الذي يختبر الأسئلة العاملية حول الأشخاص.

قالت OpenAI أن مزيداً من البحث مطلوب لفهم لماذا تزداد الهلاوس مع توسع نماذج المحاكاة، مع الإشارة إلى أن هذه النماذج تقدم مطالبات أكثر بشكل عام، مما ينتج عنه بيانات صحيحة وغير صحيحة أكثر. قدم نيل تشودري، باحث في مجموعة الأبحاث في مجال الذكاء الاصطناعي Transluce المقتبس من قبل TechCrunch، فرضية واحدة: نوع التعلم الشرطي المستخدم لتدريب نماذج السلسلة o قد يؤدي إلى تفاقم المشاكل التي تخفف عنها تقنيات التدريب القياسية عادة.

ما الذي يقترحه OpenAI لإصلاحه

تقترح ورقة سبتمبر 2025 تغيير طريقة درجات المعايير بدلاً من إضافة اختبارات هلوسة منفصلة. يتمثل الإصلاح المقترح في بناء عتبات ثقة صريحة في تعليمات الدرجات - على سبيل المثال، توجيه نموذج للإجابة على سؤال فقط إذا كان واثقاً بنسبة 75٪ أو أكثر، مع تكلفة الأخطاء نقاطاً أكثر من الامتناع عن الإدلاء بالرأي. من الناحية النظرية، هذا يجعل الامتناع عن الإدلاء بالرأي هو الخيار الأفضل رياضياً عندما يكون النموذج غير متأكد، بدلاً من الخيار الأسوأ، كما يحدث في الأنظمة الحالية.

الورقة واضحة صراحة في أن هذا النهج قد يقلل، وليس يلغي، الهلاوس. لأن بعض الأخطاء تنبع من حقائق نادرة إحصائياً أو من مهام يصفها الباحثون بأنها غير قابلة للحل حسابياً، يخلص المؤلفون إلى أن نموذج لغة بدون هلاوس غير محقق مع الطرق الحالية.