Почему AI языковые модели галлюцинируют: исследование, стоящее за неправильными ответами

AI галлюцинация - это утверждение, созданное языковой моделью, которое звучит бегло и уверенно, но фактически неправильно - выдуманная цитата, неправильная дата, человек, который не существует. В исследовательской статье, опубликованной в сентябре 2025 года, исследователи OpenAI описывают галлюцинации в этих терминах и утверждают, что при текущих методах обучения и оценки проблема не может быть полностью решена.

Как процесс обучения создает ошибки

По словам статьи OpenAI, размещённой на arXiv, часть объяснения заключается в том, как модели предварительно обучаются. Во время предварительного обучения модель учится только из беглого текста без меток, отмечающих, какие утверждения верны или ложны. Она обучается статистической целевой функцией (кросс-энтропийная потеря), которая вознаграждает предсказание вероятных следующих слов, а не проверку фактов.

Исследователи показывают, что это производит ошибки даже на данных, которые сами по себе не содержат ошибок. Для фактов, которые появляются только один раз в обучающих данных - исследователи дают пример дня рождения человека - анализ статьи показывает, что уровень галлюцинаций по этим фактам должен быть по крайней мере таким же высоким, как доля таких "одиночных" фактов в обучающем наборе. Другими словами, если факт был упомянут только один раз, модель математически склонна ошибаться. Статья называет некоторые ошибки неизбежными даже для моделей без ограничений вычислительной мощности, потому что определённые задачи являются тем, что она описывает как вычислительно неразрешимые.

Почему системы оценивания вознаграждают угадывание

Второй аргумент статьи касается того, как модели оцениваются после предварительного обучения. Он сравнивает языковую модель со студентом, сдающим экзамен с множественным выбором: пустой ответ получает ноль, поэтому угадывание - всегда лучшая статистическая стратегия, когда каждый неправильный ответ стоит того же, что и оставление вопроса без ответа. Исследователи OpenAI изучили десять широко используемых бенчмарков AI - включая GPQA, MMLU-Pro и SWE-bench - и обнаружили, что девять из них используют двоичное оценивание, которое не даёт кредита ответу типа "Я не знаю", такой же балл, как неправильный ответ.

По словам статьи, эта схема подсчета баллов побуждает модели продолжать угадывание, а не признавать неопределённость, потому что уверенное угадывание в среднем получает лучшие баллы, чем честное колебание. TechCrunch, сообщая о статье, описал это как оценки, которые создают неправильные стимулы, вознаграждая удачные правильные предположения так же, как искренне хорошо обоснованные ответы.

Модели рассуждения галлюцинировали больше, а не меньше

Тренд не ограничен старыми моделями. Собственная карта системы OpenAI для моделей рассуждения o3 и o4-mini, выпущенных в апреле 2025 года и о которых сообщила TechCrunch, показала, что уровни галлюцинаций возросли с новыми системами рассуждения на внутреннем бенчмарке OpenAI PersonQA, который проверяет фактические вопросы о людях.

OpenAI сказала, что требуется больше исследований, чтобы понять, почему галлюцинации увеличиваются по мере масштабирования моделей рассуждения, отметив, что эти модели делают больше утверждений в целом, что производит как больше правильных, так и больше неправильных утверждений. Нил Чоудхури, исследователь из группы исследований AI Transluce, процитированный TechCrunch, предложил одну гипотезу: тип обучения с подкреплением, используемый для обучения моделей рассуждения серии o, может усилить проблемы, которые обычные методы обучения обычно смягчают.

Что OpenAI предлагает для исправления

Статья сентября 2025 года предлагает изменить способ оценивания бенчмарков, а не добавлять отдельные тесты на галлюцинации. Её предложенное исправление - встроить явные пороги доверия в инструкции оценивания - например, инструктировать модель ответить на вопрос только если она уверена более чем на 75%, с ошибками, которые стоят больше баллов, чем воздержание. Теоретически это делает воздержание математически лучшим выбором, когда модель неуверена, а не худшим, как происходит в текущих системах оценивания.

Статья ясно дает понять, что этот подход уменьшит, а не устранит галлюцинации. Потому что некоторые ошибки происходят от статистически редких фактов или из задач, которые исследователи описывают как вычислительно неразрешимые, авторы заключают, что языковую модель с нулевыми галлюцинациями невозможно достичь с текущими методами.