Pourquoi les modèles de langage d'IA hallucinent : la recherche derrière les fausses réponses

Une hallucination d'IA est une déclaration produite par un modèle de langage qui semble fluide et confiante mais est factuellement incorrecte — une citation fabriquée, une date erronée, une personne qui n'existe pas. Dans un article de recherche publié en septembre 2025, les chercheurs d'OpenAI décrivent les hallucinations en ces termes et affirment que, avec les méthodes actuelles d'entraînement et d'évaluation, le problème ne peut pas être complètement résolu.

Comment le processus d'entraînement crée des erreurs

Selon l'article d'OpenAI, publié sur arXiv, une partie de l'explication réside dans la façon dont les modèles sont pré-entraînés. Pendant le pré-entraînement, un modèle apprend uniquement à partir de texte fluide, sans étiquettes marquant quelles déclarations sont vraies ou fausses. Il est entraîné avec un objectif statistique (perte d'entropie croisée) qui récompense la prédiction des mots suivants probables, non la vérification des faits.

Les chercheurs montrent que cela produit des erreurs même sur des données qui ne contiennent elles-mêmes aucune erreur. Pour les faits qui n'apparaissent qu'une fois dans les données d'entraînement — les chercheurs donnent l'exemple de l'anniversaire d'une personne — l'analyse de l'article conclut que le taux d'hallucination sur ces faits devrait être au moins aussi élevé que la part de ces faits « singleton » dans l'ensemble d'entraînement. En d'autres termes, si un fait n'a été mentionné qu'une seule fois, le modèle est mathématiquement susceptible de se tromper. L'article qualifie certaines erreurs d'inévitables même pour les modèles sans limites de puissance informatique, car certaines tâches sont ce qu'il décrit comme étant calculatoirement intractables.

Pourquoi les systèmes de notation récompensent les conjectures

Le deuxième argument de l'article concerne la façon dont les modèles sont évalués après le pré-entraînement. Il compare un modèle de langage à un étudiant confronté à un examen à choix multiples : une réponse vierge obtient zéro, donc deviner est toujours la stratégie statistiquement meilleure quand chaque mauvaise réponse coûte autant que de laisser la question sans réponse. Les chercheurs d'OpenAI ont examiné dix points de référence d'IA largement utilisés — y compris GPQA, MMLU-Pro et SWE-bench — et ont découvert que neuf d'entre eux utilisent une notation binaire qui ne donne aucun crédit à une réponse comme « Je ne sais pas », le même score qu'une mauvaise réponse.

Ce schéma de notation, soutient l'article, pousse les modèles à continuer à deviner plutôt qu'à admettre l'incertitude, car les suppositions confiantes obtiennent un meilleur score en moyenne que l'honnêteté prudente. TechCrunch, rapportant sur l'article, a décrit cela comme des évaluations qui créent les mauvais incitatifs en récompensant les bonnes suppositions chanceuses de la même manière que les réponses genuinement bien fondées.

Les modèles de raisonnement ont davantage halluciner, pas moins

La tendance ne se limite pas aux modèles plus anciens. La fiche système propre d'OpenAI pour ses modèles de raisonnement o3 et o4-mini, lancés en avril 2025 et rapportés par TechCrunch, ont montré que les taux d'hallucination ont augmenté avec les systèmes de raisonnement plus récents sur le repère PersonQA interne de l'entreprise, qui teste les questions factuelles sur les personnes.

OpenAI a déclaré que davantage de recherches sont nécessaires pour comprendre pourquoi les hallucinations augmentent à mesure que les modèles de raisonnement montent en échelle, notant que ces modèles font davantage de déclarations en général, ce qui produit à la fois plus de déclarations correctes et plus de déclarations incorrectes. Neil Chowdhury, chercheur au groupe de recherche en IA Transluce cité par TechCrunch, a proposé une hypothèse : le type d'apprentissage par renforcement utilisé pour entraîner les modèles de raisonnement de la série o pourrait amplifier les problèmes que les techniques d'entraînement standard atténuent normalement.

Ce qu'OpenAI propose pour y remédier

L'article de septembre 2025 propose de changer la façon dont les points de référence sont notés plutôt que d'ajouter des tests d'hallucination séparés. Sa correction proposée est de construire des seuils de confiance explicites dans les instructions de notation — par exemple, en disant à un modèle de répondre à une question seulement s'il en est sûr à plus de 75%, avec les erreurs coûtant plus de points qu'une abstention. En théorie, cela rend l'abstention le choix mathématiquement meilleur quand un modèle est incertain, plutôt que le pire, comme c'est le cas dans les systèmes de notation actuels.

L'article est explicite que cette approche réduirait, et non éliminerait, les hallucinations. Parce que certaines erreurs proviennent de faits statistiquement rares ou de tâches que les chercheurs décrivent comme calculatoirement intractables, les auteurs concluent qu'un modèle de langage sans hallucination n'est pas réalisable avec les méthodes actuelles.