Warum KI-Sprachmodelle halluzinieren: Die Forschung hinter falschen Antworten

Eine KI-Halluzination ist eine Aussage eines Sprachmodells, die fließend und selbstbewusst klingt, aber sachlich falsch ist — ein erfundenes Zitat, ein falsches Datum, eine Person, die es nicht gibt. In einer im September 2025 veröffentlichten Forschungsarbeit beschreiben OpenAI-Forscher Halluzinationen in diesen Begriffen und stellen fest, dass das Problem mit aktuellen Trainings- und Evaluierungsmethoden nicht vollständig gelöst werden kann.

Wie der Trainingsprozess Fehler erzeugt

Nach dem OpenAI-Papier, das auf arXiv veröffentlicht wurde, liegt ein Teil der Erklärung darin, wie Modelle vortrainiert werden. Während des Vortrainings lernt ein Modell nur aus fließendem Text, ohne Beschriftungen, die markieren, welche Aussagen wahr oder falsch sind. Es wird mit einem statistischen Ziel (Cross-Entropy Loss) trainiert, das das Vorhersagen wahrscheinlicher nächster Wörter belohnt, nicht die Überprüfung von Fakten.

Die Forscher zeigen, dass dies auch bei Daten Fehler erzeugt, die selbst keine Fehler enthalten. Bei Fakten, die nur einmal in den Trainingsdaten vorkommen — die Forscher geben das Beispiel des Geburtstags einer Person — stellt die Analyse des Papiers fest, dass die Halluzinationsrate bei diesen Fakten mindestens so hoch sein sollte wie der Anteil solcher "Singleton"-Fakten im Trainingssatz. Mit anderen Worten: Wenn ein Fakt nur einmal erwähnt wurde, ist das Modell mathematisch anfällig dafür, es falsch zu machen. Das Papier nennt einige Fehler unvermeidbar, auch für Modelle ohne Computerkraft-Limits, weil bestimmte Aufgaben das sind, was es als rechnerisch unlösbar bezeichnet.

Warum Bewertungssysteme Raten belohnen

Das zweite Argument des Papiers betrifft die Bewertung von Modellen nach dem Vortraining. Es vergleicht ein Sprachmodell mit einem Schüler, der einer Multiple-Choice-Prüfung gegenübersteht: Eine leere Antwort ergibt Null Punkte, also ist Raten immer die statistisch bessere Strategie, wenn jede falsche Antwort gleich viel kostet wie die Frage unanbeantwortet zu lassen. OpenAI-Forscher untersuchten zehn weit verbreitete KI-Benchmarks — einschließlich GPQA, MMLU-Pro und SWE-bench — und stellten fest, dass neun davon binäre Bewertung verwenden, die für eine Antwort wie "Ich weiß nicht" null Punkte gibt, das gleiche Ergebnis wie für eine falsche Antwort.

Nach dem Papier treibt dieses Bewertungsmuster Modelle dazu, weiter zu raten, anstatt Unsicherheit zuzugeben, da selbstbewusstes Raten im Durchschnitt besser bei Tests abschneidet als ehrliches Abschwächen. TechCrunch berichtete über das Papier und beschrieb dies als Evaluierungen, die die falschen Anreize schaffen, indem sie zufällig richtige Vermutungen genauso belohnen wie tatsächlich gut gestützte Antworten.

Reasoning-Modelle haben mehr halluziniert, nicht weniger

Der Trend beschränkt sich nicht auf ältere Modelle. OpenAIs eigene Systemkarte für ihre o3- und o4-mini-Reasoning-Modelle, die im April 2025 veröffentlicht wurden und von TechCrunch berichtet wurden, ergab, dass die Halluzinationsraten bei neueren Reasoning-Systemen auf OpenAIs internem PersonQA-Benchmark stiegen, das faktische Fragen über Menschen testet.

OpenAI sagte, dass weitere Forschung erforderlich ist, um zu verstehen, warum Halluzinationen mit der Skalierung von Reasoning-Modellen zunehmen, und stellte fest, dass diese Modelle insgesamt mehr Aussagen machen, was sowohl mehr richtige als auch mehr falsche Aussagen erzeugt. Neil Chowdhury, ein Forscher in der KI-Forschungsgruppe Transluce, zitiert von TechCrunch, bot eine Hypothese an: Die Art des Reinforcement Learning, das zum Trainieren von o-Series-Reasoning-Modellen verwendet wird, kann Probleme verstärken, die Standard-Trainingstechniken normalerweise abschwächen.

Was OpenAI zu seiner Behebung vorschlägt

Das Papier von September 2025 schlägt vor, die Bewertung von Benchmarks zu ändern, anstatt separate Halluzinations-Tests hinzuzufügen. Sein vorgeschlagener Fix ist es, explizite Konfidenz-Schwellenwerte in Bewertungsanweisungen zu integrieren — beispielsweise einem Modell zu sagen, eine Frage nur zu beantworten, wenn es zu mehr als 75 % sicher ist, wobei Fehler mehr Punkte kosten als eine Enthaltung. Theoretisch macht dies das Abstehen zur mathematisch besseren Wahl, wenn ein Modell unsicher ist, anstatt das Schlechtere, das in aktuellen Bewertungssystemen passiert.

Das Papier ist explizit, dass dieser Ansatz Halluzinationen reduzieren würde, nicht eliminieren. Da einige Fehler aus statistisch seltenen Fakten oder aus Aufgaben stammen, die die Forscher als rechnerisch unlösbar beschreiben, kommen die Autoren zu dem Ergebnis, dass ein Sprachmodell mit null Halluzinationen mit aktuellen Methoden nicht erreichbar ist.