Warum KI-Chatbots "halluzinieren": Die statistischen Grundlagen von Sprachmodell-Fehlern

Eine KI-Halluzination ist eine Antwort von einem Chatbot oder Sprachmodell, die flüssig und plausibel klingt, aber faktisch falsch ist — ein erfundener Gerichtsfall, eine frei erfundene Statistik, ein falsches Datum, das mit vollständiger Sicherheit präsentiert wird. Der Begriff hat sich von einem Nischenbegriff der Maschinenlernforschung in den Alltagsgebrauch verschoben, da mehr Menschen Tools wie ChatGPT für Recherchen, Schreiben und Rechtsarbeit nutzen.

Was die OpenAI-Forschung als Ursache angibt

In einem Papier mit dem Titel "Why Language Models Hallucinate", veröffentlicht auf OpenAIs Website und auf dem arXiv-Preprint-Server im September 2025, argumentieren Forscher Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala und Edwin Zhang, dass Halluzinationen kein mysteriöser Fehler sind, sondern ein vorhersehbares Ergebnis der Funktionsweise und Bewertung von Modellen, gemäß OpenAIs eigener Zusammenfassung des Papiers.

Während des Vortrainings lernt ein Modell aus Text, der nur korrekte Beispiele der Sprachverwendung zeigt — es wird ihm nie explizit eine gekennzeichnete Liste falscher Aussagen gezeigt, um sie zu vermeiden. Die Forscher beschreiben dies als die Verwandlung von Halluzination in ein Problem der binären Klassifizierung: Wenn ein Modell nicht zuverlässig zwischen einer wahren und einer falschen Aussage in seinen Trainingsdaten unterscheiden kann, entstehen Fehler durch gewöhnlichen statistischen Druck, unabhängig davon, wie gut die Technik ist, wie OpenAI berichtet.

Warum Modelle raten, anstatt "Ich weiß nicht" zu sagen

Die zentrale Aussage des Papiers betrifft das, was nach dem Vortraining während der Bewertung geschieht. Nach OpenAI bewerten die meisten weit verbreiteten Genauigkeitsbenchmarks eine selbstbewusste falsche Antwort genauso wie eine Eingeständnis von Unsicherheit — beide zählen einfach als "falsch" — während eine selbstbewusste richtige Antwort das beste Ergebnis erzielt. Die Forscher vergleichen dies mit einem Studenten, der bei einer Multiple-Choice-Prüfung rät: Raten hat eine Chance, richtig zu sein, während das Hinterlassen einer Frage unbeantwortet garantiert null Punkte ergibt, wie von OpenAI berichtet.

OpenAIs vorgeschlagene Lösung ist kein separater Halluzinations-Test, sondern eine Änderung der Bewertung bestehender Benchmarks: Die Bestrafung von selbstbewussten Fehlern stärker als Ausdrücke von Unsicherheit, so dass Modelle nicht mehr optimiert werden, um sich durch Wissenslücken durchzulügen, wie OpenAI erklärt.

Wie sehr unterscheiden sich die Halluzinationsraten je nach Modell

OpenAIs Forscher berichten über eine konkrete Illustration dieses Kompromisses: Eine Bewertung eines Modells namens GPT-5-thinking-mini reduzierte seine Fehlerquote auf 26%, im Vergleich zu 75% für das frühere o4-mini-Modell, nach dem Papier wie von InfoQ berichtet. Die Forscher bemerken, dass das fehlerreduzierte Modell dies teilweise durch Antworten mit dem Äquivalent von "Ich weiß nicht" in mehr als der Hälfte seiner Antworten erreichte, anstatt zu raten, wie InfoQ berichtete.

Eine reale Konsequenz: erfundene Rechtszitate

Die praktischen Kosten von Halluzinationen haben sich wiederholt vor US-amerikanischen Gerichten offenbart. Kaliforniens Berufungsgericht des 2. Bezirks verhängte im September 2025 eine Geldstrafe von 10.000 Dollar gegen den Anwalt Amir Mostafavi aus der Los Angeles-Region, nachdem festgestellt wurde, dass 21 von 23 Fallzitaten in einem von ihm eingereichten Berufungsschreiben von ChatGPT erfunden waren, nach Berichten von CalMatters. Das Gericht schrieb, dass kein Rechtsdokument Zitate enthalten sollte, die der einreichende Anwalt "nicht persönlich gelesen und überprüft hat", wie CalMatters berichtete.

Mostafavi, der das Schreiben im Juli 2023 ohne Überprüfung des KI-generierten Inhalts eingereicht hatte, sagte dem Gericht: "Ich hoffe, dieses Beispiel wird anderen helfen, nicht in die Falle zu tappen. Ich bezahle den Preis," gemäß CalMatters. Das Outlet berichtete auch, dass Kaliforniens Judicial Council Gerichte im ganzen Bundesstaat aufgefordert hat, generative KI entweder zu verbieten oder bis zum 15. Dezember 2025 eine Nutzungsrichtlinie einzuführen, und dass Tracker im Bereich Rechtstechnologie mehr als 600 dokumentierte Fälle von KI-gefälschten Zitaten in US-amerikanischen Gerichtsunterlagen protokolliert haben.

Wichtigste Punkte

• Halluzinationen sind flüssige, selbstbewusste Aussagen von einem Sprachmodell, die faktisch falsch sind, keine zufälligen Fehler.
• OpenAIs September-2025-Papier schreibt sie teilweise auf Vortrainingsgrenzen zurück — Modelle können nicht immer zwischen wahren und falschen Aussagen in ihren Trainingsdaten unterscheiden.
• Der größere Faktor ist nach OpenAI die Bewertungsgestaltung: Benchmarks, die selbstbewusste Vermutungen belohnen und Eingeständnisse von Unsicherheit gleich wie falsche Antworten bestrafen.
• In einem von OpenAI berichteten Beispiel reduzierte ein neueres Modell (GPT-5-thinking-mini) seine Fehlerquote von 75% eines früheren Modells (o4-mini) auf 26%, teilweise durch häufigeres Sagen von "Ich weiß nicht", aber das Unternehmen sagt, dass das zugrunde liegende Anreizproblem eine branchenweit geänderte Bewertung von Benchmarks erfordert.
• Von KI generierte gefälschte Rechtszitate haben bereits zu Gerichtssanktionen in den USA geführt, einschließlich einer Geldstrafe von 10.000 Dollar in Kalifornien im Jahr 2025.