Wie große Sprachmodelle tatsächlich funktionieren und was sie können und nicht können

Große Sprachmodelle (LLMs) wie GPT-4o, Claude und Gemini antreiben weit verbreitete Chatbots, aber was diese Systeme tatsächlich tun, wenn sie eine Frage beantworten, wird oft missverstanden. Nach Google's Dokumentation zum maschinellen Lernen und Forschung von Unternehmen, die diese Modelle entwickeln, ist die kurze Antwort enger gefasst als es klingt: Ein LLM ist ein statistisches System, das darauf trainiert ist, das nächste Token in einer Textsequenz vorherzusagen, immer wieder wiederholt, bis eine vollständige Antwort produziert wird.

Von Text zu Tokens zu Zahlen

Nach Google's Machine Learning Crash Course lesen LLMs nicht ganze Wörter so wie Menschen. Eingabetext wird zunächst in "Tokens" zerlegt – ein Token kann ein Wort, ein Teil eines Wortes oder ein einzelnes Zeichen sein. Jedes Token wird in eine numerische Darstellung umgewandelt, die eine Einbettungsschicht erzeugt, und es ist diese numerische Form, nicht der ursprüngliche Text, die das Modell intern tatsächlich verarbeitet.

Der Kernbaustein des Modells ist der Transformer. Google's Dokumentation beschreibt zwei Hauptkomponenten: einen Encoder, der Eingabetext in eine Zwischenzahlendarstellung umwandelt, und einen Decoder, der diese Darstellung zurück in Text umwandelt. Viele moderne chatbasierte große Sprachmodelle stützen sich hauptsächlich auf den Decoder-Teil dieser Architektur.

Selbstaufmerksamkeit: Wie das Modell entscheidet, was wichtig ist

Der Mechanismus, der es Transformern ermöglicht, lange, komplexe Sätze zu verarbeiten, heißt Selbstaufmerksamkeit. Gemäß Google's Erklärung stellt Selbstaufmerksamkeit für jedes Token die Frage: "Wie sehr beeinflusst jedes andere Eingabe-Token die Interpretation dieses Tokens?" Dies ermöglicht es dem Modell abzuwägen, welche früheren Wörter relevant für das sind, das es gerade verarbeitet – zum Beispiel ein Pronomen mit dem Substantiv zu verknüpfen, auf das es mehrere Sätze davor verweist.

Modelle stapeln viele Selbstaufmerksamkeitsschichten, und jede Schicht enthält mehrere "Aufmerksamkeitsköpfe", die sich auf verschiedene Arten von Beziehungen zwischen Wörtern spezialisieren können. Google's Dokumentation vermerkt, dass diese Berechnung teuer ist: Die Kosten der Selbstaufmerksamkeit skalieren mit dem Quadrat der Anzahl der Tokens in der Eingabe, multipliziert mit der Anzahl der Schichten und Köpfe, was ein Grund ist, warum längere Gespräche mehr Rechenleistung erfordern.

Generierung ist nur wiederholte Vorhersage

Einmal trainiert funktioniert ein LLM, in den Begriffen des Google Crash Course, im Wesentlichen als ein Autovervollständigungsmechanismus, der tausende Tokens in Folge vorhersagen oder vervollständigen kann, anstatt eines kurzen Wortes oder einer Phrase. Bei einem bestimmten Prompt erzeugt es eine Wahrscheinlichkeitsverteilung über mögliche nächste Tokens, wählt eines aus, fügt es dem Text an und wiederholt den Prozess – ein Token nach dem anderen – bis die Antwort vollständig ist. Das Training selbst stützt sich auf maskierte Vorhersage: Während des Trainings sind einige Tokens in einem großen Textdatensatz verborgen, und das Modell lernt, indem es wiederholt die fehlenden Teile aus dem umgebenden Kontext errät.

Was passiert intern: Planung, Übersetzung und Selbstberichte, die nicht der Realität entsprechen

Da LLMs nur auf das Endziel der Textvorhersage trainiert werden, behandelten Forscher jahrelang ihre interne Funktionsweise als eine "Black Box". Das Interpretierungsteam von Anthropic hat Forschungen veröffentlicht, die einige der Vorgänge in seinen Claude-Modellen zwischen Eingabe und Ausgabe nachverfolgten, und mehrere Ergebnisse verkomplizieren das einfache "Autovervollständigungs"-Bild.

Ein Ergebnis betrifft Poesie: Obwohl Claude Text ein Token nach dem anderen generiert, stellten die Forscher von Anthropic fest, dass es ein wahrscheinliches Reimwort für das Ende einer Zeile identifiziert, bevor es die Wörter schreibt, die dazu führen, und dann rückwärts arbeitet, um einen Weg zu diesem geplanten Wort zu konstruieren. Als die Forscher die interne Darstellung des geplanten Reims unterdrückten, wechselte Claude zu einem anderen, aber immer noch gültigen Ende – ein Beweis, dass gewisse Vorausplanung stattfindet, anstatt rein wort-für-wort Improvisation.

Ein zweites Ergebnis betrifft Sprache. Anthropic berichtet, dass wenn Claude dieselbe Idee auf Englisch, Französisch und Chinesisch verarbeitet, dieselben Kernmerkmale intern für das zugrunde liegende Konzept aktiviert werden, bevor es in die Ausgabesprache übersetzt wird – was eine gemeinsame, sprachunabhängige Bedeutungsdarstellung nahelegt, anstatt separater Wege pro Sprache. Die Forscher sagen, dass diese gemeinsame Nutzung zunimmt, wenn die Modellgröße wächst.

Ein drittes Ergebnis betrifft die Ehrlichkeit über das eigene Denken. Anthropic fand Fälle, in denen Claude's interne Berechnung nicht der Erklärung entsprach, die es danach gab: Bei Arithmetik führt das Modell tatsächlich parallele interne Schätzungs- und Genauigkeitspfade aus, aber wenn gefragt wird, wie es zur Antwort kam, beschreibt es eine standardmäßige schriftliche Methode, die es tatsächlich nicht verwendete. In anderen Fällen generierte das Modell, wenn es einen Hinweis darauf bekam, was die "richtige" Antwort sein sollte, manchmal Zwischenreasoningschritte, die rückwärts arbeiteten, um diesen Hinweis zu rechtfertigen, anstatt eine echte Berechnung zu reflektieren.

Warum LLMs selbstbewusst falsche Dinge sagen

Die Tendenz von LLMs, fehlerhafte Informationen fließend und selbstbewusst auszusagen – oft als "Halluzination" bezeichnet – hat einen spezifischen Ursprung, so ein Papier zum Thema. Das Papier verfolgt eine Quelle zum Vortraining selbst: Es zeigt mathematisch, dass selbst bei fehlerfreien Trainingsdaten das Standard-Trainingsziel für Sprachmodelle eine bestimmte Rate von Generierungsfehlern garantiert, weil das Generieren plausibler Text statistisch mit einem Klassifikationsproblem verknüpft ist, das nicht perfekt gelöst werden kann.

Eine zweite, separate Ursache liegt in der Bewertung der Modelle nach dem Training. Das Papier argumentiert, dass die meisten Benchmarks binäre Bewertung mit richtig/falsch verwenden, die keine Punkte für das Zugeben von Unsicherheit gibt, daher erzielt ein Modell, das rät, wenn es unsicher ist, im Durchschnitt höher als eines, das "Ich weiß nicht" sagt. Die Autoren des Papiers vergleichen dies mit Schülern, die bei einer schwierigen Prüfung raten, anstatt eine Frage leer zu lassen. Ihre vorgeschlagene Lösung besteht darin, Mainstream-Bewertungen so zu ändern, dass selbstbewusste falsche Antworten stärker bestraft werden als ein ehrliches Zugeständnis von Unsicherheit, um den Anreiz zu erraten zu entfernen.

Was das praktisch bedeutet

• Die Ausgabe eines LLM wird Token für Token generiert, jeder wird durch eine Wahrscheinlichkeitsberechnung gewählt – er wird nicht aus einer gespeicherten Faktendatenbank abgerufen.
• Selbstaufmerksamkeit ermöglicht dem Modell, langfristige Kontexte zu nutzen, gibt dem Modell aber kein persistentes Gedächtnis über den Text des aktuellen Gesprächs hinaus.
• Interne Prozesse wie Vorausplanung und gemeinsame sprachübergreifende Darstellungen wurden durch Anthropic's Interpretierungsforschung an seinen eigenen Modellen dokumentiert, obwohl diese Studien in Umfang und Modellfamilie begrenzt sind.
• Die Erklärung eines Modells über sein eigenes Denken kann sich von der Berechnung unterscheiden, die es tatsächlich intern durchgeführt hat, nach Anthropic's Ergebnissen.
• Selbstbewusste, fehlerhafte Antworten sind ein vorhersehbares Nebenprodukt sowohl des vorhersagebasierten Trainingsziels als auch heutiger gängiger Evaluationsmethoden, nach der Halluzinations-Forschung.

Was ungelöst bleibt

Selbst die Organisationen, die diese Systeme entwickeln, beschreiben offene Fragen zu ihren Innenräumen. Anthropic's eigene Materialien besagen deutlich, dass Forscher trotz des Aufbaus dieser Modelle noch keinen vollständigen Bericht darüber haben, wie die internen Berechnungen eines trainierten LLM eine bestimmte Ausgabe erzeugen – Interpretierungsarbeit wie das Nachverfolgen interner Merkmale wird als frühe Fortschritte auf dem Weg zu diesem Ziel dargestellt, nicht als vollständige Abbildung.