Wie KI-Chatbots wie ChatGPT und Claude tatsächlich funktionieren, erklärt

Hunderte Millionen Menschen stellen täglich Fragen an ChatGPT, Claude, Gemini oder ähnliche Tools, aber die Software dahinter wird oft als mysteriöse "Black Box" beschrieben. Nach Googles Machine Learning Crash Course und einer Erklärung von Science-Autor Timothy B. Lee, veröffentlicht auf Understanding AI, ist der Kernmechanismus einfacher zu beschreiben als gedacht: Ein großes Sprachmodell (LLM) ist ein neuronales Netz, das trainiert wurde, um das nächste kleine Stück Text, ein Token genannt, vorherzusagen, basierend auf allem, das vorher kam.

Von Wörtern zu Zahlen: Token und Embeddings

Bevor ein LLM Text verarbeiten kann, teilt es eine Eingabeaufforderung in Token auf — Einheiten, die ein ganzes Wort, Teil eines Wortes oder ein einzelnes Zeichen sein können, laut Googles Entwicklerdokumentation. Jedes Token wird in einen Vektor umgewandelt, eine lange Liste von Zahlen namens Embedding, die etwas über die Bedeutung des Tokens erfassen soll. Die Erklärung von Understanding AI vergleicht dies mit geografischen Koordinaten: Wörter mit ähnlichen Bedeutungen enden in der Nähe zueinander in einem riesigen numerischen Raum, ähnlich wie benachbarte Städte ähnliche Breiten- und Längengrade teilen.

Aufmerksamkeit: Wie das Modell den Kontext verfolgt

Die Architektur hinter praktisch allen modernen LLMs wird Transformer genannt. Googles Crash Course erklärt, dass ein Transformer sich auf einen Mechanismus stützt, der Self-Attention genannt wird, der berechnet, wie viel jedes Token in einem Textabschnitt die Interpretation jedes anderen Tokens beeinflussen sollte. Understanding AI illustriert dies mit Query- und Key-Vektoren: Jedes Wort erstellt effektiv eine Checkliste der Art von anderen Wörtern, die es sucht, und Attention gleicht diese Checklisten über den Satz ab, damit das Modell beispielsweise herausfinden kann, auf welches Nomen sich ein Pronomen wie "es" bezieht.

Diesem Schritt folgen Feed-Forward-Layer, die die aktualisierte Darstellung jedes Wortes verarbeiten und das Modell zum Vorhersagen drängen, welches Token als nächstes kommen sollte, wie Understanding AI anmerkt. Da Attention jedem Token ermöglicht, direkt auf jeden anderen Token zu schauen, unabhängig von der Entfernung, handhaben Transformer lange, komplexe Passagen konsistenter als die sequenziellen Modelle, die ihnen vorausgingen.

Training: Milliarden von Vermutungen, keine menschlichen Labels erforderlich

LLMs werden hauptsächlich durch unbeaufsichtigtes Lernen bei maskierter oder Token-nach-Token-Vorhersage trainiert, was bedeutet, dass das System für den Großteil seines Trainings keine handgeschriebenen "korrekten Antworten" erhält. Stattdessen beschreibt Googles Dokumentation einen Prozess, bei dem Token in echtem Text versteckt sind und das Modell sie erraten muss; Understanding AI beschreibt die gleiche Idee in Bezug auf Wort-nach-Wort-Vorhersage über riesige Textsammlungen, die aus Büchern, Websites und anderen Quellen zusammengestellt wurden. Parameter im Netz — Understanding AI zitiert GPT-3s 175 Milliarden davon, trainiert auf ungefähr 500 Milliarden Wörtern — beginnen zufällig gesetzt und werden schrittweise angepasst, Vorhersage für Vorhersage, bis die Vermutungen des Modells mit echtem Text übereinstimmen.

Ein rohes Modell in einen hilfreichen Assistenten umwandeln

Ein Modell, das nur darauf trainiert ist, das nächste Token vorherzusagen, ist nicht automatisch ein Chatbot, der höflich Anweisungen befolgt. Der technische Erklärer von Hugging Face zu Reinforcement Learning from Human Feedback (RLHF) beschreibt die zusätzlichen Schritte, die Unternehmen wie OpenAI unternehmen, um ein Basismodell in einen Assistenten umzuwandeln. Erstens kann das vortrainierte Modell durch überwachte Feinabstimmung an Beispielgesprächen verfeinert werden. Zweitens bewerten menschliche Prüfer mehrere Modellantworten auf die gleiche Eingabeaufforderung, und diese Bewertungen trainieren ein separates Reward-Modell, das lernt, Ausgaben so zu bewerten, wie eine Person es würde.

In der dritten Phase wird das ursprüngliche Modell unter Verwendung von Reinforcement Learning — häufig Proximal Policy Optimization — angepasst, damit es Antworten produziert, die das Reward-Modell hoch bewertet, während eine mathematische Strafe es davon abhält, so weit von seinem ursprünglichen Verhalten abzuweichen, dass es anfängt, Unsinn zu generieren, nur um den Reward-Score zu beeinflussen, laut Hugging Face-Beschreibung der Methode.

Warum Chatbots immer noch Dinge erfinden

Eine von OpenAI-Forschern veröffentlichte Arbeit "Why Language Models Hallucinate" (Warum Sprachmodelle halluzinieren), verfügbar auf arXiv, argumentiert, dass erfundene Antworten nicht einfach ein Bug sind, der behoben werden kann. Die Arbeit schreibt Halluzinationen zwei verknüpften Ursachen zu: ein statistisches Nebenprodukt dafür, wie Modelle lernen, plausibel klingende Fortsetzungen während des Vortrainings vorherzusagen, und die Art und Weise, wie Modelle später bewertet werden. Die meisten Benchmarks und Leaderboards bewerten eine Antwort als entweder richtig oder falsch und behandeln ein Zugeständnis der Unsicherheit — ein "Ich weiß nicht" — als falsche Antwort, heißt es in dem Papier. Diese Einrichtung belohnt selbstbewusstes Raten gegenüber Ehrlichkeit über Unsicherheit, was Modelle dazu treibt, weiterhin fließende, spezifisch klingende Aussagen zu produzieren, selbst wenn sie keine zuverlässige Grundlage dafür haben.

Was das Modell tatsächlich tut, in einem Satz

Zusammengefasst ist der in diesen Quellen beschriebene Prozess dieser: Ein Chatbot wandelt eine Eingabeaufforderung in Token um, konvertiert sie in numerische Embeddings, verwendet Self-Attention-Layer, um zu gewichten, wie jedes Token mit jedem anderen zusammenhängt, und sagt wiederholt das wahrscheinlichste nächste Token voraus — ein Prozess, der nach dem Vortraining durch menschliches Feedback geprägt ist, das dazu bestimmt ist, diese Vorhersagen hilfreichen, Anweisungen befolgenden Antworten ähneln zu lassen, anstatt rohem Internet-Text.