Wie neuronale Netze lernen: Die Mathematik hinter ChatGPT und Gemini

Jedes Mal, wenn ein Chatbot eine Frage beantwortet oder eine Foto-App ein Gesicht erkennt, führt ein neuronales Netz einen Lernprozess durch, der unabhängig von der Aufgabe die gleichen grundlegenden Schritte befolgt. Laut IBM basiert dieser Prozess auf zwei verbundenen Techniken: Backpropagation, die berechnet, wie viel jeder interne Parameter zu einem Fehler beigetragen hat, und Gradient Descent, die Optimierungsmethode, die diese Berechnungen nutzt, um die Parameter zu korrigieren.

Was ein neuronales Netz eigentlich ist

Das Institut für Menschengerechte KI (HAI) der Stanford University beschreibt ein neuronales Netz als ein Rechenmodell, das von der Struktur des menschlichen Gehirns inspiriert ist und aus miteinander verbundenen Schichten künstlicher ‚Neuronen' aufgebaut ist, die Informationen verarbeiten und übertragen. Jedes Neuron nimmt numerische Eingaben an, multipliziert sie mit anpassbaren Werten, sogenannten Gewichten, addiert einen Bias-Term und leitet das Ergebnis durch eine nichtlineare Aktivierungsfunktion, bevor es an die nächste Schicht weitergegeben wird, wie IBMs Beschreibung der Architektur erklärt. Stanford HAI bemerkt, dass diese geschichtete Struktur es neuronalen Netzen ermöglicht, Muster aus großen Datenmengen zu extrahieren, was die Grundlage des Deep Learning bildet.

Schritt 1: Der Forward Pass

Das Training beginnt mit Gewichten und Verzerrungen, die auf zufällige Werte eingestellt sind, erklärt IBM. Während des ‚Forward Pass' bewegen sich die Eingabedaten schichtweise durch das Netz: jedes Neuron berechnet seine gewichtete Summe, wendet seine Aktivierungsfunktion an und leitet die Ausgabe weiter, bis die letzte Schicht eine Vorhersage erzeugt. In diesem frühen Stadium ist diese Vorhersage, da die Gewichte zufällig sind, im Wesentlichen eine Vermutung.

Schritt 2: Messung des Fehlers

Das Netz vergleicht seine Vorhersage dann mit der korrekten Antwort unter Verwendung einer Verlustfunktion, einer Formel, die quantifiziert, wie weit die Ausgabe entfernt war, laut IBM. Verschiedene Aufgaben verwenden verschiedene Formeln – mittlerer quadratischer Fehler ist häufig für die Vorhersage von Zahlen üblich, während Cross-Entropy für Klassifizierungsaufgaben wie das Sortieren von Bildern in Kategorien verwendet wird.

Schritt 3: Backpropagation zeigt die Schuld auf

Der ‚Backward Pass' ist der Ort, wo das Lernen stattfindet. IBM beschreibt Backpropagation als Rückwärtsgehen von der Ausgabeschicht zur Eingabeschicht, wobei eine Rechentechnik namens Kettenregel verwendet wird, um zu bestimmen, wie viel jedes einzelne Gewicht zum Gesamtfehler beigetragen hat. Das Ergebnis ist ein Gradient: ein Satz von Werten, einer für jedes Gewicht und jede Verzerrung, die die Richtung und Größe der Anpassung angeben, die den Fehler verringern würde.

IBM weist auf die Effizienz dieses Ansatzes hin: Für ein Netz mit einer Million Gewichten würde das Testen jedes Parameters einzeln durch Versuch und Irrtum mehr als eine Million separate Forward Passes durch das Netz erfordern. Backpropagation erreicht die gleiche Information in nur zwei Passes – einen Forward, einen Backward.

Schritt 4: Gradient Descent aktualisiert die Gewichte

Sobald der Gradient bekannt ist, bewegt Gradient Descent jedes Gewicht einen kleinen Schritt in die Richtung, die den Fehler verringert, erklärt IBM. Die Größe dieses Schritts wird durch die ‚Learning Rate' gesteuert: eine höhere Learning Rate beschleunigt das Training, riskiert aber ein Überschießen der besten Werte, während eine niedrigere Rate präziser ist, aber langsamer konvergiert. Die vier Schritte – Forward Pass, Verlustberechnung, Backward Pass, Gewichtsaktualisierung – wiederholen sich immer wieder, oft über Millionen von Beispielen, bis der Verlust nicht mehr sinnvoll abnimmt.

Von der Labortechnik zu ChatGPT und Gemini

Große Sprachmodelle wenden diesen gleichen Backpropagation-und-Gradient-Descent-Zyklus in viel größerem Maßstab über zwei verschiedene Phasen an. Die erste, Pretraining, setzt das Modell großen Mengen an unbeschrifteten Text aus – Korpora mit Hunderten von Milliarden von Tokens, laut RBC Borealis – und veranlasst es wiederholt, das nächste Wort in einer Sequenz vorherzusagen. Ein Research Blog von RBC Borealis beschreibt dieses Foundation Model als grundlegend ein Netz, das trainiert wurde, um ‚das nächste Wort in einer teilweise vollständigen Eingabezeichenkette vorherzusagen', was ihm Grammatik, Fakten und allgemeine Muster beibringt, aber nicht von selbst es zu einem zuverlässigen Assistenten macht.

Die zweite Phase, Fine-Tuning, passt das vortrainierte Netz an spezifisches Verhalten an. RBC Borealis beschreibt drei häufige Ansätze: überwachtes Fine-Tuning auf von Menschen geschriebenen Beispielantworten; Reinforcement Learning aus menschlichem Feedback (RLHF), bei dem ein separates, auf menschlichen Vorlieben trainiertes Reward-Modell weitere Gewichtsaktualisierungen leitet; und neuere Methoden wie Direct Preference Optimisation, die das separate Reward-Modell überspringen, aber sich immer noch auf Backpropagation verlassen. Diese Fine-Tuning-Phase ist, was einen allgemeinen Next-Word-Prädiktor in ein System verwandelt, das Anweisungen befolgt und bestimmte Anfragen ablehnt, anstatt einfach Text in welcher Richtung auch immer statistisch wahrscheinlich ist fortzusetzen.

Warum der Mechanismus wichtig ist

Weil sich sowohl Pretraining als auch Fine-Tuning auf die gleiche zugrunde liegende Backpropagation-und-Gradient-Descent-Schleife verlassen, beeinflussen Verbesserungen dieser Kerntechnik – schnellere Hardware, bessere Verlustfunktionen, effizientere Optimierung – sofort jede nachgelagerte Anwendung, von der Bilderkennung bis zu Gesprächsassistenten. Stanford HAI bemerkt, dass neuronale Netze nun die Grundlage von Deep-Learning-Systemen bilden, die in Gesichtserkennung, Sprachassistenten und autonomen Fahrzeugen verwendet werden, die alle durch Variationen des gleich oben beschriebenen vierstufigen Zyklus trainiert werden.