Wie neuronale Netze funktionieren: Die Technologie hinter ChatGPT und moderner KI

Neuronale Netze sind nicht neu — Forscher untersuchen sie seit der Mitte des 20. Jahrhunderts — aber sie stecken jetzt hinter den meisten Verbraucher-KI-Produkten, die täglich verwendet werden. OpenAI sagte auf seiner DevDay-Veranstaltung am 29. September 2026, dass ChatGPT 1,2 Milliarden wöchentliche Nutzer erreicht hatte, laut einem Liveblog der Veranstaltung von Engadget. Diese Adoptionsskalierung hat eine grundlegende technische Frage zurück an die Spitze der Suchergebnisse gebracht: Wie funktioniert ein neuronales Netz eigentlich?

Der grundlegende Baustein: Neuronen, Gewichte und Schichten

Nach Angaben von IBM ist ein neuronales Netz ein Machine-Learning-Modell, das aus einfachen Einheiten namens Neuronen besteht, die in Schichten angeordnet sind und anpassbare Gewichte und Bias aus Daten lernen, um Eingaben auf Ausgaben abzubilden. Jedes Netz hat eine Eingabeschicht, die die Rohdaten enthält, eine oder mehrere verborgene Schichten, die diese umwandeln, und eine Ausgabeschicht, die das Endergebnis erzeugt, erklärt IBM.

Jede Verbindung zwischen Neuronen hat ein Gewicht — eine Zahl, die nach Angaben von IBM wie ein Drehregler funktioniert, der steuert, wie stark ein bestimmtes Eingabemerkmal die Entscheidung des Netzes beeinflusst. Ein separater Wert namens Bias wird zu jedem Neuron addiert, damit es aktiviert werden kann, auch wenn seine Eingaben schwach sind, und verschiebt den Entscheidungsschwellwert. Googles Machine Learning Crash Course fügt ein drittes notwendiges Element hinzu: Aktivierungsfunktionen, nichtlineare mathematische Schritte, die nach der Summierung der gewichteten Eingaben angewendet werden, die es einem Netz ermöglichen, Muster zu erkennen, die eine einfache geradlinige Formel nicht erfassen konnte.

Forward Propagation: Wie ein Netz eine Antwort produziert

Wenn einem neuronalen Netz neue Daten gegeben werden, bewegen sich diese Daten in eine Richtung durch das Netz, von der Eingabeschicht zur Ausgabeschicht, in dem, was IBM und Googles Kurs Forward Propagation (oder Forward Pass) nennen. Bei jedem Neuron werden die eingehenden Werte mit ihren Gewichten multipliziert, mit dem Bias summiert und durch die Aktivierungsfunktion geleitet, bevor sie zur nächsten Schicht gehen. IBM merkt an, dass frühe Schichten in einem Netz dazu neigen, die Bedeutung einzelner Signale zu verarbeiten, während spätere Schichten diese Informationen in höherwertige Muster kombinieren, die einen breiteren Kontext erfassen.

Backpropagation: Wie ein Netz aus seinen Fehlern lernt

Ein frisch erstelltes neuronales Netz beginnt mit im Grunde zufälligen Gewichten und liefert schlechte Vorhersagen. Training ist der Prozess der Korrektur. IBM beschreibt Backpropagation als den Algorithmus, der den Vorhersagefehler des Netzes durch die Schichten rückwärts propagiert, wobei die Kettenregel der Analysis verwendet wird, um zu berechnen, wie sehr jedes einzelne Gewicht und Bias zum Gesamtfehler beigetragen hat. Googles Kurs identifiziert ebenfalls Backpropagation als den Kern-Trainingsalgorithmus und beschreibt seinen Zweck als Anpassung der Gewichte, um den Vorhersageverlust des Netzes zu reduzieren oder zu minimieren.

Sobald der Beitrag jedes Gewichts zum Fehler bekannt ist, stößt eine Optimierungsmethode namens Gradient Descent jedes Gewicht leicht in die Richtung, die den Fehler reduziert. Dieser Forward-Pass-dann-Backward-Korrektur-Zyklus wird über große Mengen von Trainingsdaten — oft Millionen oder Milliarden von Beispielen — wiederholt, bis die Vorhersagen des Netzes zuverlässig genug für den praktischen Einsatz sind.

Verschiedene Netzdesigns für verschiedene Arten von Daten

Nicht jedes neuronale Netz ist gleich aufgebaut. IBM identifiziert drei breite Familien im Einsatz heute: Convolutional Neural Networks (CNNs), die für gitterförmige Daten wie Bilder entwickelt wurden und stark in der visuellen Erkennung verwendet werden; Recurrent Neural Networks (RNNs), die Rückkopplungsschleifen enthalten, die für sequenzielle oder Zeitreihendaten geeignet sind; und Transformer, die Architektur hinter den meisten heutigen großen Sprachmodellen, die sich auf einen Aufmerksamkeitsmechanismus stützen, anstatt auf strikte Schritt-für-Schritt-Sequenzierung.

Wie dies bis zu Systemen wie ChatGPT skaliert

Große Sprachmodelle wie die GPT-Familie wenden die gleichen Kernmechaniken an — gewichtete Neuronen, Schichten, Forward Propagation, Backpropagation — in einem viel größeren Maßstab, wobei die Transformer-Architektur verwendet wird. Das eigene Forschungspapier von OpenAI von 2020 über GPT-3, veröffentlicht auf arXiv, besagte, dass das Modell genau 175 Milliarden Parameter hatte, und beschrieb es als "10x mehr als jedes vorherige nicht-spärliche Sprachmodell." Parameter ist der allgemeine Begriff für die vollständige Menge der Gewichte und Bias eines Netzes; mehr Parameter ermöglichen es einem Modell im Allgemeinen, komplexere Muster in Sprache zu erfassen, obwohl OpenAI keine entsprechenden Parameterzahlen für seine neueren Modelle veröffentlicht hat.

Innerhalb eines Transformers ermöglicht ein Mechanismus namens Self-Attention dem Modell, abzuwägen, wie relevant jedes andere Wort in einem Abschnitt zu dem Wort ist, das gerade verarbeitet wird, anstatt streng von links nach rechts zu lesen. Dieses Design, das erstmals in der Transformerforschung eingeführt wurde und jetzt Standard bei großen Sprachmodellen, ist das, was Systeme wie ChatGPT ermöglicht, den Kontext über ein langes Gespräch hinweg zu verfolgen.

Warum das jetzt wichtig ist

Die zugrunde liegende Mathematik von Neuronen, Gewichten und Backpropagation existiert seit Jahrzehnten, aber die Kombination von größeren Datensätzen, mehr Rechenleistung und der Transformer-Architektur ist das, was neuronale Netze von einem spezialisierten Forschungswerkzeug zum Motor hinter Verbraucherprodukten verwandelt hat, die von weit über einer Milliarde Menschen pro Woche verwendet werden, nach OpenAIs eigenen Zahlen vom September 2026, die von Engadget berichtet wurden. Das Verständnis des grundlegenden Forward-Pass-und-Korrektur-Zyklus, das von IBM und Google beschrieben wird, erfordert keine fortgeschrittene Mathematik, erklärt aber, warum diese Systeme riesige Mengen an Trainingsdaten und Rechenleistung benötigen, und warum ihre Ausgaben statistische Vorhersagen sind, anstatt garantierte Tatsachen.