Hoe neurale netwerken leren: de wiskunde achter ChatGPT en Gemini

Telkens wanneer een chatbot een vraag beantwoordt of een foto-app een gezicht herkent, voert een neuraal netwerk een leerproces uit dat ongeacht de taak dezelfde basisstappen volgt. Volgens IBM is dat proces gebaseerd op twee gekoppelde technieken: backpropagatie, die berekent hoeveel elk intern parameter aan een fout heeft bijgedragen, en gradiëntdaling, de optimalisatiemethode die deze berekeningen gebruikt om de parameters te corrigeren.

Wat is een neuraal netwerk eigenlijk

Het Instituut voor Mensgerichte AI (HAI) van Stanford beschrijft een neuraal netwerk als een rekenmodel geïnspireerd op de structuur van het menselijke brein, opgebouwd uit onderling verbonden lagen kunstmatige 'neuronen' die informatie verwerken en overbrengen. Elk neuron ontvangt numerieke invoer, vermenigvuldigt ze met instelbare waarden genaamd gewichten, voegt een bias-term toe en geeft het resultaat door een niet-lineaire activeringsfunctie voordat het naar de volgende laag wordt gestuurd, volgens IBMs beschrijving van de architectuur. Stanford HAI merkt op dat deze gelaagde structuur neurale netwerken in staat stelt patronen uit grote hoeveelheden gegevens te extraheren, wat de basis vormt van deep learning.

Stap 1: De forward pass

De training begint met gewichten en biases ingesteld op willekeurige waarden, legt IBM uit. Tijdens de 'forward pass' bewegen invoergegevens laag voor laag door het netwerk: elk neuron berekent zijn gewogen som, past zijn activeringsfunctie toe en stuurt de uitvoer door, totdat de laatste laag een voorspelling oplevert. In dit vroege stadium is die voorspelling, omdat de gewichten willekeurig zijn, in wezen een gok.

Stap 2: De fout meten

Het netwerk vergelijkt vervolgens zijn voorspelling met het juiste antwoord met behulp van een verliesfunctie, een formule die kwantificeert hoe ver de uitvoer ernaast zat, volgens IBM. Verschillende taken gebruiken verschillende formules – gemiddelde kwadratische fout is gebruikelijk voor het voorspellen van getallen, terwijl cross-entropie wordt gebruikt voor classificatietaken zoals het sorteren van afbeeldingen in categorieën.

Stap 3: Backpropagatie traceert de schuld

De 'backward pass' is waar leren plaatsvindt. IBM beschrijft backpropagatie als werkend van de uitvoerlaag terug naar de invoerlaag, met behulp van een calculustechniek genaamd de ketenregel om te bepalen hoeveel elk afzonderlijk gewicht aan de totale fout heeft bijgedragen. Het resultaat is een gradiënt: een reeks waarden, één voor elk gewicht en elke bias, die de richting en grootte van de aanpassing aangeven die de fout zou verminderen.

IBM wijst op de efficiëntie van deze aanpak: voor een netwerk met één miljoen gewichten zou het testen van elke parameter afzonderlijk door trial and error meer dan één miljoen afzonderlijke forward passes door het netwerk vereisen. Backpropagatie bereikt dezelfde informatie in slechts twee passes – één voorwaarts, één achterwaarts.

Stap 4: Gradiëntdaling werkt de gewichten bij

Zodra de gradiënt bekend is, beweegt gradiëntdaling elk gewicht een klein stapje in de richting die de fout verlaagt, legt IBM uit. De grootte van die stap wordt bepaald door de 'learning rate': een hogere learning rate versnelt de training maar riskeert het overschrijden van de beste waarden, terwijl een lagere rate preciezer is maar langzamer convergeert. De vier stappen – forward pass, verliesberekening, backward pass, gewichtupdate – herhalen zich keer op keer, vaak over miljoenen voorbeelden, totdat het verlies niet meer aanzienlijk afneemt.

Van labtechniek naar ChatGPT en Gemini

Grote taalmodellen passen dezelfde backpropagatie-en-gradiëntdalingscyclus op veel grotere schaal toe, over twee verschillende fases. De eerste, pretraining, stelt het model bloot aan enorme hoeveelheden ongelabeld tekst – corpora met honderden miljarden tokens, volgens RBC Borealis – en vraagt het herhaaldelijk om het volgende woord in een sequentie voorspellen. Een onderzoeksblog van RBC Borealis beschrijft dit basismodel als fundamenteel een netwerk dat is getraind om 'het volgende woord in een gedeeltelijk volledig invoerstring voorspellen', wat het grammatica, feiten en algemene patronen leert, maar niet op zich maakt het een betrouwbare assistent.

De tweede fase, finetuning, past het voorgetrainde netwerk aan specifiek gedrag aan. RBC Borealis schetst drie veelgebruikte benaderingen: supervised finetuning op door mensen geschreven voorbeeldantwoorden; reinforcement learning van menselijk feedback (RLHF), waarin een afzonderlijk beloningsmodel dat op menselijke voorkeuren is getraind, verdere gewichtupdates begeleidt; en nieuwere methoden zoals direct preference optimization, die het afzonderlijke beloningsmodel overslaan maar nog steeds op backpropagatie vertrouwen. Deze finetuningfase is wat een algemene next-word predictor omzet in een systeem dat instructies opvolgt en bepaalde verzoeken afwijst, in plaats van eenvoudig tekst in welke richting ook statisch waarschijnlijk is voort te zetten.

Waarom het mechanisme belangrijk is

Omdat zowel pretraining als finetuning afhankelijk zijn van dezelfde onderliggende backpropagatie-en-gradiëntdalingslus, beïnvloeden verbeteringen van die kernechniek – snellere hardware, betere verliesfuncties, efficiëntere optimalisatie – tegelijk elke stroomafwaartse toepassing, van beeldherkenning tot conversatie-assistenten. Stanford HAI merkt op dat neurale netwerken nu de basis vormen van deep learning-systemen die worden gebruikt in gezichtsherkenning, spraakassistenten en autonome voertuigen, die allemaal worden getraind via variaties van dezelfde hierboven beschreven vierstapscyclus.