Hoe AI-chatbots zoals ChatGPT en Claude eigenlijk werken, uitgelegd

Honderden miljoenen mensen typen elke dag vragen in ChatGPT, Claude, Gemini of vergelijkbare tools, maar de software erachter wordt vaak beschreven als een mysterieuze "black box". Volgens Google's Machine Learning Crash Course en een uitlegger door wetenschapsschrijver Timothy B. Lee gepubliceerd op Understanding AI, is het kernmechanisme eenvoudiger te beschrijven dan het lijkt: een groot taalmodel (LLM) is een neuraal netwerk dat is getraind om het volgende kleine stukje tekst, een token genoemd, te voorspellen, gegeven alles wat ervoor kwam.

Van woorden naar getallen: tokens en inbeddingen

Voordat een LLM tekst kan verwerken, verdeelt het een prompt in tokens — eenheden die een volledig woord, deel van een woord of een enkel teken kunnen zijn, volgens Google's ontwikkelaarsdocumentatie. Elk token wordt omgezet in een vector, een lange lijst met getallen genaamd een inbedding, die iets moet vastleggen over de betekenis van het token. De uitlegger van Understanding AI vergelijkt dit met geografische coördinaten: woorden met vergelijkbare betekenissen eindigen dicht bij elkaar in een groot numeriek bereik, net zoals nabijgelegen steden vergelijkbare breedtegraad en lengtegraad delen.

Aandacht: hoe het model context volgt

De architectuur achter vrijwel alle moderne LLM's wordt de Transformer genoemd. Google's crash course legt uit dat een Transformer afhankelijk is van een mechanisme dat zelf-aandacht wordt genoemd, dat berekent hoeveel elk token in een stuk tekst de interpretatie van elk ander token zou moeten beïnvloeden. Understanding AI illustreert dit met query- en key-vectoren: elk woord bouwt effectief een checklist op van het soort andere woorden waarnaar het op zoek is, en aandacht vergelijkt deze checklists over de zin zodat het model bijvoorbeeld kan uitzoeken naar welk zelfstandig naamwoord een voornaamwoord zoals "het" verwijst.

Deze stap wordt gevolgd door feed-forward-lagen die elke bijgewerkte weergave van woorden verwerken en het model naar het voorspellen van het volgende token duwen, merkt Understanding AI op. Omdat aandacht elk token toestaat direct naar elk ander token te kijken, ongeacht de afstand, hanteren Transformers lange, complexe passages consistenter dan de sequentiële modellen die eraan voorafgingen.

Training: miljarden gissingen, geen menselijke labels nodig

LLM's worden voornamelijk getraind door onbegeleid leren met gemaskeerde of volgende-token-voorspelling, wat betekent dat het systeem voor het merendeel van zijn training geen handgeschreven "juiste antwoorden" krijgt. In plaats daarvan beschrijft Google's documentatie een proces waarbij tokens in echte tekst verborgen zijn en het model deze moet raden; Understanding AI beschrijft hetzelfde idee in termen van voorspelling van volgende woorden over enorme verzamelingen tekst die uit boeken, websites en andere bronnen zijn verzameld. Parameters in het netwerk — Understanding AI citeert GPT-3's 175 miljard ervan, getraind op ongeveer 500 miljard woorden — beginnen willekeurig ingesteld en worden geleidelijk aangepast, gissing na gissing, totdat de gissingen van het model in lijn zijn met echte tekst.

Een raw model omzetten in een behulpzame assistent

Een model dat alleen is getraind om het volgende token te voorspellen, is niet automatisch een chatbot die beleeft opdrachten opvolgt. De technische uitlegger van Hugging Face over Reinforcement Learning from Human Feedback (RLHF) beschrijft de extra stappen die bedrijven zoals OpenAI gebruiken om een basismodel in een assistent om te zetten. Ten eerste kan het vooraf getrainde model worden verfijnd door begeleid fijnregelen op voorbeeldgesprekken. Ten tweede classificeren menselijke beoordelaars meerdere modelreacties op dezelfde prompt, en deze classificaties trainen een apart beloningsmodel dat leert om outputs op dezelfde manier te scoren als een persoon zou doen.

In het derde stadium wordt het originele model aangepast met behulp van reinforcement learning — meestal Proximal Policy Optimization — zodat het reacties produceert die het beloningsmodel hoog scoort, terwijl een wiskundige straf het verhindert zo ver van het originele gedrag af te wijken dat het onzin begint te genereren puur om de beloningsscore te gamen, volgens de beschrijving van Hugging Face van de methode.

Waarom chatbots nog steeds dingen verzinnen

Een artikel uitgebracht door OpenAI-onderzoekers, "Why Language Models Hallucinate" (Waarom taalmodellen hallucineren), beschikbaar op arXiv, betoogt dat vervaardigde antwoorden niet eenvoudig een bug zijn om op te lossen. Het artikel schrijft hallucinaties toe aan twee gekoppelde oorzaken: een statistische bijproduct van hoe modellen leren plausibel klinkende vervolgingen tijdens voorbehandes te voorspellen, en de manier waarop modellen later worden geëvalueerd. De meeste benchmarks en ranglijsten beoordelen een antwoord als goed of fout en behandelen een erkenning van onzekerheid — een "Ik weet het niet" — als een fout antwoord, stelt het artikel. Deze opstelling beloont zelfverzekerd raden boven eerlijkheid over onzekerheid, wat modellen duwt naar het blijven produceren van vloeiende, specifieke klanken stellingen zelfs wanneer zij geen betrouwbare basis hebben.

Wat het model eigenlijk doet, in één zin

Samengevat is het proces dat in deze bronnen wordt beschreven dit: een chatbot zet een prompt om in tokens, zet ze om in numerieke inbeddingen, gebruikt zelf-aandachtlagen om te wegen hoe elk token zich tot elk ander verhoudt, en voorspelt herhaaldelijk het statistisch meest waarschijnlijke volgende token — een proces dat na voorbehandes wordt gevormd door menselijke feedback die ontworpen is om deze voorspellingen meer op behulpzame, instructies opvolgende antwoorden lijken dan op ruwe internettekst.