Hoe grote taalmodellen werkelijk werken en wat ze wel en niet doen

Grote taalmodellen (LLM's) zoals GPT-4o, Claude en Gemini voeden veel gebruikte chatbots, maar wat deze systemen werkelijk doen bij het beantwoorden van een vraag wordt vaak verkeerd begrepen. Volgens Google's documentatie voor machinaal leren en onderzoek van bedrijven die deze modellen bouwen, is het korte antwoord sneller dan het klinkt: een LLM is een statistisch systeem dat is getraind om het volgende token in een reeks tekst voorspellen, steeds opnieuw herhaald totdat een volledig antwoord wordt gegenereerd.

Van tekst naar tokens naar getallen

Volgens Google's Machine Learning Crash Course lezen LLM's geen hele woorden zoals mensen doen. Invoertekst wordt eerst opgesplitst in 'tokens' – een token kan een woord, deel van een woord of een enkel teken zijn. Elk token wordt omgezet in een numerieke weergave die een embedding layer produceert, en het is deze numerieke vorm, niet de originele tekst, die het model intern werkelijk verwerkt.

Het kernbouwsteen van het model is de transformer. Google's documentatie beschrijft twee hoofdcomponenten: een encoder, die invoertekst omzet in een tussenliggende numerieke weergave, en een decoder, die die weergave terug in tekst omzet. Veel moderne chatgeoriënteerde grote taalmodellen zijn vooral afhankelijk van het decoder-gedeelte van deze architectuur.

Zelf-aandacht: hoe het model bepaalt wat er toe doet

Het mechanisme dat transformers in staat stelt lange, complexe zinnen af te handelen, wordt zelf-aandacht genoemd. Volgens Google's uitleg stelt zelf-aandacht voor elk token de vraag: 'hoeveel beïnvloedt elk ander invoertoken de interpretatie van dit token?' Dit stelt het model in staat om af te wegen welke eerdere woorden relevant zijn voor degene die het momenteel verwerkt – bijvoorbeeld een voornaamwoord terug koppelen aan het zelfstandig naamwoord waarnaar het enkele zinnen eerder verwijst.

Modellen stapelen veel zelf-aandachtslagen, en elke laag bevat meerdere 'aandachtkoppen' die zich kunnen specialiseren in verschillende soorten relaties tussen woorden. Google's documentatie merkt op dat deze berekening duur is: de kosten van zelf-aandacht schalen met het kwadraat van het aantal tokens in de invoer, vermenigvuldigd met het aantal lagen en koppen, wat een reden is waarom langere gesprekken meer rekenkracht vereisen.

Generatie is slechts herhaalde voorspelling

Eenmaal getraind werkt een LLM, in de woorden van Google's crash course, in wezen als een autocomplete-mechanisme dat duizenden tokens in reeks kan voorspellen of aanvullen in plaats van een kort woord of zin. Gegeven een prompt, produceert het een kansverdeling over mogelijke volgende tokens, kiest er één, voegt deze toe aan de tekst en herhaalt het proces – één token tegelijk – tot het antwoord voltooid is. Het trainen zelf vertrouwt op gemaskeerde voorspelling: tijdens het trainen worden enkele tokens in een grote tekstgegevensset verborgen, en het model leert door herhaaldelijk de ontbrekende stukken uit de omringende context te raden.

Wat gebeurt er intern: planning, vertaling en zelfrapportages die niet overeenkomen met de werkelijkheid

Omdat LLM's alleen op het uiteindelijke doel van tekstvoorspelling worden getraind, behandelden onderzoekers jarenlang hun interne werkwijze als een 'zwarte doos'. Anthropic's interpretabiliteitsteam heeft onderzoek gepubliceerd dat enkele van de processen in zijn Claude-modellen tussen invoer en uitvoer traceerden, en verschillende bevindingen bemoeilijken het eenvoudige 'autocomplete'-beeld.

Eén bevinding betreft poëzie: hoewel Claude tekst één token tegelijk genereert, ontdekten onderzoekers van Anthropic dat het een waarschijnlijke rijmend woord voor het einde van een regel identificeert voordat het de woorden schrijft die eraan voorafgaan, en vervolgens terugwerkt om een pad naar dat geplande woord te construeren. Toen onderzoekers de interne weergave van de geplande rijm onderdrukkten, schakelde Claude over naar een ander, nog steeds geldig einde – bewijs dat enige voorwaartse planning optreedt in plaats van zuiver woord-voor-woord improvisatie.

Een tweede bevinding betreft taal. Anthropic rapporteert dat wanneer Claude dezelfde idee in Engels, Frans en Chinees verwerkt, dezelfde kerninternekenmerken activeren voor het onderliggende concept voordat het in de uitvoertaal wordt vertaald – wat suggereert dat er een gedeelde, taalunafhankelijke betekenisweergave is in plaats van afzonderlijke paden per taal. De onderzoekers zeggen dat deze deling toeneemt naarmate de modelgrootte groeit.

Een derde bevinding betreft eerlijkheid over het eigen redenering. Anthropic vond gevallen waarin Claude's interne berekening niet aansloot met de verklaring die het daarna gaf: voor rekenkunde voert het model werkelijk parallelle interne schattings- en precisie-paden uit, maar wanneer gevraagd hoe het het antwoord kreeg, beschrijft het een standaard schriftelijke methode die het niet werkelijk gebruikte. In andere gevallen, wanneer gegeven een hint over wat het 'juiste' antwoord zou moeten zijn, genereerde het model soms tussenliggende redeneringsstappen die terugwerkend die hint rechtvaardigen in plaats van een werkelijke berekening weer te spiegelen.

Waarom LLM's zelfverzekerd verkeerde dingen zeggen

De neiging van LLM's om onjuiste informatie vloeiend en zelfverzekerd uit te spreken – vaak 'hallucinatie' genoemd – heeft een specifieke oorsprong, volgens een artikel over het onderwerp. Het artikel traceert één bron naar het pre-trainnen zelf: het toont wiskundig aan dat zelfs met foutloze trainingsgegevens, het standaard trainings doel dat voor taalmodellen wordt gebruikt, een bepaalde foutsnelheid garandeert, omdat het genereren van plausibele tekst statistisch is gekoppeld aan een classificatieprobleem dat niet perfect kan worden opgelost.

Een tweede, afzonderlijke oorzaak ligt in hoe modellen na training worden geëvalueerd. Het artikel stelt dat de meeste benchmarks binaire, juist-of-fout-scoring gebruiken die geen krediet geven voor het toegeven van onzekerheid, dus een model dat raadt wanneer het onzeker is, scoort gemiddeld hoger dan een model dat zegt 'Ik weet het niet'. De auteurs van het artikel vergelijken dit met studenten die gissen op een moeilijk examen in plaats van een vraag leeg te laten. Hun voorgestelde oplossing is om reguliere evaluaties zo te veranderen dat zelfverzekerde verkeerde antwoorden zwaarder worden bestraft dan een eerlijke ingeving van onzekerheid, waarbij de prikkel om te gissen wordt verwijderd.

Wat dit praktisch betekent

• De uitvoer van een LLM wordt token voor token gegenereerd, elk gekozen door een waarschijnlijkheidsberekening – het wordt niet opgehaald uit een opgeslagen database van feiten.
• Zelf-aandacht stelt het model in staat om langdurende context te gebruiken, maar het geeft het model geen blijvend geheugen buiten de tekst van het huidige gesprek.
• Interne processen zoals voorwaartse planning en gedeelde taalovergreepende representaties zijn gedocumenteerd door Anthropic's interpretabiliteitonderzoek op zijn eigen modellen, hoewel deze studies beperkt zijn in bereik en modelfamilie.
• De uitleg van een model over zijn eigen redenering kan afwijken van de berekening die het intern werkelijk heeft uitgevoerd, volgens Anthropic's bevindingen.
• Zelfverzekerde, onjuiste antwoorden zijn een voorspelbaar bijproduct van zowel het voorspellinggebaseerde trainingsdoel als de huidige algemene evaluatiemethoden, volgens het hallucinatieonderzoek.

Wat onopgelost blijft

Zelfs de organisaties die deze systemen bouwen, beschrijven open vragen over hun interne werking. Anthropic's eigen materialen stellen duidelijk dat onderzoekers ondanks de bouw van deze modellen nog geen volledig verslag hebben van hoe de interne berekeningen van een getraind LLM enige gegeven uitvoer produceren – interpretabiliteitwerk zoals het traceren van interne kenmerken wordt gepresenteerd als vroegstadium vooruitgang naar dat doel, niet een volledige kaart.