Hoe generatieve AI werkt: tekst-, afbeeldings- en codegeneratie uitgelegd

Ondanks het beslaan van zeer verschillende outputs delen tekstgeneratoren, afbeeldingsgeneratoren en coderingassistenten een gemeenschappelijke basis: een neuraal netwerk getraind op grote hoeveelheden gegevens leert statistische patronen, en gebruikt deze patronen vervolgens om stuk voor stuk nieuwe inhoud op te bouwen in plaats van een opgeslagen antwoord op te halen.

Tekstgeneratie: voorspellen van het volgende token

Grote taalmodellen zoals die achter chatbots splitsen eerst tekst op in kleine eenheden die tokens worden genoemd, die hele woorden of onderdelen van woorden kunnen zijn, volgens IBMs technische uitlegger over transformermodellen, gepubliceerd op 28 maart 2025. Elk token wordt geconverteerd naar een numerieke vector, een embedding genoemd, die zijn betekenis vertegenwoordigt, en een tweede vector wordt toegevoegd om de positie van het token in de zin te coderen.

Het kernmechanisme is zelf-aandacht: voor elk token berekent het model hoe relevant elk ander token in de invoer is, met behulp van drie geleerde vectoren per token — een query, een sleutel en een waarde, volgens IBM. Dit stelt het model in staat om context van overal in de tekst tegelijk in te wegen, in plaats van woord voor woord te lezen zoals oudere architecturen deden. Decoder-only transformers, de architectuur achter modellen zoals GPT, genereren vervolgens tekst autoregressief — voorspellen één token tegelijk en voeren dat token opnieuw in om het volgende voor te spellen, legt IBM uit.

Onderzoek van Anthropic, gepubliceerd op hun site als 'Tracing the thoughts of a large language model', ontdekte dat dit volgende-token-proces meer planning kan inhouden dan het van buitenaf lijkt. In één experiment activeerde het Claude-model, bij het schrijven van een regel poëzie, interne kenmerken die corresponderen met een mogelijk rijmwoord voordat het de rest van de regel schreef, en paste het vervolgens zijn formulering aan om dat woord te bereiken. In een ander test beantwoordde het model een meertraps vraag — zoals het identificeren van de hoofdstad van de staat die Dallas bevat — door eerst een interne representatie voor 'Texas' te activeren en vervolgens apart 'Austin' op te halen, in plaats van rechtstreeks naar het antwoord te springen, aldus Anthropic.

Anthropic vond ook een kloof tussen de interne berekening van het model en de eigen beschrijving van die berekening: toen werd gevraagd hoe het een wiskundige berekening uitvoerde, beschreef Claude een standaardmethode, maar het interne proces dat Anthropic traceerde, gebruikte een ander, parallel approach, een grove schatting combineren met aparte tracking van het laatste cijfer.

Afbeeldingsgeneratie: ruis stap voor stap verwijderen

De meeste moderne tekst-naar-afbeeldings-tools, inclusief Googles Imagen, gebruiken diffusiemodellen, die in de tegenovergestelde richting werken van tekstgeneratie. Volgens Googles Imagen-onderzoekspagina begint het systeem met een bevroren groot taalmodel — T5-XXL — dat de tekstprompt omzet in een embedding, dezelfde soort numerieke representatie die wordt gebruikt in tekstmodellen. Googles onderzoekers merken op dat het vergroten van de grootte van deze tekstencoder de afbeeldingskwaliteit meer verbeterde dan het vergroten van het afbeeldingsgenererende gedeelte van het model.

Een diffusiemodel neemt vervolgens die tekstembedding en genereert een kleine afbeelding van 64x64 pixels. Het doet dit door te beginnen met willekeurige visuele ruis en een iteratief 'ruis-verwijder'-proces uit te voeren, waarbij het model herhaaldelijk een stukje ruis voorspelt en verwijdert, geleid door de tekstembedding, totdat een samenhangende afbeelding met lage resolutie overblijft, volgens Googles beschrijving. De afbeelding wordt vervolgens vergroot met behulp van twee verdere diffusiemodellen, eerst naar 256x256 pixels en vervolgens naar 1024x1024 pixels, een cascade die Google super-resolutie-diffusie noemt.

Om het model in staat te stellen de tekstprompt nauwer te volgen, stelt Googles onderzoekspagina dat Imagen 'een nieuwe drempel-diffusie-sampler' introduceert, gebruikt samen met een methode bekend als classifier-free guidance, die samen het gebruik van veel grotere begeleiding-gewichten mogelijk maken. Google meldde dat in menselijke evaluaties, beoordelaars Imagens output als vergelijkbaar met echte referentiefoto's voor het afstemmen op de tekstprompt beoordeelden, en het verkozen boven andere tekst-naar-afbeeldings-systemen, inclusief DALL-E 2, op een benchmark genaamd DrawBench die Google heeft gemaakt.

Codegeneratie: suggesties gebouwd uit context

AI-coderingassistenten zoals GitHub Copilot passen dezelfde transformer-gebaseerde, volgende-token-voorspellingsbenadering toe die voor algemene tekst wordt gebruikt, maar specifiek getraind op programmeringscode en aangepast aan de werkruimte van een ontwikkelaar. Volgens Githubs eigen documentatie werkt Copilot in twee belangrijkste modi: een 'assistieve' modus die code voorstelt, vragen beantwoordt of code uitlegt terwijl een ontwikkelaar typt, en een 'agentische' modus waarbij een ontwikkelaar een doel beschrijft en Copilot via meerdere stappen werkt — het repository onderzoekt, een plan voorstelt, bestanden bewerkt en tools uitvoert om een taak te voltooien.

Githubs documentatie stelt dat Copilots mogelijkheden ook uitstrekken tot aanpassingen, zoals repository-specifieke instructies en externe tool-integraties, en dat sommige functies asynchroon werken, waardoor een coderingagent wijzigingen kan aanbrengen en pull-verzoeken kan openen of bijwerken zonder voortdurend toezicht. GitHub geeft niet openbaar alle gebruikte modellen of de volledige technische details aan van hoe context wordt geselecteerd en aan het onderliggende model wordt doorgegeven, volgens de huidige documentatie.

Hoe de drie zich verhouden

Alle drie benaderingen zijn afhankelijk van trainingsgegevens: de interne patronen van het model komen voort uit de tekst, afbeeldingen of code waaraan het tijdens het training is blootgesteld, en de output is een nieuw gegenereerde reeks of afbeelding gevormd door deze geleerde patronen in plaats van een kopie van een enkel trainingsvoorbeeld.