Hoe AI-beeldgeneratie werkt: diffusiemodellen uitgelegd

Verschillende AI-beeldgeneratoren die vanaf 2022 zijn ontstaan – waaronder DALL-E 2 van OpenAI, Midjourney en Stable Diffusion van Stability AI – zijn gebaseerd op een techniek die diffusie wordt genoemd. In plaats van een afbeelding streek voor streek te tekenen, leren deze systemen een wiskundig proces om te keren dat een afbeelding geleidelijk met ruis vernietigt, en voeren dat proces vervolgens achteruit uit, beginnend met willekeurige statische ruis.

Het kernidee: leren ruis ongedaan te maken

Diffusiemodellen voor beeldgeneratie werden geformaliseerd in een artikel uit 2020, "Denoising Diffusion Probabilistic Models", door Jonathan Ho, Ajay Jain en Pieter Abbeel, geplaatst op de onderzoeksopslagplaats arXiv. De methode, beschreven als geïnspireerd door niet-evenwichtsthermodynamica, werkt in twee fasen. In de "forward"-fase, alleen gebruikt tijdens het trainen, worden kleine hoeveelheden willekeurige (Gaussische) ruis in vele stappen aan een echte foto toegevoegd totdat de afbeelding niet meer te onderscheiden is van statische ruis. In de "reverse"-fase wordt een neuraal netwerk getraind om deze ruis stap voor stap voorspellen en af te trekken, totdat de originele afbeelding is hersteld.

Eenmaal getraind, heeft het netwerk geen echte foto nodig om mee te beginnen. Het kan beginnen met een doek van pure willekeurige ruis en dezelfde denoising-stappen uitvoeren die het tijdens het trainen heeft geleerd, waardoor een gloednieuwe afbeelding ontstaat die niet eerder bestond. Het artikel uit 2020 meldde dat het model op een dataset genaamd CIFAR-10 sterke beeldkwaliteitsscores bereikte en bij grotere 256x256-afbeeldingen de steekproefkwaliteit van ProgressiveGAN, een eerdere generatieve techniek op basis van een ander architectuur, evenaarde.

Waar het neurale netwerk werkt: U-Net en tekstbegeleiding

Het netwerk dat de denoising uitvoert, is typisch een U-Net, een type architectuur dat een afbeelding verkleint om de algehele structuur vast te leggen en deze vervolgens terug opbouwt naar volledige resolutie. In Stable Diffusion's eigen technische documentatie op GitHub, wordt het model beschreven als gebruik van een U-Net met 860 miljoen parameters om het diffusieproces uit te voeren, samen met een aparte autoencoder die afbeeldingen comprimeert tot een kleinere wiskundige representatie en het resultaat terug decomprimeert naar een volledige afbeelding.

Om een geschreven prompt te volgen, heeft het systeem een manier nodig om woorden met pixels te verbinden. Volgens dezelfde Stable Diffusion-documentatie gebruikt het model een bevroren CLIP ViT-L/14-tekstencoder – een component die apart is getraind om tekst en afbeeldingen op elkaar af te stemmen – om een prompt om te zetten in een numerieke representatie die elke denoising-stap begeleidt, zodat het netwerk ruis op een manier verwijdert die de ontstane afbeelding naar wat de woorden beschrijven stuurt.

• Training: echte afbeeldingen worden progressief beschadigd met willekeurige ruis over veel stappen totdat alleen statische ruis overblijft.
• Leren: een U-Net neuraal netwerk wordt getraind om de in elke stap toegevoegde ruis voorspellen en te verwijderen.
• Tekstconditionering: een aparte tekstencoder (zoals CLIP) zet een prompt om in een numerieke gids voor het denoising-netwerk.
• Generatie: beginnend met willekeurige ruis, verwijdert het getrainde netwerk stap voor stap ruis, geleid door de tekst, totdat een afbeelding verschijnt.
• Decodering (alleen latente modellen): een gecomprimeerde interne representatie wordt terug omgezet naar een afbeelding met volledige resolutie.

Pixelruimte versus latente ruimte: waarom Stable Diffusion op een laptop werkt

Niet alle diffusiemodellen werken intern op dezelfde manier. Volgens een verslag van MIT Technology Review uit december 2022 over de opkomst van de technologie, voert DALL-E 2 zijn ruis-verwijderingsproces direct uit op volledige resolutie-afbeeldingspixels, terwijl Stable Diffusion in plaats daarvan werkt met een gecomprimeerde, "latente" representatie van de afbeelding binnen het neurale netwerk – een benadering waarmee, volgens het outlet, Stable Diffusion op gewone personal computers kon draaien in plaats van grote server-infrastructuur te vereisen.

De GitHub-repository voor Stable Diffusion, onderhouden door de CompVis-onderzoeksgroep met Stability AI en Runway, stelt dat de benadering met latente diffusie van het model was gebouwd op een eerder artikel van de groep, "High-Resolution Image Synthesis with Latent Diffusion Models", gepresenteerd op de CVPR 2022-conferentie voor computervisie, en werd getraind op afbeeldingen uit de LAION-5B-dataset.

Hoe de grote op diffusie gebaseerde beeldgeneratoren zich vergelijken

MIT Technology Review meldde dat DALL-E 2 ongeveer twee en een half maand na de lancering in april 2022 een miljoen gebruikers bereikte, en dat de DreamStudio-service van Stable Diffusion na de release in augustus 2022 in minder dan de helft van die tijd een miljoen gebruikers passeerde – cijfers die het outlet aanhaalde als bewijs van hoe snel de diffusiebenadering dat jaar een massaal publiek bereikt.

Wat het onderzoek van 2020–2022 vaststelde

Het onderliggende mechanisme – ruis die tijdens het trainen wordt toegevoegd, ruis die tijdens het genereren wordt verwijderd, geleid door een tekstencoder – vormde de basis van de grote beeldgeneratoren die in 2022 ontstonden, zoals beschreven in het artikel van 2020 van Ho, Jain en Abbeel en het verslag van 2022 en de hier besproken documentatie. Individuele bedrijven hebben sindsdien aanvullende componenten, zoals grotere U-Nets, grotere tekstencoders of prompt-herschrijfsystemen, bovenop hetzelfde diffusieraamwerk gelegd.