Come funziona la generazione di immagini AI: Spiegazione dei modelli di diffusione

Diversi generatori di immagini AI emersi dal 2022 in poi – inclusi DALL-E 2 di OpenAI, Midjourney e Stable Diffusion di Stability AI – si basano su una tecnica chiamata diffusione. Invece di disegnare un'immagine tratto per tratto, questi sistemi imparano a invertire un processo matematico che gradualmente distrugge un'immagine con il rumore, quindi eseguono quel processo al contrario partendo da statica casuale.

L'idea principale: imparare a eliminare il rumore

I modelli di diffusione per la generazione di immagini sono stati formalizzati in un articolo del 2020, "Denoising Diffusion Probabilistic Models", di Jonathan Ho, Ajay Jain e Pieter Abbeel, pubblicato nel repository di ricerca arXiv. Il metodo, descritto come ispirato dalla termodinamica di non-equilibrio, funziona in due fasi. Nella fase "forward", utilizzata solo durante l'allenamento, piccole quantità di rumore casuale (gaussiano) vengono aggiunte a una foto reale in molti passi fino a quando l'immagine non diventa indistinguibile dalla statica. Nella fase "reverse", una rete neurale viene allenata a prevedere e sottrarre quel rumore, passo dopo passo, fino a quando l'immagine originale viene recuperata.

Una volta allenato, la rete non ha più bisogno di una foto reale da cui iniziare. Può iniziare con una tela di rumore puramente casuale ed eseguire gli stessi passi di denoising che ha imparato durante l'allenamento, producendo un'immagine completamente nuova che non esisteva prima. L'articolo del 2020 ha riferito che su un dataset chiamato CIFAR-10 il suo modello ha raggiunto forti punteggi di qualità dell'immagine e, su immagini più grandi di 256x256, ha eguagliato la qualità del campione di ProgressiveGAN, una tecnica generativa precedente basata su un'architettura diversa.

Dove funziona la rete neurale: U-Net e guida del testo

La rete che esegue il denoising è tipicamente una U-Net, un tipo di architettura che riduce un'immagine per catturare la struttura complessiva e quindi la ricostruisce a piena risoluzione. Nella propria documentazione tecnica di Stable Diffusion su GitHub, il modello è descritto come l'utilizzo di una U-Net con 860 milioni di parametri per eseguire il processo di diffusione, insieme a un autoencoder separato che comprime le immagini in una rappresentazione matematica più piccola e decomprime il risultato in un'immagine completa.

Per seguire un prompt scritto, il sistema ha bisogno di un modo per collegare le parole ai pixel. Secondo la stessa documentazione di Stable Diffusion, il modello utilizza un encoder di testo CLIP ViT-L/14 congelato – un componente allenato separatamente per abbinare testo e immagini – per trasformare un prompt in una rappresentazione numerica che guida ogni passo di denoising, in modo che la rete rimuova il rumore in un modo che guida l'immagine emergente verso quello che le parole descrivono.

• Allenamento: le immagini reali vengono progressivamente corrotte con rumore casuale in molti passi fino a quando rimane solo la statica.
• Apprendimento: una rete neurale U-Net viene allenata per prevedere e rimuovere il rumore aggiunto ad ogni passo.
• Condizionamento del testo: un encoder di testo separato (come CLIP) trasforma un prompt in una guida numerica per la rete di denoising.
• Generazione: partendo dal rumore casuale, la rete allenata rimuove il rumore passo dopo passo, guidata dal testo, fino a quando non appare un'immagine.
• Decodifica (solo modelli latenti): una rappresentazione interna compressa viene riconvertita in un'immagine a risoluzione completa.

Spazio dei pixel rispetto a spazio latente: perché Stable Diffusion viene eseguito su un laptop

Non tutti i modelli di diffusione funzionano allo stesso modo internamente. Secondo un resoconto di MIT Technology Review di dicembre 2022 sull'ascesa della tecnologia, DALL-E 2 esegue il suo processo di rimozione del rumore direttamente sui pixel dell'immagine a risoluzione intera, mentre Stable Diffusion invece funziona su una rappresentazione "latente" compressa dell'immagine all'interno della rete neurale – un approccio che secondo l'outlet ha permesso a Stable Diffusion di funzionare su personal computer ordinari anziché richiedere grandi infrastrutture di server.

Il repository GitHub per Stable Diffusion, mantenuto dal gruppo di ricerca CompVis con Stability AI e Runway, afferma che l'approccio di diffusione latente del modello è stato costruito su un articolo precedente del gruppo, "High-Resolution Image Synthesis with Latent Diffusion Models", presentato alla conferenza di visione artificiale CVPR 2022, ed è stato allenato su immagini dal dataset LAION-5B.

Come si confrontano i principali generatori di immagini basati sulla diffusione

MIT Technology Review ha riferito che DALL-E 2 ha raggiunto un milione di utenti entro circa due mesi e mezzo dal lancio di aprile 2022, e che il servizio DreamStudio di Stable Diffusion ha superato un milione di utenti in meno della metà di quel tempo dopo il rilascio di agosto 2022 – cifre che l'outlet ha citato come prova di come rapidamente l'approccio della diffusione ha raggiunto un'audience di massa quell'anno.

Ciò che la ricerca 2020–2022 ha stabilito

Il meccanismo sottostante – rumore aggiunto durante l'allenamento, rumore rimosso durante la generazione, guidato da un encoder di testo – ha formato la base dei principali generatori di immagini emersi nel 2022, come descritto nell'articolo del 2020 di Ho, Jain e Abbeel e nella relazione del 2022 e nella documentazione esaminata qui. Le singole aziende hanno successivamente sovrapposto componenti aggiuntive, come U-Net più grandi, encoder di testo più grandi o sistemi di riscrittura dei prompt, sopra lo stesso framework di diffusione.