Jak działa generowanie obrazów przez AI: wyjaśnienie modeli dyfuzji

Kilka generatorów obrazów AI, które pojawiły się od 2022 roku — w tym DALL-E 2 od OpenAI, Midjourney i Stable Diffusion od Stability AI — zbudowane są na technice zwanej dyfuzją. Zamiast rysować obraz rozumem po rozumie, te systemy uczą się odwracać proces matematyczny, który stopniowo niszczy obraz szumem, a następnie uruchamiają ten proces wstecz, zaczynając od losowego szumu statycznego.

Główna idea: nauka usuwania szumu

Modele dyfuzji do generowania obrazów zostały sformalizowane w artykule z 2020 roku "Denoising Diffusion Probabilistic Models" autorstwa Jonatana Ho, Ajaya Jaina i Pietera Abbeela, opublikowanym w repozytorium badań arXiv. Metoda, opisywana jako inspirowana termodynamiką nierównowagową, działa w dwóch etapach. Na etapie "przodu" używanym tylko podczas treningu do rzeczywistego zdjęcia dodaje się małe ilości losowego szumu (gaussowskiego) w wielu krokach, dopóki obraz nie stanie się nieodróżnialny od szumu statycznego. Na etapie "wstecznym" sieć neuronowa jest trenowana do przewidywania i odejmowania tego szumu krok po kroku, aż obraz oryginalny zostanie odtworzony.

Po wytrenowaniu sieć nie potrzebuje już rzeczywistego zdjęcia do rozpoczęcia. Może zacząć od płótna z czystym losowym szumem i uruchomić te same kroki usuwania szumu, które nauczyła się podczas treningu, tworząc zupełnie nowy obraz, który wcześniej nie istniał. W artykule z 2020 roku stwierdzono, że na zestawie danych CIFAR-10 jego model osiągnął wysokie wyniki jakości obrazu i na większych obrazach 256x256 dorównywał jakości próbek ProgressiveGAN, wcześniejszej techniki generacyjnej opartej na innej architekturze.

Gdzie działa sieć neuronowa: U-Net i wskazówki tekstowe

Sieć, która wykonuje usuwanie szumu, to zwykle U-Net, typ architektury, która zmniejsza obraz, aby przechwycić ogólną strukturę, a następnie odbudowuje go z powrotem do pełnej rozdzielczości. W własnej dokumentacji technicznej Stable Diffusion na GitHub model opisuje się jako wykorzystujący U-Net z 860 milionami parametrów do uruchamiania procesu dyfuzji, wraz z oddzielnym automatem, który kompresuje obrazy do mniejszej reprezentacji matematycznej i dekompresuje wynik z powrotem do pełnego obrazu.

Aby postępować zgodnie z napisanym poleceniem, system potrzebuje sposobu na połączenie słów z pikselami. Zgodnie z tą samą dokumentacją Stable Diffusion, model używa zamrożonego kodera tekstu CLIP ViT-L/14 — komponentu wytrenowanego osobno do dopasowywania tekstu i obrazów — aby zamienić polecenie na reprezentację numeryczną, która kieruje każdym krokiem usuwania szumu, dzięki czemu sieć usuwa szum w taki sposób, aby popchnąć pojawiający się obraz w kierunku tego, co opisują słowa.

• Trening: rzeczywiste obrazy są stopniowo uszkadzane losowym szumem przez wiele kroków, dopóki nie pozostanie tylko szum statyczny.
• Uczenie: sieć neuronowa U-Net jest trenowana do przewidywania i usuwania szumu dodanego na każdym etapie.
• Uwarunkowanie tekstowe: oddzielny koder tekstu (taki jak CLIP) zamienia polecenie w numeryczny przewodnik dla sieci usuwającej szum.
• Generowanie: zaczynając od losowego szumu, wytrenowana sieć usuwa szum krok po kroku, kierując się tekstem, aż pojawi się obraz.
• Dekodowanie (tylko dla modeli latentnych): skompresowana reprezentacja wewnętrzna jest konwertowana z powrotem na obraz o pełnej rozdzielczości.

Przestrzeń pikseli a przestrzeń latentna: dlaczego Stable Diffusion działa na laptopie

Nie wszystkie modele dyfuzji działają w taki sam sposób wewnętrznie. Zgodnie z artykułem MIT Technology Review z grudnia 2022 roku o rozwoju tej technologii, DALL-E 2 wykonuje swój proces usuwania szumu bezpośrednio na pikselach obrazu o pełnej rozdzielczości, podczas gdy Stable Diffusion zamiast tego działa na skompresowanej "latentnej" reprezentacji obrazu wewnątrz sieci neuronowej — podejście, które zdaniem wydawcy pozwoliło Stable Diffusion działać na zwykłych komputerach osobistych, zamiast wymagać dużej infrastruktury serwerowej.

Repozytorium GitHub dla Stable Diffusion, utrzymywane przez grupę badawczą CompVis ze Stability AI i Runway, stwierza, że latentne podejście dyfuzji modelu zostało zbudowane na wcześniejszym artykule grupy "High-Resolution Image Synthesis with Latent Diffusion Models", zaprezentowanym na konferencji CVPR 2022 poświęconej widzeniu komputerowemu, i został wytrenowany na obrazach z zestawu danych LAION-5B.

Jak porównują się główne generatory obrazów oparte na dyfuzji

MIT Technology Review doniosła, że DALL-E 2 osiągnęła milion użytkowników w ciągu około dwóch i pół miesiąca od premiary w kwietniu 2022 roku, a usługa DreamStudio firmy Stable Diffusion przekroczyła milion użytkowników w mniej niż połowę tego czasu po wydaniu w sierpniu 2022 roku — liczby, które wydawca przywołał jako dowód na to, jak szybko podejście dyfuzji osiągnęło masową publiczność w tym roku.

Co ustaliły badania z lat 2020–2022

Podstawowy mechanizm — szum dodawany podczas treningu, szum usuwany podczas generowania, kierowany przez koder tekstu — stanowił podstawę głównych generatorów obrazów, które pojawiły się w 2022 roku, jak opisano w artykule z 2020 roku autorów Ho, Jaina i Abbeela oraz w raportażach z 2022 roku i przeanalizowanej tutaj dokumentacji. Od tego czasu poszczególne firmy naniosły dodatkowe komponenty, takie jak większe U-Nety, większe kodery tekstu lub systemy przepisywania poleceń, na podstawę tej samej struktury dyfuzji.