Wie KI-Bildgenerierung funktioniert: Diffusionsmodelle erklärt

Mehrere KI-Bildgeneratoren, die ab 2022 entstanden sind – darunter OpenAIs DALL-E 2, Midjourney und Stability AIs Stable Diffusion – basieren auf einer Technik namens Diffusion. Anstatt ein Bild Strich für Strich zu zeichnen, lernen diese Systeme, einen mathematischen Prozess umzukehren, der ein Bild schrittweise mit Rauschen zerstört, und führen diesen Prozess dann rückwärts aus, beginnend mit zufälliger statischer Interferenz.

Die Kernidee: Lernen, Rauschen rückgängig zu machen

Diffusionsmodelle für die Bildgenerierung wurden in einem Papier von 2020 mit dem Titel "Denoising Diffusion Probabilistic Models" von Jonathan Ho, Ajay Jain und Pieter Abbeel formalisiert, das im Forschungsarchiv arXiv veröffentlicht wurde. Die Methode, die sich von der Nichtgleichgewichtsthermodynamik inspirieren lässt, funktioniert in zwei Phasen. In der "Forward"-Phase, die nur während des Trainings verwendet wird, werden in vielen Schritten kleine Mengen zufälligen (Gaußschen) Rauschens zu einem echten Foto hinzugefügt, bis das Bild nicht mehr von statischer Interferenz zu unterscheiden ist. In der "Reverse"-Phase wird ein neuronales Netzwerk trainiert, dieses Rauschen Schritt für Schritt vorherzusagen und abzuziehen, bis das ursprüngliche Bild wiederhergestellt ist.

Nach dem Training benötigt das Netzwerk kein echtes Foto mehr, um zu beginnen. Es kann mit einer Leinwand aus reinem Zufallsrauschen beginnen und die gleichen Entrauschungsschritte ausführen, die es während des Trainings gelernt hat, und dabei ein brandneues Bild erzeugen, das vorher nicht existierte. Das 2020-Papier berichtete, dass sein Modell auf einem Datensatz namens CIFAR-10 starke Bildqualitäts-Scores erreichte und bei größeren 256x256-Bildern die Stichprobenqualität von ProgressiveGAN, einer früheren generativen Technik mit einer anderen Architektur, erreichte.

Wo das neuronale Netzwerk arbeitet: U-Net und Textlenkung

Das Netzwerk, das die Entrauschung durchführt, ist typischerweise ein U-Net, ein Architekturtyp, der ein Bild verkleinert, um die Gesamtstruktur zu erfassen, und es dann auf volle Auflösung zurückbaut. In Stable Diffusions eigener technischer Dokumentation auf GitHub wird das Modell als Verwendung eines 860-Millionen-Parameter-U-Net beschrieben, um den Diffusionsprozess auszuführen, zusammen mit einem separaten Autoencoder, der Bilder in eine kleinere mathematische Darstellung komprimiert und das Ergebnis zurück in ein vollständiges Bild dekomprimiert.

Um einer schriftlichen Aufforderung zu folgen, benötigt das System eine Möglichkeit, Wörter mit Pixeln zu verbinden. Laut der gleichen Stable Diffusion-Dokumentation nutzt das Modell einen eingefrorenen CLIP ViT-L/14-Textencoder – eine Komponente, die separat trainiert wurde, um Text und Bilder abzugleichen – um eine Aufforderung in eine numerische Darstellung umzuwandeln, die jeden Entrauschungsschritt leitet, so dass das Netzwerk Rauschen auf eine Weise entfernt, die das entstehende Bild zu dem lenkt, was die Wörter beschreiben.

• Training: echte Bilder werden schrittweise mit zufälligem Rauschen über viele Schritte hinweg beschädigt, bis nur noch statische Interferenz übrig bleibt.
• Lernen: Ein U-Net-Netzwerk wird trainiert, das in jedem Schritt hinzugefügte Rauschen vorherzusagen und zu entfernen.
• Textkonditionalität: Ein separater Text-Encoder (wie CLIP) verwandelt eine Aufforderung in eine numerische Anleitung für das Entrauschungsnetzwerk.
• Generierung: Ausgehend von zufälligem Rauschen entfernt das trainierte Netzwerk Schritt für Schritt Rauschen, geleitet durch den Text, bis ein Bild erscheint.
• Dekodierung (nur latente Modelle): Eine komprimierte interne Darstellung wird wieder in ein Bild mit voller Auflösung konvertiert.

Pixelraum versus latenter Raum: Warum Stable Diffusion auf einem Laptop läuft

Nicht alle Diffusionsmodelle funktionieren intern auf die gleiche Weise. Laut einem Bericht der MIT Technology Review vom Dezember 2022 über den Aufstieg der Technologie führt DALL-E 2 seinen Entrauschungsprozess direkt auf vollauflösenden Bildpixeln durch, während Stable Diffusion stattdessen an einer komprimierten, "latenten" Darstellung des Bildes im neuronalen Netzwerk arbeitet – ein Ansatz, der laut dem Outlet es Stable Diffusion ermöglichte, auf gewöhnlichen Personalcomputern zu laufen, anstatt große Server-Infrastruktur zu benötigen.

Das GitHub-Repository für Stable Diffusion, das von der CompVis-Forschungsgruppe mit Stability AI und Runway verwaltet wird, besagt, dass der latente Diffusionsansatz des Modells auf dem früheren Papier der Gruppe "High-Resolution Image Synthesis with Latent Diffusion Models" basierte, das auf der CVPR 2022-Konferenz für Computervision vorgestellt wurde, und auf Bildern aus dem LAION-5B-Datensatz trainiert wurde.

Wie die großen diffusionsbasierten Bildgeneratoren sich vergleichen

Die MIT Technology Review berichtete, dass DALL-E 2 etwa zweieinhalb Monate nach seinem Start im April 2022 eine Million Nutzer erreichte, und dass der DreamStudio-Dienst von Stable Diffusion nach seiner Veröffentlichung im August 2022 in weniger als der Hälfte dieser Zeit eine Million Nutzer überschritt – Zahlen, die das Outlet als Beweis dafür anführte, wie schnell der Diffusionsansatz in diesem Jahr ein Massenpublikum erreichte.

Was die Forschung 2020–2022 etablierte

Der zugrunde liegende Mechanismus – während des Trainings hinzugefügtes Rauschen, während der Generierung entferntes Rauschen, geleitet durch einen Text-Encoder – bildete die Grundlage der großen Bildgeneratoren, die 2022 entstanden, wie im 2020-Papier von Ho, Jain und Abbeel und in der hier überprüften Berichterstattung und Dokumentation von 2022 beschrieben. Einzelne Unternehmen haben seitdem zusätzliche Komponenten wie größere U-Nets, größere Text-Encoder oder Prompt-Umschreib-Systeme auf diesem gleichen Diffusions-Framework aufgebaut.