Comment fonctionne la génération d'images par IA : Les modèles de diffusion expliqués

Plusieurs générateurs d'images par IA qui ont émergé à partir de 2022 — notamment DALL-E 2 d'OpenAI, Midjourney et Stable Diffusion de Stability AI — sont construits sur une technique appelée diffusion. Plutôt que de dessiner une image coup par coup, ces systèmes apprennent à inverser un processus mathématique qui détruit progressivement une image avec du bruit, puis exécutent ce processus à l'envers en commençant par du bruit aléatoire.

L'idée centrale : apprendre à annuler le bruit

Les modèles de diffusion pour la génération d'images ont été formalisés dans un article de 2020, « Denoising Diffusion Probabilistic Models », de Jonathan Ho, Ajay Jain et Pieter Abbeel, publié sur le référentiel de recherche arXiv. La méthode, décrite comme inspirée par la thermodynamique hors d'équilibre, fonctionne en deux étapes. Dans l'étape « directe », utilisée uniquement pendant l'entraînement, de petites quantités de bruit aléatoire (gaussien) sont ajoutées à une vraie photo sur plusieurs étapes jusqu'à ce que l'image devienne indistinguible du bruit statique. Dans l'étape « inverse », un réseau de neurones est entraîné à prédire et soustraire ce bruit, étape par étape, jusqu'à ce que l'image originale soit récupérée.

Une fois entraîné, le réseau n'a plus besoin d'une vraie photo pour commencer. Il peut commencer avec un canevas de bruit pur aléatoire et exécuter les mêmes étapes de suppression de bruit qu'il a apprises pendant l'entraînement, produisant une toute nouvelle image qui n'a jamais existé auparavant. L'article de 2020 a rapporté que sur un ensemble de données appelé CIFAR-10, son modèle a atteint des scores solides de qualité d'image et, sur des images plus grandes de 256x256, a égalé la qualité d'échantillon du ProgressiveGAN, une technique générative antérieure basée sur une architecture différente.

Où le réseau de neurones fait le travail : U-Net et guidance textuelle

Le réseau qui effectue la suppression de bruit est généralement un U-Net, un type d'architecture qui réduit une image pour capturer la structure générale, puis la reconstruit à la résolution complète. Dans la propre documentation technique de Stable Diffusion sur GitHub, le modèle est décrit comme utilisant un U-Net de 860 millions de paramètres pour exécuter le processus de diffusion, ainsi qu'un autocodeur séparé qui compresse les images en une représentation mathématique plus petite et décompresse le résultat en une image complète.

Pour suivre un prompt écrit, le système a besoin d'un moyen de connecter les mots aux pixels. Selon la même documentation de Stable Diffusion, le modèle utilise un encodeur de texte CLIP ViT-L/14 gelé — un composant entraîné séparément pour faire correspondre le texte et les images — pour transformer un prompt en une représentation numérique qui guide chaque étape de suppression de bruit, de sorte que le réseau supprime le bruit d'une manière qui dirige l'image émergente vers ce que les mots décrivent.

• Entraînement : les vraies images sont progressivement corrompues avec du bruit aléatoire sur plusieurs étapes jusqu'à ce que seul du bruit statique reste.
• Apprentissage : un réseau de neurones U-Net est entraîné à prédire et supprimer le bruit ajouté à chaque étape.
• Guidance textuelle : un encodeur de texte séparé (comme CLIP) transforme un prompt en un guide numérique pour le réseau de suppression de bruit.
• Génération : en commençant par du bruit aléatoire, le réseau entraîné supprime le bruit étape par étape, guidé par le texte, jusqu'à ce qu'une image apparaisse.
• Décodage (modèles d'espace latent uniquement) : une représentation interne comprimée est convertie en une image en pleine résolution.

Espace de pixels par rapport à l'espace latent : pourquoi Stable Diffusion fonctionne sur un laptop

Les modèles de diffusion ne fonctionnent pas tous de la même manière en interne. Selon un article de MIT Technology Review de décembre 2022 sur la montée en puissance de la technologie, DALL-E 2 effectue son processus de suppression de bruit directement sur les pixels d'image en résolution complète, tandis que Stable Diffusion fonctionne plutôt sur une représentation comprimée « latente » de l'image à l'intérieur du réseau de neurones — une approche qui, selon la publication, a permis à Stable Diffusion de fonctionner sur des ordinateurs personnels ordinaires plutôt que de nécessiter une grande infrastructure de serveurs.

Le référentiel GitHub pour Stable Diffusion, maintenu par le groupe de recherche CompVis avec Stability AI et Runway, indique que l'approche de diffusion latente du modèle a été construite sur le précédent article du groupe, « High-Resolution Image Synthesis with Latent Diffusion Models », présenté à la conférence de vision par ordinateur CVPR 2022, et a été entraînée sur des images de l'ensemble de données LAION-5B.

Comment les principaux générateurs d'images basés sur la diffusion se comparent

MIT Technology Review a rapporté que DALL-E 2 a atteint un million d'utilisateurs en environ deux mois et demi après son lancement en avril 2022, et que le service DreamStudio de Stable Diffusion a atteint un million d'utilisateurs en moins de la moitié de ce temps après son lancement en août 2022 — des chiffres que la publication a cités comme preuve de la rapidité avec laquelle l'approche de diffusion a atteint un large public cette année-là.

Ce que la recherche 2020–2022 a établi

Le mécanisme sous-jacent — le bruit ajouté pendant l'entraînement, le bruit supprimé pendant la génération, guidé par un encodeur de texte — a formé la base des principaux générateurs d'images qui ont émergé en 2022, comme décrit dans l'article de 2020 de Ho, Jain et Abbeel et les rapports et documentation de 2022 examinés ici. Les entreprises individuelles ont depuis ajouté des composants supplémentaires, tels que des U-Nets plus grands, des encodeurs de texte plus volumineux ou des systèmes de reformulation de prompts, au-dessus de ce même cadre de diffusion.