Como Funciona a Geração de Imagens com IA: Modelos de Difusão Explicados

Vários geradores de imagem com IA que surgiram a partir de 2022 — incluindo DALL-E 2 da OpenAI, Midjourney e Stable Diffusion da Stability AI — são construídos em uma técnica chamada difusão. Em vez de desenhar uma imagem traço a traço, esses sistemas aprendem a reverter um processo matemático que destrói gradualmente uma imagem com ruído, e depois executam esse processo de trás para frente começando do ruído aleatório.

A ideia central: aprender a desfazer o ruído

Os modelos de difusão para geração de imagens foram formalizados em um artigo de 2020, 'Denoising Diffusion Probabilistic Models', de Jonathan Ho, Ajay Jain e Pieter Abbeel, postado no repositório de pesquisa arXiv. O método, descrito como inspirado por termodinâmica de não-equilíbrio, funciona em dois estágios. No estágio 'direto', usado apenas durante o treinamento, pequenas quantidades de ruído aleatório (gaussiano) são adicionadas a uma foto real em muitos passos até que a imagem se torne indistinguível do ruído. No estágio 'reverso', uma rede neural é treinada para prever e subtrair esse ruído, passo a passo, até que a imagem original seja recuperada.

Depois de treinada, a rede não precisa mais de uma foto real para começar. Ela pode começar com uma tela de ruído puramente aleatório e executar os mesmos passos de remoção de ruído que aprendeu durante o treinamento, produzindo uma imagem completamente nova que nunca existiu antes. O artigo de 2020 relatou que em um conjunto de dados chamado CIFAR-10 seu modelo alcançou pontuações sólidas de qualidade de imagem e, em imagens maiores de 256x256, igualou a qualidade de amostra do ProgressiveGAN, uma técnica gerativa anterior baseada em uma arquitetura diferente.

Onde a rede neural faz o trabalho: U-Net e orientação de texto

A rede que realiza a remoção de ruído é tipicamente uma U-Net, um tipo de arquitetura que reduz uma imagem para capturar a estrutura geral e depois a reconstrói para resolução completa. Na própria documentação técnica do Stable Diffusion no GitHub, o modelo é descrito como usando uma U-Net de 860 milhões de parâmetros para executar o processo de difusão, juntamente com um autocodificador separado que comprime imagens em uma representação matemática menor e descompacta o resultado de volta em uma imagem completa.

Para seguir um prompt escrito, o sistema precisa de uma forma de conectar palavras a pixels. Segundo a mesma documentação do Stable Diffusion, o modelo usa um codificador de texto CLIP ViT-L/14 congelado — um componente treinado separadamente para combinar texto e imagens — para transformar um prompt em uma representação numérica que orienta cada passo de remoção de ruído, de modo que a rede remove ruído de uma forma que direciona a imagem emergente para o que as palavras descrevem.

• Treinamento: imagens reais são progressivamente corrompidas com ruído aleatório em muitos passos até que apenas ruído permaneça.
• Aprendizado: uma rede neural U-Net é treinada para prever e remover o ruído adicionado em cada passo.
• Condicionamento de texto: um codificador de texto separado (como CLIP) transforma um prompt em um guia numérico para a rede de remoção de ruído.
• Geração: começando do ruído aleatório, a rede treinada remove o ruído passo a passo, orientada pelo texto, até que uma imagem apareça.
• Descodificação (apenas modelos de espaço latente): uma representação interna comprimida é convertida de volta em uma imagem de resolução completa.

Espaço de pixel versus espaço latente: por que Stable Diffusion funciona em um notebook

Nem todos os modelos de difusão funcionam da mesma forma internamente. De acordo com um relato de dezembro de 2022 da MIT Technology Review sobre o aumento da tecnologia, DALL-E 2 realiza seu processo de remoção de ruído diretamente em pixels de imagem de resolução completa, enquanto Stable Diffusion trabalha em uma representação comprimida e 'latente' da imagem dentro da rede neural — uma abordagem que, segundo a publicação, permitiu que Stable Diffusion funcionasse em computadores pessoais comuns em vez de exigir uma grande infraestrutura de servidores.

O repositório do GitHub para Stable Diffusion, mantido pelo grupo de pesquisa CompVis com Stability AI e Runway, afirma que a abordagem de difusão latente do modelo foi construída no artigo anterior do grupo, 'High-Resolution Image Synthesis with Latent Diffusion Models', apresentado na conferência de visão computacional CVPR 2022, e foi treinada em imagens do conjunto de dados LAION-5B.

Como os principais geradores de imagem baseados em difusão se comparam

A MIT Technology Review relatou que DALL-E 2 atingiu um milhão de usuários em aproximadamente dois meses e meio após seu lançamento em abril de 2022, e que o serviço DreamStudio do Stable Diffusion passou um milhão de usuários em menos da metade desse tempo após seu lançamento em agosto de 2022 — números que a publicação citou como evidência de quão rapidamente a abordagem de difusão atingiu uma audiência em massa naquele ano.

O que a pesquisa de 2020–2022 estabeleceu

O mecanismo subjacente — ruído adicionado durante o treinamento, ruído removido durante a geração, orientado por um codificador de texto — formou a base dos principais geradores de imagem que surgiram em 2022, conforme descrito no artigo de 2020 de Ho, Jain e Abbeel e nos relatórios e documentação de 2022 revisados aqui. Empresas individuais desde então adicionaram componentes adicionais, como U-Nets maiores, codificadores de texto maiores ou sistemas de reescrita de prompts, no topo desse mesmo framework de difusão.