Cómo funciona la generación de imágenes con IA: Modelos de difusión explicados

Varios generadores de imágenes de IA que emergieron a partir de 2022 — incluyendo DALL-E 2 de OpenAI, Midjourney y Stable Diffusion de Stability AI — se construyen sobre una técnica llamada difusión. En lugar de dibujar una imagen trazo a trazo, estos sistemas aprenden a invertir un proceso matemático que destruye gradualmente una imagen con ruido, y luego ejecutan ese proceso hacia atrás comenzando desde ruido aleatorio.

La idea central: aprender a deshacer el ruido

Los modelos de difusión para generación de imágenes se formalizaron en un artículo de 2020, 'Denoising Diffusion Probabilistic Models', de Jonathan Ho, Ajay Jain y Pieter Abbeel, publicado en el repositorio de investigación arXiv. El método, descrito como inspirado en la termodinámica de no equilibrio, funciona en dos etapas. En la etapa 'directa', utilizada solo durante el entrenamiento, se añaden pequeñas cantidades de ruido aleatorio (gaussiano) a una foto real en muchos pasos hasta que la imagen se vuelve indistinguible del ruido. En la etapa 'inversa', se entrena una red neuronal para predecir y restar ese ruido, paso a paso, hasta que se recupera la imagen original.

Una vez entrenada, la red ya no necesita una foto real para comenzar. Puede comenzar con un lienzo de ruido completamente aleatorio y ejecutar los mismos pasos de desruidización que aprendió durante el entrenamiento, produciendo una imagen completamente nueva que no existía antes. El artículo de 2020 informó que en un conjunto de datos llamado CIFAR-10 su modelo alcanzó puntuaciones sólidas de calidad de imagen y, en imágenes más grandes de 256x256, igualó la calidad de muestra de ProgressiveGAN, una técnica generativa anterior basada en una arquitectura diferente.

Dónde la red neuronal realiza el trabajo: U-Net y orientación de texto

La red que realiza la desruidización es típicamente una U-Net, un tipo de arquitectura que reduce una imagen para capturar la estructura general y luego la reconstruye a resolución completa. En la documentación técnica de Stable Diffusion en GitHub, el modelo se describe como utilizando una U-Net de 860 millones de parámetros para ejecutar el proceso de difusión, junto con un autocodificador separado que comprime imágenes en una representación matemática más pequeña y descomprime el resultado nuevamente en una imagen completa.

Para seguir un prompt escrito, el sistema necesita una manera de conectar palabras con píxeles. Según la misma documentación de Stable Diffusion, el modelo utiliza un codificador de texto CLIP ViT-L/14 congelado — un componente entrenado por separado para hacer coincidir texto e imágenes — para convertir un prompt en una representación numérica que guía cada paso de desruidización, de modo que la red elimina el ruido de una manera que dirige la imagen emergente hacia lo que describen las palabras.

• Entrenamiento: las imágenes reales se corrompen progresivamente con ruido aleatorio en muchos pasos hasta que solo queda ruido.
• Aprendizaje: una red neuronal U-Net se entrena para predecir y eliminar el ruido añadido en cada paso.
• Condicionamiento de texto: un codificador de texto separado (como CLIP) convierte un prompt en una guía numérica para la red de desruidización.
• Generación: comenzando desde ruido aleatorio, la red entrenada elimina el ruido paso a paso, guiada por el texto, hasta que aparece una imagen.
• Descodificación (solo modelos de espacio latente): una representación interna comprimida se convierte en una imagen de resolución completa.

Espacio de píxeles versus espacio latente: por qué Stable Diffusion se ejecuta en una laptop

No todos los modelos de difusión funcionan de la misma manera internamente. Según una cuenta de MIT Technology Review de diciembre de 2022 sobre el auge de la tecnología, DALL-E 2 realiza su proceso de eliminación de ruido directamente en píxeles de imagen de resolución completa, mientras que Stable Diffusion en cambio funciona en una representación comprimida y 'latente' de la imagen dentro de la red neuronal — un enfoque que, según la publicación, permitió que Stable Diffusion se ejecutara en computadoras personales ordinarias en lugar de requerir una gran infraestructura de servidores.

El repositorio de GitHub para Stable Diffusion, mantenido por el grupo de investigación CompVis con Stability AI y Runway, establece que el enfoque de difusión latente del modelo se construyó sobre el artículo anterior del grupo, 'High-Resolution Image Synthesis with Latent Diffusion Models', presentado en la conferencia de visión por computadora CVPR 2022, y fue entrenado en imágenes del conjunto de datos LAION-5B.

Cómo se comparan los principales generadores de imágenes basados en difusión

MIT Technology Review reportó que DALL-E 2 alcanzó un millón de usuarios en aproximadamente dos meses y medio después de su lanzamiento en abril de 2022, y que el servicio DreamStudio de Stable Diffusion pasó un millón de usuarios en menos de la mitad de ese tiempo después de su lanzamiento en agosto de 2022 — cifras que la publicación citó como evidencia de lo rápidamente que el enfoque de difusión alcanzó a una audiencia masiva ese año.

Lo que la investigación 2020–2022 estableció

El mecanismo subyacente — ruido añadido durante el entrenamiento, ruido eliminado durante la generación, guiado por un codificador de texto — formó la base de los principales generadores de imágenes que emergieron en 2022, como se describe en el artículo de 2020 de Ho, Jain y Abbeel y los reportajes y documentación de 2022 revisados aquí. Las empresas individuales desde entonces han apilado componentes adicionales, como U-Nets más grandes, codificadores de texto más grandes o sistemas de reescritura de prompts, sobre este mismo marco de difusión.