Cómo funciona la IA generativa: Generación de texto, imagen y código explicado

A pesar de cubrir salidas muy diferentes, los generadores de texto, los generadores de imágenes y los asistentes de codificación comparten una base común: una red neuronal entrenada con grandes cantidades de datos aprende patrones estadísticos y luego utiliza esos patrones para construir contenido nuevo pieza por pieza en lugar de recuperar una respuesta almacenada.

Generación de texto: predecir el siguiente token

Los grandes modelos de lenguaje como los detrás de chatbots dividen primero el texto en unidades pequeñas llamadas tokens, que pueden ser palabras completas o partes de palabras, según el explicador técnico de IBM sobre modelos transformadores publicado el 28 de marzo de 2025. Cada token se convierte en un vector numérico, llamado embedding, que representa su significado, y se añade un segundo vector para codificar la posición del token en la oración.

El mecanismo central es la auto-atención: para cada token, el modelo calcula la relevancia de todos los demás tokens en la entrada, utilizando tres vectores aprendidos por token — una consulta, una clave y un valor, según IBM. Esto permite que el modelo pondere el contexto de cualquier parte del texto a la vez, en lugar de leer palabra por palabra como hacían las arquitecturas más antiguas. Los transformadores solo con decodificador, la arquitectura detrás de modelos como GPT, luego generan texto de forma autorregresiva — prediciendo un token a la vez e insertando ese token nuevamente para predecir el siguiente, según explica IBM.

La investigación de Anthropic, publicada en su sitio como 'Trazando los pensamientos de un modelo de lenguaje grande', encontró que este proceso de siguiente token puede implicar más planificación de lo que aparenta desde el exterior. En un experimento, cuando su modelo Claude estaba escribiendo una línea de poesía, activó características internas correspondientes a una posible palabra que rima antes de escribir el resto de la línea, y luego ajustó su redacción para alcanzar esa palabra. En otra prueba, el modelo respondió una pregunta de múltiples pasos — como identificar la capital del estado que contiene Dallas — activando primero una representación interna para 'Texas' y luego recuperando 'Austin' por separado, en lugar de saltar directamente a la respuesta, según reportó Anthropic.

Anthropic también encontró una brecha entre la computación interna del modelo y su propia descripción de esa computación: cuando se le preguntó cómo realizó un cálculo matemático, Claude describió un método estándar, pero el proceso interno que Anthropic trazó utilizó un enfoque diferente y paralelo, combinando una estimación aproximada con un seguimiento separado del dígito final.

Generación de imágenes: eliminando ruido paso a paso

La mayoría de las herramientas modernas de texto a imagen, incluida Imagen de Google, utilizan modelos de difusión, que funcionan en la dirección opuesta a la generación de texto. Según la página de investigación Imagen de Google, el sistema comienza con un modelo de lenguaje grande congelado — T5-XXL — que convierte la indicación de texto en un embedding, el mismo tipo de representación numérica utilizada en modelos de texto. Los investigadores de Google señalan que aumentar el tamaño de este codificador de texto mejoró la calidad de la imagen más que aumentar el tamaño de la parte generadora de imágenes del modelo.

Un modelo de difusión luego toma ese embedding de texto y genera una pequeña imagen de 64x64 píxeles. Lo hace comenzando con ruido visual aleatorio y ejecutando un proceso iterativo de 'desruido', donde el modelo predice y elimina repetidamente un poco de ruido, guiado por el embedding de texto, hasta que permanece una imagen coherente de baja resolución, según la descripción de Google. La imagen se amplía luego usando dos modelos de difusión adicionales, primero a 256x256 píxeles y luego a 1024x1024 píxeles, una cascada que Google llama difusión de superresolución.

Para permitir que el modelo siga más de cerca la indicación de texto, la página de investigación de Google dice que Imagen introduce 'un nuevo muestreador de difusión con umbral', utilizado junto con un método conocido como guía sin clasificador, que juntos permiten el uso de pesos de guía mucho más grandes. Google reportó que en evaluaciones humanas, los evaluadores juzgaron que la salida de Imagen era comparable a fotos de referencia reales para coincidir con la indicación de texto, y la prefirieron sobre otros sistemas de texto a imagen, incluido DALL-E 2, en un punto de referencia que Google creó llamado DrawBench.

Generación de código: sugerencias construidas a partir del contexto

Los asistentes de codificación de IA como GitHub Copilot aplican el mismo enfoque de predicción del siguiente token basado en transformadores utilizado para texto general, pero entrenados específicamente en código de programación y adaptados al espacio de trabajo de un desarrollador. Según la propia documentación de GitHub, Copilot opera en dos modos principales: un modo 'asistente' que sugiere código, responde preguntas o explica código mientras un desarrollador escribe, y un modo 'agente' donde un desarrollador describe un objetivo y Copilot trabaja a través de múltiples pasos — investigando el repositorio, proponiendo un plan, editando archivos y ejecutando herramientas para completar una tarea.

La documentación de GitHub establece que las capacidades de Copilot también se extienden a personalizaciones, como instrucciones específicas del repositorio e integraciones de herramientas externas, y que algunas características funcionan de manera asincrónica, permitiendo que un agente de codificación realice cambios y abra o actualice solicitudes de extracción sin supervisión constante. GitHub no especifica públicamente cada modelo utilizado o los detalles técnicos completos de cómo se selecciona el contexto y se pasa al modelo subyacente, según su documentación actual.

Cómo se comparan los tres

Los tres enfoques dependen de datos de entrenamiento: los patrones internos del modelo provienen del texto, imágenes o código al que fue expuesto durante el entrenamiento, y su salida es una secuencia o imagen recién generada moldeada por esos patrones aprendidos en lugar de una copia de ningún ejemplo de entrenamiento único.