Cómo funcionan realmente los chatbots de IA como ChatGPT y Claude, explicado

Cientos de millones de personas escriben preguntas en ChatGPT, Claude, Gemini o herramientas similares todos los días, pero el software detrás de ellas se describe a menudo como una misteriosa "caja negra". Según el Curso de Machine Learning de Google y un artículo explicativo del escritor científico Timothy B. Lee publicado en Understanding AI, el mecanismo central es más simple de describir de lo que parece: un modelo de lenguaje grande (LLM) es una red neuronal entrenada para predecir el siguiente pequeño fragmento de texto, llamado token, dado todo lo que vino antes.

De palabras a números: tokens e incrustaciones

Antes de que un LLM pueda procesar texto, divide un prompt en tokens — unidades que pueden ser una palabra completa, parte de una palabra, o un carácter individual, según la documentación de desarrolladores de Google. Cada token se convierte en un vector, una larga lista de números llamada incrustación, que se pretende que capture algo sobre el significado del token. El artículo explicativo de Understanding AI compara esto con coordenadas geográficas: palabras con significados similares terminan posicionadas cerca una de la otra en un vasto espacio numérico, como ciudades cercanas que comparten latitud y longitud similares.

Atención: cómo el modelo sigue el contexto

La arquitectura detrás de prácticamente todos los LLM modernos se llama Transformer. El Curso de crash de Google explica que un Transformer se basa en un mecanismo llamado auto-atención, que calcula cuánto cada token en un fragmento de texto debe influir en la interpretación de todos los demás tokens. Understanding AI lo ilustra con vectores de consulta y clave: cada palabra efectivamente construye una lista de verificación del tipo de otras palabras que está buscando, y la atención coincide esas listas de verificación en toda la oración para que el modelo pueda, por ejemplo, determinar a qué sustantivo se refiere un pronombre como "it".

Este paso es seguido por capas de alimentación directa que procesan la representación actualizada de cada palabra e impulsan el modelo hacia predecir qué token debería venir a continuación, según Understanding AI. Porque la atención permite que cada token mire directamente a todos los demás tokens sin importar la distancia, los Transformers manejan pasajes largos y complejos de manera más consistente que los modelos secuenciales que vinieron antes.

Entrenamiento: miles de millones de adivinanzas, sin etiquetas humanas requeridas

Los LLM se entrenan principalmente mediante aprendizaje no supervisado en predicción enmascarada o de siguiente token, lo que significa que el sistema no recibe respuestas "correctas" escritas a mano para la mayoría de su entrenamiento. En cambio, la documentación de Google describe un proceso en el cual los tokens en texto real se ocultan y el modelo tiene que adivinarlos; Understanding AI describe la misma idea en términos de predicción de siguiente palabra en enormes colecciones de texto raspadas de libros, sitios web y otras fuentes. Los parámetros dentro de la red — Understanding AI cita los 175 mil millones de GPT-3, entrenados en aproximadamente 500 mil millones de palabras — comienzan establecidos aleatoriamente y se ajustan gradualmente, predicción por predicción, hasta que las adivinanzas del modelo se alineen con texto real.

Convertir un modelo sin procesar en un asistente útil

Un modelo entrenado solo para predecir el siguiente token no es automáticamente un chatbot que siga instrucciones educadamente. El artículo técnico de Hugging Face sobre Aprendizaje por Refuerzo desde Retroalimentación Humana (RLHF) describe los pasos adicionales que empresas como OpenAI utilizan para convertir un modelo base en un asistente. Primero, el modelo preentrenado puede refinarse a través de ajuste fino supervisado en conversaciones de ejemplo. Segundo, revisores humanos clasifican múltiples respuestas del modelo al mismo prompt, y esas clasificaciones entrenan un modelo de recompensa separado que aprende a puntuar los resultados de la manera que lo haría una persona.

En la tercera etapa, el modelo original se ajusta utilizando aprendizaje por refuerzo — comúnmente Optimización de Política Proximal — para que produzca respuestas que el modelo de recompensa puntúe altamente, mientras que una penalización matemática lo mantiene alejado de desviarse tanto de su comportamiento original que comience a generar sin sentido puramente para manipular la puntuación de recompensa, según la descripción del método de Hugging Face.

Por qué los chatbots siguen inventando cosas

Un artículo publicado por investigadores de OpenAI, "Por qué los Modelos de Lenguaje Alucina", disponible en arXiv, argumenta que las respuestas fabricadas no son simplemente un error a reparar. El artículo atribuye las alucinaciones a dos causas vinculadas: un subproducto estadístico de cómo los modelos aprenden a predecir continuaciones que suenan plausibles durante el preentrenamiento, y la forma en que se evalúan los modelos posteriormente. La mayoría de puntos de referencia y tablas de clasificación puntúan una respuesta como correcta o incorrecta y tratan una admisión de incertidumbre — un "No sé" — como una respuesta incorrecta, según el artículo. Esta configuración recompensa las adivinanzas confiadas sobre la honestidad acerca de la incertidumbre, lo que impulsa a los modelos a seguir produciendo declaraciones fluidas y que suenen específicas incluso cuando carecen de una base confiable para ellas.

Lo que el modelo está realmente haciendo, en una oración

En conjunto, el proceso descrito en estas fuentes es este: un chatbot convierte un prompt en tokens, los convierte en incrustaciones numéricas, utiliza capas de auto-atención para sopesar cómo cada token se relaciona con todos los demás, y predice repetidamente el siguiente token más probable — un proceso moldeado, después del preentrenamiento, por retroalimentación humana diseñada para hacer que esas predicciones se parezcan a respuestas útiles que siguen instrucciones en lugar de texto crudo de internet.