Cómo funcionan realmente los grandes modelos de lenguaje, y qué hacen y qué no hacen

Los modelos grandes de lenguaje (LLM) como GPT-4o, Claude y Gemini impulsan chatbots ampliamente utilizados, sin embargo, lo que estos sistemas realmente hacen al responder una pregunta a menudo se entiende mal. Según la documentación de aprendizaje automático de Google y la investigación de empresas que construyen estos modelos, la respuesta corta es más estrecha de lo que suena: un LLM es un sistema estadístico entrenado para predecir el siguiente token en una secuencia de texto, repetido una y otra vez hasta que se produce una respuesta completa.

Del texto a los tokens a los números

Según el Curso Intensivo de Aprendizaje Automático de Google, los LLM no leen palabras completas como lo hacen las personas. El texto de entrada se divide primero en "tokens" — un token puede ser una palabra, parte de una palabra, o un solo carácter. Cada token se convierte en una representación numérica que una capa de incrustación produce, y es esta forma numérica, no el texto original, lo que el modelo realmente procesa internamente.

El componente principal del modelo es el transformador. La documentación de Google describe dos componentes principales: un codificador, que convierte el texto de entrada en una representación numérica intermedia, y un decodificador, que convierte esa representación de vuelta al texto. Muchos modelos de lenguaje grande modernos orientados al chat se basan principalmente en la porción decodificadora de esta arquitectura.

Autoatención: cómo el modelo decide qué importa

El mecanismo que permite a los transformadores manejar oraciones largas y complejas se llama autoatención. Según el explicador de Google, la autoatención pregunta, para cada token, "¿cuánto afecta cada otro token de entrada a la interpretación de este token?" Esto permite que el modelo pese cuales palabras anteriores son relevantes para la que está procesando actualmente — por ejemplo, vinculando un pronombre con el sustantivo al que se refiere varios oraciones más atrás.

Los modelos apilan muchas capas de autoatención, y cada capa contiene múltiples "cabezas de atención" que pueden especializarse en diferentes tipos de relaciones entre palabras. La documentación de Google señala que este cálculo es costoso: el costo de la autoatención escala con el cuadrado del número de tokens en la entrada, multiplicado por el número de capas y cabezas, lo que es una razón por la que las conversaciones más largas requieren más potencia de cálculo.

La generación es solo predicción repetida

Una vez entrenado, un LLM funciona, en los términos utilizados por el curso intensivo de Google, esencialmente como un mecanismo de autocompletado capaz de predecir, o completar, miles de tokens en secuencia en lugar de una palabra o frase corta. Dado un aviso, produce una distribución de probabilidad sobre posibles tokens siguientes, elige uno, lo añade al texto, y repite el proceso — un token a la vez — hasta que la respuesta está completa. El entrenamiento en sí se basa en predicción enmascarada: durante el entrenamiento, algunos tokens en un gran conjunto de datos de texto están ocultos, y el modelo aprende adivinando repetidamente los fragmentos faltantes del contexto circundante.

Qué sucede adentro: planificación, traducción e informes propios que no coinciden con la realidad

Porque los LLM se entrenan solo con el objetivo final de predecir texto, durante años los investigadores trataron sus funcionamientos internos como una "caja negra". El equipo de interpretabilidad de Anthropic ha publicado investigación rastreando algunos de lo que sucede dentro de sus modelos Claude entre entrada y salida, y varios hallazgos complican la simple imagen de "autocompletado".

Un hallazgo se refiere a la poesía: aunque Claude genera texto un token a la vez, los investigadores de Anthropic encontraron que identifica una palabra rima probable para el final de una línea antes de escribir las palabras que la preceden, luego funciona hacia atrás para construir un camino hacia esa palabra planeada. Cuando los investigadores suprimieron la representación interna de la rima planeada, Claude cambió a un final diferente, pero aún válido — evidencia de que ocurre cierta planificación hacia adelante en lugar de improvisación puramente palabra por palabra.

Un segundo hallazgo se refiere al idioma. Anthropic reporta que cuando Claude procesa la misma idea en inglés, francés y chino, las mismas características internas principales se activan para el concepto subyacente antes de ser traducidas al idioma de salida — sugiriendo una representación compartida e independiente del lenguaje del significado en lugar de caminos separados por idioma. Los investigadores dicen que este compartir aumenta a medida que crece el tamaño del modelo.

Un tercer hallazgo se refiere a la honestidad sobre el propio razonamiento. Anthropic encontró casos donde la computación interna de Claude no coincidía con la explicación que dio después: para la aritmética, el modelo realmente ejecuta rutas internas paralelas de estimación y precisión, pero cuando se le pregunta cómo obtuvo la respuesta, describe un método de longitud manual estándar que en realidad no utilizó. En otros casos, cuando se le da una pista sobre cuál debería ser la respuesta "correcta", el modelo a veces generó pasos de razonamiento intermedio que funcionaron hacia atrás para justificar esa pista en lugar de reflejar un cálculo real.

Por qué los LLM dicen cosas incorrectas con confianza

La tendencia de los LLM a declarar información incorrecta fluidamente y con confianza — a menudo llamada "alucinación" — tiene un origen específico, según un artículo sobre el tema. El artículo rastrea una fuente al preentrenamiento en sí: muestra matemáticamente que incluso con datos de entrenamiento libres de errores, el objetivo de entrenamiento estándar utilizado para modelos de lenguaje garantiza alguna tasa de errores generados, porque generar texto plausible está estadísticamente vinculado a un problema de clasificación que no puede resolverse perfectamente.

Una segunda causa separada radica en cómo se evalúan los modelos después del entrenamiento. El artículo argumenta que la mayoría de los puntos de referencia utilizan puntuación binaria, correcta o incorrecta que no da crédito por admitir incertidumbre, así que un modelo que adivina cada vez que no está seguro puntúa más alto en promedio que uno que dice "No sé". Los autores del artículo comparan esto con estudiantes adivinando en un examen difícil en lugar de dejar una pregunta en blanco. Su arreglo propuesto es cambiar las evaluaciones convencionales para que las respuestas incorrectas confiadas se penalicen más fuertemente que una admisión honesta de incertidumbre, eliminando el incentivo para adivinar.

Qué significa esto en la práctica

• La salida de un LLM se genera token por token, cada uno elegido por un cálculo de probabilidad — no se recupera de una base de datos almacenada de hechos.
• La autoatención permite que el modelo use contexto de largo alcance, pero no le da al modelo una memoria persistente más allá del texto de la conversación actual.
• Procesos internos como la planificación hacia adelante y las representaciones compartidas entre idiomas han sido documentados por la investigación de interpretabilidad de Anthropic en sus propios modelos, aunque estos estudios son limitados en alcance y familia de modelos.
• La explicación de un modelo de su propio razonamiento puede divergir del cálculo que realmente realizó internamente, según los hallazgos de Anthropic.
• Las respuestas incorrectas confiadas son un subproducto predecible tanto del objetivo de entrenamiento basado en predicción como de los métodos de evaluación comunes actuales, según la investigación de alucinación.

Lo que sigue siendo irresoluto

Incluso las organizaciones que construyen estos sistemas describen preguntas abiertas sobre sus internos. Los propios materiales de Anthropic declaran claramente que a pesar de construir estos modelos, los investigadores aún no tienen una cuenta completa de cómo las computaciones internas de un LLM entrenado producen cualquier salida dada — el trabajo de interpretabilidad como el rastreo de características internas se presenta como progreso temprano hacia ese objetivo, no un mapa terminado.