Este idioma es traducción automática y no ha sido revisado por un humano.

Inteligencia artificial · Artículo

Por qué los modelos de lenguaje de IA alucinezan: La investigación detrás de respuestas falsas

Publicado:

En resumen

Las "alucinaciones" de IA ocurren porque los modelos de lenguaje se entrenan para predecir la siguiente palabra plausible, no para verificar la verdad, y porque las pruebas utilizadas para calificarlos recompensan las conjeturas confiadas sobre admitir incertidumbre. Los investigadores de OpenAI argumentan que el problema es en parte una consecuencia matemática de cómo se entrenan los modelos y en parte un resultado de cómo la industria de la IA los califica.

Esta versión es una traducción automática del original (English). Leer el original

Una alucinación de IA es una declaración producida por un modelo de lenguaje que suena fluida y confiada pero es factualmente incorrecta — una cita fabricada, una fecha equivocada, una persona que no existe. En un artículo de investigación publicado en septiembre de 2025, los investigadores de OpenAI describen las alucinaciones en estos términos y afirman que, con los métodos actuales de entrenamiento y evaluación, el problema no se puede resolver completamente.

Cómo el proceso de entrenamiento crea errores

Según el artículo de OpenAI, publicado en arXiv, parte de la explicación se encuentra en cómo se preentrenan los modelos. Durante el preentrenamiento, un modelo aprende solo de texto fluido, sin etiquetas que marquen qué declaraciones son verdaderas o falsas. Se entrena con un objetivo estadístico (pérdida de entropía cruzada) que recompensa predecir palabras siguientes probables, no verificar hechos.

Los investigadores muestran que esto produce errores incluso en datos que ellos mismos no contienen equivocaciones. Para hechos que aparecen solo una vez en los datos de entrenamiento — los investigadores dan el ejemplo del cumpleaños de una persona — el análisis del artículo encuentra que la tasa de alucinación sobre esos hechos debe ser al menos tan alta como la proporción de tales hechos "singleton" en el conjunto de entrenamiento. En otras palabras, si un hecho se mencionó solo una vez, el modelo es matemáticamente propenso a equivocarse. El artículo llama a algunos errores inevitables incluso para modelos sin límites de poder computacional, porque ciertas tareas son lo que describe como computacionalmente intratables.

Por qué los sistemas de calificación recompensan la adivinanza

El segundo argumento del artículo se refiere a cómo se evalúan los modelos después del preentrenamiento. Compara un modelo de lenguaje con un estudiante enfrentándose a un examen de opción múltiple: una respuesta en blanco obtiene cero, por lo que adivinar es siempre la estrategia estadísticamente mejor cuando cada respuesta incorrecta cuesta lo mismo que dejar la pregunta sin responder. Los investigadores de OpenAI examinaron diez de los puntos de referencia de IA más utilizados — incluyendo GPQA, MMLU-Pro y SWE-bench — y encontraron que nueve de ellos usan calificación binaria que no otorga crédito para una respuesta como "No sé", la misma puntuación que una respuesta incorrecta.

Ese patrón de puntuación, argumenta el artículo, empuja a los modelos a seguir adivinando en lugar de admitir incertidumbre, porque las conjeturas confiadas califican mejor en promedio que la cobertura honesta. TechCrunch, informando sobre el artículo, describió esto como evaluaciones que crean los incentivos equivocados al recompensar las conjeturas correctas afortunadas de la misma manera que las respuestas genuinamente bien respaldadas.

Los modelos de razonamiento han alucinado más, no menos

La tendencia no se limita a modelos más antiguos. La tarjeta del sistema propia de OpenAI para sus modelos de razonamiento o3 y o4-mini, lanzados en abril de 2025 e informados por TechCrunch, encontraron que las tasas de alucinación aumentaron con sistemas de razonamiento más nuevos en el punto de referencia PersonQA interno de la empresa, que prueba preguntas factuales sobre personas.

Tasas de alucinación de OpenAI en el punto de referencia PersonQA
ModeloTasa de alucinación
o116%
o3-mini14.8%
o333%
o4-mini48%

OpenAI dijo que se necesita más investigación para entender por qué aumentan las alucinaciones a medida que los modelos de razonamiento se expanden, señalando que estos modelos hacen más afirmaciones en general, lo que produce tanto más declaraciones correctas como más incorrectas. Neil Chowdhury, un investigador del grupo de investigación de IA Transluce citado por TechCrunch, ofreció una hipótesis: el tipo de aprendizaje por refuerzo utilizado para entrenar modelos de razonamiento de la serie o puede amplificar problemas que las técnicas de entrenamiento estándar normalmente mitigan.

Lo que OpenAI propone para solucionarlo

El artículo de septiembre de 2025 propone cambiar cómo se califican los puntos de referencia en lugar de agregar pruebas de alucinación separadas. Su solución sugerida es construir umbrales de confianza explícitos en las instrucciones de calificación — por ejemplo, decirle a un modelo que responda una pregunta solo si tiene más del 75% de confianza, con errores costando más puntos que una abstención. En teoría, esto hace que abstenerse sea la opción matemáticamente mejor cuando un modelo no está seguro, en lugar de la peor, como sucede en los sistemas de puntuación actuales.

Como estudiantes enfrentándose a preguntas difíciles en exámenes, los grandes modelos de lenguaje a veces adivinan cuando no están seguros, produciendo declaraciones plausibles pero incorrectas en lugar de admitir incertidumbre.

— Artículo de investigación de OpenAI, septiembre de 2025

El artículo es explícito en que este enfoque reduciría, no eliminaría, las alucinaciones. Porque algunos errores surgen de hechos estadísticamente raros o de tareas que los investigadores describen como computacionalmente intratables, los autores concluyen que un modelo de lenguaje con cero alucinaciones no es alcanzable con los métodos actuales.

Preguntas

¿Qué exactamente es una alucinación de IA?
Es una declaración generada por un modelo de lenguaje que suena fluida y confiada pero es factualmente falsa — por ejemplo, una cita fabricada, una fecha incorrecta, o una persona que no existe. La investigación de OpenAI describe las alucinaciones en estos términos.
¿Se pueden eliminar completamente las alucinaciones de IA?
Según el artículo de investigación de OpenAI de septiembre de 2025, no. Los autores describen algunas alucinaciones como una consecuencia matemáticamente inevitable de cómo se entrenan y evalúan los modelos, lo que significa que la tasa puede reducirse pero no llevarse a cero con los métodos actuales.
¿Por qué los modelos de razonamiento de IA más nuevos a veces alucinan más que los más antiguos?
La tarjeta del sistema propia de OpenAI para sus modelos de razonamiento o3 y o4-mini encontró tasas de alucinación más altas (33% y 48%) en su punto de referencia PersonQA que modelos más antiguos como o1 (16%), y la empresa dijo en abril de 2025 que se necesita más investigación para explicar el aumento.
¿Por qué las pruebas de puntos de referencia animan a los modelos de IA a adivinar en lugar de decir "No sé"?
OpenAI encontró que nueve de cada diez puntos de referencia principales de IA que examinó usan calificación binaria que no otorga crédito tanto para una respuesta incorrecta como para un honesto "No sé", lo que estadísticamente recompensa adivinar sobre admitir incertidumbre.
¿Qué propone OpenAI como solución para las alucinaciones?
Sus investigadores proponen construir umbrales de confianza explícitos en cómo se califican los puntos de referencia, como solo recompensar respuestas dadas con alta confianza declarada y penalizar más las conjeturas incorrectas que las abstenciones, para que admitir incertidumbre se convierta en la mejor estrategia de puntuación.

Fuentes

  1. arXiv — "Why Language Models Hallucinate" (OpenAI research paper, 2509.04664)
  2. TechCrunch — "Are bad incentives to blame for AI hallucinations?"
  3. TechCrunch — "OpenAI's new reasoning AI models hallucinate more"
  4. Computerworld — "OpenAI admits AI hallucinations are mathematically inevitable, not just engineering flaws"

Este texto se preparó con inteligencia artificial y pasó una verificación automática de fuentes antes de publicarse. Si ves un error, pide una corrección. Pedir una corrección o réplica · Cómo lo hacemos

Relacionados