Por que os modelos de linguagem de IA alucinam: A pesquisa por trás de respostas falsas

Uma alucinação de IA é uma declaração produzida por um modelo de linguagem que parece fluida e confiante, mas é factualmente incorreta — uma citação fabricada, uma data errada, uma pessoa que não existe. Em um artigo de pesquisa publicado em setembro de 2025, os pesquisadores da OpenAI descrevem alucinações nesses termos e afirmam que, com os métodos atuais de treinamento e avaliação, o problema não pode ser completamente resolvido.

Como o processo de treinamento cria erros

De acordo com o artigo da OpenAI, postado no arXiv, parte da explicação está em como os modelos são pré-treinados. Durante o pré-treinamento, um modelo aprende apenas a partir de texto fluido, sem rótulos marcando quais afirmações são verdadeiras ou falsas. É treinado com um objetivo estatístico (perda de entropia cruzada) que recompensa prever as próximas palavras prováveis, não verificar fatos.

Os pesquisadores mostram que isso produz erros mesmo em dados que não contêm erros. Para fatos que aparecem apenas uma vez nos dados de treinamento — os pesquisadores dão o exemplo do aniversário de uma pessoa — a análise do artigo conclui que a taxa de alucinação nesses fatos deve ser pelo menos tão alta quanto a proporção de tais fatos "singleton" no conjunto de treinamento. Em outras palavras, se um fato foi mencionado apenas uma vez, o modelo é matematicamente propenso a cometê-lo. O artigo chama alguns erros de inevitáveis mesmo para modelos sem limites de potência computacional, porque certas tarefas são o que descreve como intratáveis computacionalmente.

Por que os sistemas de classificação recompensam adivinhas

O segundo argumento do artigo diz respeito a como os modelos são avaliados após o pré-treinamento. Ele compara um modelo de linguagem a um aluno enfrentando um exame de múltipla escolha: uma resposta em branco marca zero, então adivinhar é sempre a estratégia estatisticamente melhor quando toda resposta errada custa o mesmo que deixar a pergunta sem responder. Os pesquisadores da OpenAI examinaram dez dos pontos de referência de IA mais usados — incluindo GPQA, MMLU-Pro e SWE-bench — e descobriram que nove deles usam classificação binária que não dá crédito para uma resposta como "Não sei", a mesma pontuação que uma resposta errada.

Esse padrão de pontuação, argumenta o artigo, impulsiona os modelos a continuarem adivinhando em vez de admitir incerteza, porque adivinhas confiantes marcam melhor em média do que concessões honestas. TechCrunch, reportando sobre o artigo, descreveu isso como avaliações que criam os incentivos errados recompensando suposições corretas de sorte da mesma forma que respostas genuinamente bem apoiadas.

Modelos de raciocínio alucinaram mais, não menos

A tendência não se limita a modelos mais antigos. O cartão do sistema próprio da OpenAI para seus modelos de raciocínio o3 e o4-mini, lançados em abril de 2025 e reportados pelo TechCrunch, descobriram que as taxas de alucinação aumentaram com sistemas de raciocínio mais novos no referencial PersonQA interno da empresa, que testa perguntas factuais sobre pessoas.

A OpenAI disse que mais pesquisas são necessárias para entender por que as alucinações aumentam conforme os modelos de raciocínio aumentam de escala, observando que esses modelos fazem mais afirmações em geral, o que produz tanto mais declarações corretas quanto mais incorretas. Neil Chowdhury, um pesquisador do grupo de pesquisa de IA Transluce citado pelo TechCrunch, ofereceu uma hipótese: o tipo de aprendizado por reforço usado para treinar modelos de raciocínio da série o pode amplificar problemas que as técnicas de treinamento padrão normalmente mitigam.

O que a OpenAI propõe para corrigi-lo

O artigo de setembro de 2025 propõe alterar como os referenciais são pontuados em vez de adicionar testes de alucinação separados. Sua correção sugerida é construir limites de confiança explícitos nas instruções de classificação — por exemplo, dizendo a um modelo para responder uma pergunta apenas se estiver mais de 75% confiante, com erros custando mais pontos que uma abstenção. Em teoria, isso torna a abstenção a escolha matematicamente melhor quando um modelo está incerto, em vez de pior, como acontece nos sistemas de pontuação atuais.

O artigo é explícito em que essa abordagem reduziria, não eliminaria, alucinações. Como alguns erros surgem de fatos estatisticamente raros ou de tarefas que os pesquisadores descrevem como intratáveis computacionalmente, os autores concluem que um modelo de linguagem com zero alucinações não é alcançável com os métodos atuais.