Como os chatbots de IA como ChatGPT e Claude realmente funcionam, explicado

Centenas de milhões de pessoas digitam perguntas em ChatGPT, Claude, Gemini ou ferramentas similares todos os dias, mas o software por trás delas geralmente é descrito como uma misteriosa "caixa preta". De acordo com o Curso de Machine Learning do Google e um artigo explicativo do escritor científico Timothy B. Lee publicado em Understanding AI, o mecanismo central é mais simples de descrever do que parece: um modelo de linguagem grande (LLM) é uma rede neural treinada para prever o próximo pequeno fragmento de texto, chamado token, dado tudo o que veio antes.

De palavras a números: tokens e incorporações

Antes que um LLM possa processar texto, ele divide um prompt em tokens — unidades que podem ser uma palavra completa, parte de uma palavra ou um único caractere, de acordo com a documentação de desenvolvedores do Google. Cada token é convertido em um vetor, uma longa lista de números chamada incorporação, que se destina a capturar algo sobre o significado do token. O artigo explicativo do Understanding AI compara isso com coordenadas geográficas: palavras com significados similares acabam posicionadas próximas uma da outra em um vasto espaço numérico, da mesma forma que cidades próximas compartilham latitude e longitude semelhantes.

Atenção: como o modelo rastreia o contexto

A arquitetura por trás de praticamente todos os LLMs modernos é chamada Transformer. O curso de crash do Google explica que um Transformer depende de um mecanismo chamado auto-atenção, que calcula quanto cada token em um pedaço de texto deve influenciar a interpretação de todos os outros tokens. O Understanding AI ilustra isso com vetores de consulta e chave: cada palavra efetivamente constrói uma lista de verificação do tipo de outras palavras que está procurando, e a atenção faz correspondência dessas listas de verificação em toda a sentença para que o modelo possa, por exemplo, determinar a qual substantivo um pronome como "it" se refere.

Este passo é seguido por camadas feed-forward que processam a representação atualizada de cada palavra e empurram o modelo para prever qual token deve vir a seguir, de acordo com o Understanding AI. Como a atenção permite que cada token olhe diretamente para todos os outros tokens independentemente da distância, os Transformers lidam com passagens longas e complexas de forma mais consistente do que os modelos sequenciais que vieram antes deles.

Treinamento: bilhões de palpites, sem rótulos humanos necessários

Os LLMs são treinados principalmente por meio de aprendizado não supervisionado em previsão mascarada ou próximo token, o que significa que o sistema não recebe respostas "corretas" escritas à mão para a maioria de seu treinamento. Em vez disso, a documentação do Google descreve um processo em que tokens em texto real são ocultados e o modelo tem que adivinhar; o Understanding AI descreve a mesma ideia em termos de previsão de próxima palavra em enormes coleções de texto coletadas de livros, sites e outras fontes. Os parâmetros dentro da rede — o Understanding AI cita 175 bilhões do GPT-3, treinados em aproximadamente 500 bilhões de palavras — começam definidos aleatoriamente e são gradualmente ajustados, previsão por previsão, até que os palpites do modelo se alinhem com texto real.

Transformar um modelo bruto em um assistente útil

Um modelo treinado apenas para prever o próximo token não é automaticamente um chatbot que segue instruções educadamente. O artigo técnico da Hugging Face sobre Aprendizagem por Reforço a partir de Feedback Humano (RLHF) descreve as etapas adicionais que empresas como OpenAI usam para converter um modelo base em um assistente. Primeiro, o modelo pré-treinado pode ser refinado por meio de ajuste fino supervisionado em conversas de exemplo. Segundo, revisores humanos classificam múltiplas respostas do modelo para o mesmo prompt, e essas classificações treinam um modelo de recompensa separado que aprende a pontuar saídas da maneira como uma pessoa faria.

No terceiro estágio, o modelo original é ajustado usando aprendizagem por reforço — comumente Otimização de Política Proximal — para que produza respostas que o modelo de recompensa pontue altamente, enquanto uma penalidade matemática o mantém longe de se desviar tanto de seu comportamento original que comece a gerar absurdos puramente para enganar a pontuação de recompensa, de acordo com a descrição do método da Hugging Face.

Por que os chatbots ainda inventam coisas

Um artigo lançado por pesquisadores do OpenAI, "Por que Modelos de Linguagem Alucinam", disponível no arXiv, argumenta que respostas fabricadas não são simplesmente um bug a ser corrigido. O artigo atribui alucinações a duas causas vinculadas: um subproduto estatístico de como os modelos aprendem a prever continuações plausíveis durante o pré-treinamento, e a maneira como os modelos são avaliados posteriormente. A maioria dos benchmarks e rankings pontua uma resposta como certa ou errada e trata uma admissão de incerteza — um "Não sei" — como uma resposta errada, de acordo com o artigo. Essa configuração recompensa palpites confiantes em detrimento da honestidade sobre incerteza, o que leva os modelos a continuar produzindo declarações fluentes e que soam específicas mesmo quando carecem de uma base confiável para elas.

O que o modelo está realmente fazendo, em uma sentença

Juntando tudo, o processo descrito em todas essas fontes é este: um chatbot transforma um prompt em tokens, converte-os em incorporações numéricas, usa camadas de auto-atenção para pesar como cada token se relaciona com todos os outros, e prevê repetidamente o token seguinte mais provável — um processo moldado, após o pré-treinamento, por feedback humano projetado para fazer essas previsões se assemelharem a respostas úteis que seguem instruções em vez de texto bruto da internet.