Como a IA Generativa Funciona: Geração de Texto, Imagem e Código Explicada

Apesar de cobrir saídas muito diferentes, geradores de texto, geradores de imagens e assistentes de codificação compartilham uma base comum: uma rede neural treinada em grandes quantidades de dados aprende padrões estatísticos e depois usa esses padrões para construir novo conteúdo peça por peça, em vez de recuperar uma resposta armazenada.

Geração de texto: prevendo o próximo token

Modelos de linguagem grandes como os por trás de chatbots dividem o texto em pequenas unidades chamadas tokens, que podem ser palavras completas ou partes de palavras, de acordo com o explicador técnico da IBM sobre modelos transformadores, publicado em 28 de março de 2025. Cada token é convertido em um vetor numérico, chamado embedding, que representa seu significado, e um segundo vetor é adicionado para codificar a posição do token na sentença.

O mecanismo central é a auto-atenção: para cada token, o modelo calcula o quão relevante todo outro token na entrada é, usando três vetores aprendidos por token — uma consulta, uma chave e um valor, de acordo com a IBM. Isso permite que o modelo pondere o contexto de qualquer lugar do texto de uma vez, em vez de ler palavra por palavra como arquiteturas mais antigas faziam. Transformadores apenas com decodificador, a arquitetura por trás de modelos como GPT, então geram texto autorregressivamente — prevendo um token por vez e alimentando esse token novamente para prever o próximo, explica IBM.

Pesquisa da Anthropic, publicada em seu site como 'Rastreando os pensamentos de um modelo de linguagem grande', descobriu que este processo de próximo token pode envolver mais planejamento do que aparenta de fora. Em um experimento, quando seu modelo Claude estava escrevendo uma linha de poesia, ativou características internas correspondentes a uma possível palavra que rima antes de escrever o resto da linha, e depois ajustou sua redação para alcançar essa palavra. Em outro teste, o modelo respondeu uma pergunta de múltiplas etapas — como identificar a capital do estado que contém Dallas — ativando primeiro uma representação interna para 'Texas' e depois recuperando 'Austin' separadamente, em vez de ir direto à resposta, Anthropic relatou.

Anthropic também encontrou uma lacuna entre a computação interna do modelo e sua própria descrição dessa computação: quando perguntado como realizou um cálculo matemático, Claude descreveu um método padrão, mas o processo interno que Anthropic rastreou usou uma abordagem diferente e paralela, combinando uma estimativa aproximada com rastreamento separado do dígito final.

Geração de imagem: removendo ruído passo a passo

A maioria das ferramentas modernas de texto para imagem, incluindo Imagen do Google, usam modelos de difusão, que funcionam na direção oposta da geração de texto. De acordo com a página de pesquisa Imagen do Google, o sistema começa com um modelo de linguagem grande congelado — T5-XXL — que converte o prompt de texto em um embedding, o mesmo tipo de representação numérica usada em modelos de texto. Os pesquisadores do Google observam que aumentar o tamanho deste codificador de texto melhorou a qualidade da imagem mais do que aumentar o tamanho da parte geradora de imagens do modelo.

Um modelo de difusão então pega esse embedding de texto e gera uma pequena imagem de 64x64 pixels. Ele faz isso começando com ruído visual aleatório e executando um processo iterativo de 'remoção de ruído', onde o modelo prediz e remove repetidamente um pouco de ruído, orientado pelo embedding de texto, até que uma imagem coerente de baixa resolução permaneça, de acordo com a descrição do Google. A imagem é então ampliada usando dois modelos de difusão adicionais, primeiro para 256x256 pixels e depois para 1024x1024 pixels, uma cascata que Google chama de difusão de super-resolução.

Para permitir que o modelo siga o prompt de texto mais de perto, a página de pesquisa do Google diz que Imagen introduz 'um novo amostrador de difusão com limiar', usado junto com um método conhecido como orientação sem classificador, que juntos permitem o uso de pesos de orientação muito maiores. Google relatou que em avaliações humanas, avaliadores julgaram a saída de Imagen como comparável a fotos de referência reais para corresponder ao prompt de texto, e a preferiram sobre outros sistemas de texto para imagem, incluindo DALL-E 2, em um benchmark que Google criou chamado DrawBench.

Geração de código: sugestões construídas a partir do contexto

Assistentes de codificação de IA como GitHub Copilot aplicam a mesma abordagem de previsão do próximo token baseada em transformadores usada para texto geral, mas treinada especificamente em código de programação e adaptada ao espaço de trabalho de um desenvolvedor. De acordo com a própria documentação do GitHub, Copilot opera em dois modos principais: um modo 'assistivo' que sugere código, responde perguntas ou explica código enquanto um desenvolvedor digita, e um modo 'agente' onde um desenvolvedor descreve um objetivo e Copilot trabalha através de múltiplas etapas — pesquisando o repositório, propondo um plano, editando arquivos e executando ferramentas para concluir uma tarefa.

A documentação do GitHub afirma que as capacidades do Copilot também se estendem a personalizações, como instruções específicas do repositório e integrações de ferramentas externas, e que alguns recursos funcionam de forma assíncrona, permitindo que um agente de codificação faça alterações e abra ou atualize solicitações de pull sem supervisão constante. GitHub não especifica publicamente cada modelo usado ou os detalhes técnicos completos de como o contexto é selecionado e passado para o modelo subjacente, de acordo com sua documentação atual.

Como os três se comparam

Todas as três abordagens dependem de dados de treinamento: os padrões internos do modelo vêm do texto, imagens ou código ao qual foi exposto durante o treinamento, e sua saída é uma sequência ou imagem recém-gerada moldada por esses padrões aprendidos, em vez de uma cópia de qualquer exemplo de treinamento único.