Como os detectores de texto de IA funcionam, explicado através de uma disputa sobre um romance premiado

A constatação de uma ferramenta de detecção de que um romance premiado foi escrito quase inteiramente por máquina colocou os detectores de texto de IA sob escrutínio. O caso levanta uma pergunta prática para escritores, estudantes e editores: quais são essas ferramentas realmente medindo e quanto seus veredictos podem ser confiáveis?

O que desencadeou o debate

O autor peruano David Silva Rojas venceu o primeiro Prêmio Internacional de Romance Curto Almadía Ventosa-Arrufat, no valor de €20.000, por seu romance "Donde el agua trabaja", uma história ambientada em uma propriedade de vinho na região de Ica, Peru. Um júri unânime que incluía os escritores Cristina Rivera Garza, Selva Almada e Mónica Ojeda selecionou a obra entre 2.204 inscrições de 22 países, de acordo com Infobae.

De acordo com Infobae, que citou uma análise do jornal espanhol El País, executar o romance de aproximadamente 26.000 palavras através da ferramenta de detecção Pangram 4.1 atribuiu 99% dele à inteligência artificial. A mesma ferramenta sinalizou 97% das respostas de uma entrevista que Silva Rojas concedeu em setembro e 80% de um texto autobiográfico de 924 palavras que ele enviou, enquanto as próprias palavras do entrevistador foram registradas como totalmente humanas. As regras do concurso exigiam que os participantes declarassem que seus manuscritos não foram "escritos, nem parcial nem totalmente, com ferramentas de inteligência artificial", sob pena de desqualificação.

A editora Almadía suspendeu os eventos de apresentação do romance em Madri, Barcelona, Sevilha e Cádiz, que estavam programados para começar em 23 de outubro de 2026, de acordo com Processo. A editora disse que Silva Rojas havia assinado um contrato declarando que não havia usado tais ferramentas e pediu tempo para investigar. Silva Rojas se recusou a comentar quando contatado pela Infobae para sua versão.

Como os detectores de texto de IA realmente funcionam

De acordo com a metodologia publicada do GPTZero, sua ferramenta avalia o texto em três sinais principais: perplexidade, ou o quanto as escolhas de palavras são previsíveis para um modelo de linguagem; explosividade, ou seja, quanto o comprimento e o estilo das frases variam em uma passagem; e tom geral, verificando se a escrita lê como genérica ou repetitiva. O GPTZero diz que sobrepõe um modelo proprietário com "centenas de fatores" sobre essas medidas base.

Pangram, a ferramenta usada no caso do romance, funciona de forma diferente. De acordo com a entrada do Pangram na Wikipédia e no próprio blog do Pangram, ele é treinado emparelhando grandes volumes de escrita humana com texto gerado por IA combinado por tema, comprimento e tom, depois usa uma arquitetura de "mistura de especialistas" para classificar seções individuais de um documento antes de combiná-las em uma pontuação no nível da passagem. Pangram requer pelo menos 50 palavras de prosa para produzir um resultado e relata taxas de falsos positivos separadas por domínio de escrita — por exemplo, próximo a 0% em artigos médicos versus taxas mais altas em poesia e receitas.

Crucialmente, nenhuma dessas ferramentas afirma identificar um autor. Elas produzem uma estimativa estatística — uma probabilidade de que uma passagem determinada se pareça mais com texto gerado por máquina do que com o texto humano que o modelo viu no treinamento.

Por que nenhum detector oferece certeza

O OpenAI desativou seu próprio classificador de texto de IA em julho de 2023, citando uma baixa taxa de precisão, de acordo com TechCrunch. No teste informal da TechCrunch de sete passagens geradas por IA, a ferramenta do OpenAI identificou corretamente apenas uma, enquanto o GPTZero identificou cinco. OpenAI disse na época que estava pesquisando "técnicas de proveniência mais eficazes" em vez disso.

Os próprios números do Pangram mostram a mesma tensão entre confiança e erro. A entrada do Pangram na Wikipédia observa que avaliações independentes descobriram que ele perdeu cerca de 10,1% de passagens escritas por sistemas de IA imitando o estilo de um autor humano específico, e que teve desempenho pior em texto processado através de ferramentas "humanizadoras" destinadas a disfarçar a saída de IA. A mesma entrada lista disputas passadas em que os resultados do Pangram foram contestados, incluindo a novelista Mia Ballard, cuja escrita foi 78% sinalizada como IA, e críticas do editor do Wall Street Journal James Taranto, que chamou a ferramenta de "máquina de difamação" depois que ela sinalizou três artigos do corpo editorial — embora dois desses autores de artigos dissessem que haviam usado IA apenas para ajudar a revisar seus rascunhos.

O que o caso do romance mostra e não mostra

A pontuação do Pangram 4.1 é um sinal forte que levou Almadía a pausar o lançamento do romance e abrir uma investigação, mas uma pontuação de detecção sozinha não constitui prova de como um texto foi produzido. De acordo com o comunicado da editora relatado por Processo, Almadía não havia anunciado uma conclusão final, e Silva Rojas não havia dado seu relato sob registro. A regra do concurso contra uso de IA — e a declaração assinada vinculada a ela — é o que expõe o autor a possível desqualificação se uma investigação confirmar a suspeita, separado do que uma única pontuação de detector pode estabelecer por conta própria.