Comment fonctionnent les détecteurs de texte d'IA, expliqué à travers une dispute de roman primé

La constatation d'un outil de détection selon laquelle un roman primé aurait été écrit presque entièrement par une machine a mis les détecteurs de texte d'IA sous le feu des projecteurs. L'affaire soulève une question pratique pour les écrivains, les étudiants et les éditeurs : que mesurent réellement ces outils et à quel point peut-on faire confiance à leurs conclusions ?

Ce qui a déclenché le débat

L'auteur péruvien David Silva Rojas a remporté le premier prix international du roman court Almadía Ventosa-Arrufat, d'une valeur de €20.000, pour son roman "Donde el agua trabaja", une histoire située dans un domaine viticole de la région d'Ica, au Pérou. Un jury unanime incluant les écrivains Cristina Rivera Garza, Selva Almada et Mónica Ojeda a sélectionné l'ouvrage parmi 2.204 soumissions de 22 pays, selon Infobae.

Selon Infobae, citant une analyse du journal espagnol El País, l'exécution du roman d'environ 26.000 mots à travers l'outil de détection Pangram 4.1 a attribué 99% à l'intelligence artificielle. Le même outil a marqué 97% des réponses d'une entrevue que Silva Rojas a donnée en septembre et 80% d'un texte autobiographique de 924 mots qu'il a soumis, tandis que les propres paroles de l'intervieweur ont été enregistrées comme entièrement humaines. Les règles du concours exigeaient que les participants déclarent que leurs manuscrits ne furent "écrits, ni partiellement ni totalement, avec des outils d'intelligence artificielle", sous peine de disqualification.

L'éditeur Almadía a suspendu les événements de présentation du roman à Madrid, Barcelone, Séville et Cadix, qui devaient commencer le 23 octobre 2026, selon Proceso. L'éditeur a déclaré que Silva Rojas avait signé un contrat attestant qu'il n'avait pas utilisé de tels outils et a demandé du temps pour enquêter. Silva Rojas a refusé de commenter lorsque contacté par Infobae pour sa version.

Comment fonctionnent réellement les détecteurs de texte d'IA

Selon la méthodologie publiée de GPTZero, son outil note le texte sur trois signaux principaux : la perplexité, ou le degré de prévisibilité des choix de mots pour un modèle de langage ; l'explosivité, c'est-à-dire la variation de la longueur et du style des phrases dans un passage ; et le ton général, vérifiant si l'écriture se lit comme générique ou répétitive. GPTZero affirme qu'il superpose un modèle propriétaire avec "des centaines de facteurs" à ces mesures de base.

Pangram, l'outil utilisé dans l'affaire du roman, fonctionne différemment. Selon l'entrée de Pangram sur Wikipédia et le propre blog de Pangram, il est entraîné en appairant de grands volumes de texte humain avec du texte généré par l'IA assorti par sujet, longueur et ton, puis utilise une architecture de "mélange d'experts" pour classifier les sections individuelles d'un document avant de les combiner en un score au niveau du passage. Pangram nécessite au moins 50 mots de prose pour produire un résultat et rapporte des taux de faux positifs distincts par domaine d'écriture — par exemple, proche de 0% sur les articles médicaux par rapport à des taux plus élevés sur la poésie et les recettes.

De manière cruciale, aucun de ces outils ne prétend identifier un auteur. Ils produisent une estimation statistique — une probabilité qu'un passage donné ressemble plus à du texte généré par machine qu'au texte humain que le modèle a vu lors de l'entraînement.

Pourquoi aucun détecteur n'offre de certitude

OpenAI a fermé son propre classificateur de texte d'IA en juillet 2023, citant un taux de précision faible, selon TechCrunch. Dans le test informel de TechCrunch de sept passages générés par l'IA, l'outil d'OpenAI n'a correctement identifié que un seul, tandis que GPTZero en a identifié cinq. OpenAI a déclaré à l'époque qu'il recherchait plutôt "des techniques de provenance plus efficaces".

Les propres chiffres de Pangram montrent la même tension entre confiance et erreur. L'entrée de Pangram sur Wikipédia note que des évaluations indépendantes ont constaté qu'il a manqué environ 10,1% des passages écrits par des systèmes d'IA imitant le style d'un auteur humain spécifique, et qu'il a moins bien performé sur des textes traités via des outils "humanisants" conçus pour dissimuler la sortie d'IA. La même entrée énumère les litiges passés au cours desquels les résultats de Pangram ont été contestés, notamment la romancière Mia Ballard, dont les écrits ont été marqués à 78% comme IA, et les critiques de l'éditeur du Wall Street Journal James Taranto, qui a qualifié l'outil de "machine à diffamation" après qu'il ait marqué trois articles du personnel — bien que deux de ces auteurs d'articles aient déclaré qu'ils avaient utilisé l'IA uniquement pour aider à réviser leurs brouillons.

Ce que l'affaire du roman montre et ne montre pas

Le score de Pangram 4.1 est un signal fort qui a poussé Almadía à suspendre le lancement du roman et à ouvrir une enquête, mais un score de détection seul ne constitue pas une preuve de la manière dont un texte a été produit. Selon la déclaration de l'éditeur rapportée par Proceso, Almadía n'avait pas annoncé de conclusion finale, et Silva Rojas n'avait pas donné sa version au dossier. La règle du concours contre l'utilisation de l'IA — et la déclaration signée qui y est liée — est ce qui expose l'auteur à une possible disqualification si une enquête confirme le soupçon, en dehors de ce qu'un score de détecteur unique peut établir seul.