Hoe AI-tekstdetectors werken – verduidelijkt aan de hand van een geschil rond een bekroonde roman

Een bevinding van een detectietool die stelt dat een bekroonde roman bijna geheel machinaal is geschreven, heeft AI-tekstdetectors onder druk gezet. De zaak roept een praktische vraag op voor schrijvers, studenten en redacteuren: wat meten deze tools eigenlijk, en hoeveel kunnen hun uitspraken worden vertrouwd?

Wat het debat uitlokte

De Peruaanse auteur David Silva Rojas won de eerste Almadía Ventosa-Arrufat International Short Novel Prize, ter waarde van 20.000 euro, voor zijn roman "Donde el agua trabaja", een verhaal dat zich afspeelt op een wijndomein in de Ica-regio van Peru. Een unaniem jury bestaande uit schrijvers Cristina Rivera Garza, Selva Almada en Mónica Ojeda selecteerde het werk uit 2.204 inzendingen uit 22 landen, aldus Infobea.

Volgens Infobea, dat een analyse van de Spaanse krant El País aanhaalde, toonde het doorvoeren van de roman van ongeveer 26.000 woorden door het detectietool Pangram 4.1 aan dat 99% ervan aan kunstmatige intelligentie werd toegeschreven. Dezelfde tool markeerde 97% van de interviewantwoorden die Silva Rojas in september gaf en 80% van een autobiografische tekst van 924 woorden die hij indiende, terwijl de woorden van de interviewer zelf volledig als menselijk werden herkend. De wedstrijdregels vereisten dat deelnemers verklaarden dat hun manuscripten "niet geschreven waren, noch gedeeltelijk noch volledig, met tools voor kunstmatige intelligentie", op straffe van diskwalificatie.

De uitgever Almadía stelde de presentatiegebeurtenissen van de roman in Madrid, Barcelona, Sevilla en Cádiz uit, die op 23 oktober 2026 zouden beginnen, aldus Proceso. De uitgever stelde dat Silva Rojas een contract had getekend waarin hij verklaarde geen dergelijke tools te hebben gebruikt, en vroeg om tijd voor onderzoek. Silva Rojas weigerde commentaar te geven toen hij door Infobea werd gecontacteerd voor zijn verklaring.

Hoe AI-tekstdetectors werkelijk functioneren

Volgens GPTZeros eigen gepubliceerde methodologie beoordeelt de tool tekst op drie hoofdsignalen: perplexiteit, oftewel hoe voorspelbaar de woordkeuzes zijn voor een taalmodel; burstiness, wat betekent hoe veel zinslengte en stijl variëren in een passage; en algemene toon, controleren of schrijven generiek of repetitief aanvoelt. GPTZero stelt dat het een eigendomsmodel met "honderden factoren" bovenop deze basismetingen laagt.

Pangram, het tool dat in de romanuszaak werd gebruikt, werkt anders. Volgens Wikipedia's ingang over het tool en Pangrams eigen blog wordt het getraind door grote hoeveelheden menselijk schrijven te koppelen aan door AI gegenereerde tekst die overeenkomt in onderwerp, lengte en toon, en gebruikt het vervolgens een "mixture of experts"-architectuur om individuele secties van een document te classificeren voordat deze worden gecombineerd tot een score op passageniveau. Pangram vereist minstens 50 woorden proza om een resultaat op te leveren en rapporteert aparte onwaar-positieve percentages per schrijfdomein – bijvoorbeeld dicht bij 0% voor medische papers versus hogere percentages voor poëzie en recepten.

Cruciaal is dat geen van deze tools beweren een auteur te identificeren. Ze produceren een statistische schatting – een waarschijnlijkheid dat een bepaalde passage meer op door een machine gegenereerde tekst lijkt dan op menselijke tekst die het model in training heeft gezien.

Waarom geen detector zekerheid biedt

OpenAI sloot zijn eigen AI-tekstclassificeerder in juli 2023 en noemde als reden een lage nauwkeurigheid, aldus TechCrunch. In TechCrunchs informele test van zeven door AI gegenereerde passages identificeerde OpenAIs tool er slechts één correct, terwijl GPTZero vijf identificeerde. OpenAI zei destijds dat het onderzoek deed naar "meer effectieve herkomst-technieken".

Pangrams eigen cijfers tonen dezelfde spanning tussen vertrouwen en fout. Wikipedia's ingang over het tool stelt dat onafhankelijke evaluaties ontdekten dat het ongeveer 10,1% van passages geschreven door AI-systemen die een bepaalde menselijke auteursstijl imiteren miste, en dat het slechter presteerde op tekst die door "humanizer"-tools is verwerkt die erop gericht zijn AI-output te verhullen. Dezelfde ingang vermeldt eerdere geschillen waarin Pangram-resultaten werden betwist, waaronder auteur Mia Ballard, wiens schrijven voor 78% als AI werd gemarkeerd, en kritiek van Wall Street Journal-redacteur James Taranto, die het tool een "lasteringmachine" noemde nadat het drie personeelsartikelen had gemarkeerd – hoewel twee van die artikelschrijvers zeiden dat zij AI alleen hadden gebruikt om hun concepten te herzien.

Wat de romanuszaak wel en niet aantoont

De Pangram 4.1-score is een sterk signaal dat Almadía deed stoppen met het uitbrengen van de roman en een onderzoek opende, maar een detectie-score alleen is geen bewijs voor hoe een tekst is geproduceerd. Naar de verklaring van de uitgever die door Proceso werd gerapporteerd, had Almadía tot dan toe geen eindconclusie aangekondigd, en Silva Rojas had geen officiële verklaring afgelegd. De regel van de wedstrijd tegen AI-gebruik – en de daarmee gepaard gaande ondertekende verklaring – is wat de auteur blootstelt aan mogelijke diskwalificatie als een onderzoek het vermoeden bevestigt, los van wat een enkele detectie-score alleen kan vaststellen.