Wie KI-Textdetektoren funktionieren – erklärt anhand eines Preisträger-Romans-Streits

Ein Fund eines Detektions-Tools, das einen preisgekrönten Roman als fast ausschließlich maschinell geschrieben einstuft, hat KI-Textdetektoren unter Druck gebracht. Der Fall wirft eine praktische Frage auf, die für Schriftsteller, Studenten und Redakteure gleichermaßen relevant ist: Was messen diese Tools tatsächlich, und wie verlässlich sind ihre Urteile?

Was die Debatte auslöste

Der peruanische Autor David Silva Rojas gewann den inaugural Almadía Ventosa-Arrufat International Short Novel Prize im Wert von 20.000 Euro für seinen Roman "Donde el agua trabaja", eine Geschichte, die auf einem Weingut in Perus Ica-Region angesiedelt ist. Eine einstimmige Jury, der die Schriftsteller Cristina Rivera Garza, Selva Almada und Mónica Ojeda angehörten, wählte das Werk aus 2.204 Einreichungen aus 22 Ländern aus, wie Infobea berichtet.

Laut Infobea, das sich auf eine Analyse der spanischen Zeitung El País bezieht, ordnete das Detektions-Tool Pangram 4.1 99 % des etwa 26.000 Wörter umfassenden Romans der künstlichen Intelligenz zu. Dasselbe Tool klassifizierte 97 % der Interviewantworten, die Silva Rojas im September gab, und 80 % eines 924-Wort-autobiografischen Textes, den er eingereicht hatte, als KI-generiert, während die eigenen Wörter des Interviewers vollständig als menschlich erkannt wurden. Die Wettbewerbsregeln forderten die Teilnehmer auf, zu erklären, dass ihre Manuskripte "weder teilweise noch vollständig mit Tools der künstlichen Intelligenz geschrieben" waren, unter Androhung der Disqualifikation.

Der Verlag Almadía setzte die für Madrid, Barcelona, Sevilla und Cádiz geplanten Präsentationsveranstaltungen des Romans aus, die am 23. Oktober 2026 beginnen sollten, wie Proceso berichtet. Der Verlag teilte mit, Silva Rojas habe einen Vertrag unterzeichnet, in dem er erklärte, solche Tools nicht verwendet zu haben, und bat um Zeit für eine Untersuchung. Silva Rojas lehnte es ab, sich gegenüber Infobea dazu zu äußern.

Wie KI-Textdetektoren tatsächlich funktionieren

Der veröffentlichten Methodik von GPTZero zufolge bewertet sein Tool Texte anhand von drei Hauptindikatoren: Perplexität, also wie vorhersehbar die Wortwahlmöglichkeiten für ein Sprachmodell sind; Burstiness, also wie stark Satzlänge und Stil in einem Textabschnitt variieren; und der Gesamtton, der überprüft, ob der Text als generisch oder wiederholend wirkt. GPTZero gibt an, ein proprietäres Modell mit "hunderten von Faktoren" auf diese Basismessungen aufzulagern.

Pangram, das in diesem Roman-Fall verwendete Tool, funktioniert anders. Nach Wikipedia und Pangrams eigenem Blog wird das Tool trainiert, indem große Mengen menschlicher Texte mit KI-generierten Texten abgeglichen werden, die sich in Thema, Länge und Ton entsprechen, und anschließend wird eine "Mixture-of-Experts"-Architektur verwendet, um einzelne Textabschnitte eines Dokuments zu klassifizieren, bevor diese in einen Wert auf Absatz-Ebene kombiniert werden. Pangram benötigt mindestens 50 Wörter Prosa, um ein Ergebnis zu liefern, und gibt separate False-Positive-Raten nach Schreibbereich an – etwa nahe 0 % bei medizinischen Papieren, aber höher bei Poesie und Rezepten.

Das Entscheidende: Diese Tools behaupten nicht, einen Autor zu identifizieren. Sie geben eine statistische Schätzung ab – eine Wahrscheinlichkeit, dass ein bestimmter Textabschnitt maschinell generiertem Text ähnlicher ist als menschlichem Text, den das Modell im Training gesehen hat.

Warum kein Detektor Gewissheit bieten kann

OpenAI stellte seinen eigenen AI Text Classifier im Juli 2023 ein und begründete dies mit niedriger Genauigkeit, wie TechCrunch berichtet. In einem informellen TechCrunch-Test mit sieben KI-generierten Textabschnitten erkannte OpenAIs Tool nur einen korrekt, während GPTZero fünf erkannte. OpenAI erklärte damals, dass es stattdessen nach "effektiveren Herkunftsnachweis-Methoden" forsche.

Pangrams eigene Zahlen zeigen die gleichen Spannungen zwischen Sicherheit und Fehlerquote. Wikipedia vermerkt, dass unabhängige Evaluierungen zeigten, dass Pangram etwa 10,1 % der von KI-Systemen geschriebenen Textabschnitte übersah, die einen bestimmten Autorenstil imitierten, und dass das Tool auf Text, der durch "Humanizer"-Tools verändert wurde, um KI-Ursprünge zu verschleiern, schlechter abschnitt. Der gleiche Wikipedia-Eintrag führt frühere Streitigkeiten auf, in denen Pangram-Ergebnisse angefochten wurden, darunter die Schriftstellerin Mia Ballard, deren Werk zu 78 % als KI klassifiziert wurde, sowie Kritik des Wall-Street-Journal-Redakteurs James Taranto, der das Tool eine "Verleumdungsmaschine" nannte, nachdem es drei Redaktionsbeiträge gekennzeichnet hatte – obwohl zwei der Autoren dieser Beiträge angaben, KI nur zur Überarbeitung ihrer Entwürfe genutzt zu haben.

Was der Fall des Romans zeigt und nicht zeigt

Der Pangram-4.1-Wert ist ein starkes Signal, das Almadía veranlasste, die Veröffentlichung des Romans zu pausieren und eine Untersuchung einzuleiten, aber eine Detektionsbewertung allein ist kein Beweis dafür, wie ein Text entstanden ist. Nach der Erklärung des Verlags, die Proceso zitiert, hatte Almadía bis dahin keine abschließende Feststellung bekanntgegeben, und Silva Rojas hatte sich öffentlich nicht zu seiner Darstellung geäußert. Die Wettbewerbsregel gegen KI-Nutzung – und die damit verbundene unterzeichnete Erklärung – ist das, was den Autor bei Bestätigung des Verdachts durch eine Untersuchung der Disqualifikation aussetzt, unabhängig davon, was ein einzelner Detektionswert allein nachweisen kann.