Jak działają detektory tekstu AI, wyjaśnione na przykładzie sporu o nagrodzonym powieści

Odkrycie detektora, że nagrodzoma powieść została napisana niemal całkowicie przez maszynę, poddało detektory tekstu AI pod obserwację. Sprawa stawia praktyczne pytanie dla pisarzy, studentów i redaktorów: co te narzędzia faktycznie mierzą i na ile można ufać ich wyrokom?

Co spowodowało debatę

Peruwiański autor David Silva Rojas wygrał pierwszą nagrodę Almadía Ventosa-Arrufat International Short Novel Prize wartą €20 000 za swoją powieść «Donde el agua trabaja», historię rozgrywającą się na żytnicy w regionie Ica w Peru. Jednogłośne jury, w którego skład wchodzili pisarze Cristina Rivera Garza, Selva Almada i Mónica Ojeda, wybrało pracę spośród 2204 nadesłanych prac z 22 krajów, zgodnie z Infobae.

Według Infobae, która powołała się na analizę hiszpańskiej gazety El País, przepuszczenie przez detektor Pangram 4.1 powieści o długości około 26 000 słów przypisało 99% sztucznej inteligencji. To samo narzędzie oznaczało 97% odpowiedzi na wywiad udzielone przez Silva Rojasa we wrześniu oraz 80% zasubmitowanego przez niego autobiograficznego tekstu o długości 924 słów, podczas gdy słowa samego interviewer zarejestrowano jako w pełni ludzkie. Zasady konkursu wymagały, aby uczestnicy zadeklarowali, że ich rękopisy były «nie napisane, ani częściowo, ani całkowicie, za pomocą narzędzi sztucznej inteligencji», pod groźbą dyskwalifikacji.

Wydawca Almadía wstrzymał prezentacje powieści w Madrycie, Barcelonie, Sewilli i Kadyksie, które miały się rozpocząć 23 października 2026 roku, zgodnie z Proceso. Wydawca powiedział, że Silva Rojas podpisał umowę oświadczającą, że nie używał takich narzędzi, i poprosił o czas na zbadanie sprawy. Silva Rojas odmówił komentarza, gdy skontaktała się z nim Infobae w sprawie jego stanowiska.

Jak faktycznie działają detektory tekstu AI

Zgodnie z opublikowaną metodologią samego GPTZero, jego narzędzie ocenia tekst na podstawie trzech głównych sygnałów: zamieszania (perplexity), czyli jak przewidywalne są wybory słów dla modelu języka; wysoko (burstiness), co oznacza, jak bardzo długość zdania i styl się różnią w fragmencie; oraz ogólny ton, sprawdzając, czy pisanie czyta się jako generyczne lub powtarzające się. GPTZero twierdzi, że nakłada zastrzeżony model zawierający «setki czynników» na podstawie tych podstawowych miar.

Pangram, narzędzie używane w sprawie z powieścią, działa inaczej. Zgodnie z wpisem w Wikipedii dotyczącym narzędzia i własnym blogiem Pangram, jest szkolony poprzez łączenie dużych ilości ludzkiego pisania z tekstem generowanym przez AI dopasowanym do tematu, długości i tonu, a następnie używa architektury «mieszanki ekspertów» do klasyfikacji poszczególnych sekcji dokumentu przed połączeniem ich w wynik na poziomie fragmentu. Pangram wymaga co najmniej 50 słów prozy, aby uzyskać wynik, i raportuje oddzielne współczynniki fałszywych alarmów w domenie pisania — na przykład, bliski 0% w pracach medycznych w stosunku do wyższych wskaźników w poezji i przepisach.

Co kluczowe, żadne z tych narzędzi nie twierdzą, że mogą zidentyfikować autora. Wyświetlają one statystyczne oszacowanie — prawdopodobieństwo, że dany fragment przypomina tekst generowany maszynowo bardziej niż tekst ludzki, który model widział podczas szkolenia.

Dlaczego żaden detektor nie oferuje pewności

OpenAI zamknęła swój klasyfikator tekstu AI w lipcu 2023 roku, powołując się na niski poziom dokładności, według TechCrunch. W nieformalnym teście TechCrunch siedmiu fragmentów wygenerowanych przez AI narzędzie OpenAI prawidłowo zidentyfikowało tylko jeden, podczas gdy GPTZero zidentyfikowała pięć. OpenAI stwierdziła wówczas, że zamiast tego bada «bardziej efektywne techniki określania pochodzenia».

Własne liczby Pangram pokazują to samo napięcie między pewnością a błędem. Wpis Pangram w Wikipedii zauważa, że niezależne oceny wykazały, że pominęła około 10,1% fragmentów napisanych przez systemy AI naśladujące styl konkretnego autora, oraz że gorzej się sprawdziła na tekście przefiltrowanym przez narzędzia «humanizujące» mające na celu zamaskowanie wyników AI. Ten sam wpis wymienia przeszłe spory, w których wyniki Pangram były kwestionowane, w tym pisarkę Mia Ballard, której pisanie zostało oznaczone na 78% jako AI, i krytykę redaktora Wall Street Journal James Taranto, który nazwał narzędzie «maszyną do pomówień» po tym, jak oznaczył trzy artykuły personelu — chociaż dwaj autorzy tych artykułów stwierdzili, że używali AI tylko do pomocy w poprawieniu swoich szkiców.

Co pokazuje sprawa powieści, a czego nie pokazuje

Wynik Pangram 4.1 jest silnym sygnałem, który skłonił Almadía do wstrzymania wdrażania powieści i otwarcia śledztwa, ale sam wynik detekcji nie stanowi dowodu na to, jak tekst został utworzony. Według oświadczenia wydawcy opublikowanego przez Proceso, Almadía nie ogłosiła ostatecznych ustaleń, a Silva Rojas nie podał swojej wersji na rejestracji. Zasada konkursu przeciwko korzystaniu z AI — i podpisana deklaracja z nią związana — to to, co naraża autora na potencjalną dyskwalifikację, jeśli dochodzenie potwierdzi podejrzenie, niezależnie od tego, co może ustalić sam wynik detektora.