Как работают детекторы текста AI, объяснено на примере спора о романе, завоевавшем приз

Обнаружение детектором, что роман, удостоенный приза, был почти полностью написан машиной, вызвало критику детекторов текста AI. Данный случай ставит практический вопрос для писателей, студентов и редакторов: что на самом деле измеряют эти инструменты и насколько можно доверять их выводам?

Что спровоцировало дебаты

Перуанский автор David Silva Rojas выиграл первую Almadía Ventosa-Arrufat International Short Novel Prize стоимостью €20 000 за его роман «Donde el agua trabaja», историю, происходящую на винодельческом поместье в регионе Ика в Перу. Единогласное жюри, в которое входили писатели Cristina Rivera Garza, Selva Almada и Mónica Ojeda, выбрало произведение из 2204 представленных работ из 22 стран, согласно Infobae.

Согласно Infobae, которая ссылалась на анализ испанской газеты El País, пропуск примерно 26 000-словного романа через детектор Pangram 4.1 припписал 99% ему искусственному интеллекту. Тот же инструмент отметил 97% ответов интервью, которые Silva Rojas дал в сентябре, и 80% представленного им автобиографического текста из 924 слов, в то время как слова самого интервьюера были зарегистрированы как полностью человеческие. Правила конкурса требовали от участников заявить, что их рукописи были «не написаны, ни частично, ни полностью, с использованием инструментов искусственного интеллекта», под угрозой дисквалификации.

Издатель Almadía приостановил презентацию романа в Мадриде, Барселоне, Севилье и Кадисе, которые должны были начаться 23 октября 2026 года, согласно Proceso. Издатель сказал, что Silva Rojas подписал контракт, в котором заявил, что не использовал такие инструменты, и попросил время для расследования. Silva Rojas отказался комментировать, когда его связалась Infobae для получения его версии событий.

Как на самом деле работают детекторы текста AI

Согласно собственной опубликованной методологии GPTZero, его инструмент оценивает текст по трем основным сигналам: недоумение (perplexity), то есть насколько предсказуемы выбор слов для языковой модели; взрывчатость (burstiness), означающая, насколько меняется длина предложений и стиль в отрывке; и общий тон, проверяя, читается ли текст как универсальный или повторяющийся. GPTZero говорит, что она применяет фирменную модель с «сотнями факторов» поверх этих базовых мер.

Pangram, инструмент, используемый в случае с романом, работает иначе. Согласно записи инструмента на Wikipedia и собственному блогу Pangram, он обучается путем объединения больших объемов человеческого письма с сгенерированным AI текстом, подобранным по тематике, длине и тону, затем использует архитектуру «смеси экспертов» для классификации отдельных разделов документа перед объединением их в оценку на уровне отрывка. Pangram требует как минимум 50 слов прозы для получения результата и сообщает отдельные процентные ошибки по области письма — например, около 0% на медицинских статьях в сравнении с более высокими показателями на поэзии и рецептах.

Что важно, ни один из этих инструментов не претендует на выявление автора. Они выводят статистическую оценку — вероятность того, что данный отрывок больше похож на машинный текст, чем на человеческий текст, который модель видела во время обучения.

Почему ни один детектор не предлагает определенности

OpenAI закрыла свой собственный классификатор текста AI в июле 2023 года, ссылаясь на низкую точность, согласно TechCrunch. При неофициальном тесте TechCrunch на семи AI-сгенерированных отрывках инструмент OpenAI правильно выявил только один, а GPTZero выявила пять. OpenAI тогда заявила, что вместо этого исследует «более эффективные методы определения происхождения».

Собственные данные Pangram показывают то же напряжение между уверенностью и ошибкой. Запись инструмента на Wikipedia отмечает, что независимые оценки обнаружили, что она пропустила около 10,1% отрывков, написанных системами AI, имитирующими стиль конкретного человеческого автора, и что она работала хуже на тексте, обработанном инструментами «гуманизаторами», предназначенными для скрытия вывода AI. Та же статья перечисляет прошлые споры, в которых результаты Pangram были оспорены, включая писательницу Mia Ballard, чье письмо было на 78% отмечено как AI, и критику редактора Wall Street Journal James Taranto, который назвал инструмент «машиной для диффамации» после того, как он отметил три статьи персонала — хотя два автора этих статей сказали, что они использовали AI только для помощи в редактировании своих черновиков.

Что показывает и что не показывает случай с романом

Оценка Pangram 4.1 — это сильный сигнал, который побудил Almadía приостановить выпуск романа и открыть расследование, но оценка обнаружения сама по себе не является доказательством того, как был создан текст. По состоянию на заявление издателя, опубликованное Proceso, Almadía не объявила окончательное решение, и Silva Rojas не дал своей версии на записи. Правило конкурса против использования AI — и подписанное им заявление — это то, что подвергает автора потенциальной дисквалификации, если расследование подтвердит подозрение, отдельно от того, что может установить любая отдельная оценка детектора сама по себе.