AI文本检测工具如何工作：通过获奖小说纠纷案例解析

一个检测工具发现获奖小说几乎完全由机器生成，这使AI文本检测工具受到了严密审查。这个案例为作家、学生和编辑提出了一个实际问题：这些工具究竟在测量什么，它们的结论可信度有多高？

是什么引发了这场争议

秘鲁作家David Silva Rojas凭其小说《Donde el agua trabaja》赢得了首届Almadía Ventosa-Arrufat国际短篇小说奖，奖金为€20,000。这部小说的故事背景设在秘鲁Ica地区的一个葡萄园里。根据Infobae报道，包括作家Cristina Rivera Garza、Selva Almada和Mónica Ojeda在内的评审团以全票通过的方式从22个国家的2,204份投稿中选出了这部作品。

据Infobae报道，该媒体引用了西班牙报纸El País的分析，通过Pangram 4.1检测工具运行这部约26,000字的小说后，该工具认为其中99%由人工智能生成。同一工具标记了Silva Rojas在9月给出的采访回答中的97%为人工智能生成的，以及他提交的924字自传文本中的80%，而采访人员自己的言论则被标记为完全由人类撰写。比赛规则要求参赛者声明其手稿"不是由人工智能工具全部或部分生成的"，违反者将被取消资格。

据Proceso报道，出版商Almadía暂停了计划于2026年10月23日开始在马德里、巴塞罗那、塞维利亚和卡迪兹举行的小说推介活动。出版商表示，Silva Rojas签署了声明其未使用此类工具的合同，并要求时间进行调查。当Infobae联系Silva Rojas征求其陈述时，他拒绝了评论。

AI文本检测工具实际上如何工作

根据GPTZero发布的方法论，其工具基于三个主要信号对文本进行评分：困惑度（即词汇选择对语言模型的可预测性）、突发性（即句子长度和风格在段落中的变化程度）和整体语调（检查写作是否显得泛泛而谈或重复）。GPTZero表示，它在这些基本测量基础上应用了一个包含"数百个因素"的专有模型。

本案中使用的工具Pangram的工作方式不同。根据维基百科上对该工具的条目和Pangram的官方博客，它通过将大量人类撰写的文本与按主题、长度和语调匹配的AI生成文本配对进行训练，然后使用"专家混合"架构对文档的各个部分进行分类，最后将它们合并成段落级评分。Pangram要求至少50个单词的散文才能产生结果，并按写作领域报告不同的假阳性率——例如，医学论文的假阳性率接近0%，而诗歌和食谱的假阳性率较高。

关键是，这些工具都不声称能识别作者。它们输出的是一个统计估计——给定段落看起来像机器生成的文本的概率，而不是模型在训练中看到的人类文本。

为什么没有检测工具能提供确定性

据TechCrunch报道，OpenAI在2023年7月关闭了其AI文本分类器，理由是准确率低。在TechCrunch对七个AI生成段落的非正式测试中，OpenAI的工具只正确识别了一个，而GPTZero识别了五个。OpenAI当时表示，它正在研究"更有效的来源技术"。

Pangram自己的数据显示了信心与错误之间的同样矛盾。维基百科上对Pangram的条目指出，独立评估发现它未能识别约10.1%由AI系统模仿特定人类作者写作风格撰写的段落，并且它在处理通过"人化"工具运行的文本时表现更差，这些工具旨在掩盖AI输出。同一条目列出了Pangram结果受到质疑的过去纠纷，包括作家Mia Ballard，其写作有78%被标记为AI，以及《华尔街日报》编辑James Taranto的批评，他在该工具标记三篇员工文章后称其为"诽谤机器"——尽管其中两篇文章的作者表示他们只用AI帮助修改草稿。

这个小说案例显示和未显示了什么

Pangram 4.1的评分是一个强有力的信号，促使Almadía暂停小说的发布并开启调查，但仅凭检测评分并不能证明文本是如何生成的。根据Proceso报道的出版商声明，Almadía尚未宣布最终结果，Silva Rojas也未正式给出其陈述。比赛的反AI使用规则——以及与之相关的签署声明——是使作者在调查确认怀疑时面临可能被取消资格的原因，这与任何单个检测评分能独立建立的内容分开。