人工智能文本檢測器如何運作——通過獲獎小說爭議進行解析

一個檢測工具發現獲獎小說幾乎完全是機器生成的，這讓人工智能文本檢測器受到審視。這個案例對作者、學生和編輯提出了一個實際問題：這些工具到底在測量什麼，他們的判決有多少可信度？

引發爭議的是什麼

秘魯作家 David Silva Rojas 憑其小說《Donde el agua trabaja》贏得了首屆 Almadía Ventosa-Arrufat 國際短篇小說獎，獎金為 €20,000。這部小說的故事背景設在秘魯伊卡地區的一座葡萄園。根據 Infobae 報道，包括作家 Cristina Rivera Garza、Selva Almada 和 Mónica Ojeda 在內的全體評委從 22 個國家的 2,204 份投稿中選出了這部作品。

根據 Infobae 引用西班牙報紙《El País》的分析，將這部約 26,000 字的小說通過 Pangram 4.1 檢測工具進行檢測後，結果顯示 99% 的內容歸因於人工智能。同一工具標記出 Silva Rojas 在 9 月給出的採訪答案中有 97% 歸因於人工智能，他提交的一篇 924 字自傳文本中有 80% 歸因於人工智能，而採訪者本人的語言則完全被判定為人類寫作。比賽規則要求參賽者申報他們的手稿「既非全部也非部分使用人工智能工具撰寫」，否則將被取消資格。

根據 Proceso 報道，出版商 Almadía 暫停了該小說在馬德里、巴塞隆納、塞維利亞和卡地茲的發布活動，這些活動原定於 2026 年 10 月 23 日開始。出版商表示 Silva Rojas 已簽署合同聲明他未使用此類工具，並要求調查時間。Infobae 聯繫 Silva Rojas 徵求其說法時，他拒絕發表評論。

人工智能文本檢測器實際上如何運作

根據 GPTZero 公開發表的方法論，其工具基於三個主要信號對文本進行評分：複雜性，即語言模型對詞語選擇的可預測程度；突發性，指文本段落中句長和風格的變化幅度；以及整體語氣，檢查寫作是否顯得通用或重複。GPTZero 稱它在這些基礎指標之上還疊加了一個包含「數百個因素」的專有模型。

本案中使用的 Pangram 工具運作方式不同。根據 Wikipedia 關於該工具的條目和 Pangram 自身博客的信息，它通過將大量人類寫作與按主題、長度和語氣相匹配的人工智能生成文本配對進行訓練，然後使用「專家混合」架構對文件的各個部分進行分類，最後將其組合成文本級別的評分。Pangram 要求至少 50 字的散文才能產生結果，並按寫作領域報告不同的假陽性率——例如，在醫學論文上接近 0%，而在詩歌和食譜上的比率較高。

最關鍵的是，這些工具都不聲稱能識別作者。它們輸出的是統計估計值——一個概率，表示給定文本在多大程度上類似於模型在訓練中見過的機器生成文本而非人類文本。

為什麼沒有檢測器能提供確定性

OpenAI 於 2023 年 7 月關閉了自己的人工智能文本分類器，理由是準確率低，據 TechCrunch。在 TechCrunch 對七個人工智能生成段落的非正式測試中，OpenAI 的工具只正確識別了一個，而 GPTZero 識別了五個。OpenAI 當時表示正在研究「更有效的來源證明技術」。

Pangram 自身的數據顯示了信心與錯誤之間的同樣緊張關係。Wikipedia 關於該工具的條目指出，獨立評估發現它漏掉了約 10.1% 由模仿特定人類作者風格的人工智能系統撰寫的段落，並且在經過「人性化」工具處理的文本上表現更差，這些工具旨在偽裝人工智能輸出。同一條目列舉了過去的爭議案例，其中 Pangram 結果受到質疑，包括小說家 Mia Ballard，其寫作有 78% 被標記為人工智能，以及來自《華爾街日報》編輯 James Taranto 的批評，他在該工具標記三篇員工文章後稱其為「誹謗機器」——儘管其中兩篇文章的作者稱他們只使用了人工智能幫助修訂初稿。

這部小說的案例所顯示和未顯示的內容

Pangram 4.1 的評分是促使 Almadía 暫停小說推廣並開啟調查的強信號，但檢測評分本身並不構成文本如何生成的證明。根據 Proceso 報道的出版商聲明，Almadía 尚未宣布最終調查結果，Silva Rojas 亦未以書面形式說明其立場。禁止使用人工智能的比賽規則——以及與之相關的簽署聲明——才是使作者面臨潛在取消資格風險的依據，這與任何單一檢測器評分本身能建立的內容是分開的。