「受賞した小説の論争を通じて説明されるAIテキスト検出器の仕組み」

「検出ツールが受賞小説がほぼ全機械で書かれたと判断したことで、AIテキスト検出器が精査されています。この事件は、作家、学生、編集者に共通する実際的な問題を提起します：これらのツールは実際に何を測定しているのか、そしてその判決をどの程度信頼できるのかということです。」

「議論を引き起こしたもの」

「ペルー人著者David Silva Rojasは、ペルーのIca地域のワイン農場を舞台にした短編小説『Donde el agua trabaja』でAlmadía Ventosa-Arrufat国際短編小説賞（€20,000）を受賞しました。Infobaeによると、Cristina Rivera Garza、Selva Almada、Mónica Ojedaを含む満場一致の審査員が、22カ国から2,204件の応募の中からこの作品を選びました。」

「Infobaeが引用するスペイン紙El Paísの分析によると、約26,000語の小説をPangram 4.1検出ツールで実行した結果、99%が人工知能に帰属されました。同じツールはSilva Rojasが9月に与えたインタビュー回答の97%と、彼が提出した924語の自伝テキストの80%をフラグしましたが、インタビュアー自身の言葉は完全に人間として判定されました。コンテストのルールでは、応募者は失格の罰則のもと、原稿が『人工知能ツールで部分的にも全体的にも書かれていない』ことを宣言する必要がありました。」

「Procesoによると、出版社Almadíaは2026年10月23日に開始予定だったマドリッド、バルセロナ、セビリア、カディスでの小説の発表会を一時停止しました。出版社はSilva Rojasがそのようなツールを使用していないことを宣言する契約に署名していたと述べ、調査の時間を要求しました。Silva Rojasはinfobaeから連絡を受けたときコメントを拒否しました。」

「AIテキスト検出器が実際にどのように機能するか」

「GPTZeroの発表された方法論によると、そのツールはテキストを3つの主要なシグナルでスコアリングします：困惑度（言語モデルにとって単語選択がどの程度予測可能かを示す）、バースティネス（段落全体で文の長さとスタイルがどの程度変動するかを意味する）、および総合的なトーン（執筆が一般的または反復的かをチェック）です。GPTZeroは、これらの基本的なメジャーの上に、『数百の要因』を含むプロプライエタリモデルを重ねていると述べています。」

「小説事件で使用されたツールであるPangramは異なる方法で動作します。ウィキペディアのツールエントリとPangramのブログによると、トピック、長さ、トーンが一致した人間の執筆とAI生成テキストの大量をペアリングして訓練され、『専門家の混合』アーキテクチャを使用してドキュメントの個々のセクションを分類し、それをパッセージレベルのスコアに統合します。Pangramは結果を生成するために最低50語の散文を必要とし、執筆領域別に個別の偽陽性率を報告します—例えば、医学論文では約0%ですが、詩とレシピではより高い率です。」

「重要なことに、これらのツールのいずれも著者を識別することを主張していません。それらは統計的推定を出力します—与えられたパッセージがトレーニングで見た人間のテキストよりも機械生成テキストに似ている確率です。」

「なぜ検出器は確実性を提供できないのか」

「TechCrunchによると、OpenAIは2023年7月に独自のAIテキスト分類器をシャットダウンし、低い精度を理由に挙げました。TechCrunchの非公式テストでは、7つのAI生成パッセージのうち、OpenAIのツールは1つのみを正しく識別し、GPTZeroは5つを識別しました。OpenAIは当時、『より効果的な出所技術』を研究していると述べました。」

「Pangramの独自の数字は信頼と誤りの間の同じ緊張を示しています。ウィキペディアのツールエントリは、独立した評価が特定の人間の著者のスタイルを模倣するAIシステムによって書かれたパッセージの約10.1%をPangramが見落としたことを発見したと記しています。また、AIの出力を偽装することを目的とした『人間化』ツールを通じて処理されたテキストではパフォーマンスが悪かったとも述べています。同じエントリは、Pangramの結果が異議を唱えられた過去の紛争を一覧挙げています。小説家Mia Ballardを含み、彼女の執筆の78%がAIとしてフラグされました。またウォール・ストリート・ジャーナル編集者James Tarantoからの批評があり、彼は3つのスタッフ記事がフラグされた後、このツールを『中傷マシン』と呼びました—ただし、これらの記事の著者の2人は、彼らが自分の下書きの修正を支援するためだけにAIを使用したと述べました。」

「小説のケースが示すもの示さないもの」

「Pangram 4.1スコアはAlmadíaが小説の公開を一時停止して調査を開始するよう促した強力なシグナルですが、検出スコア単独ではテキストがどのように生成されたかについての証拠にはなりません。Procesoで報告された出版社の声明の時点で、Almadíaは最終的な調査結果を発表していませんでした。また、Silva Rojasは公の場で彼の説明を提供していませんでした。AI使用に対するコンテストのルール—およびそれに関連する署名済み宣言—は、単一の検出器スコアだけでは確立できない別の観点から、調査が疑惑を確認した場合、著者が失格の可能性にさらされることを意味しています。」