「상을 수상한 소설 분쟁을 통해 설명되는 AI 텍스트 감지기의 작동 원리」

「감지 도구가 상을 수상한 소설이 거의 전부 기계가 작성했다고 판단한 사실로 인해 AI 텍스트 감지기가 정밀 조사를 받고 있습니다. 이 사건은 작가, 학생, 편집자에게 실질적인 질문을 제기합니다: 이 도구들은 실제로 무엇을 측정하고 있으며, 그들의 판단을 얼마나 신뢰할 수 있는가입니다.」

「논쟁을 촉발한 것」

「페루 작가 David Silva Rojas는 페루의 Ica 지역의 포도원을 배경으로 한 단편소설 『Donde el agua trabaja』로 Almadía Ventosa-Arrufat 국제 단편소설상(€20,000)을 수상했습니다. Infobae에 따르면, Cristina Rivera Garza, Selva Almada, Mónica Ojeda를 포함한 만장일치의 심사위원단이 22개국에서 제출된 2,204개 작품 중에서 이 작품을 선택했습니다.」

「Infobae가 인용한 스페인 신문 El País의 분석에 따르면, 약 26,000단어의 소설을 Pangram 4.1 감지 도구로 실행한 결과 99%가 인공지능에 의한 것으로 귀속되었습니다. 같은 도구는 Silva Rojas가 9월에 제공한 인터뷰 답변의 97%와 그가 제출한 924단어의 자전 텍스트의 80%에 플래그를 지었지만, 인터뷰어 자신의 말은 완전히 인간으로 판정되었습니다. 콘테스트 규칙에 따르면 지원자들은 탈락 페널티 하에서 원고가 '인공지능 도구로 부분적이든 전체적이든 작성되지 않았다'고 선언해야 했습니다.」

「Proceso에 따르면, 출판사 Almadía는 2026년 10월 23일에 시작될 예정이었던 마드리드, 바르셀로나, 세비야, 카디스에서의 소설 발표 행사를 중단했습니다. 출판사는 Silva Rojas가 그러한 도구를 사용하지 않았음을 선언하는 계약에 서명했다고 밝혔으며 조사 시간을 요청했습니다. Silva Rojas는 Infobae로부터 연락을 받았을 때 논평을 거부했습니다.」

「AI 텍스트 감지기가 실제로 어떻게 작동하는가」

「GPTZero의 발표된 방법론에 따르면, 해당 도구는 텍스트를 세 가지 주요 신호로 평가합니다: 혼란도(언어 모델에 대해 단어 선택이 얼마나 예측 가능한지를 나타냄), 버스트성(패시지 전체에서 문장 길이와 스타일이 얼마나 변하는지를 의미함), 그리고 전체적인 톤(작문이 일반적이거나 반복적인지 확인). GPTZero는 이러한 기본 측도 위에 '수백 가지 요소'를 포함한 독점 모델을 겹쳐놓는다고 말합니다.」

「소설 사건에서 사용된 도구인 Pangram은 다르게 작동합니다. Wikipedia의 도구 항목과 Pangram의 블로그에 따르면, 주제, 길이, 톤이 일치하는 인간 작문과 AI 생성 텍스트를 대량으로 페어링하여 훈련되고, '전문가의 혼합' 아키텍처를 사용하여 문서의 개별 섹션을 분류한 다음 패시지 수준 점수로 결합합니다. Pangram은 결과를 생성하기 위해 최소 50단어의 산문이 필요하며, 작문 영역별로 별도의 위양성률을 보고합니다—예를 들어, 의학 논문에서는 약 0%이지만 시와 레시피에서는 더 높은 비율입니다.」

「중요하게도, 이 도구들 중 어느 것도 저자를 식별한다고 주장하지 않습니다. 이들은 통계적 추정치를 출력합니다—주어진 패시지가 훈련에서 본 인간 텍스트보다 기계 생성 텍스트처럼 보일 확률입니다.」

「왜 감지기는 확실성을 제공할 수 없는가」

「TechCrunch에 따르면, OpenAI는 2023년 7월 자체 AI 텍스트 분류기를 낮은 정확도를 이유로 종료했습니다. TechCrunch의 비공식 테스트에서는 7개의 AI 생성 패시지 중 OpenAI의 도구는 1개만, GPTZero는 5개를 올바르게 식별했습니다. OpenAI는 당시 '더 효과적인 출처 기술'을 연구하고 있다고 말했습니다.」

「Pangram의 자체 수치는 신뢰와 오류 사이의 동일한 긴장을 보여줍니다. Wikipedia의 도구 항목은 독립적인 평가가 Pangram이 특정 인간 저자의 스타일을 모방하는 AI 시스템으로 작성된 패시지의 약 10.1%를 놓쳤다는 것을 발견했음을 주목합니다. 또한 AI 출력을 위장하기 위한 '인간화' 도구를 통해 처리된 텍스트에서 성능이 더 나빴습니다. 동일한 항목은 Pangram 결과에 이의가 제기된 과거 분쟁들을 나열합니다. 소설가 Mia Ballard를 포함하여, 그녀의 저작물 78%가 AI로 플래그되었습니다. 그리고 월스트리트저널 편집자 James Taranto로부터의 비판이 있으며, 3개의 직원 기사가 플래그된 후 그는 이 도구를 '명예훼손 기계'라고 불렀습니다—그러나 이 기사들의 저자 2명은 자신들의 초안 수정을 도우려는 목적으로만 AI를 사용했다고 말했습니다.」

「소설의 사건이 보여주는 것과 보여주지 않는 것」

「Pangram 4.1 점수는 Almadía가 소설의 출시를 중단하고 조사를 시작하도록 촉발한 강력한 신호이지만, 감지 점수 자체만으로는 텍스트가 어떻게 생성되었는지에 대한 증거가 되지 않습니다. Proceso에서 보도한 출판사 성명 시점에, Almadía는 최종 조사 결과를 발표하지 않았습니다. 또한 Silva Rojas는 공개 기록에서 자신의 설명을 제공하지 않았습니다. AI 사용에 대한 콘테스트 규칙—그리고 그에 부수된 서명된 선언—은 단일 감지 점수만으로는 확립될 수 없는 별도의 관점에서, 조사가 혐의를 확인한 경우 저자가 실격 위험에 노출될 수 있음을 의미합니다.」