Yapay Zeka Metin Dedektörleri Nasıl Çalışır: Ödüllü Bir Roman Tartışması Üzerinden Açıklama

Bir tespit aracının, ödüllü bir romanın neredeyse tamamen makine tarafından yazıldığına dair bulgusu, yapay zeka metin dedektörlerini mercek altına aldı. Bu durum, yazarlar, öğrenciler ve editörler için ortak bir pratik soruyu gündeme getiriyor: bu araçlar gerçekte neyi ölçüyor ve verdikleri hükümlere ne kadar güvenilebilir?

Tartışmayı tetikleyen ne oldu

Peru'lu yazar David Silva Rojas, Peru'nun Ica bölgesindeki bir şarap çiftliğinde geçen "Donde el agua trabaja" adlı romanıyla, 20.000 avro değerindeki ilk Almadía Ventosa-Arrufat Uluslararası Kısa Roman Ödülü'nü kazandı. Infobae'ye göre, aralarında yazarlar Cristina Rivera Garza, Selva Almada ve Mónica Ojeda'nın bulunduğu jüri, eseri 22 ülkeden gelen 2.204 başvuru arasından oy birliğiyle seçti.

İspanyol gazetesi El País'in bir analizine atıfta bulunan Infobae'ye göre, yaklaşık 26.000 kelimelik romanın Pangram 4.1 tespit aracından geçirilmesi, eserin %99'unu yapay zekaya atfetti. Aynı araç, Silva Rojas'ın Eylül ayında verdiği röportaj cevaplarının %97'sini ve gönderdiği 924 kelimelik otobiyografik metnin %80'ini işaretlerken, röportajı yapan kişinin kendi sözleri tamamen insan yazımı olarak kaydedildi. Yarışma kuralları, katılımcıların el yazmalarının "yapay zeka araçlarıyla, ne kısmen ne de tamamen yazılmadığını" beyan etmelerini, aksi halde diskalifiye edilme cezasına çarptırılacaklarını şart koşuyordu.

Proceso'ya göre, yayıncı Almadía, 23 Ekim 2026'da başlaması planlanan romanın Madrid, Barselona, Sevilla ve Cádiz'deki tanıtım etkinliklerini askıya aldı. Yayıncı, Silva Rojas'ın bu tür araçları kullanmadığını beyan eden bir sözleşme imzaladığını belirterek inceleme için zaman istedi. Infobae kendisinden açıklama almak için ulaştığında Silva Rojas yorum yapmayı kabul etmedi.

Yapay zeka metin dedektörleri gerçekte nasıl çalışır

GPTZero'nun kendi yayımladığı metodolojiye göre, aracı metni üç ana sinyale göre puanlıyor: şaşkınlık (perplexity), yani kelime seçimlerinin bir dil modeli için ne kadar tahmin edilebilir olduğu; patlaklık (burstiness), yani bir metin parçası boyunca cümle uzunluğunun ve üslubun ne kadar değiştiği; ve genel ton, yani yazının jenerik veya tekrarlayıcı okunup okunmadığının kontrolü. GPTZero, bu temel ölçümlerin üzerine "yüzlerce faktör" içeren tescilli bir model kattığını söylüyor.

Roman vakasında kullanılan araç olan Pangram farklı çalışır. Araçla ilgili Wikipedia girdisine ve Pangram'ın kendi bloguna göre, bu araç büyük hacimli insan yazısını konu, uzunluk ve ton açısından eşleştirilmiş yapay zeka tarafından üretilmiş metinlerle eşleştirilerek eğitiliyor; ardından bir belgenin tek tek bölümlerini sınıflandırmak için "uzman karışımı" (mixture of experts) mimarisini kullanıyor ve bunları metin düzeyinde bir puana birleştiriyor. Pangram'ın sonuç üretebilmesi için en az 50 kelimelik düzyazı gerekiyor ve yazı türüne göre ayrı yanlış pozitif oranları bildiriyor — örneğin, tıbbi makalelerde %0'a yakın oranlar, şiir ve tariflerde ise daha yüksek oranlar.

Önemli olan şu ki, bu araçların hiçbiri bir yazarı tespit ettiğini iddia etmiyor. Bunlar istatistiksel bir tahmin üretiyor — belirli bir metin parçasının, modelin eğitim sırasında gördüğü insan metinlerine kıyasla makine tarafından üretilmiş metne ne kadar benzediğine dair bir olasılık.

Hiçbir dedektörün kesinlik sunamamasının nedeni

TechCrunch'a göre OpenAI, düşük doğruluk oranını gerekçe göstererek kendi yapay zeka metin sınıflandırıcısını Temmuz 2023'te kapattı. TechCrunch'ın yedi yapay zeka tarafından üretilmiş metin parçasıyla yaptığı gayri resmi testte, OpenAI'nin aracı sadece bir tanesini doğru şekilde tespit ederken, GPTZero beşini tespit etti. OpenAI o dönemde bunun yerine "daha etkili köken belirleme teknikleri" üzerinde araştırma yaptığını söyledi.

Pangram'ın kendi verileri de güven ile hata arasındaki aynı gerilimi gösteriyor. Araçla ilgili Wikipedia girdisi, bağımsız değerlendirmelerin, belirli bir insan yazarın üslubunu taklit eden yapay zeka sistemleri tarafından yazılan metinlerin yaklaşık %10,1'ini atladığını bulduğunu ve aracın, yapay zeka çıktısını gizlemek amacıyla "humanizer" araçlarından geçirilen metinlerde daha kötü performans gösterdiğini belirtiyor. Aynı girdi, Pangram sonuçlarının itiraz edildiği geçmiş tartışmaları listeliyor; bunlar arasında yazısının %78'i yapay zeka olarak işaretlenen romancı Mia Ballard ve üç çalışan makalesini işaretlemesinin ardından aracı bir "iftira makinesi" olarak nitelendiren Wall Street Journal editörü James Taranto'nun eleştirileri bulunuyor — ancak bu makalelerin iki yazarı, taslaklarını revize etmeye yardımcı olmak için yapay zeka kullandıklarını söylemişti.

Romanın vakası ne gösteriyor, ne göstermiyor

Pangram 4.1 puanı, Almadía'nın romanın piyasaya sürülme sürecini durdurmasına ve bir soruşturma açmasına yol açan güçlü bir sinyal, ancak tek başına bir tespit puanı, bir metnin nasıl üretildiğine dair kanıt oluşturmuyor. Proceso'nun bildirdiği yayıncı açıklamasına göre, Almadía nihai bir bulgu açıklamamıştı ve Silva Rojas kayıtlara geçecek bir açıklama yapmamıştı. Yarışmanın yapay zeka kullanımına karşı kuralı — ve buna bağlı imzalanmış beyan — bir soruşturma şüpheyi doğrularsa yazarı olası diskalifikasyona açık hale getiren şey; bu, tek bir dedektör puanının kendi başına ortaya koyabileceğinden ayrı bir husus.