Cara Kerja Detektor Teks AI, Dijelaskan Melalui Perselisihan Novel Pemenang Hadiah

Temuan alat deteksi bahwa novel pemenang hadiah ditulis hampir seluruhnya oleh mesin telah menempatkan detektor teks AI di bawah pengawasan ketat. Kasus ini mengangkat pertanyaan praktis bagi penulis, siswa, dan editor: apa sebenarnya yang diukur alat-alat ini, dan seberapa banyak putusan mereka dapat dipercaya?

Apa yang memicu perdebatan

Penulis Peru David Silva Rojas memenangkan Hadiah Novel Pendek Internasional Almadía Ventosa-Arrufat pertama kalinya, senilai €20.000, untuk novelnya "Donde el agua trabaja," cerita yang berlatar di perkebunan anggur di wilayah Ica, Peru. Juri yang sepakat bulat yang terdiri dari penulis Cristina Rivera Garza, Selva Almada, dan Mónica Ojeda memilih karya ini dari 2.204 pengajuan di 22 negara, menurut Infobae.

Menurut Infobae, yang mengutip analisis dari surat kabar Spanyol El País, menjalankan novel sekitar 26.000 kata melalui alat deteksi Pangram 4.1 mengatribusikan 99% darinya kepada kecerdasan buatan. Alat yang sama menandai 97% dari jawaban wawancara yang diberikan Silva Rojas pada September dan 80% dari teks otobiografi 924 kata yang dia kirimkan, sementara kata-kata pewawancara sendiri terdaftar sebagai sepenuhnya manusia. Aturan kontes mengharuskan peserta untuk menyatakan bahwa naskah mereka "tidak ditulis, baik sebagian maupun sepenuhnya, dengan alat kecerdasan buatan," dengan ancaman didiskualifikasi.

Penerbit Almadía menghentikan acara presentasi novel di Madrid, Barcelona, Seville, dan Cádiz, yang dijadwalkan dimulai pada 23 Oktober 2026, menurut Proceso. Penerbit mengatakan Silva Rojas telah menandatangani kontrak menyatakan bahwa dia tidak menggunakan alat semacam itu dan meminta waktu untuk menyelidiki. Silva Rojas menolak memberikan komentar ketika dihubungi oleh Infobae untuk penjelasannya.

Cara Kerja Detektor Teks AI Sebenarnya

Menurut metodologi yang dipublikasikan sendiri oleh GPTZero, alatnya menilai teks pada tiga sinyal utama: perplexity, atau seberapa dapat diprediksi pilihan kata bagi model bahasa; burstiness, yang berarti seberapa banyak panjang dan gaya kalimat bervariasi di seluruh bagian; dan nada keseluruhan, memeriksa apakah tulisan terasa generik atau berulang. GPTZero mengatakan bahwa ia melapis model proprietary dengan "ratusan faktor" di atas ukuran dasar ini.

Pangram, alat yang digunakan dalam kasus novel, bekerja berbeda. Menurut entri Wikipedia tentang alat dan blog Pangram sendiri, alat ini dilatih dengan memasangkan volume besar tulisan manusia dengan teks yang dihasilkan AI yang cocok berdasarkan topik, panjang, dan nada, kemudian menggunakan arsitektur "mixture of experts" untuk mengklasifikasikan bagian individual dari dokumen sebelum menggabungkannya ke dalam skor tingkat bagian. Pangram memerlukan setidaknya 50 kata prosa untuk menghasilkan hasil dan melaporkan tingkat positif-palsu terpisah berdasarkan domain tulisan — misalnya, mendekati 0% pada makalah medis versus tingkat yang lebih tinggi pada puisi dan resep.

Yang penting, tidak satu pun dari alat-alat ini mengklaim untuk mengidentifikasi penulis. Mereka mengeluarkan perkiraan statistik — probabilitas bahwa bagian tertentu menyerupai teks yang dihasilkan mesin lebih dari teks manusia yang telah dilihat model dalam pelatihan.

Mengapa Tidak Ada Detektor yang Menawarkan Kepastian

OpenAI menutup pengklasifikasi teks AI miliknya sendiri pada Juli 2023, dengan alasan tingkat akurasi yang rendah, menurut TechCrunch. Dalam uji informal TechCrunch terhadap tujuh bagian yang dihasilkan AI, alat OpenAI hanya mengidentifikasi satu dengan benar, sementara GPTZero mengidentifikasi lima. OpenAI mengatakan pada waktu itu bahwa alat itu sedang meneliti "teknik provenance yang lebih efektif" sebagai gantinya.

Angka Pangram sendiri menunjukkan ketegangan yang sama antara kepercayaan diri dan kesalahan. Entri Wikipedia tentang alat ini mencatat bahwa evaluasi independen menemukan bahwa alat itu melewatkan sekitar 10,1% dari bagian yang ditulis oleh sistem AI yang meniru gaya penulis manusia tertentu, dan bahwa alat itu berkinerja lebih buruk pada teks yang dijalankan melalui alat "humanizer" yang dimaksudkan untuk menyamarkan keluaran AI. Entri yang sama mencantumkan perselisihan masa lalu di mana hasil Pangram ditantang, termasuk novelis Mia Ballard, yang tulisannya ditandai 78% sebagai AI, dan kritik dari editor Wall Street Journal James Taranto, yang menyebut alat itu "mesin pencemaran nama baik" setelah menandai tiga artikel staf — meskipun dua penulis dari artikel tersebut mengatakan mereka hanya menggunakan AI untuk membantu merevisi draf mereka.

Apa yang Ditunjukkan dan Tidak Ditunjukkan oleh Kasus Novel

Skor Pangram 4.1 adalah sinyal kuat yang mendorong Almadía untuk menghentikan peluncuran novel dan membuka penyelidikan, tetapi skor deteksi saja tidak merupakan bukti tentang bagaimana teks diproduksi. Sesuai dengan pernyataan penerbit yang dilaporkan oleh Proceso, Almadía belum mengumumkan temuan akhir, dan Silva Rojas belum memberikan akunnya secara resmi. Aturan kontes terhadap penggunaan AI — dan deklarasi yang ditandatangani yang terkait dengannya — adalah apa yang membuat penulis terkena potensi diskualifikasi jika penyelidikan mengkonfirmasi kecurigaan, terpisah dari apa yang dapat ditetapkan oleh skor detektor tunggal apa pun.