Mengapa Model Bahasa AI Mengalami Halusinasi: Penelitian di Balik Jawaban Salah

Halusinasi AI adalah pernyataan yang dihasilkan oleh model bahasa yang terdengar lancar dan percaya diri tetapi salah secara faktual — sebuah kutipan palsu, tanggal yang salah, seseorang yang tidak ada. Dalam makalah penelitian yang diterbitkan pada September 2025, peneliti OpenAI menjelaskan halusinasi dalam istilah ini dan menyatakan bahwa, dengan metode pelatihan dan evaluasi saat ini, masalah tidak dapat sepenuhnya diselesaikan.

Bagaimana proses pelatihan menciptakan kesalahan

Menurut makalah OpenAI, yang diposting di arXiv, bagian dari penjelasan terletak pada cara model dilatih sebelumnya. Selama pelatihan sebelumnya, model belajar hanya dari teks lancar, tanpa label yang menandai pernyataan mana yang benar atau salah. Ini dilatih dengan tujuan statistik (kerugian lintas-entropi) yang memberi penghargaan memprediksi kata-kata berikutnya yang mungkin, bukan memverifikasi fakta.

Peneliti menunjukkan ini menghasilkan kesalahan bahkan pada data yang tidak mengandung kesalahan itu sendiri. Untuk fakta yang muncul hanya sekali dalam data pelatihan — peneliti memberikan contoh hari jadi seseorang — analisis makalah menemukan bahwa tingkat halusinasi pada fakta-fakta tersebut setidaknya setinggi pangsa fakta "singleton" seperti itu dalam set pelatihan. Dengan kata lain, jika sebuah fakta hanya disebutkan sekali, model secara matematis cenderung salah. Makalah menyebut beberapa kesalahan tidak dapat dihindari bahkan untuk model tanpa batas pada kekuatan komputasi, karena tugas-tugas tertentu adalah apa yang dijelaskan sebagai secara komputasi tidak dapat ditangani.

Mengapa sistem penilaian memberi penghargaan pada tebakan

Argumen kedua makalah menyangkut cara model dievaluasi setelah pelatihan sebelumnya. Ia membandingkan model bahasa dengan siswa yang menghadapi ujian pilihan ganda: jawaban kosong mencetak nol, jadi menebak selalu strategi yang lebih baik secara statistik ketika setiap jawaban salah mengeluarkan biaya yang sama dengan meninggalkan pertanyaan tanpa jawaban. Peneliti OpenAI memeriksa sepuluh benchmark AI yang banyak digunakan — termasuk GPQA, MMLU-Pro dan SWE-bench — dan menemukan bahwa sembilan dari mereka menggunakan penilaian biner yang tidak memberikan kredit untuk jawaban seperti "Saya tidak tahu," skor yang sama dengan jawaban yang salah.

Pola penilaian itu, menurut makalah, mendorong model untuk terus menebak daripada mengakui ketidakpastian, karena menebak dengan percaya diri rata-rata mencetak lebih baik daripada lindung nilai yang jujur. TechCrunch, melaporkan tentang makalah, menggambarkan ini sebagai evaluasi yang menciptakan insentif yang salah dengan memberi penghargaan pada tebakan yang beruntung dengan cara yang sama seperti jawaban yang benar-benar didukung dengan baik.

Model penalaran telah mengalami halusinasi lebih banyak, bukan lebih sedikit

Tren ini tidak terbatas pada model yang lebih tua. Kartu sistem OpenAI sendiri untuk model penalaran o3 dan o4-mini mereka, dirilis pada April 2025 dan dilaporkan oleh TechCrunch, menemukan bahwa tingkat halusinasi meningkat dengan sistem penalaran yang lebih baru pada benchmark PersonQA internal perusahaan, yang menguji pertanyaan faktual tentang orang.

OpenAI mengatakan penelitian lebih lanjut diperlukan untuk memahami mengapa halusinasi meningkat seiring model penalaran naik, mencatat bahwa model ini membuat lebih banyak klaim secara keseluruhan, yang menghasilkan lebih banyak pernyataan yang benar dan lebih banyak yang salah. Neil Chowdhury, peneliti di kelompok penelitian AI Transluce yang dikutip oleh TechCrunch, menawarkan satu hipotesis: jenis pembelajaran penguatan yang digunakan untuk melatih model penalaran seri-o mungkin memperkuat masalah yang teknik pelatihan standar biasanya mengurangi.

Apa yang OpenAI usulkan untuk memperbaikinya

Makalah September 2025 mengusulkan perubahan cara benchmark dinilai daripada menambahkan tes halusinasi terpisah. Perbaikan yang disarankan adalah membangun ambang kepercayaan diri eksplisit ke dalam instruksi penilaian — misalnya, menceritakan model untuk menjawab pertanyaan hanya jika itu lebih dari 75% yakin, dengan kesalahan yang mengeluarkan biaya lebih banyak poin daripada abstraksi. Secara teori, ini membuat abstraksi pilihan yang lebih baik secara matematis ketika model tidak yakin, bukan yang lebih buruk, seperti yang terjadi dalam sistem penilaian saat ini.

Makalah jelas bahwa pendekatan ini akan mengurangi, bukan menghilangkan, halusinasi. Karena beberapa kesalahan berasal dari fakta yang langka secara statistik atau dari tugas yang peneliti jelaskan sebagai secara komputasi tidak dapat ditangani, para penulis menyimpulkan bahwa model bahasa dengan halusinasi nol tidak dapat dicapai dengan metode saat ini.