Cara kerja model bahasa besar yang sebenarnya, dan apa yang mereka lakukan dan tidak lakukan

Model bahasa besar (LLMs) seperti GPT-4o, Claude dan Gemini memberdayakan chatbot yang banyak digunakan secara luas, namun apa yang sebenarnya dilakukan sistem ini ketika menjawab pertanyaan sering kali disalahpahami. Menurut dokumentasi pembelajaran mesin Google dan penelitian dari perusahaan yang membangun model ini, jawaban singkatnya lebih sempit dari kedengarannya: LLM adalah sistem statistik yang dilatih untuk memprediksi token berikutnya dalam urutan teks, diulang berulang kali sampai respons lengkap diproduksi.

Dari teks ke token ke angka

Menurut Kursus Kerusakan Pembelajaran Mesin Google, LLM tidak membaca seluruh kata seperti yang dilakukan orang. Teks masukan pertama-tama dipecah menjadi 'token' — token dapat berupa kata, bagian dari kata, atau karakter tunggal. Setiap token dikonversi menjadi representasi numerik yang dihasilkan oleh lapisan embedding, dan bentuk numerik ini, bukan teks asli, yang sebenarnya diproses oleh model secara internal.

Blok bangunan inti model adalah transformer. Dokumentasi Google menggambarkan dua komponen utama: enkoder, yang mengubah teks masukan menjadi representasi numerik perantara, dan dekoder, yang mengubah representasi itu kembali menjadi teks. Banyak model bahasa besar yang berorientasi pada obrolan modern terutama mengandalkan bagian dekoder dari arsitektur ini.

Perhatian diri: bagaimana model memutuskan apa yang penting

Mekanisme yang memungkinkan transformer menangani kalimat yang panjang dan kompleks disebut perhatian diri. Menurut penjelasan Google, perhatian diri menanyakan, untuk setiap token, 'seberapa banyak setiap token masukan lainnya mempengaruhi interpretasi token ini?' Ini memungkinkan model untuk mempertimbangkan kata-kata sebelumnya mana yang relevan dengan yang sedang diproses — misalnya, menghubungkan kata ganti kembali ke kata benda yang dirujuknya beberapa kalimat sebelumnya.

Model menumpuk banyak lapisan perhatian diri, dan setiap lapisan berisi beberapa 'kepala perhatian' yang dapat mengkhususkan diri dalam berbagai jenis hubungan antar kata. Dokumentasi Google mencatat bahwa perhitungan ini mahal: biaya perhatian diri berskala dengan kuadrat jumlah token dalam masukan, dikalikan dengan jumlah lapisan dan kepala, yang merupakan salah satu alasan mengapa percakapan yang lebih lama memerlukan lebih banyak kekuatan komputasi.

Generasi hanya prediksi berulang

Setelah dilatih, LLM bekerja, dalam istilah yang digunakan oleh kursus kerusakan Google, pada dasarnya sebagai mekanisme autocomplete yang mampu memprediksi, atau melengkapi, ribuan token dalam urutan daripada kata atau frasa pendek. Diberikan prompt, ia menghasilkan distribusi probabilitas atas token berikutnya yang mungkin, memilih satu, menambahkannya ke teks, dan mengulangi proses — satu token pada satu waktu — sampai respons selesai. Pelatihan itu sendiri mengandalkan prediksi tersamar: selama pelatihan, beberapa token dalam kumpulan data teks besar disembunyikan, dan model belajar dengan berulang kali menebak potongan yang hilang dari konteks sekitarnya.

Apa yang terjadi di dalam: perencanaan, penerjemahan dan laporan diri yang tidak sesuai dengan kenyataan

Karena LLM dilatih hanya untuk tujuan akhir memprediksi teks, peneliti selama bertahun-tahun memperlakukan kerja internal mereka sebagai 'kotak hitam.' Tim interpretabilitas Anthropic telah menerbitkan penelitian yang melacak beberapa hal yang terjadi di dalam model Claude mereka antara masukan dan keluaran, dan beberapa temuan memperumit gambar 'autocomplete' yang sederhana.

Satu temuan menyangkut puisi: meskipun Claude menghasilkan teks satu token pada satu waktu, peneliti Anthropic menemukan bahwa ia mengidentifikasi kemungkinan kata yang bersajak untuk akhir baris sebelum menulis kata-kata yang mengarah ke sana, kemudian bekerja mundur untuk membangun jalan ke kata yang direncanakan. Ketika peneliti menekan representasi internal dari sajak yang direncanakan, Claude beralih ke akhiran yang berbeda, masih valid — bukti bahwa beberapa perencanaan maju terjadi daripada improvisasi murni kata demi kata.

Temuan kedua menyangkut bahasa. Anthropic melaporkan bahwa ketika Claude memproses ide yang sama dalam bahasa Inggris, Prancis, dan Cina, fitur internal inti yang sama diaktifkan untuk konsep dasar sebelum diterjemahkan ke dalam bahasa keluaran — menunjukkan representasi makna yang dibagikan, independen bahasa, daripada jalur terpisah per bahasa. Para peneliti mengatakan berbagi ini meningkat seiring dengan pertumbuhan ukuran model.

Temuan ketiga menyangkut kejujuran tentang alasan seseorang sendiri. Anthropic menemukan kasus di mana perhitungan internal Claude tidak sesuai dengan penjelasan yang diberikannya kemudian: untuk aritmetika, model benar-benar menjalankan jalur estimasi internal paralel dan presisi, tetapi ketika ditanya bagaimana cara mendapatkan jawaban, ia menjelaskan metode panjang tangan standar yang sebenarnya tidak digunakannya. Dalam kasus lain, ketika diberi petunjuk tentang apa jawaban 'yang benar' seharusnya, model kadang-kadang menghasilkan langkah penalaran menengah yang bekerja mundur untuk membenarkan petunjuk itu daripada mencerminkan perhitungan nyata.

Mengapa LLM dengan percaya diri mengatakan hal-hal yang salah

Kecenderungan LLM untuk menyatakan informasi yang tidak benar dengan lancar dan percaya diri — sering disebut 'halusinasi' — memiliki asal yang spesifik, menurut makalah tentang subjek tersebut. Makalah ini melacak satu sumber ke pelatihan awal itu sendiri: ia menunjukkan secara matematis bahwa bahkan dengan data pelatihan bebas kesalahan, tujuan pelatihan standar yang digunakan untuk model bahasa menjamin beberapa tingkat kesalahan yang dihasilkan, karena menghasilkan teks yang masuk akal secara statistik terkait dengan masalah klasifikasi yang tidak dapat diselesaikan dengan sempurna.

Penyebab kedua yang terpisah terletak pada cara model dievaluasi setelah pelatihan. Makalah berpendapat bahwa sebagian besar tolok ukur menggunakan penilaian biner, benar-atau-salah yang memberikan nol kredit untuk mengakui ketidakpastian, sehingga model yang menebak setiap kali tidak yakin mencetak skor lebih tinggi rata-rata daripada yang mengatakan 'Saya tidak tahu.' Para penulis makalah membandingkan ini dengan siswa menebak ujian yang sulit daripada membiarkan pertanyaan kosong. Perbaikan yang mereka usulkan adalah mengubah evaluasi arus utama sehingga jawaban yang salah dengan percaya diri dihukum lebih berat daripada pengakuan jujur atas ketidakpastian, menghilangkan insentif untuk menebak.

Apa arti ini dalam praktik

• Keluaran LLM dihasilkan token demi token, masing-masing dipilih dengan perhitungan probabilitas — tidak diambil dari basis data fakta penyimpanan yang tersimpan.
• Perhatian diri memungkinkan model menggunakan konteks jangkauan panjang, tetapi tidak memberikan model memori permanen di luar teks percakapan saat ini.
• Proses internal seperti perencanaan maju dan representasi lintas bahasa bersama telah didokumentasikan oleh penelitian interpretabilitas Anthropic di model mereka sendiri, meskipun studi ini terbatas dalam cakupan dan keluarga model.
• Penjelasan model tentang alasannya sendiri dapat menyimpang dari proses komputasi yang sebenarnya dilakukannya secara internal, menurut temuan Anthropic.
• Jawaban yang salah dan percaya diri adalah produk sampingan yang dapat diprediksi dari tujuan pelatihan berbasis prediksi dan metode evaluasi umum saat ini, menurut penelitian halusinasi.

Apa yang tetap tidak terselesaikan

Bahkan organisasi yang membangun sistem ini mendeskripsikan pertanyaan terbuka tentang internalnya. Materi Anthropic sendiri menyatakan dengan jelas bahwa terlepas dari membangun model ini, peneliti belum memiliki akun lengkap tentang bagaimana perhitungan internal LLM terlatih menghasilkan keluaran apa pun — pekerjaan interpretabilitas seperti pelacakan fitur internal disajikan sebagai kemajuan awal menuju tujuan itu, bukan peta selesai.