Bagaimana Chatbot AI seperti ChatGPT dan Claude Benar-Benar Bekerja - Penjelasan

Ratusan juta orang mengetik pertanyaan ke ChatGPT, Claude, Gemini atau alat serupa setiap hari, tetapi perangkat lunak di baliknya sering digambarkan sebagai 'kotak hitam' yang misterius. Menurut Google's Machine Learning Crash Course dan penjelasan oleh penulis sains Timothy B. Lee yang dipublikasikan di Understanding AI, mekanisme inti lebih sederhana untuk dijelaskan daripada kedengarannya: model bahasa besar (LLM) adalah jaringan saraf yang dilatih untuk memprediksi potongan teks kecil berikutnya, yang disebut token, dengan mempertimbangkan semua yang datang sebelumnya.

Dari kata-kata ke angka: token dan embedding

Sebelum LLM dapat memproses teks, ia memecah prompt menjadi token — unit yang dapat berupa seluruh kata, bagian dari kata, atau karakter tunggal, menurut dokumentasi pengembang Google. Setiap token dikonversi menjadi vektor, daftar panjang angka yang disebut embedding, yang dimaksudkan untuk menangkap sesuatu tentang makna token. Penjelasan Understanding AI membandingkannya dengan koordinat geografis: kata-kata dengan makna serupa berakhir berdekatan satu sama lain dalam ruang numerik yang luas, cara kota-kota terdekat berbagi lintang dan bujur yang serupa.

Perhatian: bagaimana model melacak konteks

Arsitektur di balik hampir semua LLM modern disebut Transformer. Kursus crash Google menjelaskan bahwa Transformer mengandalkan mekanisme yang disebut self-attention, yang menghitung seberapa banyak setiap token dalam sepotong teks harus mempengaruhi interpretasi setiap token lainnya. Understanding AI mengilustrasikan ini dengan query dan key vector: setiap kata secara efektif membangun daftar periksa jenis kata lain yang dicarinya, dan perhatian mencocokkan daftar periksa itu di seluruh kalimat sehingga model dapat, misalnya, mengetahui kata benda mana yang dirujuk oleh kata ganti seperti 'it'.

Langkah ini diikuti oleh layer feed-forward yang memproses representasi terbaru setiap kata dan mendorong model menuju memprediksi token apa yang harus datang selanjutnya, Understanding AI mencatat. Karena perhatian memungkinkan setiap token untuk melihat langsung setiap token lainnya terlepas dari jarak, Transformer menangani bagian yang panjang dan kompleks lebih konsisten daripada model sekuensial yang datang sebelumnya.

Pelatihan: miliaran tebakan, tanpa label manusia yang diperlukan

LLM dilatih sebagian besar melalui pembelajaran tanpa pengawasan pada prediksi token yang disembunyikan atau berikutnya, yang berarti sistem tidak diberikan jawaban 'benar' yang ditulis tangan untuk sebagian besar pelatihannya. Sebaliknya, dokumentasi Google menjelaskan proses di mana token dalam teks nyata disembunyikan dan model harus menebaknya; Understanding AI menjelaskan gagasan yang sama dalam hal prediksi kata berikutnya di seluruh koleksi teks besar yang diambil dari buku, situs web dan sumber lainnya. Parameter di dalam jaringan — Understanding AI mengutip 175 miliar GPT-3, dilatih pada sekitar 500 miliar kata — awalnya diatur secara acak dan secara bertahap disesuaikan, prediksi demi prediksi, sampai tebakan model selaras dengan teks nyata.

Mengubah model baku menjadi asisten yang membantu

Model yang hanya dilatih untuk memprediksi token berikutnya tidak secara otomatis merupakan chatbot yang mengikuti instruksi dengan hormat. Penjelasan teknis Hugging Face tentang Reinforcement Learning from Human Feedback (RLHF) menjelaskan langkah-langkah tambahan yang digunakan perusahaan seperti OpenAI untuk mengubah model dasar menjadi asisten. Pertama, model yang telah dilatih sebelumnya dapat disempurnakan melalui fine-tuning yang diawasi pada percakapan contoh. Kedua, reviewer manusia memberi peringkat multiple respons model untuk prompt yang sama, dan peringkat tersebut melatih model reward terpisah yang mempelajari cara mencetak output seperti yang dilakukan seseorang.

Pada tahap ketiga, model asli disesuaikan menggunakan pembelajaran penguatan — umumnya Proximal Policy Optimization — sehingga menghasilkan respons yang model reward skorkan tinggi, sementara penalti matematika mencegahnya melayang sejauh dari perilaku aslinya sehingga mulai menghasilkan omong kosong murni untuk mengecoh skor reward, menurut deskripsi Hugging Face tentang metode tersebut.

Mengapa chatbot masih membuat hal-hal

Sebuah makalah yang dirilis oleh peneliti OpenAI, 'Why Language Models Hallucinate,' tersedia di arXiv, berpendapat bahwa jawaban yang dipalsukan bukan sekadar bug yang harus dipatch. Makalah tersebut mengatribusikan halusinasi ke dua penyebab yang terhubung: produk sampingan statistik dari bagaimana model mempelajari untuk memprediksi kelanjutan yang masuk akal selama pretraining, dan cara model dievaluasi setelahnya. Sebagian besar benchmark dan papan peringkat menilai jawaban sebagai benar atau salah dan memperlakukan pengakuan ketidakpastian — 'I don't know' — sebagai jawaban yang salah, makalah menyatakan. Pengaturan itu memberi penghargaan kepada tebakan percaya diri dibandingkan kejujuran tentang ketidakpastian, yang mendorong model untuk terus menghasilkan pernyataan yang lancar dan spesifik bahkan ketika mereka tidak memiliki dasar yang andal untuk itu.

Apa yang sebenarnya dilakukan model, dalam satu kalimat

Menyatukan, proses yang dijelaskan di seluruh sumber ini adalah ini: chatbot mengubah prompt menjadi token, mengubahnya menjadi embedding numerik, menggunakan layer self-attention untuk menimbang bagaimana setiap token berhubungan dengan yang lain, dan berulang kali memprediksi token kemungkinan tertinggi berikutnya — proses yang dibentuk, setelah pretraining, oleh umpan balik manusia yang dirancang untuk membuat prediksi tersebut menyerupai jawaban yang membantu dan mengikuti instruksi daripada teks internet mentah.