Cara Jaringan Saraf Belajar: Matematika di Balik ChatGPT dan Gemini

Setiap kali chatbot menjawab pertanyaan atau aplikasi foto mengenali wajah, jaringan saraf menjalankan proses pembelajaran yang mengikuti langkah-langkah dasar yang sama, terlepas dari tugasnya. Menurut IBM, proses tersebut bergantung pada dua teknik yang terkait: backpropagation, yang menghitung berapa banyak setiap parameter internal berkontribusi pada kesalahan, dan gradient descent, metode optimasi yang menggunakan perhitungan tersebut untuk memperbaiki parameter.

Apa Itu Jaringan Saraf Sebenarnya

Institute for Human-Centered AI (HAI) Stanford menggambarkan jaringan saraf sebagai model komputasi yang terinspirasi oleh struktur otak manusia, dibangun dari lapisan 'neuron' buatan yang saling terhubung yang memproses dan mengirimkan informasi. Setiap neuron mengambil input numerik, mengalikannya dengan nilai yang dapat disesuaikan yang disebut bobot, menambahkan suku bias, dan melewatkan hasilnya melalui fungsi aktivasi nonlinier sebelum mengirimnya ke lapisan berikutnya, menurut deskripsi arsitektur IBM. Stanford HAI mencatat bahwa struktur berlapis inilah yang memungkinkan jaringan saraf untuk mengekstrak pola dari sejumlah besar data, membentuk dasar pembelajaran mendalam.

Langkah Satu: Forward Pass

IBM menjelaskan bahwa pelatihan dimulai dengan bobot dan bias yang diatur ke nilai acak. Selama 'forward pass,' data input bergerak melalui jaringan lapisan demi lapisan: setiap neuron menghitung jumlah tertimbangnya, menerapkan fungsi aktivasinya, dan meneruskan output, sampai lapisan terakhir menghasilkan prediksi. Pada tahap awal ini, karena bobotnya acak, prediksi tersebut pada dasarnya adalah tebakan.

Langkah Dua: Mengukur Kesalahan

Jaringan kemudian membandingkan prediksinya dengan jawaban yang benar menggunakan fungsi kerugian, rumus yang mengukur seberapa jauh outputnya, menurut IBM. Tugas yang berbeda menggunakan rumus yang berbeda — kesalahan kuadrat rata-rata adalah umum untuk memprediksi angka, sedangkan cross-entropy digunakan untuk tugas klasifikasi seperti mengurutkan gambar ke dalam kategori.

Langkah Tiga: Backpropagation Melacak Kesalahan

'Backward pass' adalah tempat pembelajaran terjadi. IBM menggambarkan backpropagation sebagai bekerja dari lapisan output kembali ke lapisan input, menggunakan teknik kalkulus yang disebut chain rule untuk menentukan berapa banyak setiap bobot individual berkontribusi pada kesalahan keseluruhan. Hasilnya adalah gradien: sekumpulan nilai, satu untuk setiap bobot dan bias, yang menunjukkan arah dan besar penyesuaian yang akan mengurangi kesalahan.

IBM menunjukkan efisiensi pendekatan ini: untuk jaringan dengan satu juta bobot, menguji setiap parameter secara individual dengan trial dan error akan memerlukan lebih dari satu juta forward pass terpisah melalui jaringan. Backpropagation mencapai informasi yang sama hanya dalam dua pass — satu forward, satu backward.

Langkah Empat: Gradient Descent Memperbarui Bobot

Setelah gradien diketahui, gradient descent memindahkan setiap bobot selangkah kecil ke arah yang mengurangi kesalahan, IBM menjelaskan. Ukuran langkah itu dikendalikan oleh 'learning rate': learning rate yang lebih tinggi mempercepat pelatihan tetapi berisiko melampaui nilai terbaik, sementara rate yang lebih rendah lebih presisi tetapi lebih lambat berkumpul. Empat langkah — forward pass, perhitungan kerugian, backward pass, pembaruan bobot — diulang berulang kali, sering kali di seluruh jutaan contoh, sampai kerugian berhenti berkurang secara bermakna.

Dari Teknik Lab ke ChatGPT dan Gemini

Model bahasa besar menerapkan siklus backpropagation-dan-gradient-descent yang sama pada skala yang jauh lebih besar, di seluruh dua tahap yang berbeda. Yang pertama, pretraining, mengekspos model ke sejumlah besar teks yang tidak berlabel — corpora yang berisi ratusan miliaran token, menurut RBC Borealis — dan berulang kali memintanya memprediksi kata berikutnya dalam urutan. Blog penelitian dari RBC Borealis menggambarkan model dasar ini pada dasarnya sebagai jaringan yang dilatih untuk 'memprediksi kata berikutnya dalam string input yang tidak lengkap,' yang mengajarnya tata bahasa, fakta, dan pola umum tetapi tidak dengan sendirinya membuatnya menjadi asisten yang dapat diandalkan.

Tahap kedua, fine-tuning, menyesuaikan jaringan yang telah dilatih sebelumnya dengan perilaku tertentu. RBC Borealis menguraikan tiga pendekatan umum: fine-tuning yang diawasi pada jawaban contoh yang ditulis manusia; pembelajaran penguatan dari umpan balik manusia (RLHF), di mana model reward terpisah yang dilatih pada preferensi manusia memandu pembaruan bobot lebih lanjut; dan metode yang lebih baru seperti optimasi preferensi langsung, yang melewatkan model reward terpisah tetapi tetap mengandalkan backpropagation. Tahap fine-tuning inilah yang mengubah penyedia kata berikutnya umum menjadi sistem yang mengikuti instruksi dan menolak permintaan tertentu, daripada sekadar melanjutkan teks ke mana pun yang mungkin secara statistik.

Mengapa Mekanisme Ini Penting

Karena pretraining dan fine-tuning keduanya bergantung pada loop backpropagation-dan-gradient-descent yang sama, peningkatan pada teknik inti tersebut — perangkat keras yang lebih cepat, fungsi kerugian yang lebih baik, optimasi yang lebih efisien — mempengaruhi setiap aplikasi hilir secara bersamaan, dari pengenalan gambar hingga asisten percakapan. Stanford HAI mencatat bahwa jaringan saraf sekarang membentuk dasar sistem pembelajaran mendalam yang digunakan dalam pengenalan wajah, asisten suara, dan kendaraan otonom, semuanya dilatih melalui variasi siklus empat langkah yang sama yang dijelaskan di atas.