Pemrosesan Bahasa Alami Memungkinkan Chatbot Memahami Apa yang Anda Katakan

Pemrosesan bahasa alami, atau NLP, adalah subdisiplin ilmu komputer dan kecerdasan buatan yang menggunakan machine learning untuk memungkinkan komputer memahami dan berkomunikasi dalam bahasa manusia, menurut IBM. Ini menggabungkan linguistic komputasional — pemodelan berbasis aturan tentang tata bahasa dan makna — dengan pemodelan statistik dan pembelajaran mendalam sehingga perangkat lunak dapat mengenali, menginterpretasi dan menghasilkan teks dan ucapan.

IBM membagi bidang menjadi dua bagian yang saling melengkapi: pemahaman bahasa alami (NLU), yang menganalisis input untuk memahami makna, niat dan konteks daripada hanya kata-kata individual, dan pembuatan bahasa alami (NLG), yang menghasilkan teks yang dapat dibaca manusia sebagai tanggapan. Chatbot membutuhkan keduanya — NLU untuk mengetahui apa yang ditanyakan seseorang, NLG untuk merumuskan jawabannya.

Mengubah kata-kata menjadi sesuatu yang dapat diproses mesin

Sebelum ada 'pemahaman', teks mentah harus dikonversi ke bentuk yang dapat dikerjakan komputer. IBM menggambarkan pipeline ini dimulai dengan tokenisasi, di mana teks dipecah menjadi unit yang lebih kecil — biasanya kata-kata atau bagian kata — diikuti dengan langkah normalisasi seperti membuat huruf kecil dan menghapus kata pengisi.

Dari sini, sistem menerapkan parsing untuk memetakan struktur tata bahasa, pengenalan entitas bernama untuk menandai orang, tempat, tanggal dan item spesifik lainnya, dan analisis sentimen untuk mengukur nada emosional. IBM mencatat bahwa parsing ketergantungan melihat bagaimana kata-kata berhubungan satu sama lain — mana yang menjadi subjek, mana yang menjadi kata kerja — dan bahwa pohon parse ini juga mendasari mesin terjemahan dan pengenalan ucapan.

Mengetahui apa yang sebenarnya dimaksudkan pengguna

Mengenali kata-kata bukanlah hal yang sama dengan memahami maksud. Menurut IBM, NLU menerapkan analisis semantik dan sintaksis untuk menginterpretasi input bahasa manusia, bertujuan untuk memahami makna dan konteks secara holistik daripada kata demi kata. Konteks yang lebih luas ini adalah apa yang dapat memungkinkan chatbot membedakan, misalnya, 'bank' finansial dari sungai, berdasarkan kalimat di sekitarnya atau giliran sebelumnya dalam percakapan.

IBM menggambarkan pengenalan niat, pengenalan entitas dan pelacakan ketergantungan di seluruh percakapan sebagai elemen inti NLU: mengetahui apa yang coba dicapai pengguna, mengidentifikasi entitas dunia nyata yang disebutkan dalam teks, dan melacak hubungan di seluruh pertukaran panjang sehingga balasan beberapa pesan nanti masih masuk akal dalam konteks.

Mengapa model transformer mengubah teknologi

Sebagian besar chatbot yang digunakan saat ini, termasuk ChatGPT, Gemini dan Claude, dibangun di atas arsitektur transformer, yang diperkenalkan dalam makalah tahun 2017 'Attention Is All You Need' oleh Vaswani dan rekan. Makalah ini menyajikan arsitektur yang dibangun semata-mata pada mekanisme perhatian, menghilangkan operasi perulangan dan konvolusi yang digunakan model sebelumnya — desain yang memungkinkan komputasi berjalan secara paralel di seluruh kalimat alih-alih kata demi kata, secara dramatis mempercepat pelatihan. Pada benchmark terjemahan WMT 2014 yang dikutip dalam makalah, Transformer mencetak 28.4 BLEU untuk English-to-German dan 41.8 BLEU untuk English-to-French, dalam setiap kasus melampaui sistem sebelumnya sambil melatih dalam sebagian kecil dari waktu.

Mekanisme inti, self-attention, memungkinkan model menimbang seberapa relevan setiap kata dalam suatu bagian dengan setiap kata lainnya, bukan hanya tetangganya yang langsung. Menurut IBM, setiap token dikonversi menjadi tiga vektor — query, key dan value — dan model menghitung skor penyelarasan di antara mereka untuk membangun koneksi berbobot antara semua token, yang IBM gambarkan sebagai lebih efisien daripada yang dapat dicapai oleh arsitektur sebelumnya.

Model bahasa besar yang dibangun di atas arsitektur ini menghasilkan balasan dengan memprediksi satu token pada satu waktu. IBM merangkum proses yang mendasarinya dengan blak-blakan: 'LLM bekerja sebagai mesin prediksi statistik raksasa yang berulang kali memprediksi kata berikutnya dalam urutan.' Model mentokenisasi input, mengubahnya menjadi embedding, dan berulang kali menghitung probabilitas token paling mungkin berikutnya hingga respons lengkap diproduksi.

Mengapa teknologi ini tiba-tiba ada di mana-mana

Hasil praktis dari kemajuan ini sekarang terlihat dalam angka adopsi. Survei Pew Research Center terhadap 5.119 orang dewasa Amerika, dilakukan 17–23 Februari 2026 dan diterbitkan 17 Juni 2026, menemukan bahwa 49% orang dewasa Amerika sekarang menggunakan chatbot AI, naik dari sekitar sepertiga pada tahun 2024 dan 18% yang mengatakan mereka menggunakan ChatGPT secara khusus pada tahun 2023. Sekitar seperempat orang dewasa Amerika melaporkan menggunakan chatbot setiap hari, termasuk 4% yang mengatakan mereka menggunakannya hampir terus-menerus, menurut survei yang sama.

• Tokenisasi: teks dibagi menjadi kata-kata atau unit sub-kata yang dapat diproses model
• Normalisasi: membuat huruf kecil dan menghapus karakter yang tidak relevan atau kata pengisi
• Parsing dan pengenalan entitas: tata bahasa dan entitas kunci (nama, tanggal, tempat) diidentifikasi
• Analisis niat dan konteks (NLU): sistem mengetahui apa yang ingin dicapai pengguna, menggunakan giliran sebelumnya untuk menyelesaikan ambiguitas
• Pembuatan respons (NLG): model memprediksi dan mengumpulkan token berikutnya, satu per satu, ke dalam balasan