Alat AI generatif seperti chatbot, pembuat gambar, dan asisten koding semuanya mengubah input menjadi data numerik, kemudian membangun output langkah demi langkah menggunakan pola yang dipelajari dari set data pelatihan yang besar. Alat teks dan kode memprediksi token berikutnya dalam urutan menggunakan model transformer, sementara alat gambar seperti Imagen secara bertahap menghilangkan kebisingan dari pola acak hingga muncul gambar yang sesuai dengan permintaan teks.
Versi ini adalah terjemahan mesin dari naskah asli (English). Baca naskah asli
Meskipun mencakup output yang sangat berbeda, pembuat teks, pembuat gambar, dan asisten koding berbagi fondasi yang sama: jaringan saraf yang dilatih pada sejumlah besar data mempelajari pola statistik, kemudian menggunakan pola tersebut untuk membangun konten baru sepotong demi sepotong daripada mengambil jawaban yang disimpan.
Generasi teks: memprediksi token berikutnya
Model bahasa besar seperti yang ada di balik chatbot pertama-tama memecah teks menjadi unit kecil yang disebut token, yang dapat berupa kata-kata lengkap atau bagian dari kata-kata, menurut penjelas teknis IBM tentang model transformer, dipublikasikan 28 Maret 2025. Setiap token dikonversi menjadi vektor numerik, yang disebut embedding, yang merepresentasikan maknanya, dan vektor kedua ditambahkan untuk mengenkode posisi token dalam kalimat.
Mekanisme inti adalah perhatian sendiri: untuk setiap token, model menghitung relevansi setiap token lain dalam input, menggunakan tiga vektor yang dipelajari per token — kueri, kunci, dan nilai, menurut IBM. Ini memungkinkan model untuk mempertimbangkan konteks dari mana saja dalam teks sekaligus, bukan membaca kata demi kata seperti arsitektur yang lebih lama. Transformer hanya dekoder, arsitektur di balik model seperti GPT, kemudian menghasilkan teks secara otoregressif — memprediksi satu token sekaligus dan mengembalikan token itu untuk memprediksi yang berikutnya, IBM menjelaskan.
Penelitian dari Anthropic, dipublikasikan di situs mereka sebagai 'Tracing the thoughts of a large language model,' menemukan bahwa proses token berikutnya ini dapat melibatkan lebih banyak perencanaan daripada yang terlihat dari luar. Dalam satu eksperimen, ketika model Claude mereka menulis baris puisi, model mengaktifkan fitur internal yang sesuai dengan kata yang mungkin berima sebelum menulis sisa baris, kemudian menyesuaikan kata-katanya untuk mencapai kata tersebut. Dalam tes lain, model menjawab pertanyaan multi-langkah — seperti mengidentifikasi ibukota negara bagian yang berisi Dallas — dengan terlebih dahulu mengaktifkan representasi internal untuk 'Texas' dan kemudian secara terpisah mengambil 'Austin,' daripada langsung melompat ke jawaban, Anthropic melaporkan.
Anthropic juga menemukan kesenjangan antara komputasi internal model dan deskripsi komputasi itu sendiri: ketika ditanya bagaimana melakukan perhitungan matematika, Claude menggambarkan metode standar, tetapi proses internal yang dilacak Anthropic menggunakan pendekatan yang berbeda dan paralel, menggabungkan perkiraan kasar dengan pelacakan digit terakhir yang terpisah.
Sebagian besar alat teks-ke-gambar modern, termasuk Imagen dari Google, menggunakan model difusi, yang bekerja dalam arah berlawanan dari generasi teks. Menurut halaman penelitian Imagen Google, sistem dimulai dengan model bahasa besar yang beku — T5-XXL — yang mengubah permintaan teks menjadi embedding, jenis representasi numerik yang sama dengan yang digunakan dalam model teks. Peneliti Google mencatat bahwa meningkatkan ukuran enkoder teks ini meningkatkan kualitas gambar lebih dari meningkatkan bagian model yang menghasilkan gambar.
Model difusi kemudian mengambil embedding teks itu dan menghasilkan gambar 64x64 piksel kecil. Model melakukan ini dengan memulai dari kebisingan visual acak dan menjalankan proses 'denoising' iteratif, di mana model berulang kali memprediksi dan menghilangkan sedikit kebisingan, dipandu oleh embedding teks, hingga gambar resolusi rendah yang koheren tetap ada, menurut deskripsi Google. Gambar kemudian diperbesar menggunakan dua model difusi lebih lanjut, pertama ke 256x256 piksel dan kemudian ke 1024x1024 piksel, kaskade yang disebut Google difusi super-resolusi.
Untuk memungkinkan model mengikuti permintaan teks lebih dekat, halaman penelitian Google mengatakan Imagen memperkenalkan 'sampler difusi thresholding baru,' digunakan bersama dengan metode yang dikenal sebagai bimbingan bebas klasifikasi, yang bersama-sama memungkinkan penggunaan bobot bimbingan yang jauh lebih besar. Google melaporkan bahwa dalam evaluasi manusia, penilai menilai output Imagen sebagai setara dengan foto referensi nyata untuk mencocokkan permintaan teks, dan menyukainya daripada sistem teks-ke-gambar lainnya, termasuk DALL-E 2, di benchmark yang disebut DrawBench yang dibangun Google.
Generasi kode: saran yang dibangun dari konteks
Asisten koding AI seperti GitHub Copilot menerapkan pendekatan prediksi token berikutnya berbasis transformer yang sama dengan yang digunakan untuk teks umum, tetapi dilatih khusus pada kode pemrograman dan disesuaikan dengan ruang kerja pengembang. Menurut dokumentasi GitHub sendiri, Copilot beroperasi dalam dua mode utama: mode 'asistif' yang menyarankan kode, menjawab pertanyaan, atau menjelaskan kode saat pengembang mengetik, dan mode 'agentic' di mana pengembang menggambarkan tujuan dan Copilot bekerja melalui beberapa langkah — meneliti repositori, mengusulkan rencana, mengedit file, dan menjalankan alat untuk menyelesaikan tugas.
Dokumentasi GitHub menyatakan bahwa kemampuan Copilot juga meluas ke kustomisasi, seperti instruksi khusus repositori dan integrasi alat eksternal, dan bahwa beberapa fitur bekerja secara asinkron, memungkinkan agen koding untuk membuat perubahan dan membuka atau memperbarui permintaan tarik tanpa pengawasan konstan. GitHub tidak secara terbuka menentukan setiap model yang digunakan atau detail teknis lengkap tentang bagaimana konteks dipilih dan diteruskan ke model yang mendasari, menurut dokumentasi terkininya.
Difusi; menghilangkan kebisingan yang dipandu oleh embedding teks
Kebisingan visual acak plus embedding teks
Google Imagen
Kode
Transformer otoregressif yang dilatih pada kode, dengan konteks ruang kerja tambahan
Token kode ditambah file/konteks sekitarnya
GitHub Copilot
Ketiga pendekatan bergantung pada data pelatihan: pola internal model berasal dari teks, gambar, atau kode yang terkena selama pelatihan, dan outputnya adalah urutan yang baru dihasilkan atau gambar yang dibentuk oleh pola yang dipelajari tersebut daripada salinan dari contoh pelatihan tunggal.
Kami menunjukkan bahwa enkoder teks besar yang dilatih sebelumnya dan beku sangat efektif untuk tugas teks-ke-gambar.
— Tim penelitian Google Imagen
Pertanyaan
Apa teknologi utama di balik chatbot seperti ChatGPT atau Claude?
Mereka menggunakan jaringan saraf transformer yang memecah teks menjadi token, menghitung bagaimana setiap token berhubungan dengan setiap token lain melalui perhatian mandiri, dan kemudian memprediksi satu token sekaligus untuk membangun respons, menurut penjelasan transformer IBM.
Bagaimana pembuat gambar AI mengubah permintaan teks menjadi gambar?
Dalam model seperti Imagen Google, model bahasa yang beku mengubah permintaan menjadi embedding numerik, dan model difusi dimulai dari kebisingan acak dan berulang kali menghilangkan kebisingan yang dipandu oleh embedding itu hingga gambar terbentuk, kemudian menskalanya dalam langkah difusi lebih lanjut, menurut halaman penelitian Google.
Apakah model AI merencanakan ke depan saat menulis teks, atau hanya menebak kata berikutnya?
Penelitian interpretabilitas Anthropic menemukan bukti perencanaan maju terbatas dalam beberapa kasus — misalnya, model mengaktifkan kata berima target sebelum menyusun sisa baris puisi — meskipun model pada akhirnya masih menghasilkan teks token demi token.
Bagaimana generasi kode AI berbeda dari generasi teks AI?
Keduanya mengandalkan prediksi token berikutnya berbasis transformer, tetapi asisten koding seperti GitHub Copilot dilatih pada kode pemrograman dan menarik konteks tambahan dari file dan repositori pengembang, dan dapat beroperasi dalam mode 'agentic' yang merencanakan dan melaksanakan tugas koding multi-langkah, menurut dokumentasi GitHub.
Apakah penjelasan Claude sendiri tentang alasannya sesuai dengan apa yang benar-benar dikomputenya?
Tidak selalu. Anthropic melaporkan bahwa ketika ditanya bagaimana menyelesaikan masalah matematika, Claude menggambarkan metode standar, tetapi proses komputasi internal yang dilacak peneliti berbeda, mengungkapkan kesenjangan antara laporan mandiri model dan proses aktualnya.
Tulisan ini disiapkan dengan kecerdasan buatan dan lolos pemeriksaan sumber otomatis sebelum terbit. Jika Anda melihat kesalahan, ajukan koreksi. Ajukan koreksi atau hak jawab · Cara kami bekerja
Geoffrey Hinton, ilmuwan komputer pemenang Hadiah Nobel yang dikenal sebagai 'bapak AI,' mengatakan bahwa peluang terbaik kemanusiaan untuk bertahan menghadapi mesin yang semakin cerdas adalah dengan merancangnya agar benar-benar peduli dengan orang-orang, bukan hanya mematuhi mereka. Berbicara di Festival Starmus di Tenerife pada Oktober 2026, Hinton memperingatkan bahwa tanpa perubahan ini, kemanusiaan akan menghadapi konsekuensi yang parah.
Lab penelitian AI berbasis San Francisco, Flapping Airplanes, telah mengumpulkan $1 miliar dalam putaran Series A, meningkatkan valuasinya menjadi $6 miliar, sekitar empat kali lipat dari $1.5 miliar yang dimilikinya setelah putaran seed $180 juta pada Januari 2026. Startup yang berusia satu tahun ini belum memiliki produk komersial dan fokus pada membuat pelatihan model AI kurang tergantung pada jumlah data dan kekuatan komputasi yang besar.
Chatbot AI dibangun di atas model bahasa besar (LLM), jaringan saraf yang dilatih untuk memprediksi 'token' berikutnya dalam urutan teks. Mereka mengubah kata-kata menjadi angka, menggunakan mekanisme perhatian untuk menimbang bagaimana kata-kata berhubungan satu sama lain, dan kemudian disempurnakan dengan umpan balik manusia untuk berperilaku seperti asisten yang membantu daripada prediktor teks mentah.
Sistem rekomendasi AI mempersonalisasi feed dan saran produk dengan menganalisis apa yang diklik, ditonton, dinilai, dan dibeli pengguna, kemudian mencocokkan perilaku tersebut dengan pola dari pengguna serupa. Platform seperti Netflix, YouTube, dan Amazon mengatakan mereka menggunakan sinyal keterlibatan dan kontekstual — dalam beberapa kasus, bukan data demografis — sementara regulator di AS dan UE telah mengangkat kekhawatiran tentang transparansi dan pengumpulan data di balik sistem ini.
