ChatGPT ve Claude gibi yapay zeka sohbet robotları gerçekte nasıl çalışıyor?

Yüzlerce milyon insan her gün ChatGPT, Claude, Gemini veya benzeri araçlara sorular yazıyor; ancak bunların arkasındaki yazılım genellikle gizemli bir "kara kutu" olarak tanımlanıyor. Google'ın Machine Learning Crash Course'una ve bilim yazarı Timothy B. Lee'nin Understanding AI'da yayımlanan açıklayıcı makalesine göre, temel mekanizma göründüğünden daha basit bir şekilde tarif edilebilir: büyük bir dil modeli (LLM), kendisinden önce gelen her şey verildiğinde, token adı verilen küçük bir metin parçasını tahmin etmek üzere eğitilmiş bir sinir ağıdır.

Kelimelerden sayılara: token'lar ve gömme vektörleri (embeddings)

Google'ın geliştirici belgelerine göre, bir LLM metni işleyebilmeden önce bir istemi (prompt) token'lara ayırır; bunlar tam bir kelime, kelimenin bir parçası veya tek bir karakter olabilen birimlerdir. Her token, token'ın anlamına dair bir şeyi yakalamayı amaçlayan, embedding adı verilen uzun bir sayı listesine, yani bir vektöre dönüştürülür. Understanding AI'daki açıklayıcı makale bunu coğrafi koordinatlara benzetiyor: benzer anlamlara sahip kelimeler, yakın şehirlerin benzer enlem ve boylamları paylaşması gibi, geniş bir sayısal uzayda birbirine yakın konumlarda son buluyor.

Dikkat (attention): model bağlamı nasıl takip ediyor

Günümüzdeki hemen hemen tüm modern LLM'lerin arkasındaki mimari Transformer olarak adlandırılıyor. Google'ın crash course'u, bir Transformer'ın self-attention (öz-dikkat) adı verilen bir mekanizmaya dayandığını ve bu mekanizmanın bir metin parçasındaki her token'ın diğer her token'ın yorumlanmasını ne kadar etkilemesi gerektiğini hesapladığını açıklıyor. Understanding AI bunu sorgu (query) ve anahtar (key) vektörleriyle örnekliyor: her kelime, aradığı diğer kelime türlerine dair fiilen bir kontrol listesi oluşturuyor ve attention, modelin örneğin "it" gibi bir zamirin hangi isme atıfta bulunduğunu çözebilmesi için bu kontrol listelerini cümle boyunca eşleştiriyor.

Understanding AI'ya göre bu adımı, her kelimenin güncellenmiş temsilini işleyen ve modeli bir sonraki token'ın ne olması gerektiğini tahmin etmeye iten feed-forward katmanları takip ediyor. Attention, her token'ın mesafeden bağımsız olarak doğrudan her diğer token'a bakmasına izin verdiği için, Transformer'lar uzun ve karmaşık metinleri kendilerinden önceki sıralı (sequential) modellerden daha tutarlı bir şekilde ele alabiliyor.

Eğitim: insan etiketi gerektirmeyen milyarlarca tahmin

LLM'ler büyük ölçüde maskelenmiş veya bir sonraki token tahminine dayalı gözetimsiz öğrenme (unsupervised learning) yoluyla eğitiliyor; bu da sistemin eğitiminin büyük kısmında elle yazılmış "doğru cevaplar" verilmediği anlamına geliyor. Bunun yerine, Google'ın belgeleri gerçek metindeki token'ların gizlendiği ve modelin bunları tahmin etmek zorunda kaldığı bir süreci tarif ediyor; Understanding AI da aynı fikri, kitaplardan, web sitelerinden ve diğer kaynaklardan derlenen büyük metin koleksiyonları üzerinde bir sonraki kelimeyi tahmin etme açısından anlatıyor. Understanding AI'nın atıfta bulunduğu GPT-3'ün 175 milyar parametresi gibi, ağın içindeki parametreler — kabaca 500 milyar kelime üzerinde eğitilmiş — rastgele değerlerle başlıyor ve modelin tahminleri gerçek metinle örtüşene kadar tahmin tahmin, kademeli olarak ayarlanıyor.

Ham bir modeli yardımcı bir asistana dönüştürmek

Yalnızca bir sonraki token'ı tahmin etmek üzere eğitilmiş bir model, otomatik olarak talimatları kibarca takip eden bir sohbet robotu haline gelmiyor. Hugging Face'in İnsan Geri Bildiriminden Takviyeli Öğrenme (RLHF) üzerine teknik açıklayıcı makalesi, OpenAI gibi şirketlerin temel bir modeli bir asistana dönüştürmek için kullandığı ek adımları tarif ediyor. İlk olarak, önceden eğitilmiş model örnek konuşmalar üzerinde gözetimli ince ayar (supervised fine-tuning) yoluyla rafine edilebilir. İkinci olarak, insan değerlendiriciler aynı istemi (prompt) için birden fazla model yanıtını sıralıyor ve bu sıralamalar, çıktıları bir insanın yapacağı şekilde puanlamayı öğrenen ayrı bir ödül modelini (reward model) eğitiyor.

Hugging Face'in yöntem tarifine göre, üçüncü aşamada orijinal model takviyeli öğrenme — genellikle Proximal Policy Optimization — kullanılarak, ödül modelinin yüksek puan verdiği yanıtları üretecek şekilde ayarlanıyor; bu sırada matematiksel bir ceza, modelin ödül puanını kandırmak amacıyla saçmalık üretmeye başlayacak kadar orijinal davranışından uzaklaşmasını önlüyor.

Sohbet robotları neden hâlâ bilgi icat ediyor

OpenAI araştırmacıları tarafından yayımlanan ve arXiv'de bulunan "Why Language Models Hallucinate" (Dil Modelleri Neden Halüsinasyon Görür) başlıklı makale, uydurulmuş cevapların yalnızca yamalanabilecek basit bir hata olmadığını öne sürüyor. Makale, halüsinasyonları birbirine bağlı iki nedene bağlıyor: modellerin ön eğitim sırasında makul görünen devamları tahmin etmeyi öğrenme biçiminin istatistiksel bir yan ürünü ve modellerin daha sonra değerlendirilme şekli. Makalede belirtildiğine göre, çoğu kıyaslama testi (benchmark) ve lider tablosu bir cevabı ya doğru ya da yanlış olarak puanlıyor ve belirsizliği kabul etmeyi — bir "bilmiyorum" yanıtını — yanlış cevap olarak değerlendiriyor. Bu düzen, belirsizlik konusunda dürüstlük yerine kendinden emin tahmini ödüllendiriyor ve bu da modelleri, güvenilir bir dayanakları olmasa bile akıcı, spesifik görünen ifadeler üretmeye devam etmeye itiyor.

Model gerçekte ne yapıyor, bir cümlede

Bu kaynaklarda tarif edilen süreci bir araya getirdiğimizde durum şu: bir sohbet robotu, bir istemi (prompt) token'lara dönüştürür, bunları sayısal embedding'lere çevirir, her token'ın diğer her token ile ilişkisini tartmak için self-attention katmanlarını kullanır ve tekrar tekrar tek bir en olası sonraki token'ı tahmin eder — ön eğitimden sonra, bu tahminlerin ham internet metni gibi değil, yardımcı ve talimat takip eden yanıtlar gibi görünmesini sağlamak amacıyla tasarlanmış insan geri bildirimi tarafından şekillendirilen bir süreçtir.