Yapay zekâ · Makale

Üretken Yapay Zeka Nasıl Çalışır: Metin, Görsel ve Kod Üretimi Açıklandı

Yayın:

Théâtre d'Opéra Spatial
Görsel: Left intentionally blank · Public domain · Wikimedia Commons

Kısaca

Sohbet botları, görsel üretici araçlar ve kodlama asistanları gibi üretken yapay zeka araçlarının tümü bir girdiyi sayısal verilere dönüştürür, ardından devasa eğitim veri kümelerinden öğrenilen desenleri kullanarak çıktıyı adım adım oluşturur. Metin ve kod araçları bir dizideki sonraki belirteci (token) tahmin etmek için transformer modelleri kullanırken, Imagen gibi görsel araçları rastgele bir desenden kademeli olarak gürültü kaldırarak metin istemiyle eşleşen bir görsel ortaya çıkarır.

Bu sürüm, özgün metnin (English) makine çevirisidir. Özgün metni oku

Çok farklı çıktılar üretmelerine rağmen, metin üreticileri, görsel üreticileri ve kodlama asistanları ortak bir temeli paylaşır: büyük miktarda veriyle eğitilmiş bir sinir ağı istatistiksel desenleri öğrenir, ardından saklanmış bir yanıtı geri getirmek yerine bu desenleri kullanarak yeni içeriği parça parça inşa eder.

Metin üretimi: sonraki belirteci tahmin etmek

IBM'in 28 Mart 2025'te yayımlanan transformer modelleri üzerine teknik açıklayıcı yazısına göre, sohbet botlarının arkasındaki büyük dil modelleri gibi modeller önce metni belirteç (token) denen küçük birimlere ayırır; bunlar tam kelimeler veya kelime parçaları olabilir. Her belirteç, anlamını temsil eden embedding adı verilen sayısal bir vektöre dönüştürülür ve belirtecin cümledeki konumunu kodlamak için ikinci bir vektör eklenir.

Temel mekanizma öz-dikkat (self-attention) mekanizmasıdır: IBM'e göre model, her belirteç için öğrenilmiş üç vektör kullanarak — bir sorgu (query), bir anahtar (key) ve bir değer (value) — girdideki diğer her belirtecin ne kadar ilgili olduğunu hesaplar. Bu, modelin eski mimarilerin yaptığı gibi kelime kelime okumak yerine, metnin herhangi bir yerinden gelen bağlamı aynı anda tartabilmesini sağlar. GPT gibi modellerin arkasındaki mimari olan sadece-kod çözücülü (decoder-only) transformerlar, IBM'in açıkladığına göre ardından metni otoregresif olarak üretir — her seferinde bir belirteç tahmin eder ve bir sonraki belirteci tahmin etmek için bu belirteci geri besler.

Anthropic'in sitesinde 'Büyük bir dil modelinin düşüncelerini izlemek' başlığıyla yayımlanan araştırması, bu sonraki-belirteç sürecinin dışarıdan göründüğünden daha fazla planlama içerebileceğini buldu. Bir deneyde, Claude modeli bir şiir dizesi yazarken, dizenin kalanını yazmadan önce olası bir kafiye kelimesine karşılık gelen içsel özellikleri etkinleştirdi, ardından bu kelimeye ulaşmak için ifadesini ayarladı. Başka bir testte model, çok adımlı bir soruyu — örneğin Dallas'ı içeren eyaletin başkentini belirlemek gibi — doğrudan yanıta atlamak yerine önce 'Texas' için içsel bir temsili etkinleştirip ardından ayrı olarak 'Austin'i bularak yanıtladı, Anthropic'e göre.

Anthropic ayrıca modelin içsel hesaplaması ile bu hesaplamayı kendi açıklaması arasında bir fark buldu: Claude'a bir matematik hesaplamasını nasıl yaptığı sorulduğunda, standart bir yöntem tarif etti, ancak Anthropic'in izlediği içsel süreç, kaba bir tahmini son hanenin ayrı bir şekilde takip edilmesiyle birleştiren farklı, paralel bir yaklaşım kullandı.

Görsel üretimi: gürültüyü adım adım kaldırmak

Google'ın Imagen'i de dahil olmak üzere çoğu modern metinden-görsele araç, metin üretiminin tam tersi yönde çalışan difüzyon modellerini kullanır. Google'ın Imagen araştırma sayfasına göre, sistem dondurulmuş büyük bir dil modeli olan T5-XXL ile başlar; bu model metin istemini, metin modellerinde kullanılan türden sayısal bir temsile (embedding) dönüştürür. Google'ın araştırmacıları, bu metin kodlayıcısının boyutunu büyütmenin, modelin görsel üreten kısmını büyütmekten daha çok görsel kalitesini artırdığını belirtiyor.

Bir difüzyon modeli ardından bu metin embedding'ini alır ve 64x64 piksel boyutunda küçük bir görsel üretir. Bunu, rastgele görsel gürültüden başlayarak ve yinelemeli bir 'gürültü giderme' (denoising) süreci çalıştırarak yapar; Google'ın tanımına göre model, tutarlı bir düşük çözünürlüklü görsel ortaya çıkana kadar metin embedding'inin yönlendirmesiyle tekrar tekrar bir miktar gürültüyü tahmin edip kaldırır. Görsel daha sonra iki ek difüzyon modeli kullanılarak büyütülür; önce 256x256 piksele, ardından 1024x1024 piksele; Google bu kademeyi süper çözünürlük difüzyonu olarak adlandırıyor.

Google'ın araştırma sayfasına göre, modelin metin istemini daha yakından takip edebilmesini sağlamak için Imagen, sınıflandırıcısız yönlendirme (classifier-free guidance) olarak bilinen bir yöntemle birlikte kullanılan 'yeni bir eşikleme difüzyon örnekleyicisi' sunuyor; bu ikisi birlikte çok daha büyük yönlendirme ağırlıklarının kullanılmasını mümkün kılıyor. Google, insan değerlendirmelerinde değerlendiricilerin Imagen'in çıktısını metin istemiyle eşleşme konusunda gerçek referans fotoğraflarla karşılaştırılabilir bulduğunu ve Google'ın oluşturduğu DrawBench adlı bir kıyaslama testinde DALL-E 2 de dahil olmak üzere diğer metinden-görsele sistemlere tercih ettiğini bildirdi.

Kod üretimi: bağlamdan oluşturulan öneriler

GitHub Copilot gibi yapay zeka kodlama asistanları, genel metin için kullanılan aynı transformer tabanlı, sonraki-belirteç tahmini yaklaşımını uygular, ancak özellikle programlama kodu üzerinde eğitilmiş ve bir geliştiricinin çalışma alanına uyarlanmıştır. GitHub'ın kendi belgelerine göre Copilot iki ana modda çalışır: geliştirici yazarken kod öneren, soruları yanıtlayan veya kodu açıklayan 'yardımcı' mod ve bir geliştiricinin bir hedef tanımladığı ve Copilot'un bir görevi tamamlamak için depoyu araştırma, bir plan önerme, dosyaları düzenleme ve araçları çalıştırma gibi birden fazla adımda çalıştığı 'ajan' modu.

GitHub'ın belgeleri, Copilot'un yeteneklerinin depoya özel talimatlar ve harici araç entegrasyonları gibi özelleştirmelere de uzandığını ve bazı özelliklerin eşzamansız çalıştığını, bu da bir kodlama ajanının sürekli denetim olmadan değişiklikler yapabilmesine ve pull request'ler açabilmesine veya güncelleyebilmesine izin verdiğini belirtiyor. GitHub, mevcut belgelerine göre kullanılan her modeli veya bağlamın nasıl seçilip altta yatan modele iletildiğinin tüm teknik ayrıntılarını kamuya açık olarak belirtmiyor.

Üçünün karşılaştırması

Çıktı türüne göre üretken yapay zeka
Çıktı türüTemel teknikModel neyle başlarÖrnek
MetinOtoregresif transformer; sonraki belirteci tahmin ederBir belirteç dizisi (istem)GPT veya Claude gibi modellere dayanan sohbet botları
GörselDifüzyon; bir metin embedding'i tarafından yönlendirilen gürültüyü kaldırırRastgele görsel gürültü ile bir metin embedding'iGoogle Imagen
KodKod üzerinde eğitilmiş, eklenmiş çalışma alanı bağlamına sahip otoregresif transformerÇevredeki dosyalar/bağlam ile birlikte kod belirteçleriGitHub Copilot

Bu üç yaklaşımın tümü eğitim verisine bağlıdır: modelin içsel desenleri, eğitim sırasında maruz kaldığı metin, görsel veya koddan gelir ve çıktısı, herhangi bir tek eğitim örneğinin kopyası olmaktan ziyade bu öğrenilmiş desenler tarafından şekillendirilen yeni üretilmiş bir dizi veya görseldir.

Büyük önceden eğitilmiş dondurulmuş metin kodlayıcılarının metinden-görsele görevi için çok etkili olduğunu gösteriyoruz.

— Google Imagen araştırma ekibi

Sorular

ChatGPT veya Claude gibi sohbet botlarının arkasındaki ana teknoloji nedir?
IBM'in transformer açıklayıcısına göre, metni belirteçlere ayıran, öz-dikkat mekanizması aracılığıyla her belirtecin diğer her belirteçle nasıl ilişkili olduğunu hesaplayan ve ardından bir yanıt oluşturmak için her seferinde bir belirteci tahmin eden bir transformer sinir ağı kullanırlar.
Bir yapay zeka görsel üreticisi, bir metin istemini nasıl bir resme dönüştürür?
Google'ın Imagen'i gibi modellerde, dondurulmuş bir dil modeli istemi sayısal bir embedding'e dönüştürür ve bir difüzyon modeli rastgele gürültüden başlayarak bir görsel oluşana kadar bu embedding tarafından yönlendirilerek tekrar tekrar gürültüyü kaldırır, ardından Google'ın araştırma sayfasına göre bunu ek difüzyon adımlarında büyütür.
Bir yapay zeka modeli metin yazarken önceden planlama yapar mı, yoksa sadece sonraki kelimeyi mi tahmin eder?
Anthropic'in yorumlanabilirlik araştırması, bazı durumlarda sınırlı bir ileriye dönük planlamaya dair kanıtlar buldu — örneğin model, şiirsel bir dizenin kalanını oluşturmadan önce hedef bir kafiye kelimesini etkinleştiriyor — ancak model nihayetinde metni yine belirteç belirteç üretiyor.
Yapay zeka kod üretimi, yapay zeka metin üretiminden nasıl farklıdır?
Her ikisi de transformer tabanlı sonraki-belirteç tahminine dayanır, ancak GitHub Copilot gibi kodlama asistanları programlama kodu üzerinde eğitilir ve geliştiricinin dosyalarından ve deposundan ek bağlam alır; GitHub'ın belgelerine göre, çok adımlı kodlama görevlerini planlayıp yürüten bir 'ajan' modunda da çalışabilir.
Claude'un kendi akıl yürütme açıklaması, aslında hesapladığı şeyle örtüşüyor mu?
Her zaman değil. Anthropic, Claude'dan bir matematik problemini nasıl çözdüğünü tarif etmesi istendiğinde, belirttiği yöntemin araştırmacıların izlediği içsel hesaplama adımlarından farklı olduğunu ve bu durumun modelin kendi raporu ile gerçek süreci arasında bir fark ortaya çıkardığını bildirdi.

Kaynaklar

  1. Anthropic — Tracing the thoughts of a large language model
  2. Google Research — Imagen: Text-to-Image Diffusion Models
  3. GitHub Docs — About GitHub Copilot
  4. IBM — What is a Transformer Model?

Bu yazı yapay zekâ ile hazırlandı ve yayından önce otomatik kaynak denetiminden geçti. Bir hata görürseniz düzeltme isteyin. Düzeltme ya da cevap iste · Nasıl hazırlıyoruz

İlgili yazılar