Yapay Zeka Görüntü Üretimi Nasıl Çalışır: Difüzyon Modelleri Açıklanıyor

2022'den itibaren ortaya çıkan OpenAI'nin DALL-E 2'si, Midjourney ve Stability AI'nin Stable Diffusion'ı da dahil olmak üzere çeşitli yapay zeka görüntü üreticileri, difüzyon adı verilen bir teknik üzerine inşa edilmiştir. Bu sistemler, bir görüntüyü vuruş vuruş çizmek yerine, bir görüntüyü kademeli olarak gürültüyle yok eden matematiksel bir süreci tersine çevirmeyi öğrenir ve bu süreci rastgele parazitten başlayarak geriye doğru çalıştırır.

Temel fikir: gürültüyü geri almayı öğrenmek

Görüntü üretimi için difüzyon modelleri, Jonathan Ho, Ajay Jain ve Pieter Abbeel tarafından yazılan ve arXiv araştırma deposunda yayımlanan 2020 tarihli 'Denoising Diffusion Probabilistic Models' (Gürültü Giderici Difüzyon Olasılıksal Modeller) başlıklı makalede formüle edilmiştir. Denge dışı termodinamikten esinlendiği belirtilen bu yöntem, iki aşamada çalışır. Yalnızca eğitim sırasında kullanılan 'ileri' aşamada, gerçek bir fotoğrafa birçok adım boyunca küçük miktarlarda rastgele (Gauss) gürültü eklenir, ta ki görüntü paraziten ayırt edilemez hale gelene kadar. 'Geri' aşamada ise bir sinir ağı, orijinal görüntü geri elde edilene kadar bu gürültüyü adım adım tahmin edip çıkarmak üzere eğitilir.

Eğitildikten sonra ağın başlamak için artık gerçek bir fotoğrafa ihtiyacı kalmaz. Saf rastgele gürültüden oluşan bir tuvalle başlayabilir ve eğitim sırasında öğrendiği aynı gürültü giderme adımlarını çalıştırarak, daha önce var olmayan yepyeni bir görüntü üretebilir. 2020 tarihli makale, CIFAR-10 adlı bir veri setinde modelinin güçlü görüntü kalitesi puanlarına eriştiğini ve daha büyük 256x256 görüntülerde, farklı bir mimariye dayanan önceki bir üretici teknik olan ProgressiveGAN'ın örnek kalitesine ulaştığını bildirmiştir.

Sinir ağının işi yaptığı yer: U-Net ve metin yönlendirmesi

Gürültü giderme işlemini gerçekleştiren ağ tipik olarak bir U-Net'tir; bu mimari türü, bir görüntüyü genel yapıyı yakalamak için küçültür ve ardından tam çözünürlüğe geri yeniden inşa eder. Stable Diffusion'ın GitHub üzerindeki kendi teknik belgelerinde, modelin difüzyon sürecini çalıştırmak için 860 milyon parametreli bir U-Net kullandığı ve bunun yanında görüntüleri daha küçük bir matematiksel temsile sıkıştıran ve sonucu tekrar tam bir görüntüye açan ayrı bir otokodlayıcı bulunduğu açıklanmaktadır.

Yazılı bir istemi takip edebilmek için sistemin kelimeleri piksellere bağlayacak bir yola ihtiyacı vardır. Aynı Stable Diffusion belgelerine göre model, metin ve görüntüleri eşleştirmek için ayrıca eğitilmiş bir bileşen olan dondurulmuş bir CLIP ViT-L/14 metin kodlayıcısı kullanarak bir istemi, her gürültü giderme adımını yönlendiren sayısal bir temsile dönüştürür; böylece ağ, ortaya çıkan görüntüyü kelimelerin tanımladığı şeye doğru yönlendirecek şekilde gürültüyü kaldırır.

• Eğitim: gerçek görüntüler, sadece parazit kalana kadar birçok adım boyunca kademeli olarak rastgele gürültüyle bozulur.
• Öğrenme: bir U-Net sinir ağı, her adımda eklenen gürültüyü tahmin edip kaldırmak üzere eğitilir.
• Metin koşullandırma: ayrı bir metin kodlayıcı (CLIP gibi), bir istemi gürültü giderme ağı için sayısal bir kılavuza dönüştürür.
• Üretim: rastgele gürültüden başlayarak, eğitilmiş ağ bir görüntü ortaya çıkana kadar metin tarafından yönlendirilerek gürültüyü adım adım kaldırır.
• Kod açma (yalnızca örtük modellerde): sıkıştırılmış bir dahili temsil, tam çözünürlüklü bir görüntüye geri dönüştürülür.

Piksel uzayı ile örtük uzay: Stable Diffusion neden bir dizüstü bilgisayarda çalışır

Tüm difüzyon modelleri içsel olarak aynı şekilde çalışmaz. MIT Technology Review'ın Aralık 2022'de teknolojinin yükselişi üzerine yaptığı haberine göre, DALL-E 2 gürültü giderme işlemini doğrudan tam çözünürlüklü görüntü pikselleri üzerinde gerçekleştirirken, Stable Diffusion bunun yerine sinir ağı içinde görüntünün sıkıştırılmış, 'örtük' bir temsili üzerinde çalışır; yayın kuruluşuna göre bu yaklaşım, Stable Diffusion'ın büyük sunucu altyapısı gerektirmek yerine sıradan kişisel bilgisayarlarda çalışmasına imkân sağlamıştır.

Stable Diffusion için GitHub deposu, CompVis araştırma grubu tarafından Stability AI ve Runway ile birlikte yürütülmektedir ve modelin örtük difüzyon yaklaşımının grubun CVPR 2022 bilgisayarla görme konferansında sunulan önceki makalesi olan 'High-Resolution Image Synthesis with Latent Diffusion Models' (Örtük Difüzyon Modelleriyle Yüksek Çözünürlüklü Görüntü Sentezi) üzerine inşa edildiğini ve LAION-5B veri setinden alınan görüntüler üzerinde eğitildiğini belirtmektedir.

Başlıca difüzyon tabanlı görüntü üreticileri nasıl karşılaştırılır

MIT Technology Review, DALL-E 2'nin Nisan 2022'deki lansmanından itibaren yaklaşık iki buçuk ay içinde bir milyon kullanıcıya ulaştığını ve Stable Diffusion'ın DreamStudio hizmetinin Ağustos 2022 çıkışının ardından bu sürenin yarısından daha kısa bir sürede bir milyon kullanıcıyı geçtiğini bildirdi; yayın bu rakamları, difüzyon yaklaşımının o yıl ne kadar hızlı bir şekilde kitlesel bir kitleye ulaştığının kanıtı olarak gösterdi.

2020–2022 araştırmaları ne ortaya koydu

Eğitim sırasında gürültü eklenmesi, üretim sırasında bir metin kodlayıcı tarafından yönlendirilerek gürültünün kaldırılması şeklindeki temel mekanizma, Ho, Jain ve Abbeel'in 2020 tarihli makalesinde ve burada incelenen 2022 tarihli haber ve belgelerde açıklandığı üzere, 2022'de ortaya çıkan büyük görüntü üreticilerinin temelini oluşturmuştur. O zamandan beri bireysel şirketler, aynı difüzyon çerçevesinin üzerine daha büyük U-Net'ler, daha büyük metin kodlayıcıları veya istem yeniden yazma sistemleri gibi ek bileşenler eklemiştir.