هذه اللغة مترجمة آليًا، ولم تتم مراجعتها من قِبل إنسان.

NIVΞCTOR
الأخبارادعمنا

العدّاد لم يبدأ بعد

الذكاء الاصطناعي · مقال

كيف يعمل توليد الصور بالذكاء الاصطناعي: شرح نماذج الانتشار

نُشر:

باختصار

تستخدم أدوات مثل DALL-E و Midjourney و Stable Diffusion نماذج الانتشار لإنشاء الصور: وهي شبكات عصبية مدربة على تحويل الصورة إلى ضوضاء عشوائية ثم عكس هذه العملية. لتوليد صورة جديدة، تبدأ الشبكة من ضوضاء خالصة وتزيل الضوضاء خطوة بخطوة، موجهة بطلب نصي، حتى تظهر صورة متماسكة.

هذه النسخة ترجمة آلية للنص الأصلي (English). اقرأ النص الأصلي

عدة مولدات صور بالذكاء الاصطناعي ظهرت من عام 2022 فما بعده — بما فيها DALL-E 2 من OpenAI و Midjourney و Stable Diffusion من Stability AI — مبنية على تقنية تسمى الانتشار. بدلاً من رسم الصورة ضربة تلو الأخرى، تتعلم هذه الأنظمة عكس عملية رياضية تدمر الصورة تدريجياً بالضوضاء، ثم تشغيل هذه العملية بالعكس بدءاً من ضوضاء عشوائية.

الفكرة الأساسية: تعلم إزالة الضوضاء

تم توضيح نماذج الانتشار لتوليد الصور رسمياً في ورقة عام 2020، 'Denoising Diffusion Probabilistic Models'، لكل من Jonathan Ho و Ajay Jain و Pieter Abbeel، المنشورة في مستودع البحوث arXiv. الطريقة، الموصوفة بأنها مستوحاة من الديناميكا الحرارية غير المتوازنة، تعمل على مرحلتين. في المرحلة 'الأمامية'، المستخدمة فقط أثناء التدريب، تُضاف كميات صغيرة من الضوضاء العشوائية (الغاوسية) إلى صورة حقيقية على عدة خطوات حتى تصبح الصورة غير قابلة للتمييز عن ضوضاء الراديو. في المرحلة 'العكسية'، يتم تدريب شبكة عصبية للتنبؤ بتلك الضوضاء وطرحها، خطوة بخطوة، حتى يتم استرجاع الصورة الأصلية.

بمجرد التدريب، لا تحتاج الشبكة إلى صورة حقيقية للبدء منها. يمكنها أن تبدأ بلوحة قماش من الضوضاء العشوائية الخالصة وتشغيل نفس خطوات إزالة الضوضاء التي تعلمتها أثناء التدريب، لإنتاج صورة جديدة تماماً لم تكن موجودة من قبل. أبلغت ورقة عام 2020 أنه على مجموعة بيانات تسمى CIFAR-10 وصل نموذجها إلى درجات جودة صورة قوية وعلى صور أكبر بحجم 256x256، تطابقت جودة العينة مع ProgressiveGAN، وهي تقنية توليدية سابقة بناءً على بنية مختلفة.

حيث تقوم الشبكة العصبية بالعمل: U-Net وتوجيه النص

الشبكة التي تقوم بإزالة الضوضاء هي عادةً U-Net، وهي نوع من البنية الهندسية التي تصغر الصورة لالتقاط البنية الكلية ثم تعيد بناؤها إلى دقة كاملة. في التوثيق التقني الخاص بـ Stable Diffusion على GitHub، يوصف النموذج بأنه يستخدم U-Net بـ 860 مليون معامل لتشغيل عملية الانتشار، جنباً إلى جنب مع مشفر تلقائي منفصل يضغط الصور إلى تمثيل رياضي أصغر ويفك ضغط النتيجة مرة أخرى إلى صورة كاملة.

لمتابعة طلب مكتوب، يحتاج النظام إلى طريقة لربط الكلمات بالبكسل. وفقاً للتوثيق ذاته لـ Stable Diffusion، يستخدم النموذج مشفر نص CLIP ViT-L/14 المجمد — مكون مدرب بشكل منفصل لمطابقة النص والصور — لتحويل طلب إلى تمثيل رقمي يوجه كل خطوة إزالة ضوضاء، بحيث تزيل الشبكة الضوضاء بطريقة توجه الصورة الناشئة نحو ما تصفه الكلمات.

مساحة البكسل مقابل مساحة الكمون: لماذا يعمل Stable Diffusion على جهاز كمبيوتر محمول

لا تعمل جميع نماذج الانتشار بنفس الطريقة داخلياً. وفقاً لحساب مراجعة تكنولوجيا MIT في ديسمبر 2022 عن صعود التكنولوجيا، يقوم DALL-E 2 بعملية إزالة الضوضاء مباشرة على بكسل الصور بدقة كاملة، بينما يعمل Stable Diffusion بدلاً من ذلك على تمثيل 'كامن' مضغوط من الصورة داخل الشبكة العصبية — وهو نهج تقول المنفذ إنه سمح لـ Stable Diffusion بالعمل على أجهزة الكمبيوتر الشخصية العادية بدلاً من الحاجة إلى بنية خادم كبيرة.

إذا فعلت هذا ألف مرة، في النهاية ستبدو الصورة كما لو أنك اقتلعت كابل الهوائي من جهاز التلفاز الخاص بك — إنها مجرد ثلج.

— Björn Ommer، جامعة ميونيخ، كما ورد في مراجعة تكنولوجيا MIT، ديسمبر 2022

يشير مستودع GitHub لـ Stable Diffusion، الذي يحتفظ به مجموعة CompVis البحثية مع Stability AI و Runway، إلى أن نهج الانتشار الكامن للنموذج تم بناؤه على ورقة المجموعة السابقة، 'High-Resolution Image Synthesis with Latent Diffusion Models'، التي قدمت في مؤتمر CVPR 2022 لرؤية الكمبيوتر، وتم تدريبها على صور من مجموعة بيانات LAION-5B.

كيف تقارن مولدات الصور الرئيسية المستندة إلى الانتشار

مولدات الصور المستندة إلى الانتشار التي حددت عام 2022، وفقاً لمراجعة تكنولوجيا MIT وتوثيق GitHub
النموذجالمؤسسةتم الإطلاقمساحة إزالة الضوضاء
DALL-E 2OpenAIأبريل 2022بكسل الصورة الكاملة
Imagen / PartiGoogleأعلن في مايو 2022؛ لم يتم إطلاقه للعامة في ذلك الوقت، وفقاً لمراجعة تكنولوجيا MITلم يتم تفصيله في المصادر المراجعة
MidjourneyMidjourney, Inc.الصيف 2022، وفقاً لمراجعة تكنولوجيا MITلم يتم تفصيله في المصادر المراجعة
Stable DiffusionCompVis / Stability AI / Runwayأغسطس 2022تمثيل كامن مضغوط

أبلغت مراجعة تكنولوجيا MIT أن DALL-E 2 وصلت إلى مليون مستخدم في حوالي شهرين ونصف من إطلاق أبريل 2022، وأن خدمة DreamStudio الخاصة بـ Stable Diffusion تجاوزت مليون مستخدم في أقل من نصف هذا الوقت بعد إصدارها في أغسطس 2022 — أرقام استشهدت بها المنفذ كدليل على السرعة التي وصل بها نهج الانتشار إلى جمهور جماهيري في ذلك العام.

ما أسسته الأبحاث 2020-2022

الآلية الأساسية — الضوضاء المضافة أثناء التدريب، الضوضاء المزالة أثناء التوليد، الموجهة بمشفر نصي — شكلت أساس مولدات الصور الرئيسية التي ظهرت في عام 2022، كما هو موضح في ورقة عام 2020 من قبل Ho و Jain و Abbeel والتقارير والتوثيق 2022 المراجعة هنا. قامت الشركات الفردية منذ ذلك الحين بتطبيق مكونات إضافية، مثل وحدات U-Net أكبر أو مشفرات نصية أكبر أو أنظمة إعادة كتابة الطلبات، فوق هذا الإطار الانتشاري نفسه.

أسئلة

ما هي نموذج الانتشار بعبارات بسيطة؟
هي شبكة عصبية مدربة على عكس عملية تدفن تدريجياً صورة حقيقية تحت الضوضاء العشوائية؛ بمجرد تدريبها، يمكنها البدء من ضوضاء خالصة وإزالتها خطوة بخطوة لبناء صورة جديدة، كما هو موضح في ورقة عام 2020 'Denoising Diffusion Probabilistic Models' من قبل Ho و Jain و Abbeel.
ما الفرق بين DALL-E 2 و Stable Diffusion؟
وفقاً لمراجعة تكنولوجيا MIT، يزيل DALL-E 2 الضوضاء مباشرة على بكسل الصورة بدقة كاملة، بينما يزيل Stable Diffusion الضوضاء من تمثيل 'كامن' مضغوط من الصورة، والذي تقول توثيق GitHub الخاص بـ Stability AI إنه يسمح لها بالعمل على وحدات معالجة الرسومات الاستهلاكية بدلاً من بنية الخادم الكبيرة.
كيف يوجه طلب نصي توليد الصورة فعلياً؟
وفقاً لتوثيق GitHub الخاص بـ Stable Diffusion، يحول مكون منفصل يسمى مشفر نصي (CLIP ViT-L/14 في ذلك النموذج) الطلب إلى تمثيل رقمي تستشيره شبكة إزالة الضوضاء في كل خطوة، مما يدفع الصورة الناشئة نحو ما تصفه الكلمات.
متى أصبحت مولدات الصور المستندة إلى الانتشار متاحة في عام 2022؟
توثق مراجعة تكنولوجيا MIT الخط الزمني لعام 2022: تم إطلاق DALL-E 2 في أبريل؛ أعلنت Google عن Imagen و Parti في مايو دون إطلاقهما للعامة؛ تم إطلاق Midjourney في الصيف؛ وتم إطلاق Stable Diffusion مفتوح المصدر في أغسطس.
ما هي U-Net ولماذا تستخدم نماذج الانتشار؟
U-Net هي بنية الشبكة العصبية التي تقوم بإزالة الضوضاء خطوة بخطوة؛ يصف التوثيق التقني الخاص بـ Stable Diffusion نسختها بأنها U-Net بـ 860 مليون معامل يعمل جنباً إلى جنب مع مشفر تلقائي يضغط ويفك ضغط الصورة.

المصادر

  1. arXiv — Ho, Jain, Abbeel, 'Denoising Diffusion Probabilistic Models' (2020)
  2. GitHub (CompVis) — Stable Diffusion repository and technical documentation
  3. MIT Technology Review — 'Generative AI is changing everything. But what's left when the hype is gone?' (December 2022)

أُعدّت هذه المادة بالذكاء الاصطناعي وخضعت لتدقيق آلي للمصادر قبل النشر. إن رأيت خطأً فاطلب تصحيحه. طلب تصحيح أو حق الرد · كيف نعمل

مواد ذات صلة