نحوه کار تولید تصویر با هوش مصنوعی: مدل‌های انتشار توضیح داده شده

چندین مولد تصویر هوش مصنوعی که از سال 2022 به بعد ظاهر شدند — از جمله DALL-E 2 از OpenAI، Midjourney و Stable Diffusion از Stability AI — بر اساس تکنیکی به نام انتشار ساخته شده‌اند. به‌جای ترسیم تصویر ضربه به ضربه، این سیستم‌ها یاد می‌گیرند که فرآیند ریاضی را معکوس کنند که به تدریج یک تصویر را با نویز تخریب می‌کند، سپس این فرآیند را به عقب شروع از نویز تصادفی اجرا می‌کنند.

ایده اصلی: یادگیری برای حذف نویز

مدل‌های انتشار برای تولید تصویر به‌طور رسمی در مقاله‌ای در سال 2020 تحت عنوان 'Denoising Diffusion Probabilistic Models' توسط Jonathan Ho، Ajay Jain و Pieter Abbeel که در مستودع تحقیقاتی arXiv منتشر شد، فرموله شدند. روش، که به‌عنوان الهام‌گرفته از ترمودینامیک غیرتوازن توصیف شده است، در دو مرحله کار می‌کند. در مرحله 'رو به جلو'، که فقط در حین آموزش استفاده می‌شود، مقادیر کوچکی از نویز تصادفی (گاوسی) به یک عکس واقعی در بسیاری از مراحل اضافه می‌شود تا تصویر از نویز راديو متمايز نشود. در مرحله 'معکوس'، یک شبکه عصبی برای پیش‌بینی و کم کردن آن نویز آموزش داده می‌شود، قدم به قدم، تا تصویر اصلی بازیافت شود.

پس از آموزش، شبکه دیگر نیاز به یک عکس واقعی برای شروع ندارد. می‌تواند با یک بوم از نویز تصادفی خالص شروع کند و همان مراحل حذف نویز را که در حین آموزش یاد گرفته است اجرا کند، یک تصویر کاملاً جدیدی را تولید کند که قبلاً وجود نداشته است. مقاله سال 2020 گزارش داد که در مجموعه داده‌ای به نام CIFAR-10 مدل آن به امتیازات کیفیت تصویر قوی دست یافت و در تصاویر بزرگتر 256x256، کیفیت نمونه را با ProgressiveGAN، یک تکنیک توليدی قبلی بر اساس معماری متفاوت، مطابقت داد.

جایی که شبکه عصبی کار را انجام می‌دهد: U-Net و راهنمایی متن

شبکه‌ای که حذف نویز را انجام می‌دهد معمولاً U-Net است، نوعی معماری که یک تصویر را کوچک می‌کند تا ساختار کلی را درک کند و سپس آن را دوباره به دقت کامل احداث می‌کند. در مستندات فنی Stable Diffusion در GitHub، مدل به‌عنوان استفاده از U-Net با 860 میلیون پارامتر برای اجرای فرآیند انتشار، همراه با یک رمزگشا خودکار جداگانه که تصاویر را به نمایش ریاضی کوچکتر فشرده می‌کند و نتیجه را دوباره به تصویر کامل رفع فشرده می‌کند، توصیف شده است.

برای پیروی از یک درخواست نوشته‌شده، سیستم به روشی برای اتصال کلمات به پیکسل‌ها نیاز دارد. طبق همان مستندات Stable Diffusion، مدل از رمزگذار متن CLIP ViT-L/14 منجمد استفاده می‌کند — مؤلفه‌ای که به‌طور جداگانه برای تطابق متن و تصاویر آموزش‌دیده است — برای تبدیل یک درخواست به نمایشی عددی که هر مرحله حذف نویز را راهنمایی می‌کند، بنابراین شبکه نویز را به‌گونه‌ای حذف می‌کند که تصویر در حال ظهور را به سمت آنچه کلمات توصیف می‌کنند هدایت کند.

• آموزش: تصاویر واقعی به تدریج با نویز تصادفی در طول مراحل فاسد می‌شوند تا فقط ایستایی باقی بماند.
• یادگیری: یک شبکه عصبی U-Net برای پیش‌بینی و حذف نویز اضافه شده در هر مرحله آموزش داده می‌شود.
• شرط‌بندی متن: یک رمزگذار متن جداگانه (مثل CLIP) یک درخواست را به یک راهنمای عددی برای شبکه حذف نویز تبدیل می‌کند.
• تولید: از نویز تصادفی شروع، شبکه آموزش‌دیده نویز را قدم به قدم حذف می‌کند، هدایت شده توسط متن، تا زمانی که یک تصویر ظاهر شود.
• رمزگشایی (فقط مدل‌های نهفته): یک نمایش داخلی فشرده به یک تصویر با دقت کامل تبدیل می‌شود.

فضای پیکسل در مقابل فضای نهفته: چرا Stable Diffusion بر روی لپ‌تاپ کار می‌کند

همه مدل‌های انتشار به یک‌سان درون‌سو کار نمی‌کنند. طبق حساب مجله Technology Review MIT در دسامبر 2022 درباره ظهور این فناوری، DALL-E 2 فرآیند حذف نویز را مستقیماً بر روی پیکسل‌های تصویر با دقت کامل انجام می‌دهد، در حالی که Stable Diffusion به‌جای آن بر روی نمایشی 'نهفته' فشرده شده از تصویر در داخل شبکه عصبی کار می‌کند — رویکردی که نشریه می‌گوید به Stable Diffusion اجازه داد بر روی کامپیوترهای شخصی معمولی اجرا شود به‌جای نیاز به زیرساخت سرور بزرگ.

مستودع GitHub برای Stable Diffusion، که توسط گروه تحقیقاتی CompVis به‌همراه Stability AI و Runway نگهداری می‌شود، بیان می‌کند که رویکرد انتشار نهفته مدل بر اساس مقاله قبلی گروه، 'High-Resolution Image Synthesis with Latent Diffusion Models' ساخته شده است، که در کنفرانس CVPR 2022 در زمینه دید رایانه ارائه شد، و بر روی تصاویر از مجموعه داده LAION-5B آموزش داده شد.

چگونه مولدات تصویر اصلی مبتنی بر انتشار مقایسه می‌شوند

مجله Technology Review MIT گزارش داد که DALL-E 2 در حدود دو و نیم ماه پس از راه‌اندازی اپریل 2022، به یک میلیون کاربر رسید، و خدمة DreamStudio شامل Stable Diffusion در کمتر از نصف این زمان پس از انتشار اگست 2022، به یک میلیون کاربر رسید — ارقامی که نشریه به‌عنوان شاهد بر سرعت رسیدن رویکرد انتشار به جمهور انبوه در آن سال استناد کرد.

آنچه تحقیقات 2020-2022 ایجاد کردند

مکانیزم اساسی — نویزی که در حین آموزش اضافه می‌شود، نویزی که در حین تولید حذف می‌شود، هدایت شده توسط رمزگذار متن — پایه مولدات تصویر اصلی را تشکیل داد که در سال 2022 ظاهر شدند، همانطور که در مقاله سال 2020 توسط Ho، Jain و Abbeel و گزارش‌ها و مستندات 2022 مرور شده در اینجا توضیح داده شده است. شرکت‌های فردی از آن زمان به‌عنوان اجزای اضافی، مانند U-Net‌های بزرگتر، رمزگذارهای متن بزرگتر یا سیستم‌های بازنویسی درخواست، بر روی همین چارچوب انتشار تعریف شده‌اند.