یہ زبان مشین کے ذریعے ترجمہ کی گئی ہے اور کسی انسان نے اس کا جائزہ نہیں لیا۔

NIVΞCTOR
خبریںتعاون

کاؤنٹر ابھی شروع نہیں ہوا

مصنوعی ذہانت · مضمون

AI تصویری نسل کیسے کام کرتی ہے: Diffusion Models کی وضاحت

اشاعت:

مختصراً

DALL-E، Midjourney اور Stable Diffusion جیسے آلات diffusion ماڈلز استعمال کرتے ہوئے تصاویر بناتے ہیں: اعصابی نیٹ ورکس جو تصویر کو بے ترتیب شور میں تبدیل کرنے اور پھر اس عمل کو الٹ دینے کے لیے تربیت یافتہ ہیں۔ نئی تصویر بنانے کے لیے، نیٹ ورک خالص شور سے شروع ہوتا ہے اور اسے مرحلہ وار ہٹاتا ہے، ایک متن کے اشارے سے رہنمائی پاتے ہوئے، جب تک ایک منطقی تصویر ظاہر نہ ہو۔

یہ نسخہ اصل متن (English) کا مشینی ترجمہ ہے۔ اصل متن پڑھیں

2022 کے بعد سے ظاہر ہونے والے کئی AI تصویری جنریٹرز — جن میں OpenAI کے DALL-E 2، Midjourney اور Stability AI کے Stable Diffusion شامل ہیں — ایک تکنیک پر تعمیر ہیں جسے diffusion کہا جاتا ہے۔ یہ نظام داروے داروے سے تصویر کھینچنے کی بجائے، ایک ریاضیاتی عمل کو الٹنا سیکھتے ہیں جو تصویر کو شور سے ختم کرتا ہے، پھر بے ترتیب حرکی سے شروع کرتے ہوئے اس عمل کو پیچھے کی طرف چلاتے ہیں۔

بنیادی خیال: شور کو ختم کرنا سیکھنا

تصویری نسل کے لیے Diffusion ماڈلز کو 2020 میں 'Denoising Diffusion Probabilistic Models' نام کے ایک مقالے میں رسمی شکل دی گئی تھی، جو Jonathan Ho، Ajay Jain اور Pieter Abbeel نے لکھا تھا، اور یہ arXiv پر شائع ہوا تھا۔ یہ طریقہ، جسے غیر توازن ترمودینامکس سے متاثر کہا گیا ہے، دو مراحل میں کام کرتا ہے۔ 'آگے کی طرف' مرحلے میں، جو صرف تربیت کے دوران استعمال ہوتا ہے، ایک حقیقی تصویر میں چھوٹی مقدار میں بے ترتیب (Gaussian) شور کو بہت سے مراحل تک شامل کیا جاتا ہے جب تک تصویر سٹیٹک سے الگ نہ ہو جائے۔ 'الٹنے' کے مرحلے میں، ایک اعصابی نیٹ ورک کو اس شور کی پیشن گوئی کرنے اور اسے الگ کرنے کے لیے تربیت دی جاتی ہے، مرحلہ وار، جب تک اصل تصویر واپس نہ آ جائے۔

ایک بار تربیت یافتہ ہونے کے بعد، نیٹ ورک کو شروع کرنے کے لیے ایک حقیقی تصویر کی ضرورت نہیں رہتی۔ یہ خالص بے ترتیب شور سے شروع ہو سکتا ہے اور اسی denoising مراحل کو چلا سکتا ہے جو اس نے تربیت کے دوران سیکھے تھے، ایک بالکل نئی تصویر بناتے ہوئے جو پہلے موجود نہیں تھی۔ 2020 کے مقالے نے رپورٹ کیا کہ CIFAR-10 نام کے ڈیٹاسیٹ پر اس کا ماڈل مضبوط تصویری معیار کے اسکور تک پہنچا اور، بڑی 256x256 تصاویر پر، ProgressiveGAN کے نمونے کے معیار سے ملا، جو ایک مختلف فن تعمیر پر مبنی ایک پہلے کی generative تکنیک تھی۔

جہاں اعصابی نیٹ ورک کام کرتا ہے: U-Net اور متن کی ہدایت

Denoising کو انجام دینے والا نیٹ ورک عام طور پر U-Net ہے، ایک قسم کی architecture جو تصویر کو سکڑتی ہے تاکہ مجموعی ڈھانچہ پکڑے اور پھر اسے مکمل resolution تک واپس بناتے ہوئے۔ Stable Diffusion کی اپنی GitHub پر تکنیکی تفصیل میں، ماڈل کو diffusion عمل کو چلانے کے لیے 860-ملین-parameter U-Net استعمال کرتے ہوئے بیان کیا گیا ہے، اور ایک الگ autoencoder کے ساتھ جو تصاویر کو ایک چھوٹی ریاضیاتی نمائندگی میں کمپریس کرتا ہے اور نتیجہ کو مکمل تصویر میں واپس decompresses کرتا ہے۔

لکھے ہوئے موضوع کے بعد، نظام کو الفاظ کو pixels سے جوڑنے کے لیے ایک طریقے کی ضرورت ہے۔ ایک ہی Stable Diffusion documentation کے مطابق، ماڈل ایک frozen CLIP ViT-L/14 متن encoder استعمال کرتا ہے — ایک component جو الگ سے text اور تصاویر کو ملانے کے لیے تربیت یافتہ ہے — موضوع کو ایک numerical نمائندگی میں تبدیل کرنے کے لیے جو ہر denoising مرحلے کی رہنمائی کرتی ہے، تاکہ نیٹ ورک شور کو ایسے انداز میں ہٹائے جو ابھرتی تصویر کو الفاظ کے ذریعے بیان کیے ہوئے چیز کی طرف سفارش کرے۔

Pixel space بمقابلہ latent space: کیوں Stable Diffusion ایک laptop پر چلتا ہے

تمام diffusion ماڈلز اندرونی طور پر ایک جیسے کام نہیں کرتے۔ MIT Technology Review کے December 2022 کے ایک اکاؤنٹ کے مطابق، DALL-E 2 اپنی شور-ہٹانے کا عمل براہ راست مکمل-resolution تصویری pixels پر انجام دیتا ہے، جبکہ Stable Diffusion اس کی بجائے اعصابی نیٹ ورک کے اندر تصویر کی ایک compressed، 'latent' نمائندگی پر کام کرتا ہے — ایک طریقہ جو outlet کہتے ہیں کہ Stable Diffusion کو عام ذاتی کمپیوٹرز پر چلنے دیتا ہے بجائے بڑے server infrastructure کی ضرورت کے۔

اگر آپ یہ ایک ہزار بار کریں، آخر کار تصویر ایسی لگتی ہے جیسے آپ نے اپنے ٹی وی سیٹ سے antenna cable نکال دیا ہے — یہ صرف برفانی طوفان ہے۔

— Björn Ommer، University of Munich، MIT Technology Review میں حوالہ دیا گیا، December 2022

Stable Diffusion کے لیے GitHub repository، جسے CompVis research گروپ نے Stability AI اور Runway کے ساتھ برقرار رکھا، کہتا ہے کہ ماڈل کے latent diffusion طریقے کو گروپ کے پہلے سے کے مقالے پر بنایا گیا تھا، 'High-Resolution Image Synthesis with Latent Diffusion Models'، جو CVPR 2022 computer-vision کانفرنس میں پیش کیا گیا تھا، اور LAION-5B ڈیٹاسیٹ سے تصاویر پر تربیت دی گئی تھی۔

اہم diffusion-based تصویری جنریٹرز کا موازنہ کیسے کریں

Diffusion-based تصویری جنریٹرز جنہوں نے 2022 کی تعریف کی، MIT Technology Review اور GitHub documentation کے مطابق
Modelتنظیمشروع ہواشور-ہٹانے کی جگہ
DALL-E 2OpenAIاپریل 2022مکمل تصویری pixels
Imagen / PartiGoogleمئی 2022 اعلان کی؛ MIT Technology Review کے مطابق اس وقت عوام کے لیے جاری نہیں کیا گیاذرائع میں تفصیل نہیں دی گئی
MidjourneyMidjourney, Inc.گرمیوں میں 2022، MIT Technology Review کے مطابقذرائع میں تفصیل نہیں دی گئی
Stable DiffusionCompVis / Stability AI / Runwayاگست 2022Compressed latent نمائندگی

MIT Technology Review نے رپورٹ کیا کہ DALL-E 2 اپریل 2022 کے اپنے launch کے بعد تقریباً دو اور آدھے مہینے میں ایک ملین صارفین تک پہنچا، اور Stable Diffusion کی DreamStudio سروس اگست 2022 کے اپنے release کے بعد نصف سے کم وقت میں ایک ملین صارفین سے تجاوز کر گئی — ایسے اعدادوشمار جو outlet نے اشارہ کیے کہ یہ کتنی تیزی سے diffusion طریقہ اس سال بڑے سامعین تک پہنچے۔

کیا 2020–2022 کی تحقیق نے قائم کیا

بنیادی میکانزم — تربیت کے دوران شور شامل، نسل کے دوران شور ہٹایا، ایک text encoder سے رہنمائی — Ho، Jain اور Abbeel کے 2020 کے مقالے اور 2022 کی رپورٹنگ اور documentation میں بیان کیے گئے 2022 میں ظاہر ہونے والے اہم تصویری جنریٹرز کی بنیاد تھی۔ انفرادی کمپنیوں نے اس کے بعد اسی diffusion فریم ورک کے اوپر اضافی components، جیسے بڑے U-Nets، بڑے text encoders یا prompt-rewriting نظام، کو layered کیا ہے۔

سوالات

Diffusion ماڈل سادہ الفاظ میں کیا ہے؟
یہ ایک اعصابی نیٹ ورک ہے جو ایک عمل کو الٹنے کے لیے تربیت یافتہ ہے جو ایک حقیقی تصویر کو بے ترتیب شور کے نیچے تدریجی طور پر دفن کرتا ہے؛ ایک بار تربیت یافتہ ہونے کے بعد، یہ خالص شور سے شروع کر سکتا ہے اور اسے مرحلہ وار ہٹا سکتا ہے ایک نئی تصویر بنانے کے لیے، جیسا کہ 2020 کے مقالے 'Denoising Diffusion Probabilistic Models' میں Ho، Jain اور Abbeel کے ذریعے بیان کیا گیا ہے۔
DALL-E 2 اور Stable Diffusion میں کیا فرق ہے؟
MIT Technology Review کے مطابق، DALL-E 2 شور کو براہ راست مکمل-resolution تصویری pixels پر ہٹاتا ہے، جبکہ Stable Diffusion تصویر کی ایک compressed 'latent' نمائندگی سے شور ہٹاتا ہے، جو Stability AI کی GitHub documentation کے مطابق اسے consumer GPUs پر چلنے دیتا ہے بجائے بڑے server infrastructure کے۔
متن کے موضوع کی طرح تصویری نسل میں حقیقی طور پر رہنمائی کیسے کرتے ہے؟
Stable Diffusion کی GitHub documentation کے مطابق، ایک الگ component جسے text encoder کہا جاتا ہے (CLIP ViT-L/14 اس ماڈل میں) موضوع کو ایک عددی نمائندگی میں تبدیل کرتا ہے جو denoising نیٹ ورک ہر مرحلے میں reference کرتا ہے، ابھرتی تصویر کو الفاظ کے ذریعے بیان کیے ہوئے چیز کی طرف دھکیلتے ہوئے۔
2022 میں diffusion-based تصویری جنریٹرز کب دستیاب ہوئے؟
MIT Technology Review 2022 کی timeline کو دستاویز کرتا ہے: DALL-E 2 اپریل میں شروع ہوا؛ Google نے Imagen اور Parti کو مئی میں بغیر عوام کے لیے ان کو جاری کیے اعلان کیا؛ Midjourney گرمیوں میں شروع ہوا؛ اور open-source Stable Diffusion اگست میں شروع ہوا۔
U-Net کیا ہے اور diffusion ماڈلز اسے کیوں استعمال کرتے ہیں؟
U-Net اعصابی نیٹ ورک کی architecture ہے جو مرحلہ وار شور کو ہٹاتی ہے؛ Stable Diffusion کی اپنی تکنیکی documentation اس کے ورژن کو ایک 860-ملین-parameter U-Net کے طور پر بیان کرتی ہے جو ایک autoencoder کے ساتھ کام کرتی ہے جو تصویر کو compress اور decompress کرتا ہے۔

ذرائع

  1. arXiv — Ho, Jain, Abbeel, 'Denoising Diffusion Probabilistic Models' (2020)
  2. GitHub (CompVis) — Stable Diffusion repository and technical documentation
  3. MIT Technology Review — 'Generative AI is changing everything. But what's left when the hype is gone?' (December 2022)

یہ تحریر مصنوعی ذہانت سے تیار کی گئی اور اشاعت سے پہلے ذرائع کی خودکار جانچ سے گزری۔ اگر آپ کو کوئی غلطی نظر آئے تو تصحیح کی درخواست کریں۔ تصحیح یا جواب کی درخواست · ہم کیسے کام کرتے ہیں

متعلقہ تحریریں