यह भाषा मशीन द्वारा अनुवादित है और किसी मानव द्वारा समीक्षा नहीं की गई है।

कृत्रिम बुद्धिमत्ता · लेख

AI छवि निर्माण कैसे काम करता है: Diffusion मॉडलों की व्याख्या

प्रकाशित:

संक्षेप में

DALL-E, Midjourney और Stable Diffusion जैसे उपकरण diffusion मॉडलों का उपयोग करके चित्र बनाते हैं: तंत्रिका नेटवर्क जो किसी छवि को यादृच्छिक शोर में बदलने और फिर उस प्रक्रिया को उलटने के लिए प्रशिक्षित होते हैं। नई छवि बनाने के लिए, नेटवर्क शुद्ध शोर से शुरू होता है और इसे चरण दर चरण हटाता है, एक पाठ संकेत द्वारा निर्देशित होकर, जब तक एक सुसंगत चित्र प्रकट नहीं हो जाता।

यह संस्करण मूल पाठ (English) का मशीनी अनुवाद है। मूल पाठ पढ़ें

2022 के बाद से उभरने वाले कई AI छवि जनरेटर — जिनमें OpenAI का DALL-E 2, Midjourney और Stability AI का Stable Diffusion शामिल हैं — एक तकनीक पर बनाए गए हैं जिसे diffusion कहा जाता है। ये सिस्टम बिल को बिल के आधार पर खींचने के बजाय, एक गणितीय प्रक्रिया को उलटना सीखते हैं जो धीरे-धीरे एक छवि को शोर से नष्ट करता है, फिर यादृच्छिक स्थिर से शुरू करके उस प्रक्रिया को पिछड़ी दिशा में चलाते हैं।

मुख्य विचार: शोर को पूर्ववत करना सीखना

छवि पीढ़ी के लिए Diffusion मॉडलों को 2020 के एक पेपर में, 'Denoising Diffusion Probabilistic Models' द्वारा Jonathan Ho, Ajay Jain और Pieter Abbeel द्वारा, arXiv पर पोस्ट किया गया। यह विधि, जिसे गैर-संतुलन थर्मोडायनामिक्स द्वारा प्रेरित कहा जाता है, दो चरणों में काम करती है। 'आगे' चरण में, केवल प्रशिक्षण के दौरान उपयोग किया जाता है, एक वास्तविक तस्वीर में कम मात्रा में यादृच्छिक (गाऊसी) शोर कई चरणों में जोड़े जाते हैं जब तक छवि स्थिर से अलग न हो जाए। 'रिवर्स' चरण में, एक तंत्रिका नेटवर्क को उस शोर की भविष्यवाणी करने और घटाने के लिए प्रशिक्षित किया जाता है, चरण दर चरण, जब तक मूल छवि पुनः प्राप्त न हो जाए।

एक बार प्रशिक्षित होने के बाद, नेटवर्क को शुरू करने के लिए वास्तविक तस्वीर की आवश्यकता नहीं रहती। यह शुद्ध यादृच्छिक शोर से शुरू हो सकता है और प्रशिक्षण के दौरान सीखे गए समान denoising चरणों को चलाता है, एक बिल्कुल नई छवि का उत्पादन करते हुए जो पहले मौजूद नहीं थी। 2020 के पेपर ने बताया कि CIFAR-10 नामक डेटासेट पर इसका मॉडल छवि गुणवत्ता के मजबूत स्कोर तक पहुंचे और, बड़ी 256x256 छवियों पर, ProgressiveGAN की नमूना गुणवत्ता से मेल खाता है, जो एक अलग आर्किटेक्चर पर आधारित एक पहली की generative तकनीक थी।

जहां तंत्रिका नेटवर्क काम करता है: U-Net और पाठ मार्गदर्शन

Denoising करने वाला नेटवर्क आमतौर पर U-Net है, एक प्रकार की architecture जो एक छवि को संपीड़ित करती है समग्र संरचना को पकड़ने के लिए और फिर इसे पूर्ण रेजोल्यूशन तक वापस बनाती है। Stable Diffusion की अपनी GitHub पर तकनीकी दस्तावेज में, मॉडल को diffusion प्रक्रिया को चलाने के लिए 860-मिलियन-पैरामीटर U-Net का उपयोग करते हुए वर्णित किया गया है, एक अलग autoencoder के साथ जो छवियों को एक छोटी गणितीय प्रतिनिधित्व में संपीड़ित करता है और परिणाम को पूर्ण छवि में वापस decompresses करता है।

एक लिखित प्रॉम्प्ट का पालन करने के लिए, सिस्टम को शब्दों को pixels से जोड़ने का एक तरीका चाहिए। उसी Stable Diffusion दस्तावेज़ के अनुसार, मॉडल एक frozen CLIP ViT-L/14 पाठ encoder का उपयोग करता है — एक component जो अलग से पाठ और छवियों को मिलाने के लिए प्रशिक्षित होता है — एक प्रॉम्प्ट को एक संख्यात्मक प्रतिनिधित्व में बदलने के लिए जो प्रत्येक denoising चरण को निर्देशित करता है, तो नेटवर्क शोर को इस तरह से हटाता है जो उभरती छवि को शब्दों द्वारा वर्णित चीज़ की ओर निर्देशित करता है।

Pixel space बनाम latent space: Stable Diffusion एक लैपटॉप पर क्यों चलता है

सभी diffusion मॉडल आंतरिक रूप से समान तरीके से काम नहीं करते हैं। MIT Technology Review के December 2022 के एक विवरण के अनुसार, DALL-E 2 अपनी शोर-हटाने की प्रक्रिया को सीधे पूर्ण-रेजोल्यूशन छवि pixels पर करता है, जबकि Stable Diffusion इसके बजाय तंत्रिका नेटवर्क के अंदर छवि के एक संपीड़ित, 'latent' प्रतिनिधित्व पर काम करता है — एक दृष्टिकोण जो outlet कहता है कि Stable Diffusion को साधारण व्यक्तिगत कंप्यूटरों पर चलने देता है बजाय बड़े server infrastructure की आवश्यकता के।

यदि आप इसे हजार बार करते हैं, आखिरकार छवि ऐसी लगती है जैसे आपने अपने टीवी सेट से antenna cable निकाल दिया है — यह सिर्फ बर्फानी तूफान है।

— Björn Ommer, University of Munich, MIT Technology Review में उद्धृत, December 2022

Stable Diffusion के लिए GitHub repository, जिसे CompVis research समूह ने Stability AI और Runway के साथ बनाए रखा, कहता है कि मॉडल की latent diffusion दृष्टिकोण समूह के पहले के पेपर पर बनाई गई थी, 'High-Resolution Image Synthesis with Latent Diffusion Models', जो CVPR 2022 computer-vision सम्मेलन में प्रस्तुत की गई थी, और LAION-5B डेटासेट से छवियों पर प्रशिक्षित की गई थी।

प्रमुख diffusion-based छवि जनरेटर की तुलना कैसे करें

Diffusion-based छवि जनरेटर जिन्होंने 2022 को परिभाषित किया, MIT Technology Review और GitHub दस्तावेज़ के अनुसार
मॉडलसंगठनशुरुआत कीशोर-हटाने की जगह
DALL-E 2OpenAIअप्रैल 2022पूर्ण छवि pixels
Imagen / PartiGoogleमई 2022 की घोषणा; MIT Technology Review के अनुसार उस समय जनता के लिए जारी नहीं किया गयासमीक्षा किए गए स्रोतों में विवरण नहीं दिया गया
MidjourneyMidjourney, Inc.2022 की गर्मियों में, MIT Technology Review के अनुसारसमीक्षा किए गए स्रोतों में विवरण नहीं दिया गया
Stable DiffusionCompVis / Stability AI / Runwayअगस्त 2022संपीड़ित latent प्रतिनिधित्व

MIT Technology Review ने बताया कि DALL-E 2 अपनी अप्रैल 2022 की शुरुआत के बाद लगभग ढाई महीने में एक मिलियन उपयोगकर्ताओं तक पहुंचे, और Stable Diffusion की DreamStudio सेवा अगस्त 2022 के अपनी रिलीज के बाद आधे से कम समय में एक मिलियन उपयोगकर्ताओं को पार कर गई — ऐसे आंकड़े जो outlet ने बताया कि यह diffusion दृष्टिकोण उस वर्ष बड़े दर्शकों तक कितनी जल्दी पहुंचे।

क्या 2020–2022 अनुसंधान ने स्थापित किया

अंतर्निहित तंत्र — प्रशिक्षण के दौरान जोड़ा गया शोर, पीढ़ी के दौरान हटाया गया शोर, एक पाठ encoder द्वारा निर्देशित — Ho, Jain और Abbeel के 2020 पेपर और यहां की गई 2022 की रिपोर्टिंग और दस्तावेज़ में वर्णित 2022 में उभरने वाले प्रमुख छवि जनरेटर के लिए आधार था। व्यक्तिगत कंपनियों ने तब से इसी diffusion ढांचे के शीर्ष पर अतिरिक्त घटक जोड़े हैं, जैसे बड़े U-Nets, बड़े पाठ encoders या prompt-rewriting सिस्टम।

प्रश्न

Diffusion मॉडल सरल शब्दों में क्या है?
यह एक तंत्रिका नेटवर्क है जो एक प्रक्रिया को उलटने के लिए प्रशिक्षित होता है जो एक वास्तविक छवि को यादृच्छिक शोर के तहत धीरे-धीरे दफन करता है; एक बार प्रशिक्षित होने के बाद, यह शुद्ध शोर से शुरू कर सकता है और इसे चरण दर चरण हटा सकता है एक नई छवि बनाने के लिए, जैसा कि 2020 के पेपर 'Denoising Diffusion Probabilistic Models' में Ho, Jain और Abbeel द्वारा वर्णित है।
DALL-E 2 और Stable Diffusion में क्या अंतर है?
MIT Technology Review के अनुसार, DALL-E 2 शोर को सीधे पूर्ण-रेजोल्यूशन छवि pixels पर हटाता है, जबकि Stable Diffusion छवि के एक संपीड़ित 'latent' प्रतिनिधित्व से शोर हटाता है, जो Stability AI की GitHub दस्तावेज़ के अनुसार इसे consumer GPUs पर चलने देता है बजाय बड़े server infrastructure की आवश्यकता के।
एक पाठ prompt छवि निर्माण को कैसे वास्तव में निर्देशित करता है?
Stable Diffusion की GitHub दस्तावेज़ के अनुसार, एक अलग component जिसे पाठ encoder कहा जाता है (CLIP ViT-L/14 उस मॉडल में) एक prompt को एक संख्यात्मक प्रतिनिधित्व में परिवर्तित करता है जो denoising नेटवर्क प्रत्येक चरण पर परामर्श करता है, उभरती छवि को शब्दों द्वारा वर्णित चीज़ की ओर धकेलता है।
2022 में diffusion-based छवि जनरेटर कब उपलब्ध हुए?
MIT Technology Review 2022 की timeline को दस्तावेज़ित करता है: DALL-E 2 अप्रैल में शुरू हुआ; Google ने Imagen और Parti को मई में घोषित किया बिना उन्हें जनता के लिए रिलीज किए; Midjourney गर्मियों में शुरू हुआ; और open-source Stable Diffusion अगस्त में शुरू हुआ।
U-Net क्या है और diffusion मॉडल इसका उपयोग क्यों करते हैं?
U-Net तंत्रिका नेटवर्क architecture है जो चरण-दर-चरण शोर हटाता है; Stable Diffusion की अपनी तकनीकी दस्तावेज़ अपने संस्करण को 860-मिलियन-पैरामीटर U-Net के रूप में वर्णित करती है जो एक autoencoder के साथ काम करते हुए छवियों को संपीड़ित और decompress करता है।

स्रोत

  1. arXiv — Ho, Jain, Abbeel, 'Denoising Diffusion Probabilistic Models' (2020)
  2. GitHub (CompVis) — Stable Diffusion repository and technical documentation
  3. MIT Technology Review — 'Generative AI is changing everything. But what's left when the hype is gone?' (December 2022)

यह लेख कृत्रिम बुद्धिमत्ता से तैयार किया गया और प्रकाशन से पहले स्वचालित स्रोत-जाँच से गुज़रा। कोई गलती दिखे तो सुधार का अनुरोध करें। सुधार या उत्तर का अनुरोध करें · हम कैसे काम करते हैं

संबंधित लेख