AI画像生成の仕組み：拡散モデル解説

2022年以降に登場したいくつかのAI画像生成ツール（OpenAIのDALL-E 2、Midjourney、Stability AIのStable Diffusion）は、拡散と呼ばれる手法に基づいています。これらのシステムは、画像をストロークごとに描くのではなく、画像を徐々にノイズで破壊する数学的なプロセスを逆転させることを学び、ランダムなスタティックから開始してそのプロセスを逆方向に実行します。

コアアイデア：ノイズを取り除く方法を学ぶ

画像生成用の拡散モデルは、2020年の論文「Denoising Diffusion Probabilistic Models」（Jonathan Ho、Ajay Jain、Pieter Abeelによる）で形式化され、研究リポジトリであるarXivに投稿されました。非平衡熱力学に触発されたとして説明されているこの方法は、2つのステージで機能します。「フォワード」ステージでは、トレーニング中にのみ、ランダム（ガウス）ノイズが実際の写真に多くのステップで追加され、画像がスタティックと区別できなくなるまで続きます。「リバース」ステージでは、ニューラルネットワークがそのノイズをステップバイステップで予測し、減算するようにトレーニングされ、元の画像が復元されるまで続きます。

トレーニング後、ネットワークはもう実際の写真から開始する必要はありません。純粋なランダムノイズのキャンバスから開始し、トレーニング中に学習した同じノイズ除去ステップを実行して、以前には存在しなかった新しい画像を生成できます。2020年の論文は、CIFAR-10というデータセットで、そのモデルが強い画質スコアに達し、より大きな256x256の画像で、異なるアーキテクチャに基づいた以前の生成技術であるProgressiveGANのサンプル品質と一致したことを報告しました。

ニューラルネットワークが機能する場所：U-Netとテキストガイダンス

ノイズ除去を実行するネットワークは通常、U-Netであり、画像を縮小して全体的な構造をキャプチャし、完全な解像度に戻すアーキテクチャの一種です。Stable DiffusionのGitHubの技術ドキュメントでは、モデルは拡散プロセスを実行するために8億6000万パラメーターのU-Netを使用し、画像をより小さい数学的表現に圧縮し、結果を完全な画像に戻すオートエンコーダーとともに使用されています。

書かれたプロンプトに従うために、システムは言葉をピクセルに接続する方法が必要です。同じStable Diffusionドキュメントによると、モデルは冷凍されたCLIP ViT-L/14テキストエンコーダー（テキストと画像を一致させるために別々にトレーニングされたコンポーネント）を使用して、プロンプトを数値表現に変換し、各ノイズ除去ステップをガイドして、ネットワークが言葉が説明する内容に向かって出現する画像を操作するようにノイズを除去します。

• トレーニング：実画像は多くのステップでランダムノイズによって徐々に破壊され、最終的にはスタティックだけが残ります。
• 学習：U-Netニューラルネットワークは、各ステップで追加されたノイズを予測および除去するようにトレーニングされます。
• テキスト調整：別のテキストエンコーダー（CLIPなど）がプロンプトをノイズ除去ネットワーク用の数値ガイドに変換します。
• 生成：ランダムノイズから開始して、訓練されたネットワークがテキストによるガイダンスを受けながらステップバイステップでノイズを除去し、画像が現れるまで続きます。
• デコーディング（潜在モデルのみ）：圧縮された内部表現が完全な解像度の画像に変換されます。

ピクセル空間対潜在空間：Stable Diffusionがラップトップで実行される理由

すべての拡散モデルが同じ方法で内部で機能するわけではありません。2022年12月のMIT Technology Reviewのテクノロジーの台頭に関する説明によると、DALL-E 2は完全な解像度の画像ピクセルで直接ノイズ除去プロセスを実行し、一方Stable Diffusionはニューラルネットワーク内の画像の圧縮された「潜在」表現で動作します。このアプローチにより、Stable Diffusionは通常のパーソナルコンピューターで実行でき、大規模なサーバーインフラストラクチャが必要ないとこの記事は述べています。

Stability AIおよびRunwayを伴うCompVisリサーチグループによって維持されているStable DiffusionのGitHubリポジトリは、モデルの潜在拡散アプローチはグループの以前の論文「High-Resolution Image Synthesis with Latent Diffusion Models」に基づいていると述べており、CVPR 2022コンピュータビジョンカンファレンスで発表され、LAION-5Bデータセットの画像でトレーニングされました。

主要な拡散ベース画像生成ツールの比較

MIT Technology Reviewは、DALL-E 2が2022年4月のローンチから約2か月半でユーザー100万人に達し、Stable DiffusionのDreamStudioサービスが2022年8月のリリースからそのわずか半分以下の時間でユーザー100万人を突破したと報告しました。この記事は、その年の拡散アプローチがいかに急速に大規模な観客に到達したかの証拠として、これらの数字を引用しました。

2020年から2022年の研究が確立したもの

基本的なメカニズム（トレーニング中に追加されたノイズ、生成中に除去されたノイズ、テキストエンコーダーによるガイダンス）は、Ho、Jain、Abeelの2020年の論文とここでレビューされた2022年のレポートおよびドキュメントに説明されているように、2022年に登場した主要な画像生成ツールの基礎を形成しました。それ以来、個々の企業は、より大きなU-Net、より大きなテキストエンコーダー、またはプロンプト書き直しシステムなど、同じ拡散フレームワークの上に追加のコンポーネントを層にしています。