AI 이미지 생성의 작동 원리: 확산 모델 설명

2022년 이후에 등장한 몇몇 AI 이미지 생성 도구(OpenAI의 DALL-E 2, Midjourney, Stability AI의 Stable Diffusion)는 확산이라고 불리는 기술을 기반으로 합니다. 이 시스템들은 이미지를 획 단위로 그리는 대신, 이미지를 점진적으로 노이즈로 파괴하는 수학적 프로세스를 역으로 진행하는 것을 학습하고, 무작위 스태틱에서 시작하여 해당 프로세스를 역방향으로 실행합니다.

핵심 아이디어: 노이즈 제거 방법 학습

이미지 생성을 위한 확산 모델은 2020년 논문 '이미지 확산 확률 모델 제거(Denoising Diffusion Probabilistic Models)'에서 형식화되었습니다(Jonathan Ho, Ajay Jain, Pieter Abbeel 저자). 이 논문은 arXiv 연구 저장소에 게시되었습니다. 비평형 열역학에 영감을 받은 것으로 설명되는 이 방법은 두 단계로 작동합니다. 훈련 중에만 사용되는 '포워드' 단계에서는 무작위(가우스) 노이즈가 실제 사진에 여러 단계에 걸쳐 추가되어 이미지가 스태틱과 구별될 수 없을 때까지 계속됩니다. '역방향' 단계에서는 신경망이 해당 노이즈를 단계별로 예측하고 빼는 것을 학습하여 원본 이미지가 복구될 때까지 계속됩니다.

훈련 후, 신경망은 더 이상 실제 사진에서 시작할 필요가 없습니다. 순수 무작위 노이즈로 된 캔버스에서 시작하여 훈련 중에 학습한 동일한 노이즈 제거 단계를 실행하여 이전에 존재하지 않던 완전히 새로운 이미지를 생성할 수 있습니다. 2020년 논문은 CIFAR-10이라는 데이터세트에서 그 모델이 강력한 이미지 품질 점수에 도달했고, 더 큰 256x256 이미지에서는 다른 아키텍처를 기반으로 한 이전의 생성 기술인 ProgressiveGAN의 샘플 품질과 일치했다고 보고했습니다.

신경망이 작동하는 곳: U-Net 및 텍스트 지도

노이즈 제거를 수행하는 신경망은 일반적으로 U-Net으로, 이미지를 축소하여 전체 구조를 포착한 다음 전체 해상도로 다시 빌드하는 아키텍처의 한 유형입니다. Stable Diffusion의 GitHub의 기술 문서에서, 모델은 확산 프로세스를 실행하기 위해 8억 6,000만 파라미터 U-Net을 사용한다고 설명되어 있으며, 이미지를 더 작은 수학적 표현으로 압축하고 결과를 다시 전체 이미지로 압축 해제하는 별도의 오토인코더를 사용합니다.

작성된 프롬프트를 따르기 위해 시스템은 단어를 픽셀로 연결하는 방법이 필요합니다. 동일한 Stable Diffusion 문서에 따르면, 모델은 고정된 CLIP ViT-L/14 텍스트 인코더(텍스트와 이미지를 일치시키기 위해 별도로 학습된 구성 요소)를 사용하여 프롬프트를 수치 표현으로 변환하여 각 노이즈 제거 단계를 지도합니다. 따라서 신경망은 출현하는 이미지가 단어가 설명하는 내용으로 향하도록 노이즈를 제거합니다.

• 훈련: 실제 이미지는 많은 단계에 걸쳐 무작위 노이즈로 점진적으로 손상되어 결국 스태틱만 남습니다.
• 학습: U-Net 신경망은 각 단계에서 추가된 노이즈를 예측하고 제거하도록 훈련됩니다.
• 텍스트 조정: 별도의 텍스트 인코더(예: CLIP)가 프롬프트를 노이즈 제거 신경망을 위한 수치 가이드로 변환합니다.
• 생성: 무작위 노이즈에서 시작하여, 훈련된 신경망은 텍스트의 지도를 받으면서 단계별로 노이즈를 제거하여 이미지가 나타날 때까지 계속됩니다.
• 디코딩 (잠재 모델만 해당): 압축된 내부 표현이 전체 해상도 이미지로 변환됩니다.

픽셀 공간 대 잠재 공간: Stable Diffusion이 노트북에서 실행되는 이유

모든 확산 모델이 내부적으로 동일한 방식으로 작동하는 것은 아닙니다. 2022년 12월 MIT Technology Review의 기술 부상에 대한 설명에 따르면, DALL-E 2는 전체 해상도 이미지 픽셀에서 직접 노이즈 제거 프로세스를 수행하는 반면, Stable Diffusion은 신경망 내에서 이미지의 압축된 '잠재' 표현에서 작동합니다. 이 아프로치는 Stable Diffusion이 대규모 서버 인프라가 필요하지 않고 일반 개인용 컴퓨터에서 실행될 수 있게 해줍니다.

Stability AI 및 Runway와 함께 CompVis 연구 그룹이 관리하는 Stable Diffusion의 GitHub 저장소에서는 모델의 잠재 확산 접근 방식이 그룹의 이전 논문 '잠재 확산 모델을 통한 고해상도 이미지 합성(High-Resolution Image Synthesis with Latent Diffusion Models)'을 기반으로 한다고 명시합니다. 이 논문은 CVPR 2022 컴퓨터 비전 컨퍼런스에서 발표되었으며 LAION-5B 데이터세트의 이미지로 훈련되었습니다.

주요 확산 기반 이미지 생성기 비교

MIT Technology Review는 DALL-E 2가 2022년 4월 출시 후 약 2개월 반 만에 100만 명의 사용자에 도달했으며, Stable Diffusion의 DreamStudio 서비스가 2022년 8월 출시 후 절반도 안 되는 시간 내에 100만 명의 사용자를 통과했다고 보도했습니다. 이 매체는 해당 연도에 확산 접근 방식이 얼마나 빠르게 대중 관객에게 도달했는지에 대한 증거로 이러한 수치를 인용했습니다.

2020-2022년 연구가 확립한 것

기본 메커니즘(훈련 중 추가된 노이즈, 생성 중 제거된 노이즈, 텍스트 인코더에 의한 지도)은 Ho, Jain, Abbeel의 2020년 논문과 여기에서 검토된 2022년 보도 및 문서에 설명된 대로 2022년에 등장한 주요 이미지 생성기의 기초를 형성했습니다. 그 이후로 개별 회사들은 더 큰 U-Net, 더 큰 텍스트 인코더, 또는 프롬프트 재작성 시스템과 같은 추가 구성 요소를 동일한 확산 프레임워크 위에 겹쳐 놓았습니다.