Stable Diffusion
Stable Diffusion은 Stability AI가 2022년 공개한 딥러닝 기반 텍스트-이미지 생성 모델이다. 잠재 확산 모델(Latent Diffusion Model)을 기반으로 하며, 텍스트 프롬프트를 입력받아 고품질 이미지를 생성한다.
개요
Stable Diffusion은 CompVis 그룹과 Stability AI가 공동 개발하였으며, 오픈소스로 공개되어 누구나 자유롭게 사용하고 수정하며 배포할 수 있다. 기존 확산 모델이 픽셀 공간에서 작동하는 것과 달리, VAE(오토인코더)로 압축된 잠재 공간에서 확산 과정을 수행하여 메모리 사용량과 연산 시간을 크게 줄였다.
기술적 특징
잠재 확산(Latent Diffusion)
원본 이미지 대신 VAE로 인코딩된 저차원 잠재 표현에서 확산 및 역확산 과정을 수행한다. 이를 통해 소비자급 GPU에서도 고해상도 이미지 생성이 가능하다.
조건부 생성
CLIP 텍스트 인코더를 통해 프롬프트를 조건 신호로 변환하여 텍스트 기반 이미지 생성을 지원한다. 또한 이미지-이미지 변환(img2img), 인페이팅(inpainting), 아웃페이팅(outpainting) 등 다양한 조건부 생성 방식을 제공한다.
파인튜닝 생태계
LoRA, Dreambooth, Textual Inversion 등 다양한 파인튜닝 기법을 통해 특정 스타일, 캐릭터, 객체에 특화된 모델을 만들 수 있다. 이로 인해 CivitAI 등 커뮤니티 기반의 방대한 모델 생태계가 형성되었다.
주요 버전
- SD 1.x — 초기 공개 버전, 512x512 해상도
- SD 2.x — 개선된 CLIP 인코더와 해상도 지원
- SDXL — 1024x1024 기본 해상도, 이중 텍스트 인코더
- SD3 — DiT(Transformer) 아키텍처 도입, 다중 모드 지원
주요 도구
- ComfyUI — 노드 기반 워크플로우 인터페이스
- AUTOMATIC1111 WebUI — 널리 사용되는 통합 웹 인터페이스
- Diffusers — 허깡페이스의 공식 파이썬 라이브러리
함께 보기
- ComfyUI — Stable Diffusion을 포함한 이미지 생성 모델의 노드 기반 인터페이스
- 허깡페이스 — 모델 허브 및 Diffusers 라이브러리
- GGUF — 양자화된 모델 배포 형식