디퓨전 모델
Diffusion Model
디퓨전 모델이란?
- 잡음을 걷어내며 그림 생성
- 노이즈→이미지
- 최신 이미지 생성의 주류
디퓨전 모델이 실제로 바꾼 것은 이미지가 '찾아 쓰는 자산'에서 '그때그때 만들어 쓰는 자산'으로 옮겨 갔다는 점입니다. 예전에는 스톡 라이브러리를 뒤지거나 스튜디오 일정을 잡아야 했지만, 지금은 시안 단계의 비용 구조가 통째로 달라졌습니다. 한 컷을 뽑는 비용이 사실상 연산 시간으로 수렴하면서, 실무팀은 한 장을 잘 고르는 일이 아니라 수십 장을 만들어 놓고 추리는 일을 하게 됐습니다.
실무에서는 픽셀을 직접 다루는 방식과 잠재공간(latent) 방식을 구분해야 합니다. 스테이블 디퓨전 계열은 압축된 잠재공간에서 잡음을 걷어내기 때문에 같은 품질을 훨씬 적은 연산으로 뽑습니다. 초기 모델은 1,000단계를 거쳤지만 요즘 샘플러는 20~50단계면 한 장이 나오고, 증류 기법을 쓰면 1~4단계까지 내려갑니다. GAN과의 경계도 분명합니다. GAN은 한 번에 뽑아 빠른 대신 학습이 불안정하고 결과가 한쪽으로 몰리는 반면, 디퓨전은 단계가 많아도 다양성과 통제력에서 앞섭니다. 시드 값, 컨트롤넷 같은 조건 입력, LoRA 같은 소규모 추가 학습이 그 통제 수단입니다.
현장에서 가장 자주 어긋나는 지점은 '프롬프트만 잘 쓰면 된다'는 오해입니다. 같은 문장을 넣어도 시드와 모델 버전이 다르면 다른 그림이 나오므로, 설정을 기록해 두지 않으면 석 달 뒤 같은 톤의 후속 컷을 다시 만들지 못합니다. 제품 사진을 생성물로 대체하는 것도 위험합니다. 로고 글자가 뭉개지거나 손잡이 개수가 틀린 컷이 상세페이지로 나가면 표시광고 시비와 반품으로 돌아옵니다. 생성 이미지는 촬영 대체가 아니라 시안·배경·보조 컷으로 선을 긋고, 최종 검수 담당자를 지정해 두는 편이 안전합니다.
2015년 소흘-딕스타인 등의 연구에서 제안됐고, 2020년 DDPM 논문으로 실용화된 뒤 DALL·E·미드저니 등 이미지 생성 AI의 기반이 됐습니다.
가상의 사례로 살펴보겠습니다. 생활가전을 온라인으로 파는 A사는 임직원 140명, 연매출 약 900억 원 규모입니다. 매달 신제품 30여 종의 상세페이지를 만드는데, 배경 컷 하나를 외주로 찍으면 건당 60만 원에 2주가 걸렸습니다. 상반기 신제품 오픈이 3주 밀리자 마케팅본부장이 '촬영 말고 다른 길도 보자'고 지시했습니다.
- 디지털마케팅팀장이 최근 1년 치 상세페이지 1,280컷을 세어 보니, 절반이 제품 없이 분위기만 보여주는 배경·무드 컷이었습니다.
- 그 절반만 생성으로 돌리기로 하고, 자사 촬영본 300장으로 톤을 맞춘 소규모 학습(LoRA)을 걸어 6월 한 달간 시험 운영했습니다.
- 첫 검수에서 상품기획팀 과장이 '냉장고 손잡이가 두 개로 보인다'고 짚어, 제품이 들어간 컷은 실촬영만 쓴다는 규칙을 못 박았습니다.
- 디자이너 2명이 모델 버전·프롬프트·시드 세 가지를 6개월 보관하는 재현 가능한 기록 원칙을 세워 스프레드시트로 관리했습니다.
- 석 달 뒤 배경 컷 리드타임이 2주에서 하루로 줄었고, 월 외주비 1,800만 원 중 700만 원을 절감했으며 신제품 오픈 지연은 3주에서 2일로 좁혀졌습니다.