생성적 적대 신경망 · GAN
Generative Adversarial Network
생성적 적대 신경망이란?
- 생성자 vs 판별자 경쟁으로 학습
- 진짜 같은 데이터 생성
- 딥페이크·이미지 생성 원조
GAN이 실무에서 바꾼 것은 데이터를 대하는 순서입니다. 그전까지는 모델을 학습시키려면 사람이 정답을 붙인 데이터를 충분히 모아 두어야 했지만, GAN은 판별자가 맞혔는지 틀렸는지라는 신호 하나로 생성자를 키웁니다. 정답표 없이도 학습이 굴러간다는 뜻이라, 희귀 불량 이미지처럼 애초에 모으기 어려운 데이터를 직접 만들어 쓰는 길이 열렸습니다. 없는 데이터를 구해서 채우는 대신 만들어서 채운다는 접근이 여기서 나옵니다.
갈래를 나눠 보면 쓰임이 분명해집니다. DCGAN은 합성곱을 붙여 이미지 품질을 끌어올린 기본형이고, CycleGAN은 짝지어진 정답 쌍 없이도 사진을 그림체로 바꾸는 변환용이며, StyleGAN은 1024×1024 해상도의 얼굴을 만들어 '실존하지 않는 인물' 서비스의 바탕이 된 계열입니다. 조건부 GAN(cGAN)은 '스크래치 불량'처럼 원하는 종류를 지정해 뽑습니다. 디퓨전 모델과의 갈림길은 속도와 안정성입니다. 디퓨전은 노이즈를 수십 번 걷어내며 품질을 얻는 대신 느리고, GAN은 한 번의 통과로 결과를 내 실시간 처리에 유리하지만 학습이 한쪽으로 무너지기 쉽다는 약점을 안고 갑니다.
현장에서 가장 자주 어긋나는 지점은 'GAN을 돌리면 데이터가 무한히 생긴다'는 기대입니다. 생성자는 판별자를 속이기 쉬운 몇 가지 패턴을 찾으면 거기에 눌러앉는데, 이것이 모드 붕괴입니다. 1만 장을 뽑아도 실제로는 서너 유형의 변주뿐이라, 그 데이터로 학습한 검사 모델은 처음 보는 불량 앞에서 그대로 놓칩니다. 원본 300장에 특정 조명·각도 편향이 있었다면 그 편향까지 복제됩니다. 검증셋만은 합성 데이터로 채우면 안 됩니다 — 가짜로 시험을 치르면 점수만 오르고 라인 성능은 제자리입니다. 사람 얼굴이나 음성을 합성할 때는 초상권과 딥페이크 관련 법적 책임을 기술 검토보다 먼저 확인해야 합니다.
2014년 이안 굿펠로우(Ian Goodfellow) 등이 제안했으며, 생성자와 판별자가 제로섬 게임처럼 경쟁하는 구조입니다.
가상의 사례로 살펴보겠습니다. 임직원 420명 규모의 자동차 부품 제조사 A사는 외관 검사 AI를 6개월째 붙잡고 있었습니다. 정상 이미지는 12만 장이 쌓였는데 실제 불량 이미지는 전 라인 통틀어 287장뿐이었습니다. 검사 모델의 불량 검출률은 76%에서 더 오르지 않았습니다.
- 품질보증팀 박 차장이 '불량을 더 모으려면 일부러 불량을 내야 하느냐'고 묻자, AI 파트너사가 GAN으로 스크래치·이물 불량 이미지를 합성해 보자고 제안했습니다.
- 조건부 GAN을 붙여 불량 유형을 스크래치·이물·찍힘·도장번짐 4가지로 지정하고, 287장을 학습시켜 유형별 3,000장씩 총 1만 2천 장을 3주에 걸쳐 뽑았습니다.
- 1차 결과물을 본 검사반장이 '이건 우리 라인에서 안 나오는 흠집'이라며 40%를 걸러냈고, 현장 눈으로 합성 이미지를 솎아내는 검수를 정식 공정으로 넣었습니다.
- 모드 붕괴를 의심해 생성 이미지를 유형별로 분류해 보니 이물 불량이 전체의 68%에 몰려 있어, 손실 함수 가중치를 조정하고 2주간 다시 학습시켰습니다.
- 검증은 합성 이미지를 한 장도 섞지 않고 실제 불량 287장 중 떼어 둔 87장으로만 했습니다. 가짜로 시험을 치르지 않는다는 것이 박 차장이 정한 원칙이었습니다.
- 석 달 뒤 불량 검출률은 76%에서 93%로 올랐고 과검률은 11%에서 4%로 떨어져, 재검사에 붙던 인력이 하루 3명에서 1명으로 줄었습니다.