전이 학습
Transfer Learning
전이 학습이란?
- 학습된 지식을 새 작업에 재활용
- 밑바닥 학습 없이 빠르게
- 파인튜닝이 대표
전이 학습이 실제로 바꾸는 것은 AI 과제의 출발선입니다. 예전에는 '데이터 몇 만 건을 어떻게 모으나'부터 회의가 시작됐지만, 지금은 '어떤 사전학습 모델을 가져다 쓸까'가 첫 질문이 됩니다. 출발선이 0이 아니라 80쯤이 되니 필요한 데이터가 만 단위에서 수백~수천 건으로 내려가고, 학습 시간도 몇 주에서 몇 시간으로 줄어듭니다. 그래서 과제의 성패는 모델링 실력보다 우리 과제에 가까운 사전학습 모델을 고르는 안목에서 갈립니다.
실무에서 쓰는 방식은 크게 셋입니다. 앞단 가중치는 그대로 얼리고 마지막 분류층만 새로 붙이는 특징 추출, 전체 가중치를 작은 학습률로 다시 조정하는 전체 파인튜닝, 원본은 두고 소형 어댑터만 학습하는 LoRA 같은 경량 기법입니다. 데이터가 수백 건이면 특징 추출, 수천 건 이상이면 파인튜닝이 대체로 무난하고, 거대 언어모델에서는 학습 대상 파라미터를 1% 미만으로 줄이는 경량 기법이 사실상 기본값입니다. 여기서 검색증강(RAG)과는 역할이 다르다는 점을 구분해야 합니다. 파인튜닝은 말투·출력 형식·판단 기준을 몸에 익히게 하는 일이고, 자주 바뀌는 사실 정보를 넣는 일은 RAG의 몫입니다.
현장에서 가장 자주 어긋나는 지점은 '우리 데이터로 더 학습시키면 무조건 똑똑해진다'는 기대입니다. 사내 문서 3,000건으로 전체 파인튜닝을 돌렸다가 원래 잘하던 요약과 번역이 무너지는 파국적 망각이 흔하고, 불량 이미지 200장을 반복 학습시켜 검증 정확도 98%를 찍은 뒤 실제 라인에서 60%대로 주저앉는 과적합도 자주 봅니다. 사전학습 데이터와 우리 데이터의 성격 차가 크면(일반 사진 → X선 영상) 전이 효과가 거의 없거나 오히려 방해가 됩니다. 손대기 전 원본 모델의 성능을 먼저 기록해 두고 같은 검증셋으로 비교해야 하며, 상용 모델은 라이선스가 파인튜닝과 재배포를 허용하는지 계약서부터 확인해야 합니다.
기계학습의 오랜 개념으로, 대규모 사전학습 모델(ImageNet, BERT, GPT 등)의 등장과 함께 실무의 표준 전략이 됐습니다.
가상의 사례로 살펴보겠습니다. 임직원 240명 규모의 산업용 밸브 제조사 A사는 외관 검사를 전량 육안으로 해왔습니다. 하루 1,200개를 검사원 4명이 들여다보다 보니 오후에는 놓치는 흠집이 늘어 고객사 클레임이 월 7건까지 올라갔습니다. AI 검사 도입을 검토했지만 그동안 모아둔 불량 이미지가 320장뿐이었습니다.
- 외주 업체는 '최소 3만 장은 찍어야 합니다'라고 답했습니다. 품질보증팀 김 팀장은 촬영에만 1년이 걸린다고 보고, ImageNet으로 사전학습된 이미지 모델을 가져와 우리 데이터만 얹는 쪽으로 방향을 틀었습니다.
- 생산기술팀 박 과장이 기존 320장을 흠집·이물·정상 세 갈래로 다시 라벨링하고, 조명 각도를 바꿔 780장을 추가 촬영해 학습 980장, 검증 120장으로 나눴습니다.
- 1차 시도는 앞단을 전부 얼리고 마지막 분류층만 학습했습니다. 2주 만에 검증 정확도 88%가 나왔고, 20년 경력 이 반장이 '사람이 봐도 애매한 걸 똑같이 틀린다'며 수긍했습니다.
- 남은 오판의 대부분이 도금 반사광 때문이라는 걸 확인한 뒤, 상위 세 개 층만 학습률 1e-5로 추가 파인튜닝했습니다. GPU 한 장으로 4시간, 클라우드 비용은 6만 원이 들었습니다.
- 6주 차에 라인에 연결한 결과 불량 검출률이 71%에서 94%로 올랐고, 육안 재검 물량이 하루 1,200건에서 180건으로 줄어 검사원 2명이 공정 개선 업무로 자리를 옮겼습니다.