파인튜닝

파인튜닝이란?

파인튜닝을 하면 매번 프롬프트에 붙여 보내던 지시문이 모델 안으로 들어갑니다. '첫 줄에 사과, 본문은 세 문단, 마지막에 담당자 연락처' 같은 규칙을 예시 열 개와 함께 호출할 때마다 실어 보내던 것을, 학습 단계에서 한 번 새겨 두는 셈입니다. 그래서 달라지는 것은 모델이 아는 지식이 아니라 답하는 '행동 양식'입니다. 프롬프트가 짧아지니 호출당 토큰과 응답 지연이 줄고, 담당자마다 프롬프트를 조금씩 고쳐 쓰면서 생기던 출력 편차도 잡힙니다.

방식은 크게 셋으로 나뉩니다. 모델 전체 가중치를 갱신하는 풀 파인튜닝은 장비와 비용 부담이 크고, 일부 파라미터만 얹는 LoRA·어댑터 계열(PEFT)은 GPU 한 장으로도 돌아가 국내 실무에서는 이쪽이 대부분입니다. 상용 API 업체의 튜닝 기능을 쓰면 데이터 파일만 올리면 되는 대신 학습 데이터가 외부로 나갑니다. 필요한 분량은 작업이 좁을수록 적어서, 문서 분류나 출력 형식 고정은 수백 건, 말투·문체 이식은 보통 1,000~3,000건 수준의 '입력-정답' 쌍부터 효과가 눈에 보입니다. 경계는 이렇게 잡으면 대체로 맞습니다. 자주 바뀌는 사실(가격·규정·재고)은 RAG, 잘 바뀌지 않는 형식·말투·판단 기준은 파인튜닝입니다.

현장에서 가장 자주 깨지는 지점은 '우리 문서를 학습시키면 모델이 그 내용을 외운다'는 기대입니다. 매뉴얼 PDF를 통째로 넣어 튜닝하면 모델은 내용을 암기하는 게 아니라 그 문서의 말투를 흉내 내고, 숫자나 조항은 그럴듯하게 지어냅니다. 규정이 바뀌었을 때 RAG는 문서 한 장만 갈아 끼우면 되지만, 파인튜닝은 데이터를 고쳐 다시 학습해야 하고 기반 모델을 상위 버전으로 올리는 순간 튜닝 결과도 함께 버려집니다. 학습 데이터에 과거 담당자의 어색한 표현이나 마스킹하지 않은 고객 이름이 섞여 있으면 그대로 재생산된다는 점도 놓치기 쉽습니다. 평가용 문항 200건쯤을 미리 떼어 두지 않으면, 끝내 '예전보다 나아진 것 같다'는 느낌으로 결론을 내게 됩니다.