학습 · 추론

학습이란?

학습과 추론을 나누어 보는 순간 AI 예산의 성격이 갈립니다. 학습은 한 번에 큰돈이 들어가고 끝나는 설비 투자에 가깝고, 추론은 직원이 질문을 던질 때마다 계량기가 도는 전기요금에 가깝습니다. 그래서 '이 AI 얼마예요'라는 질문은 사실 두 개의 질문입니다. 만드는 데 드는 돈과 쓰는 동안 드는 돈을 갈라서 계산하지 않으면, 도입 품의는 무사히 통과했는데 이듬해 운영비가 예산을 넘어서는 일이 생깁니다. 학습은 끝나면 비용이 멈추지만 추론은 서비스가 살아 있는 한 멈추지 않습니다. 대부분의 기업은 학습을 직접 하지 않고 추론만 구매합니다 — 여기서 검토의 초점이 완전히 달라집니다.

경계를 더 잘라 보면 학습에도 층위가 있습니다. 조 단위 토큰을 먹여 모델 자체를 만드는 사전학습은 빅테크의 영역이고, 기업이 손댈 수 있는 범위는 수백~수천 건의 예시로 말투와 출력 형식을 다듬는 파인튜닝 정도입니다. 반면 사내 규정집이나 단가표처럼 자주 바뀌는 지식은 학습이 아니라 질문할 때 해당 문서를 찾아 붙여 주는 방식(RAG)이 맞습니다. 추론은 토큰 단위로 과금되는데 입력보다 출력 단가가 몇 배 비싼 구조여서, 답변을 600자로 제한하느냐 2,000자로 풀어 두느냐에 따라 연간 청구서가 배로 갈립니다.

현장에서 가장 자주 어긋나는 지점은 '우리 데이터를 학습시키면 알아서 다 안다'는 기대입니다. 파인튜닝한 모델은 말투는 회사 것이 되지만 지난달 바뀐 단가표는 모르고, 모르면서도 옛 숫자를 자신 있게 말합니다. 그 답변이 견적서에 그대로 들어가 고객에게 나가면 사고가 됩니다. 또 하나는 파일럿 비용을 그대로 전사 비용으로 곱하는 착각입니다. 열 명이 쓰던 도구를 삼백 명에게 열면 사용자 수만 느는 게 아니라 1인당 질의 수와 붙는 문서 길이까지 같이 늘어, 비용은 산술 배수를 훌쩍 넘깁니다. 추론비는 쓰는 만큼 계속 붙는다는 전제로 확산 계획을 짜야 합니다.