소형 언어모델 · sLM

소형 언어모델이란?

sLM이 실제로 바꾸는 건 모델 성능표가 아니라 AI 도입의 결재선입니다. 거대 모델은 호출 건당 비용이 붙고 데이터가 사외로 나가기 때문에 법무·보안 검토가 먼저 걸립니다. 반면 몇 GB짜리 모델은 사내 서버나 업무용 노트북에 얹어 돌릴 수 있어, 대형 계약 없이도 팀 단위로 먼저 시험해 볼 여지가 생깁니다. '되는지 해보고 판단하는' 순서가 가능해진다는 게 현장에서 체감되는 가장 큰 차이입니다.

규모 감각을 잡아두면 판단이 쉬워집니다. 통상 1B~10B 파라미터대를 sLM으로 부르고, FP16 기준 7B 모델은 약 14GB 메모리를 먹지만 INT4로 양자화하면 4GB대까지 내려가 노트북이나 최신 스마트폰에서도 돕니다. 여기서 핵심은 크기가 아니라 역할 분담입니다. 사내 문서를 찾아 읽고 정해진 양식으로 정리하는 일은 sLM과 RAG 조합으로 충분하고, 여러 단계를 거슬러 올라가는 원인 분석이나 장문 기획처럼 모델의 '머리'가 필요한 일은 여전히 거대 모델 몫입니다.

sLM이 잘 먹히는 업무에는 공통점이 있습니다. 입력 형태가 일정하고, 정답 범위가 좁고, 하루에도 수백 번씩 반복된다는 점입니다. 고객 문의 분류, 상담 녹취 요약, 코드 자동완성, 설비 에러코드 안내가 여기 해당합니다. 반대로 질문이 매번 달라지는 일은 작은 모델이 금세 바닥을 드러냅니다. 도입 판단 기준은 단순합니다 — 같은 유형의 질문이 월 1,000건을 넘는가, 그리고 그 답을 우리 문서로 검증할 수 있는가입니다.

가장 흔한 오해는 '작으니까 싸다'입니다. 모델 값은 싸도 파인튜닝 데이터를 만들고 관리하는 사람 값은 그대로 듭니다. QA 수천 쌍을 만드는 데 현업 인력이 몇 주 붙고, 제품이나 사내 규정이 바뀌면 재학습을 다시 돌려야 합니다. 더 위험한 건 평가셋 없이 모델을 교체하는 일입니다. sLM은 모르는 걸 모른다고 말하는 능력이 약해서 틀린 답도 그럴듯한 문장으로 내놓습니다. 고정 문항 200~300개짜리 채점표를 먼저 만들어 두지 않으면, 품질이 떨어진 사실을 고객 클레임으로 알게 됩니다.