LLM · 대규모 언어모델

LLM이란?

LLM이 실제로 바꾼 것은 답변의 품질이 아니라 업무를 시키는 방법입니다. 예전에는 문의 메일을 유형별로 나누는 기능 하나를 만들려 해도 규칙을 코드로 짜고 예외를 하나씩 등록해야 했지만, 지금은 지시문과 예시 몇 개로 같은 일을 시작할 수 있습니다. 그래서 자동화의 출발점이 개발 부서가 아니라 일을 가장 잘 아는 실무자 쪽으로 옮겨왔습니다. 대신 결과의 품질이 코드가 아니라 문장에 달리게 되어, 어디까지 믿고 내보낼지 판단하는 부담도 함께 현업이 지게 됐습니다.

실무에서는 최소한 세 가지를 구분해야 합니다. 모델이 한 번에 볼 수 있는 분량인 컨텍스트 윈도우는 제품마다 수만에서 수십만 토큰이고(한글은 대체로 한 글자가 토큰 하나 안팎입니다), 여기에 넣은 자료는 그 대화가 끝나면 사라집니다. 학습 데이터에는 시점이 끊긴 지점이 있어 지난달 개정한 사내 규정이나 이번 분기 단가표는 알지 못합니다. 회사 지식을 붙이는 방법은 프롬프트에 직접 넣기, RAG로 검색해 붙이기, 파인튜닝으로 말투와 형식을 굳히기로 갈리는데, 사실 정확도가 목적이라면 대개 RAG가 먼저이고 파인튜닝은 그다음입니다.

현장에서 가장 자주 어긋나는 지점은 '우리 자료를 넣었으니 학습됐다'는 오해입니다. 채팅창에 붙여넣은 문서는 학습된 것이 아니라 잠깐 보여준 것이라, 창을 닫으면 모델은 그 내용을 모릅니다. 또 LLM은 계산기도 데이터베이스도 아니어서 매출 합계나 재고 수량 같은 숫자는 그럴듯하게 틀립니다. 같은 질문에 매번 다른 답이 나오는 것도 고장이 아니라 확률로 문장을 잇는 구조의 특성입니다. 이걸 모른 채 답변을 그대로 고객 견적서나 계약 문구에 옮기면, 없는 규정 조항이나 단종된 모델번호가 그대로 나가 사과 메일부터 쓰게 됩니다.