퓨샷 · 제로샷
Few-shot / Zero-shot
퓨샷이란?
- 제로샷=예시 없이 바로
- 퓨샷=예시 몇 개 주고
- 프롬프트 성능의 기본기
제로샷과 퓨샷의 차이는 '예시 유무'지만, 실무에서 갈리는 건 출력의 편차입니다. 제로샷은 모델이 지시문을 자기 방식대로 해석하므로 같은 요청에도 문장 길이, 항목 수, 말투가 매번 달라집니다. 퓨샷은 예시가 사실상 출력 규격서 역할을 하기 때문에, 사람이 말로 설명하기 어려운 톤이나 형식을 그대로 복제하게 만듭니다. 회의록을 정리시킬 때 '핵심만 간단히'라는 지시는 읽는 사람마다 다르게 해석되지만, 지난주 회의록 한 건을 완성본으로 붙여주면 기준이 한 번에 섭니다. 지시문을 열 줄 늘리는 것보다 잘 만든 예시 두 개가 빠른 경우가 많습니다.
예시는 많을수록 좋은 것이 아닙니다. 분류·추출처럼 답의 형태가 정해진 작업은 보통 3~5개면 충분하고, 그 이상은 토큰만 늘어날 뿐 정확도는 거의 오르지 않습니다. 대신 예시의 구성이 중요합니다 — 라벨마다 개수를 비슷하게 맞추고, 헷갈리는 경계 사례를 일부러 넣고, 뒤쪽에 놓인 예시가 결과에 더 크게 반영되는 편향까지 감안해야 합니다. 예시를 하나만 주는 원샷(one-shot)도 형식을 고정하는 데는 꽤 효과적입니다. 다만 회사 고유 지식 자체가 필요한 일은 퓨샷이 아니라 RAG나 파인튜닝의 영역입니다. 예시는 '어떻게 답할지'를 가르칠 뿐, 모르는 사실을 채워주지는 않습니다.
현장에서 가장 흔한 사고는 예시에 실제 고객 데이터를 그대로 붙여 넣는 일입니다. 이름·연락처·계약 금액이 담긴 메일을 샘플로 쓰면 프롬프트 자체가 유출 경로가 됩니다. 예시를 늘릴수록 좋아진다고 믿고 20개씩 붙이는 경우도 있는데, 긴 프롬프트는 응답 속도와 비용을 함께 끌어올립니다. 또 하나는 예시가 낡는다는 점입니다 — 작년 보고서 양식으로 만든 예시를 그대로 두면 AI는 개정된 양식을 무시하고 계속 옛 형식을 찍어냅니다. 결과가 이상할 때 지시문만 계속 고치다 원인을 못 찾는 팀이 많은데, 먼저 의심할 곳은 예시입니다.
2020년 OpenAI의 GPT-3 논문 「Language Models are Few-Shot Learners」가 대형 언어모델이 예시 몇 개만으로 새 작업을 수행할 수 있음을 보이며 개념을 널리 알렸습니다.
가상의 사례로 살펴보겠습니다. 임직원 210명, 연매출 480억 원인 산업용 부품 유통사 A사의 CS팀은 하루 평균 320건 들어오는 고객 메일을 납기·반품·견적·기술 4개로 나눠 담당자에게 넘기고 있었습니다. 사원 2명이 오전 내내 이 일에 매달렸고, 오분류로 되돌아오는 메일이 주당 40건이었습니다. 시스템 개발 없이 3주간 프롬프트만 손봐서 해결해 보기로 했습니다.
- CS팀 김 과장이 '이 메일을 납기·반품·견적·기술 중 하나로 분류해줘'라고만 넣어봤더니, 같은 메일을 오전엔 견적, 오후엔 기술로 다르게 답했습니다.
- 김 과장은 최근 3개월 메일에서 오분류가 잦았던 유형을 골라 원문과 정답 라벨을 짝지은 예시 6개를 만들었고, 카테고리마다 정확히 1~2개씩 균형을 맞췄습니다.
- 예시를 프롬프트 앞에 붙이고 '애매하면 미정이라고 답하라'는 한 줄을 추가하자, 경계에 걸친 메일을 억지로 끼워 맞추던 답변이 눈에 띄게 줄었습니다.
- 테스트로 100건을 돌려 틀린 17건을 다시 읽어보니 반품 예시 3개가 모두 단순 교환 건이라, 배송 파손이 섞인 복합 클레임까지 반품으로 밀어넣고 있었습니다.
- 김 과장은 예시 2개를 복합 클레임 사례로 교체하고, 분기마다 예시를 다시 검토하기로 팀장과 합의했습니다.
- 4주 뒤 재전달 메일은 주당 40건에서 7건으로 줄었고, 분류에 쓰던 시간은 하루 4시간에서 40분이 됐습니다. 김 과장은 '예시 여섯 줄이 사람 한 명 몫'이라고 말했습니다.