온도 · 샘플링 설정

온도란?

온도를 건드리면 답의 내용보다 같은 질문을 열 번 던졌을 때 답이 갈라지는 폭이 먼저 바뀝니다. 0에 가깝게 두면 열 번 중 아홉 번은 거의 같은 문장이 나와 검수와 재현이 쉬워지고, 1을 넘기면 문장 구조와 어휘 선택이 매번 달라져 같은 결과를 다시 뽑아내기 어려워집니다. 그래서 실무에서 온도는 '똑똑함'을 올리는 손잡이가 아니라 결과물의 재현성을 사고파는 손잡이입니다. 지식의 양이나 추론 능력은 그대로이고 흔들림의 폭만 조절되며, A/B 테스트를 하려면 어느 쪽이든 값을 적어두고 고정해야 비교가 성립합니다.

값의 범위는 모델마다 다릅니다. OpenAI 계열은 0~2, 다수 오픈소스 모델은 0~1을 쓰고 기본값은 대체로 0.7 근처입니다. 현장 기준으로는 분류·추출·요약·코드는 0~0.3, 상담 답변이나 보고서 초안은 0.4~0.7, 네이밍·슬로건·콘셉트 발상은 0.9~1.2 정도를 잡습니다. Top-p와 혼동하기 쉬운데, 온도는 확률 분포 전체를 평평하게 펴거나 뾰족하게 만드는 쪽이고 Top-p는 누적 확률 상위 후보만 남기고 잘라내는 쪽입니다. 둘을 동시에 세게 건드리면 효과가 겹쳐 통제가 어려워지므로 보통 하나만 고정해 두고 나머지를 움직입니다. 일반 챗 화면에는 이 값이 노출되지 않고 API나 플레이그라운드에서만 만질 수 있다는 점도 알아둘 필요가 있습니다.

가장 흔한 오해는 온도를 0으로 내리면 틀린 말을 안 한다는 생각입니다. 온도는 사실 검증 장치가 아니라 표현의 흔들림 조절기여서, 0에서도 모델은 존재하지 않는 조항 번호나 판례를 확신에 찬 어투로 말합니다. 오히려 흔들림이 없어 매번 똑같이 틀리기 때문에 검수자가 오류를 눈치채지 못하는 일이 생깁니다. 반대로 사규 안내나 견적 산출처럼 답이 하나여야 하는 업무에 기본값 0.7을 그대로 쓰면 같은 질문에 환불 기한이 7일과 14일로 갈리는 사고가 납니다. 온도 0이라도 연산 순서 때문에 완전히 동일한 출력이 보장되지는 않으니, 규정 안내는 온도가 아니라 원문을 함께 붙여주는 방식으로 잡아야 합니다. 창의적인 결과가 필요할 때도 온도부터 올리기보다 프롬프트에 조건과 예시를 바꿔 넣는 편이 실패가 적습니다.