사고사슬 · CoT
Chain of Thought
사고사슬이란?
- '풀이 과정을 단계별로' 생각하게
- 복잡한 추론 정확도↑
- 프롬프트로 유도
CoT가 바꾸는 것은 정답률만이 아닙니다. 답이 하나의 덩어리로 나오던 것이 검수 가능한 여러 줄로 쪼개지면서, 담당자가 '이 답은 틀렸다'가 아니라 '세 번째 단계의 환율이 틀렸다'고 말할 수 있게 됩니다. 결과물을 통째로 버리고 다시 시키는 대신 어긋난 한 단계만 짚어 고치는 작업으로 바뀌고, 검수 기준을 결과가 아니라 과정에 거는 순간부터 실무 품질관리가 가능해집니다.
쓰는 방식은 크게 둘입니다. 지시문 끝에 '단계별로 풀어줘' 한 줄을 붙이는 제로샷 방식과, 풀이 과정이 적힌 예시 두세 개를 미리 보여주는 퓨샷 방식입니다. 사내 계산 순서나 규정 적용 순서가 정해져 있다면 후자가 훨씬 안정적입니다. 같은 문제를 서너 번 돌려 다수결로 최종 답을 고르는 자기일관성(self-consistency)을 얹기도 합니다. 다만 이미 추론에 특화된 최신 모델은 내부에서 단계를 밟기 때문에 '천천히 생각해'를 덧붙여도 얻는 것이 적고, 응답 토큰만 몇 배로 늘어 비용과 응답 지연이 커질 수 있습니다.
효과가 모든 업무에 고르게 나지도 않습니다. 조건을 겹쳐 계산하거나 규정을 순서대로 적용해야 하는 일에서는 차이가 뚜렷하지만, 번역이나 문장 다듬기처럼 중간 단계가 없는 일에서는 분량만 늘어납니다. 문제를 단계로 쪼갤 수 있는가가 적용 기준입니다. 또 단계를 쓰게 하는 것과 출력 형식을 표로 고정하는 것은 다른 일입니다 — 후자는 보기 좋은 정리를 요구할 뿐이고, 생각의 순서를 지정해 주는 쪽이 CoT입니다.
가장 흔한 오해는 화면에 펼쳐진 풀이가 곧 AI의 진짜 근거라고 믿는 것입니다. 모델은 그럴듯한 과정을 먼저 써 놓고 거기에 맞춰 틀린 답을 정당화하기도 합니다. 과정이 매끄러울수록 검수자가 방심한다는 점이 더 위험합니다 — 숫자 하나만 어긋난 견적서가 논리적으로 보인다는 이유로 결재를 통과합니다. 그래서 중간 단계의 숫자를 단가표·원장과 대조하는 절차가 반드시 따라붙어야 하고, 고객에게 나가는 문서에는 풀이 과정을 그대로 붙이지 않는 편이 안전합니다.
2022년 구글 연구진(제이슨 웨이 등)이 논문 「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」에서 제시했습니다. 중간 추론 단계를 생성하게 하면 대형 모델의 추론 성능이 크게 오른다는 것을 보였습니다.
가상의 사례로 살펴보겠습니다. 임직원 180명, 연매출 900억 원대 산업용 부품 유통사 A사의 영업지원팀은 견적서 한 건에 수량 구간별 할인·환율·해상운임을 겹쳐 계산합니다. 사내 AI 챗봇에 조건을 넣으면 답은 1초 만에 나왔지만, 지난달 40건을 표본 검수했더니 9건에서 최종 금액이 틀렸습니다. 재발송이 반복되자 팀장이 3주짜리 개선 과제를 잡았습니다.
- 영업지원팀 김 과장은 기존 프롬프트 끝에 '할인 적용 → 환율 환산 → 운임 가산 순서로 각 단계 금액을 적고 마지막에 합계'라는 한 줄을 붙여 재실행했습니다.
- AI가 단가·구간 할인율·환율 적용값을 줄줄이 내놓자, 검수자는 합계만 훑던 방식을 버리고 환율 기준일이 적힌 세 번째 줄부터 확인하기 시작했습니다.
- 사흘 만에 원인이 드러났습니다. 틀린 9건 중 7건이 할인을 두 번 빼는 오류였고, 팀장은 '할인은 단 한 번만 적용한다'를 프롬프트 고정 문구로 박아 넣었습니다.
- 단가표가 그대로인 단순 재구매 건에는 CoT를 아예 빼기로 했습니다. 첫 2주 동안 응답 토큰이 건당 3~4배로 늘어 월 API 비용이 40% 넘게 뛰었기 때문입니다.
- 3주 뒤 같은 방식으로 40건을 검수하니 오류는 9건에서 2건으로 줄었고, 견적 재발송은 주 11건에서 3건으로, 건당 검수 시간은 평균 6분에서 2분대로 내려갔습니다.