토큰 · 컨텍스트 윈도우
Token / Context Window
토큰이란?
- 토큰=처리 최소 단위
- 컨텍스트 윈도우=한 번에 볼 최대량
- 비용·한계의 기준
토큰과 컨텍스트 윈도우를 이해하고 나면 'AI에 무엇을 넣을까'보다 '얼마나 넣을까'가 먼저 결정할 변수가 됩니다. 같은 질문이라도 붙여 넣은 자료가 열 배 길면 응답 시간도 요금도 대체로 그만큼 늘고, 어느 선을 넘는 순간 앞부분은 조용히 잘려 나갑니다. 실무에서는 넣을 분량을 미리 어림잡는 습관이 답변 품질과 월 사용료를 동시에 좌우합니다.
감을 잡는 기준은 이렇습니다. 한국어는 글자 하나가 대략 1~2토큰이라 A4 한 장이 1,000~1,500토큰, 100페이지 계약서면 10만 토큰을 훌쩍 넘깁니다. 요금은 입력 토큰과 출력 토큰이 따로 매겨지고 출력 단가가 대체로 더 비쌉니다. 컨텍스트 윈도우는 입력과 출력을 합한 총량이어서 자료를 길게 넣을수록 답변에 쓸 여유가 줄어듭니다. 대화가 길어지면 앞선 대화 전체가 매 턴 다시 전송된다는 점도 요금표에는 드러나지 않는 비용입니다.
관리 방식은 크게 둘로 갈립니다. 문서를 조항·단락 단위로 쪼개 필요한 조각만 골라 넣는 방식(청킹·RAG)과, 앞선 대화를 주기적으로 요약해 다시 밀어 넣는 방식입니다. 앞의 것은 자료 검토에, 뒤의 것은 긴 상담이나 회의록 정리에 맞습니다. 두 방식의 목적은 같습니다 — 윈도우를 꽉 채우는 것이 아니라 관련 없는 텍스트를 걷어내는 것입니다. 파일 업로드 기능도 이 과정을 대신해 줄 뿐, 한계가 없어지는 것은 아닙니다.
가장 흔한 오해는 '윈도우가 넉넉하니 통째로 넣으면 된다'는 생각입니다. 넣을 수는 있지만 모델은 긴 입력의 중간 부분을 자주 흘리고, 읽는 사람은 그 누락을 눈치채지 못한 채 그�럴듯한 요약을 보고서에 옮깁니다. 또 하나, 컨텍스트에 넣은 자료는 학습이 아닙니다 — 창을 닫으면 사라지기 때문에 '지난주에 알려줬는데 왜 모르냐'는 말이 나옵니다. 핵심만 추린 짧은 요청이 전부 밀어 넣은 요청보다 정확한 경우가 많다는 전제 위에서 업무 절차를 짜야 합니다.
토큰·컨텍스트 윈도우는 트랜스포머 기반 언어모델의 작동 방식에서 비롯된 개념으로, 모델이 한 번에 처리하는 입력 단위와 그 최대 길이를 가리킵니다.
가상의 사례로 살펴보겠습니다. 임직원 180명 규모의 자동차 부품 제조사 A사는 연간 260건의 협력사 계약서를 법무 담당 2명이 검토합니다. 올해 3월 AI 검토를 시범 도입했는데, 80페이지짜리 공급계약서를 통째로 붙여 넣자 뒷부분 손해배상 조항만 요약하고 앞쪽 단가 조정 조항은 통째로 빠뜨리는 일이 석 달 동안 열한 번 반복됐습니다.
- 법무팀 김 과장이 계약서 한 건의 분량을 토큰으로 재보니 약 6만 토큰이었고, 월 22건을 전부 통째로 넣으면 사용료가 시범 예산의 세 배가 된다는 계산이 나왔습니다.
- 구매팀장이 '80페이지를 다 볼 필요가 있느냐'고 되묻자, 실제 분쟁이 났던 단가 조정·지체상금·하자담보·해지 등 7개 조항만 우선 검토 대상으로 추렸습니다.
- 정보팀 이 대리가 계약서를 조항 단위 120개 조각으로 나누고 질문과 관련된 상위 5개만 붙여 넣도록 양식을 바꾸자, 한 번 요청이 6만 토큰에서 4천 토큰으로 줄었습니다.
- 대화가 길어질수록 앞선 내용이 매 턴 다시 전송된다는 것을 확인한 뒤, 김 과장은 '계약 한 건 끝나면 새 창'이라는 규칙을 팀 공지로 돌렸고 20턴씩 이어가던 습관이 사라졌습니다.
- 3개월 뒤 계약서 한 건 검토 시간이 평균 95분에서 32분으로 줄었고, 월 AI 사용료는 41만 원에서 9만 원대로 내려갔습니다. 앞쪽 조항 누락은 11건에서 0건이 됐습니다.