지식 · AI 기초
토큰 · 컨텍스트 윈도우
Token / Context Window
📂AI 기초⏱읽기 1분📊실무🔗관련 4
토큰이란?
한 줄 정의
토큰은 AI가 글을 처리하는 최소 단위(대략 단어 조각), 컨텍스트 윈도우는 AI가 한 번에 기억·참고할 수 있는 토큰의 최대 길이.
⚡ 3줄 요약
- 토큰=처리 최소 단위
- 컨텍스트 윈도우=한 번에 볼 최대량
- 비용·한계의 기준
AI는 글을 글자나 단어가 아니라 '토큰'이라는 조각으로 잘라 처리합니다(한국어는 대략 한두 글자가 한 토큰). 입력·출력 분량, 그리고 사용 요금이 이 토큰 수로 계산됩니다.
컨텍스트 윈도우는 모델이 '한 번의 대화에서 동시에 볼 수 있는 토큰의 최대치'입니다. 이 한계를 넘으면 앞부분을 잊습니다. 그래서 긴 문서를 다룰 때는 잘게 나누거나(청킹), 필요한 부분만 RAG로 골라 넣는 것이 중요합니다.
대략적인 감으로, 영어는 단어 하나가 1토큰 안팎, 한국어는 같은 내용에 토큰이 더 많이 드는 편입니다. 그래서 같은 문서라도 한국어가 비용·길이 면에서 불리할 수 있습니다. 컨텍스트 윈도우가 커진 최신 모델도 '넣을 수 있다'와 '잘 활용한다'는 다르므로, 핵심만 추려 넣는 것이 여전히 유리합니다.
💡 쉽게 말하면
AI의 '한눈에 읽는 분량' — 이걸 넘으면 앞부분을 잊고, 요금도 이 분량으로 매겨집니다.
실무에서 왜 중요한가
왜 AI가 긴 문서의 앞부분을 잊는지, 왜 요금이 분량에 비례하는지 — 토큰·컨텍스트로 설명됩니다.
유래와 출처
토큰·컨텍스트 윈도우는 트랜스포머 기반 언어모델의 작동 방식에서 비롯된 개념으로, 모델이 한 번에 처리하는 입력 단위와 그 최대 길이를 가리킵니다.
사례로 이해하기
예를 들어, 100페이지 계약서를 AI로 분석한다고 해봅시다.
- 한계 인식 — 문서가 모델의 컨텍스트 윈도우보다 길 수 있음을 확인합니다.
- 분할 — 계약서를 조항 단위로 잘게 나눕니다(청킹).
- 선별 — 질문과 관련된 조각만 RAG로 골라 넣습니다.
- 처리 — 한 번에 넣는 토큰을 한계 안으로 유지해 정확도를 지킵니다.
- 비용 — 불필요한 텍스트를 줄여 토큰 수(=요금)를 아낍니다.
관련 용어
LLM · 대규모 언어모델방대한 텍스트로 학습해 '다음에 올 말'을 예측하며 문장을 생성하는 대규모 신경망. ChatGPT·Claude의 두뇌.RAG · 검색증강생성AI가 답하기 전에 사내 문서·데이터베이스 등 외부 지식을 먼저 검색해 그 근거 위에서 답을 생성하게 하는 기법.프롬프트 엔지니어링생성형 AI가 원하는 결과를 내도록 지시문(프롬프트)을 설계·개선하는 기술. 역할·맥락·예시·형식을 명확히 줄수록 품질이 올라간다.임베딩 · 벡터 DB글의 '의미'를 숫자 벡터로 바꾼 것이 임베딩, 그 벡터를 저장해 의미가 비슷한 것을 빠르게 찾는 저장소가 벡터 DB. RAG의 핵심 부품.
이 용어와 연결된 교육
📚클로드 코워크 핵심기능 활용나눔경영컨설팅 기업교육 · 대면/온라인과정 보기 →이 주제로 사내 교육이 필요하신가요?
담당자 맞춤 커리큘럼·견적을 바로 받아보세요.
자주 묻는 질문
언어·단어마다 다릅니다. 영어는 대략 4글자, 한국어는 한두 글자가 1토큰 정도로 봅니다.
긴 문서를 다루기 좋지만, 너무 많이 넣으면 비용이 늘고 핵심이 묻힐 수 있어 '필요한 것만' 넣는 게 좋습니다.
고정은 아닙니다. 한국어는 대략 한두 글자가 한 토큰이고, 단어가 쪼개지기도 합니다.
넓게 담을 수 있지만, 크다고 다 잘 쓰는 건 아닙니다. 핵심만 추려 넣는 게 유리합니다.