지식 · AI 기초
토큰화
Tokenization
📂AI 기초⏱읽기 1분📊실무🔗관련 3
토큰화란?
한 줄 정의
문장을 AI가 처리할 수 있는 작은 단위(토큰)로 쪼개는 과정. LLM이 글을 '읽는' 첫 단계.
⚡ 3줄 요약
- 문장을 토큰으로 쪼갬
- LLM이 글을 '읽는' 첫 단계
- 비용·한계와 직결
토큰화는 텍스트를 토큰이라는 조각으로 나누는 작업입니다. 토큰은 단어일 수도, '먹었다→먹/었다'처럼 단어 조각일 수도 있습니다. LLM은 글자를 직접 다루지 않고 이 토큰을 숫자로 바꿔 처리하므로, 토큰화는 AI가 언어를 이해하는 출발점입니다.
토큰 수는 비용·속도·한계와 직결됩니다. API 요금은 토큰 단위로 매겨지고, 모델이 한 번에 다룰 수 있는 양(컨텍스트 윈도우)도 토큰으로 셉니다. 한국어는 영어보다 같은 내용에 토큰이 더 많이 드는 경향이 있어, 실무에선 토큰 효율을 고려하는 것이 중요합니다.
💡 쉽게 말하면
글을 레고 조각(토큰)으로 나누는 것 — AI는 글자가 아니라 이 조각으로 언어를 다룹니다.
실무에서 왜 중요한가
토큰화는 AI가 언어를 처리하는 첫 단추이자, 비용·속도·컨텍스트 한계를 결정하는 실무적 기준입니다.
유래와 출처
자연어 처리(NLP)의 기초 전처리 기법으로, 서브워드 토큰화(BPE 등)가 현대 LLM의 표준 방식으로 자리잡았습니다.
사례로 이해하기
예를 들어, 문장을 토큰화한다고 해봅시다.
- 입력 — '나는 학교에 갔다'를 받습니다.
- 분할 — '나/는/학교/에/갔다' 등으로 쪼갭니다.
- 변환 — 각 토큰을 숫자 ID로 바꿉니다.
- 처리 — 모델이 이 숫자를 계산합니다.
- 비용 — 토큰 수만큼 요금·한계가 정해집니다.
관련 용어
LLM · 대규모 언어모델방대한 텍스트로 학습해 '다음에 올 말'을 예측하며 문장을 생성하는 대규모 신경망. ChatGPT·Claude의 두뇌.트랜스포머문장 속 모든 단어의 관계를 한 번에 파악하는 '어텐션' 방식의 신경망 구조. 오늘날 생성형 AI의 기반.어텐션 메커니즘입력의 여러 부분 중 '지금 중요한 곳'에 더 집중하게 하는 신경망 기법. 트랜스포머와 현대 LLM의 심장.
이 용어와 연결된 교육
📚에이전트 AI 실무 입문나눔경영컨설팅 기업교육 · 대면/온라인과정 보기 →이 주제로 사내 교육이 필요하신가요?
담당자 맞춤 커리큘럼·견적을 바로 받아보세요.
자주 묻는 질문
비슷하지만 다릅니다. 긴 단어는 여러 토큰으로 쪼개지고, 조사·접미사도 별도 토큰이 될 수 있습니다.
API 비용·속도·컨텍스트 한계가 모두 토큰 단위로 정해지기 때문입니다.
비슷하지만 다릅니다. 긴 단어는 여러 토큰으로 쪼개지고 조사도 별도 토큰이 될 수 있습니다.
API 비용·속도·컨텍스트 한계가 모두 토큰 단위로 정해지기 때문입니다.