토큰화

토큰화란?

토큰화가 실제로 바꾸는 것은 '글의 분량을 무엇으로 재느냐'입니다. 사람은 글자 수나 페이지 수로 문서를 재지만, 모델 앞에서는 그 기준이 전부 토큰으로 환산됩니다. 같은 A4 한 장이라도 토큰 수는 문서마다 제각각입니다 — 표가 많은지, 영문 약어가 섞였는지, 줄바꿈과 공백이 어떻게 들어갔는지에 따라 두 배 가까이 벌어집니다. 프롬프트를 다듬을 때도 벤더 견적을 검토할 때도 계산의 단위가 글자에서 토큰으로 옮겨간다는 것이 첫 번째 변화입니다.

토큰을 만드는 방식은 크게 단어 단위, 글자 단위, 그 사이의 서브워드 방식으로 나뉘는데 현대 LLM은 사실상 서브워드만 씁니다. 사전에 없는 신조어나 오타도 아는 조각으로 쪼개 처리할 수 있기 때문입니다. 감을 잡는 수치로는 영어는 4글자당 1토큰, 한국어는 1글자당 1~1.5토큰 정도가 무난합니다. 같은 내용을 담아도 한국어 문서가 영어보다 1.5~2배의 토큰을 먹는다는 뜻입니다. 경계도 분명히 해 둘 필요가 있습니다. 토큰화는 쪼개고 번호를 붙이는 데까지이고, 그 번호에 의미를 입혀 벡터로 만드는 일은 임베딩의 몫입니다.

현장에서 가장 자주 어긋나는 지점은 '글자 수가 곧 토큰 수'라는 가정입니다. 한글 10만 자짜리 매뉴얼을 10만 토큰으로 잡고 연간 비용을 산정했다가 청구서가 1.5배로 날아오는 일이 드물지 않습니다. 컨텍스트 윈도우도 마찬가지입니다. 128K 모델이라고 해서 한글 12만 자가 들어가는 것이 아니고, 입력과 출력이 같은 창을 나눠 쓰기 때문에 자료를 창 끝까지 밀어 넣으면 답변이 중간에 끊깁니다. 표·JSON·마크다운 기호는 눈에 보이는 분량보다 토큰을 훨씬 많이 먹으니, RAG 청크 크기를 글자 수로 못 박아 두면 검색 단계에서 문서 뒷부분이 소리 없이 잘려 나갑니다.