토큰화
토큰화는 입력을 모델이 처리할 수 있는 이산 식별자로 변환합니다. 현대 LLM은 흔한 문자열을 하나의 토큰으로, 드문 문자열을 더 작은 단위로 나누는 subword 방식을 주로 사용합니다. 토큰은 단어, 단어 일부, 구두점, 공백, 코드 조각, byte가 될 수 있습니다.
왜 중요한가
컨텍스트 제한, 사용량, 지연시간은 대개 문자나 단어가 아닌 토큰으로 측정됩니다. 같은 텍스트도 모델, 언어, 형식에 따라 토큰 수가 다릅니다. 철자, 산술, 식별자, Unicode 문자열은 사람이 보는 단위와 토큰 경계가 달라 어려울 수 있습니다.
주요 방식에는 BPE, WordPiece, unigram model, byte-level tokenization이 있습니다. 배포 모델의 실제 토크나이저로 지시문, 사용자 데이터, 검색 문서, 도구 결과, 대화 기록, 출력 예산을 각각 계산하세요. 무조건 자르기보다 관련 내용 선택, 압축, 검색을 사용하고, 잘림이 중요한 지시나 출력 schema를 제거하지 않는지 검사해야 합니다.