Tools mentioned in this article
Open the browser-based tool while you read and try the workflow immediately.
LLM API를 활용한 개발에서는 “이 프롬프트가 토큰 몇 개인가”, “컨텍스트 윈도우에 들어가는가”를 확인하고 싶은 순간이 자주 있습니다. LLM 토큰 카운터는 텍스트를 붙여넣기만 하면 Claude / GPT / Gemini의 토큰 수를 나란히 확인할 수 있는, 브라우저에서 완결되는 도구입니다.
토큰이란 무엇인가
토큰은 LLM(대규모 언어 모델)이 텍스트를 처리하는 최소 단위입니다. 모델은 텍스트를 글자 단위도 단어 단위도 아닌, “토크나이저”라는 방식으로 서브워드 단위로 분할한 뒤 처리합니다.
예를 들어 영어 unbelievable은 un / believ / able 같은 조각으로 나뉘기도 합니다. 영어에서는 대략 4글자 ≒ 1토큰이 기준입니다.
토큰 수가 중요한 이유는 다음 2가지가 모두 토큰 수로 결정되기 때문입니다.
- API 요금 — 입력·출력 모두 토큰 단가로 과금됩니다
- 컨텍스트 윈도우 — 모델이 한 번에 다룰 수 있는 텍스트량의 상한(예: 200K 토큰)
모델마다 토크나이저가 다르다
같은 텍스트라도 모델이 다르면 토큰 수가 달라집니다.
| 모델 | 토크나이저 | 공개 상태 |
|---|---|---|
| GPT-5.5 / GPT-5 / GPT-4o / GPT-4.1 | o200k_base | 공개(tiktoken) |
| GPT-4 Turbo / GPT-3.5 | cl100k_base | 공개(tiktoken) |
| Claude 3 이후 | 독자 방식 | 비공개 |
| Gemini | SentencePiece 계열 | 비공개(카운트 API만) |
OpenAI는 토크나이저를 tiktoken으로 오픈소스 공개하고 있어 브라우저 안의 JavaScript로도 정확하게 카운트할 수 있습니다. 반면 Anthropic은 Claude 3 이후의 토크나이저를 공개하지 않았고, Google도 클라이언트 측에서 동작하는 토크나이저를 제공하지 않습니다.
그래서 이 도구는 GPT는 o200k_base로 정확히 카운트하고, Claude와 Gemini는 “GPT의 정확한 값 × 문자 종류 구성에 따른 보정 계수”로 개략치를 냅니다. 개략치에는 ±10~20% 정도의 오차가 있을 수 있어 UI 상에도 “개략치” 배지를 명시하고 있습니다.
일본어는 토큰 효율이 나쁘다
토크나이저의 어휘는 영어 텍스트를 중심으로 학습되어 있어, 자주 나오는 영단어는 1토큰으로 뭉치기 쉬운 반면, 일본어는 1글자가 1토큰 이상으로 분할되는 경우가 드물지 않습니다.
예를 들어 The quick brown fox jumps over the lazy dog.(44자)는 o200k_base로 10토큰이지만, 吾輩は猫である。名前はまだ無い。(16자)는 14토큰입니다. 글자 수당 토큰 소비량이 일본어 쪽이 3~4배 무겁다는 것을 알 수 있습니다.
같은 내용이라면 일본어 프롬프트는 영어의 1.5~2배 토큰을 소비하는 경향이 있어, 대량으로 호출되는 시스템 프롬프트를 영어로 쓰는 것만으로 비용을 크게 줄일 수 있습니다. 도구에 양쪽 버전을 붙여넣어 비교하면 절감 효과를 수치로 확인할 수 있습니다.
사용법
- LLM 토큰 카운터를 열고 텍스트 영역에 프롬프트나 문서, 코드를 붙여넣습니다.
- 입력과 동시에 Claude / GPT / Gemini 3개 카드에 토큰 수가 표시됩니다(GPT용 토크나이저 사전은 첫 입력 시 로드됩니다).
- 카드 아래의 “모델별 내역” 표에서 GPT-5.5, Claude Opus, Gemini 3 Pro 등 주요 모델별 토큰 수·컨텍스트 상한·사용률을 확인할 수 있습니다. GPT-4 Turbo 이전의 구세대(cl100k_base)는 별도로 카운트되므로 세대별 토큰 수 차이도 알 수 있습니다.
- 글자 수·단어 수·줄 수도 동시에 집계되어 문장량 파악에도 사용할 수 있습니다.
처리는 모두 브라우저 안에서 완결되며, 붙여넣은 텍스트가 서버로 전송되지 않습니다. 사외로 유출할 수 없는 프롬프트나 기밀 문서도 안심하고 확인할 수 있습니다.
개략치의 한계와 정확한 값이 필요할 때
Claude와 Gemini의 값은 어디까지나 추정치입니다. 다음 사항에 주의하세요.
- 과금 계산에는 사용하지 않는다 — 청구 견적에는 각 사의 정확한 카운트가 필요합니다
- 채팅 API의 오버헤드는 포함하지 않는다 — 메시지 구조·역할 지정·도구 정의 등이 별도로 토큰을 소비합니다
- 토크나이저는 세대에 따라 바뀐다 — 향후 모델에서 분할 방식이 바뀔 가능성이 있습니다
정확한 값이 필요하다면 Anthropic의 count_tokens API나 Google의 countTokens API를 이용하세요(텍스트를 API로 전송해야 합니다). “전송하지 않고 지금 바로 대략 알고 싶다”는 일상적인 용도에는 이런 브라우저 완결형 도구가 적합합니다.
정리
- 토큰은 LLM의 과금과 컨텍스트 상한의 단위. 미리 파악해두면 견적과 설계가 수월해집니다
- GPT 계열은 tiktoken(o200k_base)으로 정확히 카운트할 수 있습니다. Claude / Gemini는 비공개이므로 개략치입니다
- 일본어는 영어보다 토큰 효율이 나쁘며, 같은 내용으로 1.5~2배 소비하는 경우가 있습니다
프롬프트 길이가 신경 쓰인다면 LLM 토큰 카운터에 붙여넣어 확인해보세요.