Tools mentioned in this article
Open the browser-based tool while you read and try the workflow immediately.
LLM API를 활용한 개발에서는 “이 프롬프트가 토큰 몇 개인가”, “컨텍스트 윈도우에 들어가는가”를 확인하고 싶은 순간이 자주 있습니다. LLM 토큰 카운터는 텍스트를 붙여넣기만 하면 Claude / GPT / Gemini의 토큰 수를 나란히 확인할 수 있는, 브라우저에서 완결되는 도구입니다.
토큰이란 무엇인가
토큰은 LLM(대규모 언어 모델)이 텍스트를 처리하는 최소 단위입니다. 모델은 텍스트를 글자 단위도 단어 단위도 아닌, “토크나이저”라는 방식으로 서브워드 단위로 분할한 뒤 처리합니다.
예를 들어 영어 unbelievable은 un / believ / able 같은 조각으로 나뉘기도 합니다. 영어에서는 대략 4글자 ≒ 1토큰이 기준입니다.
토큰 수가 중요한 이유는 다음 2가지가 모두 토큰 수로 결정되기 때문입니다.
- API 요금 — 입력·출력 모두 토큰 단가로 과금됩니다
- 컨텍스트 윈도우 — 모델이 한 번에 다룰 수 있는 텍스트량의 상한(예: 200K 토큰)
모델마다 토크나이저가 다르다
같은 텍스트라도 모델이 다르면 토큰 수가 달라집니다.
| 모델 | 토크나이저 | 공개 상태 |
|---|---|---|
| GPT-5.5 / GPT-5 / GPT-4o / GPT-4.1 | o200k_base | 공개(tiktoken) |
| GPT-4 Turbo / GPT-3.5 | cl100k_base | 공개(tiktoken) |
| Claude 3 이후 | 독자 방식 | 비공개 |
| Gemini | SentencePiece 계열 | 비공개(카운트 API만) |
OpenAI는 토크나이저를 tiktoken으로 오픈소스 공개하고 있어 브라우저 안의 JavaScript로도 정확하게 카운트할 수 있습니다. 반면 Anthropic은 Claude 3 이후의 토크나이저를 공개하지 않았고, Google도 클라이언트 측에서 동작하는 토크나이저를 제공하지 않습니다.
그래서 이 도구는 GPT는 o200k_base로 정확히 카운트하고, Claude와 Gemini는 “GPT의 정확한 값 × 문자 종류 구성에 따른 보정 계수”로 개략치를 냅니다. 개략치에는 ±10~20% 정도의 오차가 있을 수 있어 UI 상에도 “개략치” 배지를 명시하고 있습니다.
일본어는 토큰 효율이 나쁘다
토크나이저의 어휘는 영어 텍스트를 중심으로 학습되어 있어, 자주 나오는 영단어는 1토큰으로 뭉치기 쉬운 반면, 일본어는 1글자가 1토큰 이상으로 분할되는 경우가 드물지 않습니다.
예를 들어 The quick brown fox jumps over the lazy dog.(44자)는 o200k_base로 10토큰이지만, 吾輩は猫である。名前はまだ無い。(16자)는 14토큰입니다. 글자 수당 토큰 소비량이 일본어 쪽이 3~4배 무겁다는 것을 알 수 있습니다.
같은 내용이라면 일본어 프롬프트는 영어의 1.5~2배 토큰을 소비하는 경향이 있어, 대량으로 호출되는 시스템 프롬프트를 영어로 쓰는 것만으로 비용을 크게 줄일 수 있습니다. 도구에 양쪽 버전을 붙여넣어 비교하면 절감 효과를 수치로 확인할 수 있습니다.
사용법
- LLM 토큰 카운터를 열고 텍스트 영역에 프롬프트나 문서, 코드를 붙여넣습니다.
- 입력과 동시에 Claude / GPT / Gemini 3개 카드에 토큰 수가 표시됩니다(GPT용 토크나이저 사전은 첫 입력 시 로드됩니다).
- 카드 아래의 “모델별 내역” 표에서 GPT-5.5, Claude Opus, Gemini 3 Pro 등 주요 모델별 토큰 수·컨텍스트 상한·사용률을 확인할 수 있습니다. GPT-4 Turbo 이전의 구세대(cl100k_base)는 별도로 카운트되므로 세대별 토큰 수 차이도 알 수 있습니다.
- 글자 수·단어 수·줄 수도 동시에 집계되어 문장량 파악에도 사용할 수 있습니다.
처리는 모두 브라우저 안에서 완결되며, 붙여넣은 텍스트가 서버로 전송되지 않습니다. 사외로 유출할 수 없는 프롬프트나 기밀 문서도 안심하고 확인할 수 있습니다.
개략치의 한계와 정확한 값이 필요할 때
Claude와 Gemini의 값은 어디까지나 추정치입니다. 다음 사항에 주의하세요.
- 과금 계산에는 사용하지 않는다 — 청구 견적에는 각 사의 정확한 카운트가 필요합니다
- 채팅 API의 오버헤드는 포함하지 않는다 — 메시지 구조·역할 지정·도구 정의 등이 별도로 토큰을 소비합니다
- 토크나이저는 세대에 따라 바뀐다 — 향후 모델에서 분할 방식이 바뀔 가능성이 있습니다
정확한 값이 필요하다면 Anthropic의 count_tokens API나 Google의 countTokens API를 이용하세요(텍스트를 API로 전송해야 합니다). “전송하지 않고 지금 바로 대략 알고 싶다”는 일상적인 용도에는 이런 브라우저 완결형 도구가 적합합니다.
자주 묻는 질문
표시되는 토큰 수는 얼마나 정확한가요?
GPT 계열은 정확합니다. 브라우저 안에서 공식 토크나이저(o200k_base)를 실행해 세기 때문에 API가 계산하는 값과 일치합니다. 반면 Claude와 Gemini는 추정값입니다. 두 회사 모두 공개 토크나이저를 제공하지 않아, GPT의 실측값에 문자 구성으로 정해지는 계수를 곱해 산출합니다. 비용 산정에는 충분하지만, 상한에 아슬아슬한 판단에는 쓰지 마세요.
한국어나 일본어는 영어보다 토큰을 많이 쓰나요?
그렇습니다. 영어는 단어 하나가 대체로 토큰 하나가 되지만, CJK 문자는 12자에 토큰 하나를 쓰는 경우가 많아 같은 내용이라도 23배로 늘어납니다. 이 도구가 문자 종류별(라틴 문자·숫자·CJK) 내역을 보여주는 이유가 이것으로, CJK 비율이 높을수록 토큰 수는 글자 수에 가까워집니다.
컨텍스트 길이를 넘으면 어떻게 되나요?
API가 오류를 돌려주거나, 모델에 따라서는 오래된 부분부터 조용히 잘라냅니다. 대화 기록을 쌓아 가는 구현에서는 어느 날 갑자기 앞부분을 ‘잊어버리는’ 증상으로 나타납니다. 이 도구는 선택한 모델의 컨텍스트 길이 대비 사용률을 보여주므로, 프롬프트를 설계하는 단계에서 여유를 확인할 수 있습니다.
입력한 텍스트가 전송되나요?
아니요. 토크나이저도 브라우저 안에서 동작하므로 토큰 카운터 에 붙여 넣은 내용이 서버로 전송되지 않습니다. 사내 문서나 API 키가 포함된 프롬프트도 그대로 측정할 수 있습니다.
정리
- 토큰은 LLM의 과금과 컨텍스트 상한의 단위. 미리 파악해두면 견적과 설계가 수월해집니다
- GPT 계열은 tiktoken(o200k_base)으로 정확히 카운트할 수 있습니다. Claude / Gemini는 비공개이므로 개략치입니다
- 일본어는 영어보다 토큰 효율이 나쁘며, 같은 내용으로 1.5~2배 소비하는 경우가 있습니다
프롬프트 길이가 신경 쓰인다면 LLM 토큰 카운터에 붙여넣어 확인해보세요.