Tools mentioned in this article
Open the browser-based tool while you read and try the workflow immediately.
在使用 LLM API 開發時，經常會想確認「這段提示詞是多少 token？」「裝得進 context window 嗎？」。LLM Token 計數器 只要貼上文字，就能並列確認 Claude／GPT／Gemini 的 token 數——完全在瀏覽器內完成。
什麼是 Token
Token 是 LLM（大型語言模型）處理文字的最小單位。模型既不是以字元為單位、也不是以單詞為單位處理文字，而是透過稱為「tokenizer」的機制先切分成子詞（subword）再進行處理。
例如英文的 unbelievable 有時會被切成 un／believ／able 這樣的片段。以英文來說，大致的參考基準是每 4 個字元 ≈ 1 個 token。
Token 數之所以重要，是因為以下兩件事都取決於它：
- API 費用——輸入與輸出都是依 token 單價計費
- Context window——模型一次能處理的文字量上限（例如 200K token）
每個模型的 tokenizer 都不一樣
同樣一段文字，換了模型，token 數也會不同。
| 模型 | Tokenizer | 公開狀態 |
|---|---|---|
| GPT-5.5／GPT-5／GPT-4o／GPT-4.1 | o200k_base | 公開（tiktoken） |
| GPT-4 Turbo／GPT-3.5 | cl100k_base | 公開（tiktoken） |
| Claude 3 以後 | 自有方案 | 未公開 |
| Gemini | SentencePiece 系列 | 未公開（僅提供計數 API） |
OpenAI 以 tiktoken 的形式將 tokenizer 開源公開，因此即使在瀏覽器內的 JavaScript 中也能精確計數。相對地，Anthropic 並未公開 Claude 3 以後的 tokenizer，Google 也沒有提供能在客戶端執行的 tokenizer。
因此這個工具會用 o200k_base 精確計算 GPT，而Claude 與 Gemini 則以「GPT 的精確值 × 依字元類型組成的校正係數」來估算。估算值可能有 ±10～20% 左右的誤差，介面上也會明確標示「估算值」的標籤。
中日文的 token 效率較差
由於 tokenizer 的詞彙主要以英文文本訓練而成，常見的英文單詞容易被合併成一個 token，但日文卻經常一個字元就要拆成一個以上的 token。
舉例來說，The quick brown fox jumps over the lazy dog.（44 個字元）用 o200k_base 計算是 10 個 token，但 吾輩は猫である。名前はまだ無い。（16 個字元）卻是 14 個 token。可以看出以每字元消耗的 token 數來說，日文要重 3～4 倍。
如果內容相同，日文提示詞消耗的 token 往往是英文的 1.5～2 倍，因此只要把大量呼叫的系統提示詞改成英文撰寫，就能大幅降低成本。把兩種版本都貼進工具比較，就能用具體數字確認節省的效果。
使用方法
- 開啟 LLM Token 計數器，把提示詞、文件或程式碼貼進文字區。
- 輸入的同時，Claude／GPT／Gemini 三張卡片就會顯示 token 數（GPT 用的 tokenizer 字典會在第一次輸入時載入）。
- 卡片下方的「各模型明細」表格中，可以確認 GPT-5.5、Claude Opus、Gemini 3 Pro 等主要模型各自的 token 數、context 上限與使用率。GPT-4 Turbo 之前的舊世代（cl100k_base）會另外計數，因此也能看出不同世代之間的 token 數差異。
- 字元數、單詞數、行數也會同時統計，可用來掌握文章的份量。
所有處理都在瀏覽器內完成，貼上的文字不會傳送到伺服器。即使是不能外流的提示詞或機密文件，也能安心用來確認。
估算值的侷限，以及何時需要精確數值
Claude 與 Gemini 的數值終究只是估算。請留意以下幾點：
- 不要用於計費計算——帳單估算需要各家官方的精確計數
- 未包含聊天 API 的額外開銷——訊息結構、角色設定、工具定義等會另外消耗 token
- tokenizer 會隨世代改變——未來的模型可能會改變切分方式
如果需要精確數值，請使用 Anthropic 的 count_tokens API 或 Google 的 countTokens API（兩者都需要把文字傳送到 API）。至於「不想傳送出去、只想現在大概知道一下」這種日常用途，像這樣完全在瀏覽器內完成的工具就很適合。
總結
- Token 是 LLM 計費與 context 上限的單位，事先掌握有助於估算與設計
- GPT 系列可用 tiktoken（o200k_base）精確計數；Claude／Gemini 因未公開而只能估算
- 中日文的 token 效率比英文差，同樣內容有時會多消耗 1.5～2 倍
如果在意提示詞的長度，不妨貼進 LLM Token 計數器 確認看看。