この記事に関連するツール
ブラウザ上ですぐに試せます。記事の内容を確認しながら使うと、作業の流れをつかみやすくなります。
LLMのAPIを使った開発では、「このプロンプトは何トークンなのか」「コンテキストウィンドウに収まるのか」を確認したい場面が頻繁にあります。LLMトークンカウンター は、テキストを貼り付けるだけで Claude / GPT / Gemini のトークン数を並べて確認できるブラウザ完結型のツールです。
トークンとは何か
トークンは、LLM（大規模言語モデル）がテキストを処理する最小単位です。モデルはテキストを文字単位でも単語単位でもなく、「トークナイザー」と呼ばれる仕組みでサブワード単位に分割してから処理します。
たとえば英語の unbelievable は un / believ / able のような断片に分かれることがあります。英語ではおおよそ 4文字 ≒ 1トークン が目安です。
トークン数が重要なのは、次の2つがどちらもトークン数で決まるためです。
- API料金 — 入力・出力ともにトークン単価で課金される
- コンテキストウィンドウ — モデルが一度に扱えるテキスト量の上限（例: 200Kトークン）
モデルごとにトークナイザーは違う
同じテキストでも、モデルが違えばトークン数は変わります。
| モデル | トークナイザー | 公開状況 |
|---|---|---|
| GPT-5.5 / GPT-5 / GPT-4o / GPT-4.1 | o200k_base | 公開（tiktoken） |
| GPT-4 Turbo / GPT-3.5 | cl100k_base | 公開（tiktoken） |
| Claude 3以降 | 独自 | 非公開 |
| Gemini | SentencePiece系 | 非公開（カウントAPIのみ） |
OpenAI はトークナイザーを tiktoken としてオープンソースで公開しているため、ブラウザ内のJavaScriptでも正確にカウントできます。一方、Anthropic は Claude 3 以降のトークナイザーを公開しておらず、Google もクライアント側で動くトークナイザーを提供していません。
そのため本ツールでは、GPTは o200k_base で正確にカウントし、Claude と Gemini は「GPTの正確な値 × 文字種構成による補正係数」で概算しています。概算値には ±10〜20% 程度の誤差があり得るため、UI上でも「概算」バッジを明示しています。
日本語はトークン効率が悪い
トークナイザーの語彙は英語のテキストを中心に学習されているため、頻出する英単語は1トークンにまとまりやすい一方、日本語は1文字が1トークン以上に分割されることが珍しくありません。
たとえば The quick brown fox jumps over the lazy dog.（44文字）は o200k_base で 10トークンですが、吾輩は猫である。名前はまだ無い。（16文字）は 14トークンです。文字数あたりのトークン消費は日本語のほうが3〜4倍重いことがわかります。
同じ内容なら日本語プロンプトは英語の1.5〜2倍のトークンを消費する傾向があるため、大量に呼び出すシステムプロンプトを英語で書くだけでコストを大きく削減できることがあります。ツールで両方のバージョンを貼り付けて比較すると、削減効果を数値で確認できます。
使い方
- LLMトークンカウンター を開き、テキストエリアにプロンプトや文書、コードを貼り付けます。
- 入力と同時に、Claude / GPT / Gemini の3カードにトークン数が表示されます（GPT用のトークナイザー辞書は初回入力時に読み込まれます）。
- カードの下の「モデル別の内訳」テーブルで、GPT-5.5 や Claude Opus、Gemini 3 Pro など主要モデルごとのトークン数・コンテキスト上限・使用率を確認できます。GPT-4 Turbo 以前の旧世代（cl100k_base）は別途カウントされるため、世代によるトークン数の違いもわかります。
- 文字数・単語数・行数も同時に集計されるため、文章量の把握にも使えます。
処理はすべてブラウザ内で完結し、貼り付けたテキストがサーバーへ送信されることはありません。社外に出せないプロンプトや機密文書でも安心して確認できます。
概算値の限界と、正確な値が必要なとき
Claude と Gemini の値はあくまで推定です。次の点に注意してください。
- 課金計算には使わない — 請求見積もりには各社の正確なカウントが必要です
- チャットAPIのオーバーヘッドは含まれない — メッセージ構造・ロール指定・ツール定義などが別途トークンを消費します
- トークナイザーは世代で変わる — 将来のモデルで分割方式が変わる可能性があります
正確な値が必要な場合は、Anthropic の count_tokens API や Google の countTokens API を利用してください（テキストをAPIへ送信する必要があります）。「送信せずに、今すぐおおまかに知りたい」という日常的な用途には、本ツールのようなブラウザ完結型が向いています。
まとめ
- トークンはLLMの課金とコンテキスト上限の単位。事前に把握しておくと見積もりや設計が楽になる
- GPT系は tiktoken（o200k_base）で正確にカウントできる。Claude / Gemini は非公開のため概算になる
- 日本語は英語よりトークン効率が悪く、同じ内容で1.5〜2倍消費することがある
プロンプトの長さが気になったら、LLMトークンカウンター に貼り付けて確認してみてください。