LLM
トークンとは？
別名: Token
AIが文字を扱う最小単位。料金もここで測る。
⚡ 30秒でわかる
トークン の主なポイント
- 1 トークンとは、AIが文章を処理するときに使う最小の単位（小さなかたまり）のこと。
- 2 目安として英語は単語1つ、日本語は1〜2文字でおよそ1トークンになる。
- 3 AIが一度に読める量（コンテキストウィンドウ）も、APIの料金も、すべてトークン数で計算される。
- 4 日本語は英語よりトークンに細かく分かれやすく、同じ内容でもトークン消費が増えがち。
- 5 文章をトークンに切り分けるプログラムは「トークナイザ」と呼ばれ、トークンとは別物。
📖 詳しく
トークン とは
トークンとは、AI（大規模言語モデル）が文章を処理するときの「最小の単位」です。私たちは文章を単語や文字で読みますが、AIは文章を「トークン」という小さなかたまりに分解してから読み書きします。1トークンは英語ならおよそ単語1つ、日本語ならだいたい1〜2文字ぶんが目安です。これが重要なのは、AIが一度に扱える長さ（コンテキストウィンドウ）も、APIを使うときの料金も、すべてこのトークン数で測られるからです。たとえば「ありがとう」という短い言葉でも数トークンを消費し、長い資料を読ませればその分トークンも料金も増えていきます。よく似た言葉に「トークナイザ」がありますが、こちらは文章をトークンに切り分けるプログラムそのものを指し、「トークン」は切り分けられた一つひとつのかたまりを指します。
❓ FAQ
よくある質問
- Q. トークンとは何ですか？
- A. AIが文章を処理するときの最小の単位です。AIは文章をそのまま読むのではなく、「トークン」という小さなかたまりに分けてから扱います。英語なら単語1つ、日本語なら1〜2文字ぶんがおよそ1トークンの目安です。
- Q. トークンと単語・文字は何が違うのですか？
- A. 単語や文字は人間が文章を区切る単位ですが、トークンはAIが効率よく処理するための単位で、必ずしも単語や文字とは一致しません。長い単語は複数トークンに分かれたり、よく使う単語は1トークンにまとまったりします。日本語は1〜2文字で1トークンになることが多いです。
- Q. トークンと料金はどう関係しますか？
- A. ほとんどのAI APIは、入力した文章と出力された文章のトークン数を合計して課金します。「100万トークンあたり何ドル」という形が一般的で、長い文章を読ませたり長い回答を出させたりするほどトークンが増え、料金も上がります。
- Q. 初心者はトークンの何に注意すればいいですか？
- A. まず「長い文章ほどトークンを多く使い、料金も時間もかかる」と覚えておけば十分です。無駄に長いプロンプトを避け、必要な情報だけ渡すとコストを抑えられます。実際のトークン数はOpenAIのTokenizerなどのツールで確認できます。
🔗 関連
あわせて読みたい
関連 AI モデル
📰 この用語が登場する記事
「トークン」が出てくるニュース
2026/7/20
Alibaba「Qwen3.8-Max」プレビュー公開！総2.4兆パラメータの次期旗艦【2026年7月】でもベンチはまだ未公表
2026/7/6
「Grok 5」はまだ出てないよ【2026年7月時点】最新は Grok 4.5 — いつ出る？今使うなら？を整理
2026/7/6
「Kimi K3」ついに公開！2.8兆パラメータ世界最大級のオープンモデル — 性能・価格・使い方まとめ【2026年7月】
2026/7/6
「Qwen 4」はまだ出てないよ【2026年7月時点】最新は Qwen3.7 — いつ出る？今使うなら？を整理
2026/6/22
純国産AI「PLaMo 3.0 Prime」が登場！“高コスパ”で無料プランまで用意してきたよ——てんびん丸が整理するんだ
2026/6/21