📚 参考書籍
※この記事は書籍の一部をベースに再構成しています。もう少し踏み込んだ内容(設計や具体例)は書籍の中でまとめているので、気になる方はそちらもどうぞ。
####『ゼロから触ってわかった!Databricks Agent Engineering実務入門 ~AI Gatewayでつなぎ、Agent Skillsで標準化・量産し、MLflowで運用する ~』
https://link.amazon/B03g0YUiI
####『ゼロから触ってわかった!AI Gateway入門 ― LiteLLMで学ぶ、LLM・AIエージェント・MCPを安全につなぐための基礎知識』
https://link.amazon/B07CHz9OB
2-2 トークンとコンテキスト
LLMは、入力された文章をそのまま文字数として処理するのではなく、文章を「トークン」と呼ばれる小さな単位に分割して処理します。
LLM APIを利用する際は、このトークン数が入力できる情報量、生成できる回答の長さ、処理時間、利用料金に関係します。そのため、AI Gatewayで利用量やコストを管理するうえでも、トークンの理解が欠かせません。
トークンとは
トークンとは、LLMが文章を読み書きするときに使用する処理単位です。
1トークンが必ず1文字や1単語になるわけではありません。文章の言語や内容、使用するモデルのトークナイザーによって、分割方法は異なります。
例えば、同じ内容でも次の要素によってトークン数が変わります。
- 日本語か英語か
- 一般的な単語か専門用語か
- 記号や数字が多いか
- ソースコードが含まれているか
- 使用するモデルがどの分割方式を採用しているか
したがって、「1,000文字なら必ず何トークン」と固定的に考えることはできません。文字数は目安になりますが、正確な利用量を確認するには、モデルやAPIが返すトークン数を見る必要があります。
入力トークンとは
入力トークンは、LLMへ送信した情報に使用されるトークンです。
入力には、利用者の質問だけでなく、次のような情報も含まれます。
- システムプロンプト
- ユーザーの質問
- 過去の会話履歴
- 検索によって取得した文書
- ツールの定義
- Tool Callingの実行結果
- 出力形式を指定するスキーマ
例えば、ユーザーが短い質問を送った場合でも、大量の会話履歴や参考文書を同時に渡していれば、入力トークン数は大きくなります。
特にRAGやAIエージェントでは、検索結果やツール情報が追加されるため、利用者が入力した文章よりも多くのトークンが消費されることがあります。
出力トークンとは
出力トークンは、LLMが生成した回答に使用されるトークンです。
長い回答を生成するほど、出力トークン数は増加します。APIによっては、生成する最大トークン数を指定できます。
最大値を設定する目的は、次のとおりです。
- 必要以上に長い回答を防ぐ
- 応答時間を抑える
- 利用料金を制御する
- エージェントの過剰な出力を防ぐ
ただし、最大トークン数を小さくしすぎると、文章の途中で生成が終了することがあります。用途に応じた適切な上限を設定する必要があります。
コンテキストウィンドウとは
コンテキストウィンドウとは、LLMが1回の処理で参照できるトークン数の上限です。
一般的には、次の情報の合計がコンテキストウィンドウに収まる必要があります。
- システムプロンプト
- ユーザーの入力
- 過去の会話履歴
- 参考文書や検索結果
- ツール定義と実行結果
- 生成する出力
例えば、コンテキストウィンドウの大きいモデルであっても、入力に大量の文書を使用すると、その分だけ回答に利用できる領域が少なくなります。
上限を超えた場合は、リクエストがエラーになったり、古い会話履歴を削除したりする必要があります。
長いコンテキストが常に良いとは限らない
大きなコンテキストウィンドウを持つモデルでは、長い文書や大量の会話履歴を一度に入力できます。
しかし、入力できる情報をすべて送ればよいとは限りません。
- 入力トークン数が増えて料金が高くなる
- 応答時間が長くなる
- 不要な情報によって回答精度が下がる
- 機密情報を余分に送信する可能性がある
- 重要な情報が大量の文章に埋もれる
必要な情報だけを選択し、古い会話を要約したり、検索結果を絞り込んだりする設計が重要です。
トークン数と利用料金の関係
多くのLLM APIでは、入力トークンと出力トークンに対して料金が発生します。
一般的な費用は、次のような考え方で決まります。
- 入力トークン数 × 入力側の単価
- 出力トークン数 × 出力側の単価
- キャッシュ利用や追加機能に関する料金
入力と出力で単価が異なる場合もあります。また、同じトークン数でも、高性能なモデルほど料金が高くなる傾向があります。
AIエージェントでは、1回の利用者操作の中でLLMを複数回呼び出すことがあります。そのため、画面上では1回の質問に見えても、内部では複数回分のトークン料金が発生している可能性があります。
AI Gatewayによるトークン管理
アプリケーションが各LLMへ直接接続していると、トークン数や費用の集計方法が分散します。
AI Gatewayを経由すれば、次のような情報を共通の場所で記録できます。
- 利用者ごとのトークン数
- チームや部門ごとの利用量
- モデルごとの入力・出力トークン数
- アプリケーションごとの料金
- エージェントが繰り返した処理回数
- 予算やレート制限の到達状況
さらに、トークン数に応じた制限も設定できます。
- 1回の入力サイズを制限する
- 1分あたりの使用トークン数を制限する
- 月間予算を超えた利用を停止する
- 長い入力を低価格モデルへ送る
- 高額モデルを特定の利用者だけに許可する
トークンは、LLMの処理単位であると同時に、性能、コスト、セキュリティ、安定運用を考えるための重要な管理単位です。AI Gatewayでは、リクエスト数だけでなく、トークン消費量を基準に利用状況を把握することが求められます。
