AI利用ってお高いですよね。でも、どうしてそんなにお金を取るのか？をみなさんは考えたことがあるでしょうか？我々の利用するAIがステートレスである理由は今回のお話を知ることで納得出来るかと思います。
極めて長い2Mトークンというコンテキストウィンドウの実現に先鞭をつけたのが、Gemini 1.5 Proです。同モデルは、業界で初めて100万トークンを実用化し、さらに200万トークンという前人未到の領域の可能性を示しました。そして現在、最新の主力モデルであるGemini 2.5 Proは、この100万トークンを標準として提供し、200万トークンを視野に入れた開発が進んでいます。
200万トークンとは、数千ページに及ぶ書籍、膨大なコードベース全体、あるいは19時間に及ぶオーディオデータすべてを一度に処理できる「究極の記憶力」に等しい能力です。
巨大コンテキストウィンドウのVRAM要求（概算）
大規模言語モデル（LLM）で超長大なコンテキストを処理するには、モデルの重みと、入力データすべてを記憶するためのKVキャッシュに膨大なVRAMが必要です。以下は、モデルサイズや精度を考慮した、コンテキスト長に応じたVRAMの要求値の概算範囲です。
| コンテキストウィンドウ長 | 処理に要求されるVRAM（最低限の概算範囲） | 備考 |
|---|---|---|
| 200,000トークン (200K) | 48GB〜80GB | データセンター向けGPU（A100、H100）の単基容量の下限が視野に入るレベル。 |
| 1,000,000トークン (1M) | 100GB〜256GB | 単一の高性能GPUでは不足し、複数GPUによる並列処理が必須となる領域。 |
| 2,000,000トークン (2M) | 200GB〜500GB | 超並列クラスタ環境でのみ実現可能な、ハイエンドな計算要求。 |
| 参考: RTX 5090 | 32GB VRAM | 最新の民生用GPUのフラッグシップだが、200Kトークンの要求すら満たさない。 |
本記事では、この 「究極の記憶力」を支えるハードウェアのコスト （VRAMとH100）に焦点を当て、その利用形態を「カーシェアリング」に例えて解説します。そして、コストを意識しない利用が招く 「コンテキストドリフト」 という避けられない問題にも触れ、高性能AIを賢く使うための経済学を考察します。
1. 広大なコンテキストを支える「VRAM」の経済学
1.1. 200万トークンに求められるVRAMの試算 🧠
大規模言語モデル（LLM）が長いコンテキストウィンドウを処理するために必要とするVRAMは、主に以下の二つの要素で構成されます。
- モデルパラメータ: モデル自体の重みを保持するVRAM。
- KVキャッシュ (Key/Value Cache): 入力トークン（コンテキスト）一つひとつに対応し、過去の情報を記憶するために使用されるVRAM。
このうち、コンテキストウィンドウ長にほぼ線形に増加するのがKVキャッシュです。これが、AIの利用料金が 「入力トークン数」 に基づいて課金される主要な技術的根拠の一つとなります。
200万トークンというコンテキストウィンドウ長を処理するには、KVキャッシュだけで数十GB、モデルのパラメータと合わせると、一時的に数百GBもの超高速VRAMが要求されます。（モデルサイズや推論時の設定により変動）
【VRAM要求の変動要因】
上記の概算値が広範囲である主要因は、モデルのパラメータ数（例：7Bか175Bか）と、量子化の精度（例：FP16かINT8か）が大きく影響するためです。Geminiのような大規模モデルを動かす場合、その要求VRAMは、民生用GPUの数十倍に達します。
この膨大なメモリを、モデルの推論速度を落とさずに維持し続ける技術こそが、Gemini 2.5のような最先端AIサービスを実現する根幹です。
1.2. VRAMの「超高級車」：NVIDIA H100の価格と限界 💰
このような超巨大な計算とメモリの要求に応えるのが、NVIDIAのフラッグシップGPU、H100 Tensor Core GPUです。
H100はAIワークロードに特化していますが、その価格は依然として非常に高価です。
H100 GPUの価格：現在、1基あたり500万円を超える高額で取引されています。
そして、H100の最も一般的な構成のVRAM容量は80GB〜96GBです。
200万トークンというコンテキストを処理するためには、そのKVキャッシュとモデルパラメータを合わせると、単一のH100では VRAM容量が不足する可能性が高くなります。これは、H100数基〜数十基（モデルの最適化、バッチサイズに依存）を 高速なインターコネクト（NVLink） で接続した大規模なクラスタの力を借りて初めて実現できる、超並列コンピューティングの世界なのです。
1.3. 「カーシェアリング」としてのAIサービスと「コンテキストキャッシュ」🚗
私たちは、Gemini 2.5のようなAIサービスを利用するとき、この「500万円超」のH100を購入しているわけではありません。例えるなら、私たちはこの超高性能な計算リソースをカーシェアリングのようにトークン単位で利用しています。
ここで重要なのは、500万円超というのはあくまでイニシャルコストであるという点です。たとえ数百から数千単位でH100をまとめて購入することで単価が下がったとしても、その運用にはさらに継続的なコストがかかります。
| コストの種類 | GPUの購入・運用 | AIサービスの利用（API/サブスク） |
|---|---|---|
| 初期費用 | 500万円超/基（イニシャルコスト） | ほぼ0円 |
| ランニングコスト | 電気料金、冷却設備、データセンター維持費 | 利用時間/トークン数に応じた対価 |
ユーザーが支払うAPI料金やサブスクリプション料金は、この高価なハードウェアの減価償却費、維持管理費、そして巨大なGPUクラスタの電力・冷却コスト、さらにはGoogleの技術力に対する対価です。お金がかかるのは、それほどまでに貴重で高性能な計算資源を使わせてもらっているから、という当然の経済原理なのです。
また、この高額な利用を賢く行うための技術が、「コンテキストキャッシュ」 です。
- コンテキストキャッシュ: 一度入力した長いコンテキスト（例：巨大なコードベース全体）のKVキャッシュをメモリ上に保持し、次に同じコンテキストを参照するリクエストが来た際、その分の再課金を回避する仕組み。
この機能こそが、ユーザーに「200万トークンの利用」を経済的に可能にしている鍵であり、コスト効率を大きく改善します。
2. コストと性能の落とし穴：「情報のデッドロック」
2.1. 巨大コンテキストが招く「コンテキストドリフト」の深刻化 🗑️
コンテキストウィンドウが巨大化しても、そこに無意味な情報やノイズを大量に投入すれば、モデルのパフォーマンスは低下します。
この現象を**「コンテキストドリフト（Context Drift）」**と呼びます。AIが参照すべき重要な情報が、無関係な超大量のノイズ（履歴） に完全に埋もれてしまい、結果として適切な回答を見失ってしまうのです。
比喩： 重要なビジネスの意思決定に必要な資料をAIに分析させたいのに、その前に 「5chのクソスレのような」 無意味な雑談の履歴を200万トークン分積み上げてしまえば、AIは「ノイズの中から針を探す」という非効率なタスクを強いられます。
高性能AIであっても、入力情報の質の低さは、そのまま出力の質の低下と、処理時間（レイテンシ）の増加に直結します。
2.2. お金とトークン：利用者が払う「ノイズ料金」
APIの課金は、入力トークン数と出力トークン数に基づいています。
不要なノイズデータをコンテキストとして送り続けることは、無駄なH100の時間とVRAMを占有するだけでなく、その無駄なトークン量に対してユーザーが高額なAPI料金を支払い続けることを意味します。
200万トークンという「大きな器」を手に入れた今、私たちは情報の「量」ではなく**「質」**を徹底的に意識し、情報の選別と整理という責任を負う必要があります。AIは賢くなりましたが、情報の取捨選択という経済的な判断は、まだ人間の役割なのです。
まとめ：賢く広大なトークンを使いこなすために
- AIの進化はハードウェアに依存: 100万や200万トークンという革新的な体験は、H100に象徴される極めて高価な計算資源と、その運用コストによって支えられています。
- 利用は計算資源のカーシェア: 私たちが料金を払うのは当然であり、コンテキストキャッシュのような技術がコスト効率を担保しています。
- 情報の選別が鍵： コンテキストウィンドウが巨大だからといって全てを詰め込むのは愚策です。入力データの質に注意を払い、コンテキストドリフトを防ぐことが、高性能AIを最大限に活用するための「VRAMの経済学」なのです。