はじめに
2026年9月1日、Gemini API のリリースノートに「エージェント型動画理解（Agentic video understanding）」の追加が記載されました。対象は Gemini 3.7 Flash / 3.6 Flash / 3.5 Flash-Lite で、Interactions API・GenerateContent API の両方から利用できます。
この機能の最大のポイントは、モデルが動画全体を一律に処理するのではなく、動画のタイムラインを自律的にナビゲートし、必要な部分だけをオンデマンドで取得するという処理方式に変わったことです。これにより、長尺動画コンテンツを扱う場合に最大88%のトークン削減が見込めるとされています。
📌 影響を受ける人
- 長尺動画（講義動画、会議録画、監視カメラ映像など）を Gemini API で解析しているエンジニア
- 動画解析のAPIコスト・トークン消費に課題を感じているチーム
- Gemini 3.7 Flash / 3.6 Flash / 3.5 Flash-Lite を利用中、または今後利用予定の開発者
変更の全体像
従来の動画処理と今回のエージェント型動画理解の違いを図にすると以下の通りです。
処理方式の違いを一覧にすると次のようになります。
| 項目 | 従来方式（静的処理） | エージェント型動画理解 |
|---|---|---|
| 動画の扱い方 | 全体を一律にフレーム・音声へ展開 | タイムラインを自律的にナビゲート |
| 情報取得タイミング | 事前に一括投入 | 必要になった時点でオンデマンド取得 |
| トークン消費（長尺動画） | 動画尺に比例して増大 | 最大88%削減の可能性 |
| 対象モデル | 全モデル共通 | Gemini 3.7 Flash / 3.6 Flash / 3.5 Flash-Lite |
| 対応API | GenerateContent API 等 | Interactions API / GenerateContent API |
変更内容
今回のリリースで追加された内容を整理します。
- 対象モデル: Gemini 3.7 Flash、Gemini 3.6 Flash、Gemini 3.5 Flash-Lite の3モデル
- 対応API: Interactions API と GenerateContent API の両方
- 処理方式の変化: モデルが動画のタイムライン上を自律的に移動し、必要に応じてトランスクリプト・フレーム・音声トラックを個別にリクエストする方式に変更
- コスト効果: 長尺コンテンツにおいて、静的処理と比較して最大88%のトークン削減
- ドキュメント更新: 公式の「Agentic video understanding」ガイドの最終更新日が 2026-08-27 UTC から 2026-09-01 UTC に更新
この機能は、動画を「まるごと読み込んでから理解する」のではなく、モデル自身が「この質問に答えるにはこの時間帯の映像が必要」と判断して取得範囲を絞り込む、いわばエージェント的な振る舞いを動画理解に応用したものと言えます。長時間の会議録画から特定の発言箇所だけを探す、講義動画の特定トピックだけを要約する、といったユースケースで特に効果を発揮すると考えられます。
💡 Tips
短い動画（数分程度）ではオンデマンド取得のオーバーヘッドが目立つ場合があるため、効果を最も実感しやすいのは「長尺コンテンツ」です。既存の静的処理をすべて置き換える前に、まずは長尺動画のユースケースから試すのがおすすめです。
影響と対応
この変更は新機能の追加であり、既存の処理方式が即座に使えなくなるような破壊的変更ではありません。ただし、コスト最適化の観点から検討すべきアクションがあります。
- 長尺動画を扱っている場合: トークン消費量の削減余地が大きいため、対象モデル（Gemini 3.7 Flash / 3.6 Flash / 3.5 Flash-Lite）への切り替えと、Interactions API / GenerateContent API でのエージェント型動画理解の試用を検討する価値があります。
- 既にコスト最適化を意識している場合: フレーム抽出や音声トランスクリプトの前処理を自前で行っている実装があれば、モデル側にオンデマンド取得を任せる形へシンプル化できる可能性があります。
- 短尺動画中心の場合: 現時点では大きな恩恵は少ないため、無理に移行する必要はありません。
コード例
GenerateContent API での典型的な動画リクエストのイメージです（従来方式と比較する形で示します）。
Before（静的処理を意識した従来的な使い方）
import google.generativeai as genai
model = genai.GenerativeModel("gemini-2.0-flash")
video_file = genai.upload_file(path="long_meeting.mp4")
response = model.generate_content([
video_file,
"この会議で『予算』について話している箇所を要約してください"
])
print(response.text)
従来方式では、動画全体がフレーム・音声としてモデルに投入されるため、長尺動画ほどトークン消費が増大します。
After（エージェント型動画理解対応モデルを利用）
import google.generativeai as genai
model = genai.GenerativeModel("gemini-3.7-flash")
video_file = genai.upload_file(path="long_meeting.mp4")
response = model.generate_content([
video_file,
"この会議で『予算』について話している箇所を要約してください"
])
print(response.text)
コード自体は大きく変わりませんが、対応モデル（gemini-3.7-flash など）を指定するだけで、内部的にモデルが動画タイムラインを自律的にナビゲートし、必要な区間のフレームや音声のみを取得する処理に切り替わります。実装の複雑さを増やすことなく、トークン効率の改善が期待できる点が特徴です。
⚠️ Breaking Change
現時点の情報では、既存APIの呼び出し形式自体に破壊的変更はありません。ただし内部的な処理方式（レスポンスのレイテンシ特性やトークン課金の内訳）が変わる可能性があるため、コスト監視やレイテンシに敏感なシステムでは、本番導入前に検証することを推奨します。
まとめ
- Gemini API に「エージェント型動画理解」が追加され、Gemini 3.7 Flash / 3.6 Flash / 3.5 Flash-Lite で利用可能に
- Interactions API・GenerateContent API の両方に対応
- モデルが動画タイムラインを自律的にナビゲートし、トランスクリプト・フレーム・音声をオンデマンド取得する方式に変化
- 長尺コンテンツでは静的処理比で最大88%のトークン削減が見込める
- 既存コードの大きな書き換えは不要で、対象モデルを指定するだけで恩恵を受けられる可能性が高い
- 長尺動画を扱うワークロードを持つチームは、コスト最適化の観点から試してみる価値がある変更
動画解析のコスト構造に直結する変更のため、動画系ワークロードを持つプロジェクトでは早めに検証しておくとよいでしょう。