1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

MIT開発の画像エージェント「VISTA」が示すマルチモーダル記憶管理の威力

テキストベースのLLMエージェントにおいて、「過去ログを全保持し、検索ツール(Tool/RAG)経由で必要な情報だけをプロンプトに引き戻す」コンテキストエンジニアリングの手法はすでに定着しています。

このアプローチを画像・ビジョン領域へと拡張したのが、MITのQiushi Han氏らによって発表されたマルチモーダルエージェント基盤 「VISTA」(MITライセンスでOSS公開)です。

視覚的推論ベンチマーク 「ARC-AGI-3」 において、初見の人間に比べて57.4%少ないアクション数(Relative Human Action Efficiency: 100 RHAE)で全パズルをクリアするなど、顕著な効率向上を実証しました。

本記事では、VISTAが解決した既存ビジョンエージェントの課題、記憶とツールのアーキテクチャ、そしてエンジニア視点での技術的示唆をまとめます。


1. 従来のビジョンエージェントが抱えていた問題点

ゲームやGUI操作などのインタラクティブ環境を自律エージェントに操作させる際、これまでは以下のような「埋め込み(Embedding)依存の逐次破棄」が一般的でした。

  1. Embeddingの情報損失(Lossy)
    • 入力フレームを画像エンコーダに通してベクトル化すると、背景の微細なピクセル変化や細部情報が不可逆に失われる。
  2. コンテキスト長枯渇による完全ロスト
    • コンテキストウィンドウの上限に達したフレーム(またはEmbedding)は削除されるため、後から「あの数手前の変化は何だったか」を検証できなくなる。

VISTAは、「すべての入力フレームを生画像として永続メモリに蓄積し、必要に応じてエージェント自らが『検索(Retrieve)』および『局所拡大(Zoom-in)』できるツールを与える」 ことでこのボトルネックを解消しました。


2. VISTA のアーキテクチャと実行サイクル

VISTAは、バックエンドLLMとして Anthropic Claude Opus 5.0 や OpenAI GPT-5.6 Sol を組み合わせて動作します。

image.png

コアとなる3つのメカニズム

  • 階層化された外部ノート(Dual Notes)

    • セッション横断の知見ノート: 「茶色のブロックと黒い背景の判定基準」など、レベルや環境を越えて再利用できるルールを記述。

    • 現在の課題ノート: 「現在のキャラの強化状態」「直前に失敗した条件」など、当該タスク特有の状態を記録。

  • 画像の動的リトリーバル & ズームイン(Zoom-in Tool)

    • 過去の任意フレームを取り出し、さらに特定の矩形領域をクロップ・拡大してコンテキストへ再注入できる。これにより、全体フレームでは見落としていた微細なピクセル差異を再認識可能。
  • 行動履歴と結果のトラッキング

    • 過去の操作ログおよびその成否サマリーを保持し、試行錯誤の重複を防ぐ。

3. ベンチマーク結果

視覚的パズルおよびゲーム環境において、初見の人間プレイヤー(First-time human players)および従来型ハーネスを大きく上回る性能を示しています。
image.png
RHAE(Relative Human Action Efficiency) は、AIが人間と比べて、どれだけ効率よく行動して課題を達成できたかを表す指標です。

4. エンジニア視点での技術的示唆

① テキストのRAGから「マルチモーダルRAG(MM-RAG)」へ

エージェントのコンテキストウィンドウを無制限に広げるのではなく、「外部ストレージ(生画像)+検索・切り出しツール(API)」という疎結合なアーキテクチャが画像領域でも最もトークン効率・推論精度が高いことが証明されました。

② 解像度とコンテキスト消費のトレードオフ解決

高解像度画像をそのままトークン化して入れ続けるとコストとレイテンシが爆発します。VISTAのように「通常時は全体フレームの概要を把握し、疑問が生じた箇所だけズームインして高解像度トークンを消費する」設計は、Web GUI操作エージェント(Computer Use)や工場の外観検査エージェントの設計にも直結する有効なパターンです。

「マルチモーダルモデルだからすべてを一度に理解させる」のではなく、「マルチモーダルなコンテキスト管理(Context Engineering)をシステム側でどう設計するか」が、今後の自律エージェント開発の主戦場になることを示唆しています。

作成日:2026/11/07

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?