本記事は2026年5月時点の情報をもとにClaudeが作成しました。引用元の論文リンクから最新情報をご確認ください。
はじめに：なぜエージェント評価は難しいのか
従来のLLM評価（MMLU、HellaSwagなど）は「1問1答」の静的なベンチマークが中心でした。しかしAIエージェントは複数ステップにわたる行動を取り、外部ツール・環境と動的に相互作用し、ユーザーや他エージェントと協調しながらタスクをこなします。
そのため、従来の評価パラダイムをそのまま適用できません。最終出力の正誤だけでなく、途中のプロセス・ツール使用の適切さ・ポリシー遵守・安全性なども評価対象となります。
評価の全体マップ
AIエージェント評価は大きく以下の4軸に分類できます。
| 軸 | 内容 |
|---|---|
| タスクドメイン | コード生成、Web操作、OS操作、カスタマーサービス等 |
| 評価対象 | 単体エージェント vs マルチエージェント |
| 評価観点 | タスク達成率、安全性、コスト効率、ポリシー遵守等 |
| 評価手法 | ルールベース、LLM-as-a-Judge、ヒューマン評価等 |
主要サーベイ論文
Evaluation and Benchmarking of LLM Agents: A Survey
Mohammadi et al. (2025) / KDD 2025 / arXiv: 2507.21504
エージェント評価の断片化した研究状況を整理し、体系的な評価フレームワークを提案。将来の研究方向として、よりホリスティックで現実的かつスケーラブルな評価を挙げている。
A Survey on Evaluation of LLM-based Agents
Yehudai et al. (2025) / arXiv: 2503.16416
LLMベースエージェントの評価における2大トレンドを分析。「よりリアルで困難な評価環境」へのシフトと、「LLM-as-a-Judgeによるセマンティックな評価」の普及を指摘。
From LLM Reasoning to Autonomous AI Agents: A Comprehensive Review
arXiv: 2504.19678
2019〜2025年に発展した約60種のベンチマークを分類・比較。一般知識推論・数学・コード生成・マルチモーダル・タスクオーケストレーションなど多軸にわたるタクソノミーを提示。
主要ベンチマーク詳解
コード・ソフトウェアエンジニアリング
SWE-bench（Jimenez et al., 2024）
GitHubの実際のIssueを解決するタスク群。エージェントがリポジトリを読み、パッチを作成・テストする。現在最も引用される実用的コーディングベンチマークの一つ。
ScienceAgentBench（Chen et al., 2025）
科学的データ分析プログラミングを対象。研究再現性の評価（CORE-Bench、PaperBenchなども同系列）。
Web・ブラウザ操作
WebArena（Zhou et al., 2023）
リアルなWebサイト環境（ECサイト、フォーラム等）でのナビゲーション。エージェント評価の基礎的ベンチマークとして広く使われており、後継としてVisualWebArena（マルチモーダル対応）やASSISTANTBENCHが発展している。
BrowserGym（Chezelles et al., 2025）
WebArenaやMiniWoB、WorkArenaなど複数Webベンチマークを統一するフレームワーク。エージェントのWeb操作を標準化されたAPIで評価可能。
OS・デスクトップ操作
OSWorld（Xie et al., 2024）
実際のコンピュータ環境（GUI操作）でのタスク実行を評価。369種のタスクを含む大規模ベンチマークで、UIを通じたエージェント操作の現実的な評価が可能。
汎用エージェント評価
AgentBench（Liu et al., 2023 / ICLR 2024）
OS、DB、ナレッジグラフ、カードゲーム、家庭タスク、Webショッピング等、8種の異なる環境を横断的に評価。柔軟性・ツール使用能力など横断的スキルを測定する。
GAIA（Mialon et al., 2023）
実世界の汎用アシスタントタスクを評価。最終出力の正誤を主な指標とする。2025年時点ではClaude Sonnet 4.5が74.6%でトップを記録（Anthropicモデルがトップ6を独占）。
カスタマーサービス・ツール利用
τ-bench（Yao et al., 2024）
航空・小売などのカスタマーサービスシナリオでのエージェント評価。ポリシー遵守（規約を守りながらタスクをこなすか）を指標に含む点が特徴で、エンタープライズ用途で最も実践的なベンチマークの一つ。
τ²-bench（Barres et al., 2025）
τ-benchの発展版。エージェントとユーザーが両方ツールを使うデュアルコントロール環境を導入。通信サポートのシナリオで、エージェントとユーザーが共有環境に対してそれぞれ操作する現実的な設定をDec-POMDP（分散部分観測マルコフ決定過程）としてモデル化している。
安全性評価
安全性はエージェント評価の中でも特に遅れている領域です。
Agent-SafetyBench（Zhang et al., 2024）
16種の主要LLMエージェントを評価したところ、安全スコア60%を超えるモデルが一つもなかったという衝撃的な結果が得られている。主な欠陥として「堅牢性の欠如」と「リスク認識の欠如」を特定しており、プロンプト防御だけでは不十分と結論付けている。
R-Judge（2024）
インタラクティブ環境でのLLMエージェントのリスク認識能力を評価。ToolEmuなどのエミュレータを活用したアプローチ。
TAMAS（2025）
マルチエージェントシステム特有の安全リスクを評価する初のベンチマーク。エージェント間の「共謀」「矛盾」「不正エージェントによる汚染」など、単体エージェントでは観測できない脅威を対象とする。
評価手法のトレンド：LLM-as-a-Judge
ルールベース評価（正誤判定）の限界を超えるべく、LLMを評価者として使う手法（LLM-as-a-Judge）が台頭しています。
| 手法 | 利点 | 欠点 |
|---|---|---|
| ルールベース（exact match等） | 高い再現性・低コスト | 複雑なタスクに不向き |
| LLM-as-a-Judge（単体） | 柔軟・セマンティック評価可能 | 単一視点のバイアス |
| マルチエージェント評価 | 複数視点・敵対的フィードバック | コスト増・複雑性 |
複数LLMエージェントが異なる役割（ドメイン専門家、批評者、擁護者など）を担い協調・討論することで、人間の評価パネルに近い評価を実現しようとするAgent-as-a-Judgeアプローチも2025年から注目されています。
ベンチマーク比較表
| ベンチマーク | 主なドメイン | 評価観点 | 特徴 |
|---|---|---|---|
| SWE-bench | コード・GitHub | タスク達成 | 最も実用的なコーディング評価 |
| WebArena | Web操作 | ナビゲーション精度 | リアルWeb環境 |
| OSWorld | OS・GUI | タスク達成 | 実際のPC操作 |
| AgentBench | 横断的（8種） | 柔軟性・ツール使用 | 多様な環境を一括評価 |
| GAIA | 汎用アシスタント | 最終出力正誤 | 広範な汎用タスク |
| τ-bench | カスタマーサービス | ポリシー遵守 | エンタープライズ向け |
| τ²-bench | 通信サポート | 協調・デュアル操作 | 最新・最難関 |
| Agent-SafetyBench | 安全性 | リスク認識・堅牢性 | 安全評価に特化 |
2026年の最新動向
ARC-AGI-3（ARC Prize Foundation, 2026年3月）
arXiv: 2603.24621
ARC-AGIシリーズ初のインタラクティブ型ベンチマーク。ターン制の抽象環境でエージェントが探索→目標推定→計画→行動のサイクルを自律的に回す。指示なし・ルールなし・目標の明示なしという極めて困難な設定で、人間は100%解けるのに対し最先端AIは0.51%以下（2026年3月時点）というスコア差が話題を呼んでいる。ARC-AGI-1がほぼ飽和（トップモデル90%超）した後継として登場し、静的推論と適応的エージェント行動の差を鮮明に示している。
MCP-Atlas（Scale AI, 2026年2月）
arXiv: 2602.00933
MCPサーバー36種・220ツールを使った1,000タスクの大規模ベンチマーク。現実のMCPサーバーを使い、複数サーバーにまたがる3〜6回のツールコールが必要な実務的設定。タスクはツール名を直接指定しない自然言語プロンプト形式で、エージェント自身がツールを発見・選択する必要がある。評価は部分点ありのクレームベースルーブリックを採用しLLM-as-a-Judge依存を軽減している。主な失敗パターンは「ツールを呼ばない（36%）」「タスクの部分完了（26%）」。
Tool Decathlon / TOOLATHLON（Li et al., 2026）
arXiv: 2510.25726
32種のソフトウェアアプリケーション・604ツールにわたる108タスクのベンチマーク。Google CalendarやNotionなどの日常ツールから、Kubernetes・BigQueryなどプロ向けアプリまで網羅。MCPサーバーベースで構築され、長期・多段階のタスク実行能力を評価する。
HAL（Holistic Agent Leaderboard）（Kapoor et al., 2026）
9つのベンチマークを横断する統合評価プラットフォーム。SWE-bench、GAIA、τ-bench、Online Mind2Webなどを1つのリーダーボードで比較できる。ただし9ベンチマーク全評価にかかるコストが約4万ドルにのぼることが問題視されており、これを受けた研究（Ndzomga et al., 2026 / arXiv: 2603.23749）では、過去の正答率30〜70%のタスクだけに絞ることで評価タスク数を44〜70%削減しつつランク順序を維持できることが示されている。
Gaia2 / ARE（Asynchronous Reactive Environment）（2025-2026）
arXiv: 2509.17158
エージェントの行動とは非同期に環境が変化するシナリオを評価。スマートフォンアプリ環境を模した1,120タスクを収録し、既存の同期型ベンチマーク（GAIA、SWE-benchなど）が見落とすタイムプレッシャーや曖昧性を測定する。
現状の課題と今後の研究方向
ベンチマークの飽和（Saturation）問題
モデルの性能向上が速く、リリース直後に高スコアを達成してしまうベンチマークも増えています。ARC-AGI-1（90%超）がその典型例で、評価の難易度維持と継続的な更新が求められています。
実環境との乖離
多くのベンチマークはシミュレーション環境に留まり、実際のデプロイ時のパフォーマンスと乖離することがあります。エンタープライズAIエージェントではラボのベンチマーク性能と実運用での成功率に37%の乖離があるという報告もあります。
中間プロセスの評価の難しさ
最終結果のみ評価するアプローチでは、エージェントの推論過程や途中の判断の妥当性が見えません。マイルストーン評価や軌跡（trajectory）評価が求められています。
マルチエージェント評価の未成熟
単体エージェント評価に比べ、複数エージェントが協調・競争する設定の評価はまだ発展途上です。TAMASやτ²-benchなどが先駆的な取り組みを進めています。
非同期・時間軸を含む評価
実世界では環境がエージェントの行動とは非同期に変化します（例：ユーザーがファイルを変更する、時間経過でデータが更新される）。Gaia2などがこの方向性を探っています。
参考論文リスト
| 論文 | 著者 | 年 | リンク |
|---|---|---|---|
| Evaluation and Benchmarking of LLM Agents: A Survey | Mohammadi et al. | 2025 | arXiv:2507.21504 |
| A Survey on Evaluation of LLM-based Agents | Yehudai et al. | 2025 | arXiv:2503.16416 |
| From LLM Reasoning to Autonomous AI Agents | - | 2025 | arXiv:2504.19678 |
| SWE-bench | Jimenez et al. | 2024 | arXiv:2310.06770 |
| WebArena | Zhou et al. | 2023 | arXiv:2307.13854 |
| OSWorld | Xie et al. | 2024 | arXiv:2404.07972 |
| AgentBench | Liu et al. | 2023 | arXiv:2308.03688 |
| τ-bench | Yao et al. | 2024 | arXiv:2406.12045 |
| τ²-bench | Barres et al. | 2025 | arXiv:2506.07982 |
| Agent-SafetyBench | Zhang et al. | 2024 | arXiv:2412.14470 |
| TAMAS | - | 2025 | arXiv:2511.05269 |
| ARC-AGI-3 | ARC Prize Foundation | 2026 | arXiv:2603.24621 |
| MCP-Atlas | Bandi et al. (Scale AI) | 2026 | arXiv:2602.00933 |
| Tool Decathlon (TOOLATHLON) | Li et al. | 2026 | arXiv:2510.25726 |
| Efficient Benchmarking of AI Agents | Ndzomga et al. | 2026 | arXiv:2603.23749 |
| Gaia2 / ARE | - | 2025-2026 | arXiv:2509.17158 |
まとめ
AIエージェントの評価は、単純な正誤判定から、現実世界に近いシミュレーション環境でのマルチターン・ポリシー遵守・安全性・マルチエージェント協調へと急速に高度化しています。コーディングはSWE-benchが事実上の標準、Web操作はWebArenaからBrowserGymへ、エンタープライズはτ-bench系列、安全性はAgent-SafetyBenchで全モデルが60%以下という状況です。2026年はARC-AGI-3やMCP-Atlasなど、インタラクティブ・多ツールを軸にした新世代の評価が本格化しています。
今後は「現実環境へのデプロイ成功率」と「ベンチマーク性能」の乖離を埋める、よりホリスティックかつ動的な評価が求められるでしょう。