0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

SWE-benchだけではAIエージェントを測れない時代へ

0
Posted at

AIコーディングエージェントの評価は、次の段階に入り始めています。

これまで大きな役割を果たしてきたのは、SWE-benchです。

SWE-benchは、実在するGitHub IssueとPull Requestをもとに、LLMやエージェントがリポジトリを読んでバグ修正できるかを測るベンチマークでした。単なる関数補完ではなく、既存コードを読み、関連ファイルを探し、テストが通るパッチを作る必要があるため、AIエージェントの実力を見る指標として広く使われてきました。

しかし、いま問題になっているのは、SWE-benchが悪いベンチマークだったという話ではありません。

むしろ逆です。

SWE-benchが強い指標だったからこそ、モデルやエージェントがそこに最適化され、上位モデルの差が見えにくくなってきました。

AIエージェントは、もはや「既知のバグを直せるか」だけでは測れません。

これから必要になるのは、曖昧な依頼から機能を作れるか、既存ソフトウェアの振る舞いを再現できるか、複雑な運用障害の原因を診断できるか、といった、より実務に近い評価です。

SWE-benchが測っていたもの

SWE-benchの基本形は、実際のGitHub Issueを与え、リポジトリ内のコードを修正させる評価です。

モデルやエージェントは、Issueの説明を読み、コードベースを探索し、必要な変更を加え、テストを通す必要があります。

これは、従来のコード生成ベンチマークよりかなり現実に近いものでした。

たとえば、次のような能力が必要になります。

  • Issueの意図を読む
  • 関連ファイルを探す
  • 既存の設計に合わせて修正する
  • テストを実行する
  • エラーを見て再修正する
  • 余計な変更を避ける

この意味で、SWE-benchは「コードを書けるか」ではなく、「小さな開発タスクを最後まで進められるか」を測る指標でした。

AIコーディングエージェントの発展にとって、非常に重要な役割を果たしたと言えます。

ただし、バグ修正だけでは実務を代表しきれない

実務のソフトウェア開発は、バグ修正だけではありません。

むしろ、AIエージェントに任せたい仕事は、もっと広がっています。

  • 新機能を実装する
  • 曖昧な要望を仕様へ落とす
  • 既存コードの設計を読み解く
  • 複数ファイルにまたがる変更を行う
  • テストケースを追加する
  • CLIやサービス全体を作る
  • 障害ログから原因を診断する
  • 設定ミスや運用ミスを見つける
  • 既存ツールの振る舞いを再現する

バグ修正型のベンチマークだけでは、こうした能力を十分に測れません。

さらに、広く使われたベンチマークには別の問題もあります。

公開データとして長く存在すると、モデルの学習データに混ざる可能性があります。そうなると、スコアが「未知の問題を解く力」ではなく、「見たことがある問題を思い出す力」を含んでしまいます。

また、テストを通ったパッチが、本当に人間の意図した修正と同じとは限りません。既存研究でも、SWE-bench系の評価では、テストを通るが実際には不十分なパッチや、グラウンドトゥルースと異なる振る舞いをするパッチが問題になり得ると指摘されています。

つまり、SWE-bench以後の評価では、次の問いが重要になります。

「このエージェントは、本当に現場で任せたい仕事を進められるのか」

新しい評価軸は「修正」から「開発」へ広がる

最近のベンチマーク候補を見ると、評価対象が大きく3方向へ広がっていることがわかります。

評価の方向 見たい能力 実務で近い仕事
機能実装 短い依頼から複数の実装方針を考え、既存コードへ変更を入れる チケット対応、機能追加、仕様変更
プログラム再構築 既存プログラムの入出力や仕様から、同等に動くソフトウェアを作る ツール移植、互換実装、レガシー置き換え
障害診断 ログ、メトリクス、設定、イベントから根本原因を特定する SRE、運用監視、インシデント対応

この変化はかなり大きいです。

従来の評価では、「Issueを解決できたか」が中心でした。

これからは、「曖昧な状況から、作業方針を作り、調査し、実装し、検証し、根本原因まで説明できるか」が問われます。

これは、AIモデル単体の評価というより、エージェントシステム全体の評価です。

DeepSWEが示す、機能実装ベンチマークの方向性

DeepSWEは、SWE-benchに近い発想を保ちながら、より難しい機能実装寄りの問題を扱うベンチマークとして紹介されています。

重要なのは、単に「難しいバグを集めた」だけではない点です。

人間が書いた問題とテストを使い、既存の解決済みコードからそのまま取るのではなく、実在するリポジトリをもとに新しい課題を作る。これにより、学習データ汚染のリスクを下げ、単なる記憶ではなく、その場で設計して実装する力を測ろうとしています。

たとえば、短い依頼だけが与えられ、エージェントはそこから実装方針を考える必要があります。

これは実務に近いです。

現場のチケットは、いつも親切な仕様書になっているわけではありません。

配列と文字列のスライスで step を使えるようにする

このような依頼を受けたとき、エージェントは次を考えなければなりません。

  • 既存の構文解析はどうなっているか
  • 型チェックはどこで行うか
  • 既存の範囲指定と互換性をどう保つか
  • エラーケースをどう扱うか
  • どのテストを追加すべきか
  • 既存機能を壊していないか

これは「バグを探して直す」より広い仕事です。

AIエージェントが実務で使われるなら、この種の評価は避けられません。

ProgramBenchが測るのは、ソフトウェアを丸ごと作る力

ProgramBenchは、さらに違う方向を見ています。

論文では、エージェントに既存プログラムとそのドキュメントを与え、参照実装と同じ振る舞いをするコードベースを作らせます。

対象は、簡単なCLIツールから、FFmpeg、SQLite、PHP interpreterのような大きなソフトウェアまで含まれます。

ここで測っているのは、単発の修正能力ではありません。

ソフトウェア全体をどう設計し、どう機能分割し、どう入力と出力の振る舞いを再現するかです。

論文では、評価対象の9モデルのうち、どのモデルも全テストを完全に通すタスクはなかったと報告されています。95%のテスト通過まで基準を下げても、最良モデルで3%のタスクにとどまっています。

この結果は、現在のAIエージェントが「小さな修正」には強くなっていても、「既存ソフトウェアを理解して、同等のプログラムを設計し直す」段階ではまだ大きな壁があることを示しています。

実務で言えば、次のような仕事です。

  • 古い社内ツールを別言語へ移植する
  • 既存CLIの互換実装を作る
  • 仕様書が不完全なプログラムを再現する
  • レガシーシステムの振る舞いを新実装へ移す
  • テストから仕様を逆算する

これは、コード生成というより、ソフトウェア理解と設計の評価です。

ITBench-AAが示す、運用診断エージェントの必要性

AIエージェントの評価は、開発だけに閉じません。

実務で重要なのは、運用です。

障害対応では、コードを書けるだけでは足りません。

ログ、アラート、メトリクス、設定ファイル、デプロイ履歴、インフラ構成、依存サービスの状態を見て、何が根本原因なのかを特定する必要があります。

IBMのITBenchは、SRE、セキュリティ運用、FinOpsなど、現実のIT自動化タスクを対象にAIエージェントを評価するベンチマークとして提案されています。ITBench-AAは、その流れを受けて、特に障害原因診断に寄せた評価として位置づけられます。

この種の評価では、答えは単なるパッチではありません。

求められるのは、診断です。

たとえば、複数のアラートが出ている状況で、表面的には高エラー率やメモリ不足に見える。しかし根本原因は、メンテナンス作業でサーバーが意図せず切り離されたことだった。

このようなケースでは、AIは次を見なければなりません。

  • どのアラートが原因で、どれが結果か
  • 時系列として何が先に起きたか
  • 設定変更やデプロイ履歴はあるか
  • メトリクスは一時的な異常か継続的な異常か
  • 複数の根本原因がないか
  • 人間の作業ミスが関係していないか

これは、コーディング能力とは別の能力です。

AIエージェントを本番運用に近づけるなら、バグ修正ベンチマークだけでは不十分です。

評価はモデルだけでなく、エージェントの仕組みも見る必要がある

ここで注意したいのは、ベンチマークのスコアはモデル単体の能力だけを表しているわけではないことです。

AIエージェントの成績は、次の組み合わせで決まります。

  • 使うモデル
  • エージェントのハーネス
  • ツール呼び出しの設計
  • ファイル探索の方法
  • テスト実行の方法
  • エラー時の復旧手順
  • コンテキスト管理
  • コストや時間の上限
  • プロンプトの詳細度

同じモデルでも、ハーネスが違えば結果は変わります。

逆に、強いモデルを使っても、探索が下手なエージェントなら失敗します。

これは実務導入でも同じです。

「どのモデルが一番か」だけを見ても、現場で使えるかは判断できません。

必要なのは、モデル、エージェント、ツール、検証環境、権限設計、ログ設計をまとめて評価することです。

自社でAIエージェントを評価するなら、見るべき項目

ベンチマークは重要ですが、最終的には自社の仕事で評価する必要があります。

特に、AIコーディングエージェントや運用エージェントを導入するなら、次の観点を評価セットに入れるべきです。

1. バグ修正だけでなく、機能追加を入れる

既存の失敗テストを直すだけではなく、仕様変更や機能追加を含めます。

既存のCSVエクスポートに、部署名での絞り込みを追加する

このようなタスクでは、既存仕様の理解、UIやAPIの変更、テスト追加、互換性確認が必要になります。

2. 短く曖昧な依頼を入れる

現場の依頼は、いつも完璧に書かれていません。

請求一覧の検索が使いづらいので改善したい

この依頼に対して、AIが勝手に大きな変更をするのか、確認事項を出すのか、小さな改善案に分けるのかを見る必要があります。

3. ログ診断タスクを入れる

コード生成だけでなく、障害対応に近いタスクも入れます。

昨夜からAPIエラー率が上がっている。ログ、メトリクス、デプロイ履歴を見て原因候補を出してほしい。

ここでは、原因と結果の切り分け、時系列整理、追加確認項目の提示が重要です。

4. 失敗時の振る舞いを見る

AIエージェントは、成功時だけでなく失敗時が重要です。

見るべきなのは、次の点です。

  • 同じ失敗を繰り返さないか
  • テスト失敗ログを読めるか
  • 変更範囲を広げすぎないか
  • 不確実な点を報告できるか
  • 危険なコマンドを勝手に実行しないか
  • 最終報告で検証結果を明記するか

実務では、完全に成功するエージェントより、失敗を安全に扱えるエージェントの方が使いやすい場合があります。

5. スコアだけでなく作業過程を保存する

最終的にテストが通ったかだけでは不十分です。

次も保存すべきです。

  • どのファイルを読んだか
  • どの仮説を立てたか
  • どのテストを実行したか
  • 何回失敗したか
  • どの時点で方針転換したか
  • 余計なファイルを変更していないか
  • 人間がレビューしやすい説明を残したか

AIエージェントの評価は、結果だけでなく、作業プロセスの評価でもあります。

ベンチマークの乗り換えより、評価設計の更新が重要

SWE-benchから新しいベンチマークへ移ること自体が本質ではありません。

重要なのは、AIエージェントに任せたい仕事が変わっていることです。

初期の評価では、次の問いで十分でした。

このモデルはGitHub Issueを直せるか

しかし、いま必要なのは次の問いです。

このエージェントは、曖昧な依頼から安全に作業を進められるか
このエージェントは、未知のコードベースでも機能追加できるか
このエージェントは、障害時に根本原因を診断できるか
このエージェントは、失敗したときに止まり方を知っているか

この問いに答えるには、単一のリーダーボードでは足りません。

複数の評価軸が必要です。

まとめ: AIエージェントは「バグを直せるか」から「仕事を任せられるか」へ進む

SWE-benchは、AIコーディングエージェントの進歩を測るうえで大きな役割を果たしました。

しかし、AIエージェントの用途が広がるにつれて、バグ修正中心の評価だけでは足りなくなっています。

これから重要になるのは、機能実装、プログラム再構築、運用診断、曖昧な依頼への対応、失敗時の安全性です。

DeepSWE、ProgramBench、ITBench-AAのような新しい評価の方向性は、AIエージェントを見る目が変わりつつあることを示しています。

モデルがコードを書けるか。

そこから一歩進んで、エージェントが仕事を進められるか。

さらに一歩進んで、失敗しても安全に止まり、検証可能な形で報告できるか。

IT技術者が見るべきなのは、派手なベンチマークスコアだけではありません。

自分たちの現場で、どの仕事を任せたいのか。その仕事に必要な評価セット、検証環境、ログ、権限、レビュー体制を作れているか。

AIエージェント時代の競争力は、モデル選びだけでは決まりません。

評価設計を持っている組織が、AIを安全に深く使えるようになります。

参考情報


作成日: 2026年6月19日

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?