たとえば「保存に失敗したらエラーを表示して」と頼む場面を考える。片方のエージェントはブラウザで失敗画面まで確かめ、もう片方は保存処理のコードだけを直す。
この差を、そのままモデルの実力差にしてよいだろうか。後者にはブラウザを操作する道具が接続されていなかったかもしれない。まず比べたいのは、渡した情報と使えた操作だ。
以下は、架空の設定画面を題材にした比較手順。製品の実機比較や計測は行っていない。手元のリポジトリで試すための依頼文と記録表として使える。
IDEの接続、pluginの配布、実行権限は別に見る
Android StudioのBYOAは、この区別が分かりやすい例だ。2026年9月24日の発表時点ではCanary向けで、ACPを通じたプロジェクト構造・ビルド設定の提供や、Compose Preview、SDK、エミュレーターなどの道具をエージェントに渡す仕組みを説明していた。
単にモデルを切り替える話ではない。ただし、すべてのエージェントで同じ道具が使えるという保証でもない。Web開発環境にそのまま当てはめるのも違う。
一方、Google Cloud Developer Pluginは、skillsやDeveloper Knowledge MCPの設定を導入単位にまとめる例だ。ACPによるIDEとの接続、MCPによる外部ツールとの接続、Agent Pluginsによる配布物の構成は役割が違う。どちらも9月の設計事例であり、今の対応バージョンや導入条件をここで保証するものではない。
skillsに「危険な操作を避ける」と書くことと、IAMやsandboxで操作を拒否することも別だ。比較表には、注意書きだけでなく実際の権限と承認設定を残したい。
1. 比較するのは「保存失敗から再保存まで」の一往復
題材は、非本番環境にある小さな設定画面で十分。たとえば表示名を編集して保存する画面に、次の受け入れ条件を置く。
- 保存に失敗したら、画面にエラーを表示する。
- 失敗しても、編集中の表示名を失わない。
- もう一度保存でき、成功したらエラー表示が消える。
- 通常の保存が引き続き動く。
失敗は既存のmockやテスト用fixtureで再現する。最初は失敗、次は成功という応答を用意できれば、同じ流れを両環境に渡せる。本番APIの接続を壊して試す必要はない。
既存画面がなければ、動的UIのサンプルを題材にしてもよい。実行時にAIが表示部品を組み立てるGenerative UIを扱うなら、Generative UIのライブラリ・SDK集から実装例を探せる。これは単にAIに画面のコードを書かせることとは別の話だ。比較のためだけに新しい仕組みを導入せず、今ある画面を優先したい。
2. 開始条件をそろえてから依頼する
同じ基準commitから独立した作業場所を用意する。依頼文、lockfile、fixture、受け入れ条件、試行上限も固定する。たとえば「初回と修正1回まで」と決め、片方だけ延々と手助けしない。
Node.jsのプロジェクトなら、まず次のように基準と既存scriptsを確認できる。以下も実行結果ではなく手順例だ。
# 各作業場所の開始時点を記録する
git rev-parse HEAD
# package.jsonのあるディレクトリで、既存の起動・テスト手段を確認する
node -p "JSON.stringify(require('./package.json').scripts, null, 2)"
起動・テストのコマンドは、実際のscriptsを見てから決める。worktreeを分けても、開発サーバーのポートやDB、ブラウザのログイン状態まで分離されるわけではない。worktree自体もセキュリティ隔離ではないので、共有先を確認する。
条件は横長の製品比較表より、項目ごとに埋めるほうが扱いやすい。
| 項目 | 環境A | 環境B |
|---|---|---|
| IDE/CLI・バージョン | 未記録 | 未記録 |
| agent/model・公開されている設定 | 未記録 | 未記録 |
| 基準commit・依存関係・fixture | 未記録 | 未記録 |
| 読めるプロジェクト情報 | 未確認 | 未確認 |
| 画面を観測・操作する道具 | 未確認 | 未確認 |
| plugin・skills・MCPの構成 | 未確認 | 未確認 |
| 権限・承認・共有リソース | 未確認 | 未確認 |
モデルや内部設定までそろわないなら、「モデル単体」ではなく「環境込み」の比較として扱う。不明な欄を推測で埋めないことも条件の一部だ。
3. 依頼文に、変更範囲と停止条件を入れる
最初の依頼は、この程度でよい。
設定画面の保存失敗を表示し、再保存時も入力値を保持してください。
対象画面とfixtureの場所は、依頼者が指定します。
まず既存の保存処理とテストを確認し、変更計画と使う道具を示してください。
失敗→再保存成功と通常保存を、指定した受け入れ条件で確認してください。
未接続の道具が必要なら、実行したことにせず止まって知らせてください。
指定外の依存追加、本番操作、外部へのデータ送信はしないでください。
最後に、変更点、実行した確認、その証拠、未確認事項を分けて報告してください。
これは作業の合意であって、権限を強制する仕組みではない。外部送信や本番操作の制限は、実行環境側でも設定する。
4. 「道具がある」と「その確認をした」を分ける
MCPサーバーを設定しただけでは、必要な操作が通ったとは限らない。実行記録は別に残す。次の表は未実施のテンプレートだ。
| 確認項目 | 実際に使えた道具・操作 | 結果・証拠 | 人の介入 |
|---|---|---|---|
| 保存処理と関連テストの探索 | 未実施 | 未取得 | 未記録 |
| 保存失敗の表示 | 未実施 | 未取得 | 未記録 |
| 入力保持と再保存成功 | 未実施 | 未取得 | 未記録 |
| 既存テスト・通常保存 | 未実施 | 未取得 | 未記録 |
実行後にだけ、実在する道具名、実行コマンドと終了コード、観測した状態、ログや画像の保存先を追記する。人がブラウザを開いたのか、承認ボタンを押したのかも残す。介入込みの完了を、自動で完了した結果と混ぜない。
スクリーンショットでエラー表示を確認しても、再保存や既存テストの合格までは証明できない。DOMなどの状態観測、画面の見た目、テストは、それぞれ確かめている対象が違う。
並列化する前に、待ち時間も分けておく
エージェントを増やす段階では、生成以外の待ちも測りたい。OpenAIは並列のCodex作業でbranch、push、fetchなどが増えた内部事例を報告している。ただし、自分のリポジトリでもGitがボトルネックだとはまだ言えない。生成・修正、Git操作、CI、承認待ちを別欄に記録してから判断する。
乗り換えの前に、同じ小さな修正を一往復させる。道具が足りなくて確認できなかったのか、使えるのに別の判断をしたのか。単発で優劣を決めず、その違いと未確認事項が残る比較にしたい。