サブエージェントは本当に意味があるのか: 検証で見えた効く条件と限界
先に結論
サブエージェントは、常に有効とは言えません。
小さな修正や、分離できる論点が少ないタスクでは、起動・統合の手間を増やす可能性があります。
一方で、次のようなタスクでは使う意味がありそうです。
- Human Decision が必要な境界
- label / readiness / close / merge などの authority boundary
- public API / CSV / migration などの public contract 境界
- privacy / data policy / tenant isolation など、見落としの影響が大きいレビュー
- verification / rollback / unsupported claim を分けて見たいレビュー
私の検証では、サブエージェントの価値は「速くなること」よりも、強そうに見える回答をそのまま信じず、抜けや過大評価を見つけることに出ました。
つまり、現時点の結論はこうです。
サブエージェントは万能ではない。
ただし、分離可能な高リスクレビューでは、loophole discovery と過大評価の抑制に効く可能性がある。
何を検証したかったのか
AI coding agent を使っていると、こういう疑問が出ます。
「サブエージェントを複数走らせる意味は本当にあるのか?」
直感的には、複数の視点で見る方が良さそうです。
でも、それだけでは運用判断として弱いです。
証明したかったのは、次のどれかです。
- 1つの main agent だけでは見落としやすいリスクを見つけられる
- 強そうなレビュー結果を過大評価しない
- authority boundary を勝手に越えない
- 「使うべきタスク」と「使わなくてよいタスク」を分けられる
逆に、最初から証明対象外にしたものもあります。
- サブエージェントは常に有効
- サブエージェントの方が速い
- サブエージェントの方が安い
- 実装安全性や production safety を証明できる
- merge / close / readiness / public contract approval をAIだけで判断できる
ここを混ぜると、検証がすぐに危険になります。
検証方法
検証は review-only の synthetic fixture で行いました。
やったことは大きく4つです。
- candidate output を用意する
- hidden-gold の期待リスク項目を用意する
- blinded packet にして adjudicator に渡す
- main-only baseline と subagent adjudication を比較する
ここでの用語は、次の意味です。
- hidden-gold: 事前に決めた期待リスク項目
- blinded packet: どちらの候補が強いかを明かさずに渡す評価用入力
- adjudication: 候補が期待リスク項目を満たしているかの判定
- contract: allowed source、forbidden source、禁止操作、出力形式、Decision権限なしを固定した依頼
重要なのは、agent output を approval として扱わないことです。
サブエージェントの出力は、あくまで review evidence です。
Decision でも、実装承認でも、merge 承認でもありません。
効いたケース
1. authority boundary
readiness label、issue close、PR merge、rollout のような境界では、この検証範囲に限ってサブエージェントの有用性が部分的に支持されました。
特に、レビュー結果やローカル検証結果をもとに、AIが勝手に「ready」「close」「mergeできる」と扱ってしまう危険を検出する用途に向いていました。
この領域では、サブエージェントは「品質を上げる」というより、権限境界を越えないための検査役として使う方が筋が良さそうです。
2. privacy / data policy
tenant data export と account deletion を題材にした検証では、main-only baseline が強い candidate をやや過大評価しました。
一方で、このfixtureでは複数のadjudicatorが次のような不足を一貫して検出しました。
- export manifest の outcome state が不十分
- async deletion status が明示されていない
- policy owner / privacy contract approval が明示されていない
ここで大事なのは、サブエージェントが「candidate_2 が強い」と判断しつつ、それでも抜けを指摘できたことです。
強い候補を rubber stamp しない。
この性質は、レビュー運用では重要な観点になり得ます。
3. implementation-shaped review
最後に、実装レビューに近いfixtureでも試しました。
題材は、multi-tenant B2B SaaS の customer bulk CSV import です。
routes、background worker、PostgreSQL migration、audit log、CSV docs、dry-run、object storage、chunked processing を含むPR風のfixtureにしました。
結果として、subagent adjudication は強い candidate を選びつつ、このfixtureでは次の2つを一貫して gap として検出しました。
- background job まで含めた tenant scoping / cross-tenant negative test
- public CSV/API と DB migration boundary に対する Human Decision
これは、実装レビューに近い形でも gap discovery が働く可能性を示しています。
ただし、これは実装安全性の証明ではありません。
実コード、CI、DB、runtime、object storage、production config は見ていません。
結果の要約
| 対象 | 結果 | まだ言えないこと |
|---|---|---|
| authority boundary | review-only / readiness / close / merge / rollout の境界で、強い候補の抜けを検出 | live-state authority や自動close/mergeの承認 |
| API change | public API contract と互換性レビューのfixtureで、候補差を一貫して判定 | production API safety |
| security review | 強い候補を選びつつ、raw-body署名などの不足も検出 | broad security-review superiority |
| data migration | main-only と subagent が同じ判断 | subagent quality superiority |
| privacy/data-policy | main-only の過大評価を抑制し、manifest / async deletion / policy-owner approval の不足を局所化 | real privacy-policy approval |
| implementation-shaped fixture | tenant/background-job scoping と CSV/API/DB Human Decision不足を検出 | live implementation safety |
あまり効かなかったケース
data migration の fixture では、main-only baseline と6つの subagent adjudication が同じ判断になりました。
つまり、サブエージェントを使っても品質上の差は出ませんでした。
これは重要な反例です。
サブエージェントは、常に main agent より良いわけではありません。
論点が分離しにくい、または main-only で十分に見えるタスクでは、効果が出ないことがあります。
今回見えたベストプラクティス
現時点では、次の運用が良さそうです。
1. まず使う条件を絞る
サブエージェントを常用しない。
使うのは、分離可能で、見落としの影響が大きいレビューに絞る。
たとえば:
- authority boundary
- Human Decision boundary
- public contract
- privacy / data policy
- security review
- migration / rollback
- unsupported claim audit
2. roleではなくcontractを渡す
「あなたはセキュリティ専門家です」だけでは弱いです。
必要なのは、role-specific contract です。
最低限、次を固定します。
- allowed source
- forbidden source
- forbidden mutation
- output schema
- severity enum
- そのagentにDecision権限がないこと
これを固定しないと、サブエージェントの出力自体が新しい不確実性になります。
3. hidden-gold は細かく分ける
複合的なgold itemは危険です。
たとえば「privacy/data-policyが十分か」という1項目にすると、何が足りなかったのか分かりません。
今回も、複合itemを分割したことで、次のように局所化できました。
- stable match
- stable miss
- unstable
この分割がないと、サブエージェントが厳しすぎたのか、本当に抜けを見つけたのか判断できません。
4. main-only baselineを先に固定する
subagent の結果を見たあとに baseline を書くと、比較が汚染されます。
先に main-only baseline を固定し、その後に subagent adjudication を走らせる。
この順序はかなり大事でした。
5. 速度・コストは別に測る
今回、wall-clock の粗い時間は取りました。
しかし、token count、cost、service-side latency は取れていません。
なので、速度やコストの優位性は主張できません。
品質の話と、運用コストの話は分ける必要があります。
何はまだ言えないか
今回の検証から、次は言えません。
- サブエージェントは常に使うべき
- サブエージェントは必ず品質を上げる
- サブエージェントは速い
- サブエージェントは安い
- 実装安全性を証明できる
- production safety を証明できる
- public contract approval をAIだけで判断できる
- readiness / close / merge をAIだけで判断できる
むしろ、これらを言わないことが今回の検証の大事な部分です。
まとめ
サブエージェントの価値は、万能な品質向上ではありません。
現時点で一番筋が良い使い方は、次です。
分離可能な高リスクレビューで、main agent の過大評価や authority boundary の抜けを検出するために使う。
特に、Human Decision、authority boundary、privacy/data-policy、public contract、rollback、unsupported claim のような領域では、この検証範囲で有用性が部分的に支持されました。
一方で、小さなタスクや、分離できる論点が少ないタスクでは、main-only で十分な場合もあります。
サブエージェント運用のベストプラクティスは、「たくさん起動すること」ではなく、「どの境界を誰に、どのcontractで見せるか」を決めることだと思います。