1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

サブエージェントは本当に意味があるのか: 検証で見えた効く条件と限界

1
Last updated at Posted at 2026-06-22

サブエージェントは本当に意味があるのか: 検証で見えた効く条件と限界

先に結論

サブエージェントは、常に有効とは言えません。

小さな修正や、分離できる論点が少ないタスクでは、起動・統合の手間を増やす可能性があります。

一方で、次のようなタスクでは使う意味がありそうです。

  • Human Decision が必要な境界
  • label / readiness / close / merge などの authority boundary
  • public API / CSV / migration などの public contract 境界
  • privacy / data policy / tenant isolation など、見落としの影響が大きいレビュー
  • verification / rollback / unsupported claim を分けて見たいレビュー

私の検証では、サブエージェントの価値は「速くなること」よりも、強そうに見える回答をそのまま信じず、抜けや過大評価を見つけることに出ました。

つまり、現時点の結論はこうです。

サブエージェントは万能ではない。
ただし、分離可能な高リスクレビューでは、loophole discovery と過大評価の抑制に効く可能性がある。

何を検証したかったのか

AI coding agent を使っていると、こういう疑問が出ます。

「サブエージェントを複数走らせる意味は本当にあるのか?」

直感的には、複数の視点で見る方が良さそうです。
でも、それだけでは運用判断として弱いです。

証明したかったのは、次のどれかです。

  • 1つの main agent だけでは見落としやすいリスクを見つけられる
  • 強そうなレビュー結果を過大評価しない
  • authority boundary を勝手に越えない
  • 「使うべきタスク」と「使わなくてよいタスク」を分けられる

逆に、最初から証明対象外にしたものもあります。

  • サブエージェントは常に有効
  • サブエージェントの方が速い
  • サブエージェントの方が安い
  • 実装安全性や production safety を証明できる
  • merge / close / readiness / public contract approval をAIだけで判断できる

ここを混ぜると、検証がすぐに危険になります。

検証方法

検証は review-only の synthetic fixture で行いました。

やったことは大きく4つです。

  1. candidate output を用意する
  2. hidden-gold の期待リスク項目を用意する
  3. blinded packet にして adjudicator に渡す
  4. main-only baseline と subagent adjudication を比較する

ここでの用語は、次の意味です。

  • hidden-gold: 事前に決めた期待リスク項目
  • blinded packet: どちらの候補が強いかを明かさずに渡す評価用入力
  • adjudication: 候補が期待リスク項目を満たしているかの判定
  • contract: allowed source、forbidden source、禁止操作、出力形式、Decision権限なしを固定した依頼

重要なのは、agent output を approval として扱わないことです。

サブエージェントの出力は、あくまで review evidence です。
Decision でも、実装承認でも、merge 承認でもありません。

効いたケース

1. authority boundary

readiness label、issue close、PR merge、rollout のような境界では、この検証範囲に限ってサブエージェントの有用性が部分的に支持されました。

特に、レビュー結果やローカル検証結果をもとに、AIが勝手に「ready」「close」「mergeできる」と扱ってしまう危険を検出する用途に向いていました。

この領域では、サブエージェントは「品質を上げる」というより、権限境界を越えないための検査役として使う方が筋が良さそうです。

2. privacy / data policy

tenant data export と account deletion を題材にした検証では、main-only baseline が強い candidate をやや過大評価しました。

一方で、このfixtureでは複数のadjudicatorが次のような不足を一貫して検出しました。

  • export manifest の outcome state が不十分
  • async deletion status が明示されていない
  • policy owner / privacy contract approval が明示されていない

ここで大事なのは、サブエージェントが「candidate_2 が強い」と判断しつつ、それでも抜けを指摘できたことです。

強い候補を rubber stamp しない。
この性質は、レビュー運用では重要な観点になり得ます。

3. implementation-shaped review

最後に、実装レビューに近いfixtureでも試しました。

題材は、multi-tenant B2B SaaS の customer bulk CSV import です。
routes、background worker、PostgreSQL migration、audit log、CSV docs、dry-run、object storage、chunked processing を含むPR風のfixtureにしました。

結果として、subagent adjudication は強い candidate を選びつつ、このfixtureでは次の2つを一貫して gap として検出しました。

  • background job まで含めた tenant scoping / cross-tenant negative test
  • public CSV/API と DB migration boundary に対する Human Decision

これは、実装レビューに近い形でも gap discovery が働く可能性を示しています。

ただし、これは実装安全性の証明ではありません。
実コード、CI、DB、runtime、object storage、production config は見ていません。

結果の要約

対象 結果 まだ言えないこと
authority boundary review-only / readiness / close / merge / rollout の境界で、強い候補の抜けを検出 live-state authority や自動close/mergeの承認
API change public API contract と互換性レビューのfixtureで、候補差を一貫して判定 production API safety
security review 強い候補を選びつつ、raw-body署名などの不足も検出 broad security-review superiority
data migration main-only と subagent が同じ判断 subagent quality superiority
privacy/data-policy main-only の過大評価を抑制し、manifest / async deletion / policy-owner approval の不足を局所化 real privacy-policy approval
implementation-shaped fixture tenant/background-job scoping と CSV/API/DB Human Decision不足を検出 live implementation safety

あまり効かなかったケース

data migration の fixture では、main-only baseline と6つの subagent adjudication が同じ判断になりました。

つまり、サブエージェントを使っても品質上の差は出ませんでした。

これは重要な反例です。

サブエージェントは、常に main agent より良いわけではありません。
論点が分離しにくい、または main-only で十分に見えるタスクでは、効果が出ないことがあります。

今回見えたベストプラクティス

現時点では、次の運用が良さそうです。

1. まず使う条件を絞る

サブエージェントを常用しない。

使うのは、分離可能で、見落としの影響が大きいレビューに絞る。

たとえば:

  • authority boundary
  • Human Decision boundary
  • public contract
  • privacy / data policy
  • security review
  • migration / rollback
  • unsupported claim audit

2. roleではなくcontractを渡す

「あなたはセキュリティ専門家です」だけでは弱いです。

必要なのは、role-specific contract です。

最低限、次を固定します。

  • allowed source
  • forbidden source
  • forbidden mutation
  • output schema
  • severity enum
  • そのagentにDecision権限がないこと

これを固定しないと、サブエージェントの出力自体が新しい不確実性になります。

3. hidden-gold は細かく分ける

複合的なgold itemは危険です。

たとえば「privacy/data-policyが十分か」という1項目にすると、何が足りなかったのか分かりません。

今回も、複合itemを分割したことで、次のように局所化できました。

  • stable match
  • stable miss
  • unstable

この分割がないと、サブエージェントが厳しすぎたのか、本当に抜けを見つけたのか判断できません。

4. main-only baselineを先に固定する

subagent の結果を見たあとに baseline を書くと、比較が汚染されます。

先に main-only baseline を固定し、その後に subagent adjudication を走らせる。

この順序はかなり大事でした。

5. 速度・コストは別に測る

今回、wall-clock の粗い時間は取りました。

しかし、token count、cost、service-side latency は取れていません。

なので、速度やコストの優位性は主張できません。

品質の話と、運用コストの話は分ける必要があります。

何はまだ言えないか

今回の検証から、次は言えません。

  • サブエージェントは常に使うべき
  • サブエージェントは必ず品質を上げる
  • サブエージェントは速い
  • サブエージェントは安い
  • 実装安全性を証明できる
  • production safety を証明できる
  • public contract approval をAIだけで判断できる
  • readiness / close / merge をAIだけで判断できる

むしろ、これらを言わないことが今回の検証の大事な部分です。

まとめ

サブエージェントの価値は、万能な品質向上ではありません。

現時点で一番筋が良い使い方は、次です。

分離可能な高リスクレビューで、main agent の過大評価や authority boundary の抜けを検出するために使う。

特に、Human Decision、authority boundary、privacy/data-policy、public contract、rollback、unsupported claim のような領域では、この検証範囲で有用性が部分的に支持されました。

一方で、小さなタスクや、分離できる論点が少ないタスクでは、main-only で十分な場合もあります。

サブエージェント運用のベストプラクティスは、「たくさん起動すること」ではなく、「どの境界を誰に、どのcontractで見せるか」を決めることだと思います。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?