AIコーディングエージェントで高くつく失敗は、1回間違えることではありません。
本当に困るのは、誤った仮説に固執したまま修正を繰り返すことです。テストは落ち続け、変更範囲だけが広がります。気づいた頃には、トークンと時間を浪費しています。
そこで、AIエージェントの運用に次のルールを組み込みました。
- 実装前に、リスクが高い計画を別モデルへレビューさせる
- 同じ問題で2回失敗したら、そのモデルによる修正を止める
- 試した内容と結果をまとめ、別モデルへセカンドオピニオンを求める
- 提案をそのまま採用せず、既存コードと制約に照らして判断する
この記事では、実装前の計画レビューと、失敗後の別モデル相談を紹介します。
なぜ「2回」で止めるのか
2回という値は、統計的に導いた最適値ではありません。私の運用で使っているヒューリスティックです。
1回目の失敗は、単純な見落としや実装ミスかもしれません。しかし、異なる修正を2回試しても同じ問題が残る場合、修正方法よりも根本原因の仮説を疑うべきです。
3回目以降も同じモデルへ任せると、次のような状態へ入りやすくなります。
- 直前の修正を少しだけ変えて再試行する
- 失敗した仮説を維持したまま、変更範囲を広げる
- テストを通すために、別の仕様や既存パターンを崩す
そのため、2回目の失敗をサーキットブレーカーとして扱います。
2種類のエスカレーション
| 計画レビュー | 別モデル相談 | |
|---|---|---|
| 発動タイミング | 実装前 | 同じ問題で2回失敗した後 |
| 入力 | 実装計画、対象範囲、制約 | 症状、試行履歴、最小コード、エラー |
| 別モデルの役割 | 批評者 | デバッグ担当 |
| 主な出力 | 判定、リスク、見落とし | 根本原因の仮説、最小修正案 |
| 書き込み権限 | 不要 | 最初は不要 |
| 採用判断 | プライマリモデルまたは人間 | プライマリモデルまたは人間 |
全体の流れは次のようになります。
パターン1: 実装前の計画レビュー
非自明な変更では、コードを書く前に計画を別モデルへ渡します。
私のルールでは、次のいずれかに該当すると発動します。
- 複数のモジュールへまたがる
- コードベースに存在しない新しいパターンを導入する
- 仕様にブロッキングな曖昧さがあった
- 複数機能から利用される共有層へ触れる
一方、単一箇所のスタイル修正、文言変更、単純なlint修正では実行しません。
計画は次の形式へ揃えます。
## 依頼内容
変更内容を1行で説明
## 技術構成
使用しているフレームワーク、言語、テスト環境
## 変更範囲
- 変更対象A: 変更理由
- 変更対象B: 変更理由
## 実装方針
1. 実装手順
2. 検証手順
## 制約
- 変更してはいけない契約
- 維持する既存挙動
## 未解決事項
- 未解決の仕様
別モデルには、実装者ではなく批評者として振る舞わせます。
## 計画レビュー結果
### 判定
[承認 | 条件付き承認 | 却下]
### リスク
- [高 | 中 | 低] リスクの説明
### 見落としている点
計画で見落としている点
### 矛盾点
計画内、または既存パターンとの矛盾
### 計画への修正案
コードではなく計画への修正案
### 実装前に解決すべき問題
実装前に解決すべき問題
条件付き承認は、条件を解消するまで実質的な保留として扱います。却下なら実装へ進みません。
重要なのは、レビュー結果を受け取ることではなく、反論を計画へ反映するか、採用しない理由を記録することです。
パターン2: 失敗後の別モデル相談
本題はこちらです。
次のいずれかに該当した時点で、現在のモデルによる修正を止めます。
- 同じバグが2回の修正後も残っている
- 同じテストが異なる2つの修正後も失敗する
- 同じ問題に対して、同じ箇所を何度も編集している
- 以前の方法の変種を再び試そうとしている
ここで最も重要なのは、別モデルへ渡す相談パッケージです。
問題文だけを渡すと、別モデルも同じ袋小路を再発見する可能性があります。何を試し、何が起きたのかまで渡します。
## 問題の説明
ダイアログを2回目に開くと古い値が残る。
期待する挙動は、開くたびにフォームが初期化されること。
## 技術構成
使用しているフレームワーク、言語、テスト環境
## すでに試したこと
試行1:
- 変更内容: 開閉状態を監視してフォームを初期化
- 結果: 2回目も古い値が残った
試行2:
- 変更内容: 開くたびにコンポーネントを再生成
- 結果: 古い値は消えたが、入力中の状態まで失われた
## 関連コード
再現に必要な最小コードだけを記載
## エラー出力
テスト失敗やエラーの全文
## 制約
- 公開インターフェースは変更しない
- 入力途中の状態は維持する
特に重要なのは「すでに試したこと」です。
これは単なる作業ログではありません。別モデルの探索空間から、すでに失敗した経路を除外するための情報です。
別モデルの出力も固定する
自由形式で回答させると、長い説明の中から実行可能な案を探す必要があります。
そのため、出力形式も固定します。
## 別モデル相談の結果
### 根本原因の仮説
過去の試行とは異なる根本原因の仮説
### 見落としていた観点
以前の試行で見落としていた前提
### 修正案
最小限の具体的な修正手順
### 確信度
[高 | 中 | 低]と理由
### リスク
修正による副作用
### この案でも解決しない場合
次に確認する方向を1つだけ
システムプロンプトには、次の制約も入れています。
- 問題を復唱しない
- すでに試した方法を提案しない
- 関数や処理単位まで具体的に示す
- 根本的な誤診を見つけた場合は明言する
- 最も単純な説明を優先する
これにより、別モデルを「同意するAI」ではなく「見落としを探すデバッグ担当」として使えます。
ツールへ渡す処理は薄いラッパーにする
特定のディレクトリ構成やプロジェクト専用スクリプトに依存させる必要はありません。
必要なのは、標準入力で相談パッケージを受け取り、選択したモデルへ渡す薄いラッパーだけです。
#!/usr/bin/env bash
set -euo pipefail
MODEL="${1:?model is required}"
REQUEST="$(cat)"
case "$MODEL" in
model-a)
run_model_a "$REQUEST"
;;
model-b)
run_model_b "$REQUEST"
;;
*)
printf 'unsupported model: %s\n' "$MODEL" >&2
exit 1
;;
esac
呼び出し側も、特定の環境情報を含まない形にできます。
./consult-second-model.sh model-a < consultation.md
実際のCLIオプションは利用するツールごとに異なります。重要なのは次の3点です。
- 相談内容を標準入力や一時データとして渡す
- レビュー段階では書き込み権限を与えない
- 結果を人間またはプライマリモデルが評価してから実装する
記事の再現性は、プロジェクト固有の情報を公開しなくても確保できます。ファイル名、リポジトリ、絶対パスは伏せて構いません。
一般化した実例
ある画面は、保存済みのレイアウト設定を非同期処理で復元していました。リロード後に限り、表示位置がずれる問題も発生していました。
処理順序は次の状態でした。
- 初回描画ではデフォルト設定を使う
- マウント直後に表示位置を調整する
- その後、保存済み設定を非同期で適用する
- レイアウトは変わるが、表示位置は古い計算結果のまま残る
候補は主に2つでした。
- 保存済み設定を監視し、適用後に表示位置を再計算する
- 保存済み設定を適用するまで、初回描画を待つ
別モデルへ計画をレビューさせた結果、後者の方が状態遷移を単純に保てるという指摘を得ました。
最終的には「設定の読み込み完了」を表す状態を追加し、設定反映後に対象UIを表示しました。
この例で価値があったのは、別モデルがコードを書いたことではありません。プライマリモデルが進めていた案とは異なる設計判断を、実装前に比較できたことです。
二次意見はそのまま採用しない
別モデルの回答も間違います。
私は、提案を次の順序で確認します。
- 根本原因の仮説が観測結果と一致するか
- 既存コードのパターンに沿っているか
- 仕様上の制約と矛盾しないか
- 不要な依存関係やスコープ拡大を含まないか
- 以前の失敗を別の表現で繰り返していないか
採用する場合も、以前の修正と混ぜません。独立した新しい試行として実装します。
別モデルの案も失敗した場合は、人間へ戻します。モデルを次々に追加して相談ループを作ると、最初の問題を再現するだけです。
注意点
「2回失敗」の検出は完全自動ではない
このルールをエージェントへの指示として実装するだけでは、厳密な強制力はありません。
強制したい場合は、次の情報を外側で記録します。
- テスト結果
- 同じエラーの発生回数
- 同じ対象への変更回数
- 過去の試行内容
閾値へ到達したら、通常の修正処理を止めて相談フェーズへ遷移させます。
外部モデルへ送る情報を制限する
相談パッケージへ秘密情報、顧客データ、認証情報を含めないでください。
必要なコードだけに絞り、固有名詞、URL、パス、識別子、実データを匿名化します。
読み取り専用の実行環境は、ローカルファイルの変更を防ぐためのものです。入力内容の外部送信を防ぐ機能ではありません。
モデルの多様性は保証されない
別モデルを使っても、学習データや一般的な実装パターンは重なっています。
目的は「必ず正解を得ること」ではありません。同じ会話履歴と同じ仮説から一度離れ、独立した推論経路を作ることです。
小さな問題では使わない
lint、文言変更、明らかな設定漏れまで毎回相談すると、待ち時間とコストが増えます。
エスカレーションは通常ルートではなく、ループを止めるためのサーキットブレーカーです。
まとめ
AIエージェントの失敗を完全になくすことはできません。
ただし、同じ誤診への固執は運用ルールで止められます。
- リスクの高い計画は、実装前に別モデルへ批判させる
- 同じ問題で2回失敗したら、現在のモデルによる修正を止める
- 「すでに試したこと」を含む相談パッケージを渡す
- 出力形式を固定し、根本原因と最小修正案を取り出す
- 提案を既存コードと制約に照らしてから採用する
- 二次意見も失敗したら、人間へエスカレーションする
人間の開発チームでは、詰まった時に別の人を呼びます。
マルチモデル・エスカレーションは、その運用をAIコーディングにも持ち込む仕組みです。