はじめに
Claude Codeで個人開発している中で、Codex CLIにレビューさせる運用をしています。
あるとき、Claude Codeが指摘対応を終えた後、再レビューを回さずにそのまま次に進んでいることに気づきました。念押しして回させてみると、案の定その回でも指摘が出てきました。要はサボっていたわけです。
軽い気持ちでClaude Codeに「レビューをサボれない仕組み」を作らせました。
Codex君に振り回されるClaude君
「レビューをサボれない仕組み」作りもCodexにレビューさせていたのですが、さすがCodex君、いやらしいケースを挙げてくれます。
- サブコマンド名の間にフラグの値が挟まると、隣接一致の判定をすり抜ける
- 別シェル経由(
powershell -Command "..."/cmd /c ...)だと検知漏れ - クォートの有無で複数語になるパターンを拾えていない
指摘のたびにClaude Codeが直す。直すとまた新しいバイパス経路をCodexが見つけてくる。気づけばAST(構文木)解析やネストしたシェルの展開まで持ち出す、「悪意を持ってコマンドを偽装し、Hookを回避しようとする相手」を想定した実装になっていました。
人のレビューで我に返る
自分のところにPRが回ってきたときには13回のコミットを経ていました。
feat: enforce self review before opening a pull request
fix: reject gh pr create with an explicit head or base
fix: close two bypasses in the self-review hook
fix: anchor the hook to the command it actually guards
fix: check every statement, not just the first
fix: decide from the parsed command, not its text
fix: close two more holes in the guard
fix: stop when the command cannot be analysed
fix: compare unquoted values and require the subcommands in order
fix: pull/am/apply もHEAD移動語として扱い、語の位置に依存しない判定にする
fix: pr/create の間にフラグ値が挟まる呼び出しの検知漏れを直す
fix: powershell -Command / cmd /c 経由の呼び出しも展開して検出する
fix: powershell -Command の引数がクォート無しで複数語になる場合も拾う
しかも漏れ防止のHookはPowerShellでしか発火しないものでWSLだとスルー。まあこれだけレビュー指摘を受けて直してを繰り返したソースは、人が書こうがAIが書こうが複雑でバグだらけのものになりますよね。
・・・Claude君はCodex君のレビューをサボらない仕組みを作っていたんだよね?
全然サボってないじゃん!!あほほど真面目に向き合ってるじゃん!
仕組みなんかいらないんじゃないか?
結果「人にPR回すときはCodexレビュー結果をPR本文に書く」ルールだけをCLAUDE.mdに残しました。その後はCodexのレビューを通さずにPRが回ってくることはなくなりました。
Hookの発火条件に「プルリクを作成する」は指定できないわけで、コマンドを解析して「gh pr create」が実行されていることを検知しようとした時点で迷宮に入りこんでいましたね。これを100%実行したいならGitHub Actionsなり、GitHub側で止めるのが妥当でしょう。
まとめ
ハーネスは軽く設計し、足りなければ少しずつ増やす
Hookなんて作らず、まずCLAUDE.mdに1行書けばよかった。ハーネス自体も保守対象。 複雑にならないように気を払う必要があります。
Anthropic自身もClaude 5世代向けにClaude Codeのシステムプロンプトを80%以上削除し、コーディング評価での劣化はなかったと公開しています。過剰に制約していた(overconstraining)のはシステムプロンプトだけでなくCLAUDE.mdやスキルも同じだったそうで、CLAUDE.mdは軽量に保つことが推奨されています。新しいモデルは判断力が高く、明示的なルールがなくても適切に扱えるから、というのが理由です。
コードと同じで、複雑にしないよう注意を払う必要があります。
今回も結局ルール1行で足りていて、実施漏れが増えたらそのとき次の手を考えればいい話でした。
AIに100%を求めない。求めるならAI以外の仕組みで
100%を求めるなら、Hookで確実に判定できる範囲に限定するか、GitHub Actionsやブランチ保護のようにAIの外側に関所を置く。CIで落とせばAIがどう頑張ってもマージできませんし、判定もシンプルで済みます。
裏を返せば、AIに任せる部分は100%を諦めるべきだと思います。AIに100%を求めるのは人に100%を求めるのと同じ。