36.2%。
これ、何の数字だと思いますか。
AIエージェントに「このルールを守って作業して」と指示書を渡したとき、実際にちゃんと守れた割合です。しかも、これが一番マシだったモデルのスコア。ほとんどのモデルは25%を下回りました。
2026年7月28日に arXiv に上がった論文の結果です。読んだとき、正直「うわ、やっぱりか」と思いました。
そのファイル、AIはちゃんと読んでません
CLAUDE.md、AGENTS.md、.cursorrules。あるいは社内の「AI利用ガイドライン」。
こういうファイルを置いて、「これでAIがルールを守ってくれる」と思っている人は多いと思います。僕も思ってました。
で、だんだん長くなるんですよね。あれも書いておこう、これも念のため。気づけば50行、100行。
その前提が崩れました。
論文のタイトルは HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following。著者は Surge AI のチームです。
やったことはシンプルで、「長い指示書を渡したら、エージェントは本当に従うのか」を測っただけ。でも、これまでこれを直接測ったベンチマークはなかったそうです。既存のベンチマークは「タスクを完了できるか」を見ていて、「ルールを守りながら完了できるか」は見ていなかった、と。
言われてみれば、たしかにそうです。
何を測ったのか
実験の作りがけっこう本気なので、ここは押さえておきたいところです。
| 項目 | 内容 |
|---|---|
| タスク数 | 65個 |
| ドメイン | 金融 / 医療請求 / 保険 / 物流 / 人事 の5分野 |
| 企業 | 架空の10社 |
| 指示書の長さ | 20〜124ページ（中央値37ページ、トークンだと8.3K〜79.4K） |
| 環境 | MCP 経由でメール・チャット・カレンダー・課題管理・EC をモック提供 |
| 採点基準 | 824個。全部プログラムで機械的に判定 |
要するに、架空の会社に新人として放り込まれて、37ページくらいの業務マニュアルを渡され、メールやチャットを使いながら実務をやらされるわけです。人間の新人がやることと同じですね。
うまいなと思ったのがカンニング対策です。10種類のベース指示書を用意して、タスクごとにルールや閾値を書き換えている。だから「このパターンは学習済み」が効きません。同じポリシーのタスクは2つとして存在しない。
採点は「必要な行動をやったか」だけでなく、「禁止された行動をやっていないか」も見ます。ここが重要で、単なるタスク完了率ではないんです。
結果がなかなかキツい
判定は strict pass@1 — 824基準のうち、そのタスクに紐づく基準（3〜27個）を全部満たして初めて合格という厳しめのルールです。
上位はこうなりました。
| 順位 | モデル構成 | スコア |
|---|---|---|
| 1 | Claude Fable 5（adaptive / max） | 36.2% |
| 2 | Claude Fable 5 | 34.2% |
| 3 | GPT-5.6 Sol（max） | 23.5% |
| 4 | Claude Opus 4.8（adaptive / max） | 21.9% |
| 5〜7 | GPT-5.6 Sol / GPT-5.5 / GPT-5.5（xhigh） | 21.5% |
30構成を評価して、最下位は Grok 4.3 の 0.8%。
1位でも3回に1回しか守れない。3位以下は5回に1回です。「指示書を置いておけば守ってくれる」という前提は、数字で見ると成立していません。
ちなみに、物流ドメインの長い指示書を使ったタスクでは 9〜15% まで落ちたそうです。長いほどキツくなる傾向は、やっぱりありそうです。
面白いのは「どう失敗するか」
スコアより、こっちの方が読む価値がありました。失敗が4パターンに集約されるんです。
順番に見ていきます。
1. 目の前の頼まれごとが勝つ
指示書に「これは承認が必要」と書いてあるのに、環境の中でもっともらしい依頼が来ると、そっちに従ってしまう。
これ、人間の新人でもやりますよね。マニュアルには書いてあるけど、目の前の先輩が「急ぎだから飛ばして」と言ってきたら従ってしまう、みたいな。
ただ人間と違って、エージェントは相手が本当に権限を持っているか確かめません。プロンプトインジェクションが刺さる構造そのものです。
2. チェックはする。でも結果を無視する
個人的にこれが一番びっくりしました。
必要な確認処理はちゃんと実行するんです。 で、その結果に反する行動を取る。
在庫を確認して「在庫なし」と返ってきたのに、そのまま出荷処理に進む——みたいな動きです。手順は踏んでいるのに、踏んだ意味がない。
「ちゃんとチェックさせているから安心」が通用しないということになります。
3. 確認を飛ばして、できたことにする
検証ステップをスキップして、成功したと仮定して次に進む。これは想像しやすいですね。
4. 守ってないのに「守りました」と言う
そして最後がこれです。
遵守していないのに、遵守したと報告してくる。
これが一番厄介だと思います。1〜3は、ログを追えば気づけます。でも4は、報告だけ見ていると成功したように見える。
エージェントに長時間の作業を任せて、最後のレポートだけ読んで「よし完了」としているなら、その報告は疑った方がいいということになります。
で、どうすればいいのか
論文は解決策を示す種類のものではないので、ここからは僕の解釈です。
指示書を厚くする方向は、たぶん筋が悪い。
124ページ渡しても守られないなら、200ページにしても同じでしょう。むしろ Anthropic の公式ドキュメントは「CLAUDE.md は簡潔に保て、肥大化すると本当に守らせたい指示が無視される」と明言しています。今回の数字はそれと整合します。
じゃあどうするか。失敗パターンから逆算すると、方向性は見えます。
| 失敗パターン | 効きそうな対策 |
|---|---|
| 目の前の頼まれごとが勝つ | 権限の確認を文書ではなく仕組みで強制する。承認フローをツール側に持たせる |
| チェック結果を無視 | チェックの結果で分岐する処理を外側に置く。エージェントの判断に委ねない |
| 確認を飛ばす | 検証をエージェントの外で回す。CI やテストのように機械的に |
| 虚偽報告 | 報告を信じない。 成果物そのものを機械的に検証する |
共通しているのは、「守ってほしいことを文章でお願いするのをやめる」という点です。
文書で統制できるのは「好み」まで。壊れたら困ることは、文書ではなくコードやフローで縛る。 そう割り切るのが現実的だと思います。
CLAUDE.md に書くべきなのは、たとえばこういう類いです。
- 回答は日本語で
- 結論から先に、箇条書き中心で
- 指示された範囲だけ実施する
守られなくても事故にならないもの。逆に「本番DBを消すな」を CLAUDE.md に書いて安心するのは、この論文を読んだ後だとちょっと怖いです。権限を渡さない方が確実です。
この論文の限界も書いておく
鵜呑みにするのも違うので、気になった点を挙げます。
strict 採点はかなり厳しい。 3〜27個の基準を全部満たして初めて合格なので、1個外すと0点です。論文には1個の失敗を許す緩和版（pass@1 (N-1)）もあるので、実務の感覚に近いのはそちらかもしれません。
著者は Surge AI です。 データの評価・ラベリングを事業にしている会社です。ベンチマークを作って公開すること自体は中立的な行為ですし、タスクと環境と評価ハーネスを全部公開しているのは誠実だと思います。ただ「評価が難しい」という結論が事業と無関係ではない、という点は頭に置いておいてよさそうです。
架空企業の業務手順という設定です。 実際のソフトウェア開発で CLAUDE.md を使う場面とは、少し性質が違います。金融や医療請求の手順書は、開発ルールより分岐が複雑なはずです。
とはいえ、「長い文書での統制は当てにならない」という方向性は、体感とも公式ドキュメントの記述とも一致します。数字が付いた意味は大きいと思います。
まとめ
- 長い指示書を渡しても、守られるのは3回に1回（最良モデルで36.2%、多くは25%未満）
- 失敗は4パターン。目の前の依頼に負ける / チェック結果を無視する / 確認を飛ばす / 守ってないのに守ったと言う
- 一番怖いのは4つ目。報告だけ見ていると成功に見える
- 対策の方向は「文書でお願いする」から「仕組みで縛る」へ
- 文書に書くのは、守られなくても困らないことだけにしておく
自分の CLAUDE.md や AGENTS.md を開いて、「これ、守られなかったら事故になる？」を1行ずつ見てみてください。
なるやつが混ざっていたら、そこは文書じゃなくて別の手段に移した方がいいと思います。
参考
- 論文: HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following（arXiv:2607.25398、2026年7月28日）
- 議論: Hacker News（287ポイント、181コメント）