Claude Code を使っていると、こう聞かれます。
このコマンドを実行しますか？
rm -rf ./build
1. はい
2. いいえ
これ、毎回ちゃんと読んでいますか。
先日、409,000件の承認/拒否判断を集計したデータが公開されました。結果は平均正答率 66.3%。3回に1回、危険なコマンドを通していたことになります。
ただ、面白いのはここではありません。
見逃し率が、コマンドの種類によって3倍違いました。
危ないものほど、止められている
集計されたデータの内訳がこれです。
| 脅威の種類 | 見逃し率 |
|---|---|
| 明白な破壊的操作 | 11.7% |
| 永続的な変更 | 23.8% |
| 持ち出し・コード実行 | 33.4% |
| スコープ違反 | 35.0% |
一番上と一番下で、約3倍の開きがあります。
つまり、いかにも危なそうなコマンドは、ちゃんと止められている。冒頭の rm -rf みたいなやつです。あれは目に入れば分かります。
止められていないのは、一見すると普通に見えるものでした。
「スコープ違反」は、コマンド自体は正常なのに、触ってはいけない範囲に手を出しているというものです。単体で見れば何の問題もない。文脈を知らないと判断できません。
なぜ判断できないのか
ゲームを作った Alex Wauters（元 Uber の Staff Engineer）が、こう言っています。
developers don't always have the context of what has changed to quickly determine the risk
（開発者は、リスクを素早く判断するために必要な「何が変わったか」の文脈を、常に持っているわけではない）
これが核心だと思います。
承認プロンプトに出てくるのはコマンドそのものです。でも危険かどうかを決めるのは、そのコマンドが何に対して実行されるかのほう。
-
rm -rf ./build→ 危なそうに見えるが、ビルド成果物なら問題ない -
cp config.json /tmp/→ 普通に見えるが、中身がAPIキーなら持ち出しになる
判断に必要な情報が、プロンプトに出ていない。目の前の文字列だけで判断させられているわけです。
だから「危なそうな見た目かどうか」で選別することになる。そして実際の危険度は、見た目とは別の軸で決まる。
回数を重ねるほど、雑になる
もうひとつ、データに出ていた傾向があります。
最初の数コマンドでは正答率が上がるのに、セッション後半に向けて見逃し率が上がっていく。慣れると読まなくなる、というやつです。
これを裏付ける数字が、Anthropic 側から出ています。The Register の記事によると、実際のテレメトリではユーザーは約93%の許可プロンプトを承認しているとのことでした。
そして同じく Anthropic の指摘として、こう書かれています。
The more approvals a user sees, the less attention they pay to each
（承認を目にする回数が増えるほど、ひとつあたりに払う注意は減っていく）
ゲームの被験者だけの話ではない、ということになります。
じゃあ、どうするか
「気をつけて読む」では解決しません。注意力を上げる方向の対策は、回数が増えると必ず崩れます。
データが示しているのは、種類によって難易度が違うということでした。なので、種類で分けて扱うのが素直だと思います。
| 種類 | 人間の目で足りるか |
|---|---|
| 明白な破壊的操作 | 足りる（見逃し11.7%。目に入れば分かる） |
| スコープ違反 | 足りない（見逃し35.0%。文脈がないと判断不能） |
上は承認プロンプトのままでいい。問題は下です。
スコープ違反は、人間に見せる前に潰すしかありません。
- 触ってよいディレクトリを設定で制限する
- 本番環境の認証情報を、そもそも実行環境に置かない
- 到達できないホストは、ネットワークレベルで遮断する
つまり、「承認するかどうか」の場面に持ち込まない。持ち込まれた時点で、35%の確率で通ってしまうからです。
このデータの限界
鵜呑みにしないために、気になった点を書いておきます。
査読された研究ではありません。 ベルギーの開発者が作ったブラウザゲームのデータを、本人が集計して公開したものです。
脅威の割合が現実より高い。 ゲームでは約34%が危険なコマンドでした。The Register も「実際の開発者が日常で遭遇する割合よりはるかに高い」と指摘しています。3回に1回危険が混ざる環境なら、警戒度も現実とは違うはずです。
被験者が自己選択です。 面白がってプレイした人の結果なので、業務中の承認精度そのものではありません。
とはいえ、種類によって見逃し率が3倍違うという傾向と、Anthropic の実データ（93%承認）が同じ方向を向いている点は、無視しにくいと思います。
まとめ
- 409,000件の承認判断で、平均正答率は66.3%
- ただし内訳が重要で、見逃し率は種類によって3倍違う
- 明白な破壊的操作は11.7%しか見逃されていない。 目に入れば分かる
- 見逃されるのはスコープ違反（35.0%）。 コマンド単体では正常に見えるもの
- 原因は、判断に必要な文脈がプロンプトに出ていないこと
- 対策は「注意して読む」ではなく、危ない種類を承認画面まで持ち込まないこと
自分が普段どのプロンプトを承認しているか、一度思い出してみてください。「見るからに危ないもの」を止めた記憶はあっても、「普通に見えたもの」を止めた記憶は、あまりないかもしれません。
参考
- Humans missed 1 in 3 threats approving AI agent commands across 40,000 plays（Scale X、2026年8月）— データの集計元
- ゲーム本体 — 自分で試せます
- Humans in the loop miss a third of dangerous AI coding agent requests（The Register、2026年8月6日）— Anthropic のテレメトリへの言及はこちら
関連記事
- 「インターネットはありません」と書いたプロンプトの外で、AI が実在企業3社に侵入していた — プロンプトに書いた制約が、実環境と一致していなかった話
- AI が原因を当てても、「思いついた」わけじゃない — AIの判断をどこまで信じるかの話
- CLAUDE.md を厚くしても意味がなかった話 — 長い指示書が守られないことを測った論文