結論：Opusは「全部」と言われても、勝手に満足して探索を切り上げる？

結論から言うと、Claude Opusにファクトチェックをさせた際、
「内部的には候補を持っているのに、一定件数で探索を打ち切る」
という興味深い挙動が確認できました。

指示の出し方	結果
件数指定なし	3件でストップ
「見つけたものは全部挙げろ」	3件のまま
「5つ以上」と指定	6件検出
「8つ以上」と指定	9件検出

どうやら「読めていない」のではなく、ある程度の件数を出したところで
「これくらいで十分だろう」とAI側が判断し、残りを切り捨てているようです。
「全部」という曖昧な指示はスルーされ、具体的な数字の明示だけが動作のスイッチになっていました。

検証の経緯：アジフライ定食（300字）に潜む違和感を追う

テスト文には、アジフライの描写に5つ以上のツッコミどころ（物理的な矛盾など）を仕込みました。
ところが、正しく検出させるまでには、なかなか試行錯誤が必要でした。

「文体」と「事実」は混ぜると危険

「物理的な矛盾」と「文体のチェック」を1つのプロンプトにまとめると、物理チェック側が驚くほどスルーされます。

たとえば、衣が「パキッと割れる」という不自然な表現を、「小気味よい語感ですね」と褒めて終わってしまう、という具合です。

※映像的な整合性や時代考証も、文体より先にチェックした方がよさそうです。文体と混ぜると、「ファンタジーだから」で丸ごとOKにされることがあります。

強すぎる「正当化」のバイアス

チェック機能を分離しても、最初は「180℃で揚げた魚から、生の青魚のような香りが立ち上る」という矛盾を、5回中4回も見逃しました。

驚いたのはその言い訳で、
「青魚特有の香気として成立しているのでOKです」
と、AIが無理やり理屈をつけて正当化してきたことです。
プロンプトに「無理に粗を探すな」という安全弁を入れていたのが、逆に仇になった可能性もあります。

魔法の言葉は「科学的に」

ここが転換点でした。指示に「科学的に」という一言を添えた途端、急に矛盾を検出し始めたのです。
今回の矛盾が「高温で揚げた魚から生の青臭さがする」という、化学寄りの話だったのも大きいと思います。
「物理的に」だけでは文学的な解釈に負けていたのが、「科学的に」を足したことで、ようやく指摘側に傾いたのかもしれません。

それでも「件数の壁」は健在で、やはり3件で止まってしまいます。
理由を聞くと、
「比喩表現だと判断してフィルタリングしすぎていました。次は閾値を下げます」
という、なんとも人間臭い回答が返ってきました。

そこで件数を数値で指定したところ、ようやく本来持っていたポテンシャルが解放されました。

「数」が増えると、今度は「責任」を回避し始める？

興味深いのは、検出件数が増えた後の挙動です。

断定を避ける
9件出させると、判定がすべて「要確認」になり、1件も「NG」とは言い切りませんでした。
件数指定なしのときはNG判定も出ていました。

確信度が下がる
件数を増やすよう強制したことで、確信度の低い候補まで無理やり拾った結果、安全策として「全件保留」に逃げた可能性があります。
ただし、プロンプトに「迷ったら必ず要確認にせよ」と書いてあるので、その指示が先に走っただけかもしれません。

どうも、「候補を拾う能力」と「その責任を持つ能力」は別物として動いているようです。

プロンプトを詰めるための備忘録

今回の検証から得られた、Opusに厳密なチェックをさせるためのポイントです。

ポイント	内容
役割を分ける	文体評価と事実チェックは混ぜない。事実側が落ちやすくなります。
数字で縛る	「全部」ではなく「最低◯件」と具体的に指定する。
フィルタを外す	「科学的に」などの言葉を入れて、AI独自の比喩解釈や忖度を防ぐ。
最後は人間が判定する	AIは責任を負わない「要確認」の状態までしか持ってこない、という前提で使う。

少なくとも現時点では、「AIのチェックを通したから完璧」とは言えそうにありません。
判定の自動化まで狙うなら、「列挙するチャット」と「判定するチャット」を分けるなどの工夫が必要になりそうです。

補足：AIは「空気を読みすぎる」のかもしれない

件数指定が効くことに気づいたのは、あくまで試行錯誤の結果でした。
AI自身に理由を問うても、
「なぜかはわからない」
という答えか、カンニングペーパーのような修正プロンプト案が返ってきます。

一連の挙動を見て感じたのは、AIは異常を検知することよりも、
文脈を無害な方向へ丸め、
整合性を取ろうとするバイアスが強いのではないか、
ということです。

この「丸める」傾向に気づかないまま要約やレビューを任せたら、
こわいなと思い、Claude Codeの流出騒動と絡めた別記事を先に出してます。
検証に使ったプロンプト全文もそちらに載せてあります。

→ Claude Code流出とアジフライの奇妙な一致