Claude Codeを使い始めてから、AIへの指示書(CLAUDE.mdとrules)を育ててきました。コードの書き方、日本語の文体、デザインの禁止事項。気づいたら9ファイル・48ブロックになっていて、どれも「これがあるから出力の質が保ててる」と思っていました。
で、ある日ふと思ったんです。これ、本当に効いてるのか?
外して測ったことは一度もありませんでした。
測る前と後(筆者作成)。この記事は右側に至るまでの記録です。
測り方
やったことは単純で、ルールを1ファイルずつ外して、同じタスクを解かせて、採点する。医薬品の試験で言う偽薬(プラセボ)との比較を、指示書でやった形です。機械学習の界隈ではablation(アブレーション、切除実験)と呼びます。この記事で覚える専門語はこれ1個だけです。
- タスク: 文章生成・コード生成・UI生成など8本
- 条件: ルール全部あり(基準)と、1ファイルだけ外した9条件
- 反復: 各5〜10回
- 判定: 印象ではなく、ばらつき(標準誤差)の2倍を超えて動いたかで機械的に
夜中に回して、朝に集計が出ました。
結果。9ファイル、全部誤差
| 外したファイル | 点の差 | 判定 |
|---|---|---|
| コード品質ルール | -0.053 | 誤差内 |
| デザイン禁止事項 | -0.052 | 誤差内 |
| 実行スタイル | -0.037 | 誤差内 |
| gitルール | +0.035 | 誤差内 |
| 成果物の出し方 | -0.039 | 誤差内 |
| セキュリティ | -0.004 | 誤差内 |
| URL検証 | -0.009 | 誤差内 |
| 文章ルール | +0.029 | 誤差内 |
| 日本語文体ルール | +0.045 | 誤差内 |
効果があると言えるファイルは、1つもありませんでした。表の「点の差」は「基準(全部あり) − 外した時」なので、マイナスの6ファイルは「外した方がわずかに点が上がった」です(これも誤差の範囲ですが)。
そして基準値そのものが、測り直すたびに0.756〜0.849まで動きました。測定のばらつきの方が、どのルールの効果よりも大きい。 1年かけて育てた指示書の効果は、少なくともこの測り方では、ノイズに埋もれて見えませんでした。
もっと効いた発見。素のモデルが最初からやっていた
納得がいかなかったので、「ルールの有無で点が動くはずのタスク」を31本作って、ルールを全部外した素のモデルに解かせました。
27本が満点でした。(公開後に同条件で回し直したら26本。1本は反復2回の揺れで、どちらの回でも8割強が満点です)
指示ゼロの状態で、モデルが最初からやったこと。
- UIに絵文字アイコンを使わない
- 紫からピンクのグラデーションを使わない
- 「まさに」「ぜひ〜してみてください」を書かない
- 和文のCSSでNoto Sans JPを指定する
- 過剰敬語を避ける
- 例外を握りつぶさず、型ヒントを付ける
全部、私がルールに書いていたことです。つまり私が時間をかけて言語化した禁止事項の大半は、モデルが最初から守っている行動を、あらためて文章にしたものでした。効いていたのではなく、最初からそうだった。
差が出たのは31本中4〜5本だけ(初回4本、回し直しでは5本)。中身は、ファイル名の付け方(日付やtmp_の自分規則)、コミットメッセージに「なぜ」を書く、成果物を絶対パスで出す、URLを貼る前に死活確認する、といったもの。見ての通り、世間一般の良い作法ではなくて、私固有の運用の癖です。ルールで動きが変わるのは、モデルが自分では思いつかない「その人の事情」だけでした。
途中で、嘘の結果に騙されかけた
白状すると、1回目の測定では「5ファイルが有意に効いている」というきれいな表が出ました。
原因は実験系のバグです。測定の途中でCLIが壊れて全タスクが実行失敗になっていたのに、集計スクリプトが失敗を0点として数えていた。全滅がそのまま「ルールを外したら点が落ちた」に化けて、それらしい有意差になった。
信じたい結論(ルールは効いている)と同じ向きの嘘だったので、危うくそのまま採用するところでした。測定器を疑うのは、結果が期待と一致した時こそ必要でした。
この実験で言えないこと
- 小さいモデル(Haiku)・1ターン・ツールなしでしか測っていません。長い作業の途中でルールが効く可能性は残ります
- 反復5〜10回では小さい効果は拾えません。言えるのは「効果ゼロ」ではなく「あるとしても誤差(0.06)未満」まで
- 趣旨が重複したルールは、1ファイル外しても他のファイルが肩代わりします
なので、ルールを消す判断はまだしていません。次に測るなら、複数ターン+ツールありのタスクと、反復30回以上が要ります。
結論。育てるべきは禁止事項ではなかった
冒頭の問いに戻ります。「AIへの指示書、育てるほど賢くなるのか?」
書かなくてもやることを書いても、指示書が長くなるだけでした。効くのは、モデルが知りようのない自分固有の事情。ファイルの置き場所、確認を取ってほしい操作、出力の宛先。それと、一番の収穫は「効いてるはず」を測らずに1年信じていた自分に気づいたことです。外して測るのは半日で終わりました。
次は反復30回・複数ターンで測り直します。それまでルールは消しません。
追記(公開直後の再検証)
この記事を出した後、「本当か?」と自分で突っ込んで、記事の数字を生データと突き合わせ直しました。表の9個の数値・基準値の揺れ・0点集計バグの経緯は生ログと一致。一方で2つ直しました。
- 「プラスの5ファイルが外した方が上がった」と書いていたのは誤りで、正しくはマイナスの6ファイル(符号の意味を逆に書いていた)
- 「27本満点」はスクリーニングの保存結果が残っていなかったので同条件で回し直し、26本でした。本文に併記
測った記事ですら、書き起こしで2箇所間違えていました。測定器の次は、記事も疑う必要がありました。
参考
- 測定の生ログと実験系の反省点(実行失敗を0点にしていた件)は手元のレポートから抜粋しました
- 関連: CLAUDE.mdのルールは何個まで守られるのか。3個vs30個で実測した