1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AIが賢くなるほど「親切な設定」が裏目に出た。4倍に膨らんだルールを半分にした話

1
Last updated at Posted at 2026-11-16

AIが失敗するたびに、注意書きを1行ずつ足してきました。4か月足らずで、AIが会話のたびに最初に読むユーザー共通の設定ファイルは5KBから20KBへ、ちょうど4倍になっていました。ところがモデルが賢くなるほど、その親切な設定が判断を重くしていきます。今はこのファイル(そこから読み込む共有ルールを含む)を9.6KBまで減らし、残りは該当する作業が来たときに読む形へ移しました。

Claude Code・Codex・Geminiを1人で使い分けている環境の、設定ファイルのgit履歴とレビューの記録から、何を足し、なぜ裏目に出て、どこへ移したかをまとめます。設定を捨てる話ではありません。

補助輪を何本も付け、規約の紙束を荷台に積んだ自転車で走るロボット。飛んできた紙が顔に貼り付き、開けた道の先が見えにくくなっている

補助輪も注意書きも、付けた日には正しかった。増えすぎると、前が見えなくなります(画像は Gemini で生成)。

失敗するたびに1行足したら、4か月で4倍になった

Claude Codeは、会話を始めるたびに ~/.claude/CLAUDE.md を読み込みます。どのプロジェクトで何をしていても、必ず最初に読む「朝礼の資料」のようなファイルです。

このファイルのgit履歴を並べると、次のようになりました。

会話のたびに読むユーザー共通の設定ファイルの大きさの推移。4/4 は5.0KB、4/10 は11.0KB、4/26 は13.0KB、7/27 は20.2KB で4/4の約4倍、11/16 の現在は9.6KB で7/27の47%

日付 大きさ このころ足したもの
2026-04-04 5,003 バイト 別のAI(Gemini)にレビューを頼む仕組み
2026-04-10 10,964 バイト 判断の原則、長い会話で規約を忘れる対策
2026-04-26 12,974 バイト 曖昧な指示はGeminiと合議して進むルール、過去の記録を探す手順
2026-07-27 20,151 バイト モデルの役割分担(上位モデルは司令塔、実装は下位モデル)など

足した理由は、どれも正当でした。長い会話で最初の指示を忘れた。確認のために作業が止まった。前に決めたことを探さずに、別の結論を出した。自分の作業を疑わずに「完了しました」と言った。そのたびに、再発防止を1行書きました。

このころの私は、AIを「毎朝、全部の注意事項を読み上げてもらう新人」のように扱っていました。新人は真面目なので、全部読みます。全部読んで、全部守ろうとします。問題は、そこでした。

足した設定は、当時のモデルの弱点に合わせた補助輪だった

7月末の時点で、ファイルとは別に、会話の途中で文章を差し込む仕組み(hook)も4つ動いていました。

仕組み 補おうとした弱点 差し込んでいたもの
会話の開始時 過去の判断を探さない 直近の成果物5件と知見5件の要約
要約(compact)の前 要約で規約が抜け落ちる 記憶の一覧、作業中プロジェクトの規約1件、行動のリマインダー
応答20回ごと 長い会話で、先頭の規約が薄れる(いわゆる Lost in the Middle) 重要ルールの要約
会話の終了時 何をしたか残らない セッションの記録

CLAUDE.md の中にも、同じ発想のルールがありました。

  • 曖昧な指示は、Claudeが案を1つ選び、設計に関わるならGeminiと合議する。一致すれば人に聞かずに進む
  • 上位モデル(当時は Opus 4.7)は司令塔として設計と最終判断に専念し、実装の手は基本的に動かさない。探索・実装・テストは下位モデル(Sonnet)に渡す

どれも前提は同じです。**モデルは忘れる、探さない、止まる、自分を疑わない。**だから外側から思い出させ、確かめさせる。当時のモデルと使い方には、よく効いていました。

モデルが賢くなるほど、同じ補助輪が先入観に変わった

7月、Anthropic の高性能モデル Claude Fable 5 が使えるようになったのを機に設定を棚卸しすると、補助輪がそのまま重りになっている箇所が見つかりました。詳しくは以前の記事に書いたので、ここでは要点だけ並べます。

補助輪 賢いモデルでの困りごと
会話のたびに過去の記録を見せる 今のコードより、古い判断に引っ張られる
作業の手順を固定する もっと短い道や、もっと広い調査を選ばなくなる
毎回別のAIにレビューさせる 相手が自分より弱いと、確かめるだけの指摘が増える
司令塔は手を動かさない 一番よく分かっているモデルが実装しない。渡すたびにニュアンスが落ちる
20回ごとに規約を差し込む 今読むべきファイルの周りに、同じ文章が積もる

私の見立てでは、弱いモデルは要らないルールをときどき読み飛ばしてくれていました。賢いモデルは指示に忠実なので、要らないルールまで丁寧に満たそうとします。守られないことより、守られすぎることが問題になりました。

外部の研究も、同じ方向を示しています。リポジトリに置くAI向けの指示ファイル(AGENTS.md など)を複数のエージェントで評価した研究では、指示ファイルは一般には成功率を改善せず、推論コストを平均20%以上増やしました。指示そのものは、エージェントによく守られていたうえでの結果です。一方で、標準的でない作業の決まりごとを伝える用途には役立つ、とも結論しています(Evaluating AGENTS.md)。

忠実さが裏目に出た例は、手元にもあります。AIに「この機密語を書くな」と禁止語の一覧を渡して記事の骨組みを6本作らせたところ、3本で、AIがその一覧を注意書きとして本文に書き写し、機密検査で止まりました(詳しい経緯)。言われたことを、言われた以上に丁寧に守った結果です。

ここでいう「賢くなるほど」は、測った比例関係ではありません。同じ環境でモデルを替えてきた中での観察と、上の研究結果を合わせた判断です。

多くは消さずに、読ませるタイミングを後ろへずらした

8月に共通ルールを ~/.agents へ分けた時点で、Claude向けに生成したルールは25,281バイトありました。9月にこれを高性能モデル向けの書き方へ揃えて6,716バイトにし、20回ごとの差し込みもこのとき外しました。今の状態と比べると、次の通りです。

7〜8月 現在(2026-11-16)
会話のたびに読むユーザー共通の設定ファイル CLAUDE.md 20,151 バイト(7/27) 9,572 バイト(CLAUDE.md 1,507 + 共有ルール 8,065)
会話の途中で差し込む仕組み 4つ 0
共有ルールの原本 9ファイル・24,824 バイト(8/3) 27ファイル・116,850 バイト
そのうち毎回読むもの — 2ファイル(行動の原則と、文脈の選び方)

skill の説明文の一覧も会話のたびに読まれますが、この表では数えていません。

毎回読む量は半分以下になりましたが、共有ルールの原本は4.7倍に増えています。減らしたのは知識ではなく、最初に机へ並べる量です。

紙と付箋に埋もれた机から、規約の紙が隣の棚の引き出しへ飛んで片付き、ロボットが見通しのよい机でノートPCを打ち始めるアニメーション

紙は捨てずに引き出しへ。机に残すのは、今の作業に要るものだけです(Gemini Omni で生成した動画を GIF にしたもの)。

会話の途中の差し込みも、多くは移し替えです。過去の記録は必要なときに検索する skill へ、終了時の記録は「作業終了」と言ったときに動く skill へ移しました。20回ごとと要約前の再注入だけは、やめています。

置き場所は3つに分けました。

置き場所 読むタイミング 例
常時 すべての作業の最初 既存の変更を壊さない、秘密を出さない、検証した結果を報告する、不可逆な操作は先に確認する
作業時 該当する作業が来たときだけ GitHub の issue を書く、Google Drive を触る、見積書を作る、記事を公開する
参照 必要だと判断したときに検索する 過去の設計判断、エラー対応の履歴、レビュー結果

作業時のルールは、Claude Code では skill として置いています。skill は説明文だけが先に読まれ、本文は該当する作業が来たときに読まれます。説明文が広すぎると関係ない作業でも読まれるので、「いつ使うか」を狭く書くのが要になります。

過去の記録は、「前の続き」「以前の判断」が成果を左右するときだけ探します。今のファイルを読めば分かることは、記録より今のファイルを信じます。

書き方も変えました。手順を命令するより、落としてはいけない観点を渡します。

# 以前: 手順で縛る
必ず A を読み、次に B を読み、C を grep して、D を確認してから実装する。

# 現在: 観点を渡す
この作業では次の観点を落とさない:
- API の仕様書と実装の差分
- enum / ステータスコード / エラーコードの不一致
- 生成ファイルを手で編集していないか

もう一つ、Claude・Codex・Geminiに同じルールを3回書くのもやめました。原本は ~/.agents/rules の1か所に置き、各AI向けのファイルはそこから生成します。3か所を手で直すと、どこかが必ず古くなるからです。

レビューは減らすより、呼ぶ場面と役割を絞った

4月にGeminiへレビューを頼む仕組みを入れ、曖昧な指示も合議して進むようにしてから、別のAIへの相談は一気に増えました。レビューの記録は全部で2,137件あります。

月 3月 4月 5月 6月 7月 8月 9月 10月 11月(16日まで)
件数 22 796 566 20 292 129 173 101 38

4月は1か月で796回、別のAIに意見を聞いていました。ただし件数は作業量の差も含むので、この表だけでルールを変えた効果とは言えません。6月が少ないのも、成果物の記録が29件と少なく、作業そのものが少ない月だったためです。

今は、レビューを呼ぶ場面を次の4つに絞っています。

  • 人から、レビューや別の意見を明示的に頼まれたとき
  • GitHub の issue のように、外に残る文章を書くとき
  • 同じエラーに3回目に当たったとき
  • 設計やセキュリティのように、後から戻しにくい判断をするとき

そして、レビューの意見は実行結果の代わりにしません。テストを流せば分かることは、レビューより先にテストを流します。

一方で、レビューそのものを減らすべきだとは考えていません。資金を扱う自作のRust製CLIで、10件の課題(30コミット、約1万3千行の追加)をまとめて実装したときは、4つのレビューの層が、それぞれ違う種類の問題を見つけました。

レビューの層 渡したもの 見つけた問題の種類
作業ごとのレビュー 差分と依頼文 「済み」の報告と成果物の食い違い(例: 再開時に、約定済みの分を差し引かずに全量を出し直す)
ブランチ全体を複数の観点で すべての差分 作業をまたいだ前提の抜け(後から足した送信経路が、先に入れた期限チェックを通らない)
Gemini によるモジュールのレビュー 新しいファイルの全文 ファイルの中の実装の誤り。指摘4件がすべて実在した
文脈なしでのマージ判断(Fable) プルリクエストだけ 仕様と実装の意味のずれ(ドキュメントが実装より強い保証を書いていた)

どの層を外しても、その層が見つけた種類の問題はそのまま通っていました。効いたのは「毎回、同じ相手に聞く」ことではなく、見えているものが違う相手に、必要な場面で聞くことでした。

賢くなっても、外に置いたままにするもの

引き算しなかったものもあります。

  • 秘密情報を出さない
  • 削除・公開・デプロイのような不可逆な操作は、先に確認する
  • コミットやクラウド操作の前に、使っているアカウントを確かめる
  • 記事を公開する前に、機密の検査器を通す

これらは賢さの問題ではなく、権限と取り返しの問題です。どれだけ賢いモデルでも、うっかりは起きます。だからモデルの判断に任せず、決まった手順や検査器で止めます。この記事の原稿も、機密語が入っていれば保存の時点で止まる仕組みの上で書いています。

前の機密語の失敗から学んだのは、禁止する値をAIに渡さないことでした。値を知っているのは検査器だけにして、文章を書くAIには「顧客名を書かない」のようなカテゴリだけを渡しています。

設定を足す前と、モデルを替えたときに見ること

ルールを1行足す前に、次の順で置き場所を決めています。

問い はいなら いいえなら
どの作業でも外せないか(秘密・不可逆・権限) 常時に置く 次の問いへ
特定の作業のときだけ要るか 作業時(Claude Code なら skill)に置く 次の問いへ
過去の経緯や判断か 参照(検索できる記録)に置く 次の問いへ
コード・CI・linter から分かるか 書かない 次の問いへ
特定のモデルの弱点を補うためか 理由と見直す時期を書き添える 置き場所を考え直す

最後の問いが一番大事でした。「長い会話で忘れる」「確認のたびに止まる」を補うルールは、モデルが替わると前提ごと古くなります。理由が書いてあれば、消してよいかを後から判断できます。

モデルを替えたときは、次の3つを見直します。

  1. 会話のたびに読む設定の大きさ(wc -c で十分です)
  2. 会話の途中で自動的に差し込んでいるもの
  3. 毎回強制しているレビューや、モデル間の役割分担

この記録が当てはまらないところ

  • 1人の開発環境の記録です。比べる相手を置いた実験ではありません
  • モデルの変化と、私の使い方や作業内容の変化が同じ時期に重なっています。どちらの効果かは分けられていません
  • 数えたのはユーザー単位の設定だけです。プロジェクトごとの規約や skill の一覧は含めていません
  • 軽量なモデルを中心に使う環境では、細かい手順や差し込みが今も効く可能性があります
  • チームで設定を共有する場合は、読む人ごとに前提が違うため、常時に置くべきものが増えるかもしれません

足した設定は、足したときには正しかったはずです。ただ、モデルは数か月で替わり、設定は放っておくと残ります。ルールを1行足すときは、なぜ足したのかも一緒に書いておくと、次のモデルに替えたときに消すかどうかを決めやすくなります。

参考

関連記事

公式資料・研究

1
0
2

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?