TL;DR
- 自宅のミニPCで動かしている「AIエージェントの会社」（前回の記事）を運用して分かった、いちばん大事なことの話です。
- AIに任せると、賢さとは別に 2つの問題が出ます：① セッションをまたぐと"忘れる" ② 自信満々で間違う・走りすぎる（"暴走"）。
- どちらも「気をつける」では防げません。仕組みで担保します。
- 忘れる → 記憶を"仕組み"で外部化（永続メモリ／失敗をルール化）。暴走 → "勝手に完了させない"（自動テストのQAゲート＋人間の承認）。
- 根っこは、@tehito さんの記事 で出会った 「会話を育てるな、仕組みを育てろ」 に尽きます。
前回のおさらい
前回、自宅のミニPCで「AIエージェントの会社」を月3,400円で動かしている構成を紹介しました。秘書役のAIが依頼を受け、専門エージェント（資料作成・調査・各種の定型処理…）へ振り分けて動く、という体制です。
"作る"より "回す"フェーズになって、いちばん効いてきたのが今回の話です。
核心：AIに任せるほど、"会話"より"仕組み"を育てる
AIは賢い。でも、賢さに任せるだけでは事故ります。任せる範囲が広がると、つまずくポイントそのものが変わるからです。
| 時期 | つまずくポイント（何がうまくいかないか） |
|---|---|
| 作り始め | そもそもAIがそのタスクをこなせるか（できる／できない） |
| 運用が進む | AIが毎回、正しく・暴走せず動くか（安定して任せられるか） |
後者は「賢さ」では解決しません。ここで発想の転換が要ります。
💡 この 「会話を育てるな、仕組みを育てろ」 という言葉は、@tehito さんの「正直に言う。お前のClaude Codeの使い方は間違っている」 で出会い、強く共感した表現です。自分の運用でも同じことを痛感しました。
| 会話を育てる（もろい） | 仕組みを育てる（積み上がる） | |
|---|---|---|
| 価値が貯まる場所 | その会話（セッション）の中 | 消えないファイル・エージェント・手順 |
| 性質 | 揮発する（終われば消える／毎回説明し直し） | 蓄積する（一度入れれば以後ずっと効く） |
| 失敗したとき | また同じ会話をやり直す | 失敗が"仕組み"を1つ増やす＝資産になる |
AIに任せると具体的に出る問題は、大きく2つ——「忘れる」と「暴走する」。どちらも"仕組み"で抑えます。順に書きます。
問題①：AIは「忘れる」— 記憶を仕組みで外部化
AIは、セッションをまたぐと文脈を忘れます。昨日「こうして」と伝えたことは、今日の会話には引き継がれません。かといって、人間側が毎回すべての前提を説明し直すのも続きません。"覚えていれば正しい"は、"いつか漏れる"と同義です。
実話：スキル追加の"手順"を、AIがたびたび忘れた
このAI会社では、新しいスキル（機能）を追加するたびに、"お決まりの手順"がありました。
- ルーティングに登録する／エージェント用フォルダを作る
- 一覧表・説明ノートなどのドキュメントを更新する
- 常駐プロセスを再起動して反映する
——この手順を、AI（Claude Code）はたびたび忘れました。 「登録は？」「ドキュメント更新は？」と、人間が毎回チェックする羽目に。まさに"記憶頼み"です。
そこで、この一連を 1つのコマンドにまとめています。
# これ1回で「登録＋フォルダ作成＋ドキュメント更新＋反映」まで全部やる
python register_skill.py --agent 新機能 --skill 新スキル --keywords "業務キーワード"
- Before：手順を"覚えていれば"正しく登録される（＝記憶頼み・たまに漏れる）
- After：コマンドを叩けば必ず全部揃う（＝仕組み・漏れる余地がない）
「気をつけて手順を守る」から、「手順そのものを仕組みにして、"守る必要"をなくす」 へ。
記憶を仕組みにする2つの型
-
永続メモリ：AIの揮発する記憶を、
MEMORY.md／memory/*.mdに外部化し、セッション開始時に必ず読み込ませる。1ファイル＝1つの事実、の粒度で書く。 - 失敗をルール化：訂正・気づきはその場で終わらせず、上のメモリに"手順"として保存する。コードで言えばバグ修正にテストを足すのと同じ。ポイントは、その場かぎりの"訂正"で終わらせず、次も効く"ルール"に変えること。「気をつける」ではなく「手順にする」。
問題②：AIは「暴走する」— 勝手に完了させない
もう一つの問題は、AIが**「それらしく間違ったもの」を自信満々で出すこと、そして良かれと思って、頼んだ範囲を超えて勝手に手を広げる**ことです。
正直に書きます。私は一度、AIエージェントにSNS投稿まで自動化させて、アカウントを凍結させました。コードは正しく動いた。むしろ動きすぎて連投した。これが「暴走」です。悪意もバグも要らない。抜けていたのは、**「そもそもこの操作を最後まで自動化してよかったのか」という"走らせる前の線引き"**でした。
教訓はシンプルです。
取り消せない操作・人に見せる成果物は、AIが「できました」と言った時点では完了ではない。
そこで私のAI会社では、エージェントの「done（完了）」はまだ完了ではなく"提出"、という設計にしています。完了の手前に、暴走を止める2つのゲートを置いています。
全体像：依頼から完成までの流れ
※ この図は @enomoso_pm さんの drawio-diagram-skills（MIT License） を利用して作成しました。
ポイントは ④の品質チェック と ⑥の人間の承認 の2箇所です。
- ①〜③：社長が依頼 → AI秘書が担当を判断 → 専門エージェントが成果物を作成
- ④ 品質チェック（QAゲート）：成果物を自動テスト。落ちたら③へやり直し
- ⑤：合格した成果物だけを整理して保存
- ⑥ 人間の承認：私が中身を確認してOKを出す（ここは飛ばせない）
- ⑦：承認されたものだけを記録として残す
ゲート①：QA（成果物を自動テストする）
成果物が出たら、まず機械が中身を実際に開いて検証します。Excelなら開いて壊れていないか、スライドなら生成が成功しているか、スクリプトなら構文が通るか。
落ちたら人間には見せず、エラーをエージェントに戻して自動でやり直させます（無限ループ防止に回数上限つき）。狙いは、「それらしく間違ったもの」を私の目に届く前に止めること。機械で弾けるものは機械で弾く。
ゲート②：人間の承認（ここは自動化しない）
QAを通っても完了ではありません。最後は私が中身を見て承認します。そして、記録として確定させる操作（＝コミット）は、承認の後にしか実行されません。これを"鉄則"として固定しています。
なぜここを自動化しないか。冒頭の凍結と同じで、取り消せない一線は人間が引くべきだから。品質チェックがどれだけ優秀でも、「これを世に出していいか」の最終判断だけは手放しません。
ゲート③：アクションを"リスク3層"で線引きする
QAも承認も、**成果物ができた"後"**のゲートです。でも凍結事故で抜けていたのは、「そもそもこの操作を自動で最後まで走らせてよかったのか」という "アクションを実行する前"の線引きでした。
そこで @joinclass さんの記事 の、操作を「読むだけ／対外アクション／内部操作」の3段階に分ける考え方を借りて、エージェントの操作をリスクの高さで分類しています。
| 階層 | 意味 | 例 | ゲート |
|---|---|---|---|
| L0 | 読む・調べる・下書きだけ | 調査・解析・分析 | 自動 |
| L1 | 対外・不可逆 | 支払い・予約・投稿・送信・削除 | 実行の"前"に人間承認 |
| L2 | ローカル成果物の生成 | 資料作成・分類・整理 | QA合格で自動 |
肝は L1（取り消せない操作）だけは、成果物単位のゲートより手前＝"アクションを走らせる前"で人間が止めること。私の環境では、この階層を設定ファイル（レジストリ）に1フィールド書くだけで、新しいエージェントを足しても自動で正しいゲートに乗るようにしています。凍結の教訓（走らせる前の線引き）を、根性論でなく仕組みに落とし込んだ形です。
得られたもの
- 壊れた成果物が目に届く回数が激減（QAが弾く）
- それでいて、大事な最終判断は自分の手に残った（承認ゲート）
- AIには思い切り働かせつつ、事故る一線は越えさせないバランスが取れた
補足：仕組みが回っているかを"1画面"で見る
ここまでの状態（チケットの流れ・QAの合否・使用量・裏方の指摘）は、放っておくとログやファイルに散らばります。そこで、状態を1画面にまとめた読み取り専用のダッシュボードを用意しました。
- 使用量：Claude と ローカルLLM の使い分け（＝どれだけローカルで無料処理できているか＝コスト）
- チケット：未処理・承認待ち・完了の件数と、各タスクのリスク階層
- 裏方の指摘：監査・鮮度点検・分析の最新結果
「忘れない・暴走させない」仕組みは、"ちゃんと回っているか"を見えるようにして初めて、安心して任せられる——というのが運用しての実感です。
ぜんぶ"定石"に当てはまる
「忘れる」対策も「暴走」対策も、その場の思いつきではなく、AIエージェント設計でよく語られる"定石"を自分の環境に落とし込んだものです。
| やっていること | 私の環境での実装 | 主にどっちの問題に効く |
|---|---|---|
| ルールを明文化する | CLAUDE.md（行動指針）＋ QA品質ゲート | 暴走 |
| 操作をリスクで3段階に分ける | 読むだけ／対外／内部 に分類・対外は実行前承認 | 暴走 |
| よく使う手順をコマンドにする | 15以上のスキル群（＋登録の1コマンド化） | 両方 |
| 仕事を役割分担して振り分ける | 難易度でAIモデルを使い分け＋秘書→各担当へ委譲 | 暴走 |
| 記憶をファイルに残す | MEMORY.md ＋ 自動メモリ ＋ 会話の記録化 | 忘れる |
| 裏方の見張り役を分けて置く | 監査・鮮度点検・整理・分析の裏方エージェント | 両方 |
| 自動で動く見張りを常駐させる | 失敗の自動やり直し・取りこぼし拾い・定期実行 | 両方 |
この7つが噛み合って初めて、「AIに思い切り任せても事故らない」状態になります。どれか一つでは足りず、ルール・手順・振り分け・記憶・裏方・自動見張りが揃って"会社"になる、というのが今の実感です。
そして7つに共通する目的は一つ。「頼んだ範囲を超えて勝手に手を広げる／すぐ忘れる」AIに、別々の角度から手綱をつけること。 全部、記憶と注意力という"揮発するもの"に頼らないための仕掛けです。
正直な限界
「これで100%事故らない・漏らさない」とは言いません。仕組みにも穴はあります。
ただ、仕組み化すると、同じ種類の失敗は"構造的に"起きにくくなります。 ゼロにはならないけれど、再発率は体感で桁が変わります。そして良いことに、失敗するたびに"仕組み"が1つ増える——そう考えると、失敗も資産になります。
まとめ
- AIに任せると出る問題は2つ：忘れる（記憶頼み）と暴走する（自信満々で間違う・走りすぎる）
- どちらも「賢さ・気をつける」では解決しない。仕組みで担保する
- 忘れる → 永続メモリ＋失敗のルール化（記憶を外部化）
- 暴走 → QAゲート＋人間の承認（勝手に完了させない）
- AIの「できました」は完了ではなく提出。取り消せない一線は人間が握る
- 合言葉は 「会話を育てるな、仕組みを育てろ」（＝記憶・注意力に頼らず、仕組みに残す）
- 失敗するたびに"仕組み"が1つ増える、と考えれば、失敗も資産になる
AIを止めたいのではありません。思い切り働かせたいからこそ、忘れさせず、暴走させない仕組みを育てる。 その線引きが、AIと一緒に仕事をするうえでいちばん大事だと思っています。
質問・ツッコミ歓迎です。「うちはこう仕組み化している／こう弾いている」があれば、ぜひ教えてください。