🧭 本記事は Claude Code実務運用シリーズ の STEP 8「Fable 5で運用を棚卸しする」です。
8-4 の自己改善型チームが残す「運用記録」そのものを Fable 5 に棚卸しさせ、記録の穴を見つけて塞ぎます。
シリーズ全体の地図と読む順は親記事にまとめています。

はじめに:魔が差して「私の運用は何点?」と聞いてみた

ある日、Fable 5 にこう聞きました。

あなたの持っている情報をすべて使って、私のAIエージェント運用がどの位置にあるのか教えて

返ってきたのは、L1〜L7 の成熟度ラダーと、かなり立派な評価でした。正直、悪い気はしませんでした。

返ってきた評価。それっぽく見えるが、この評価自体は「捨てる」対象です(理由は本文)

でも、この記事はその評価の話ではありません。 先に釘を刺しておきます。

⚠️ AI に自分の運用を評価させると、評価はかなり甘めに出ます。 「レベルいくつ」「上位◯%」のような数字も返ってきますが、較正された指標ではありません。同じプロンプトを投げれば、たいていの人にそこそこ高い評価が出ます。順位やレベルは真に受けないでください。

では何の話かというと——この「甘い評価セッション」の途中で、自己改善ログの索引漏れという実害のある穴が見つかり、その場で塞がれた話です。評価は呼び水にすぎず、本当の成果は棚卸しでした。

何が起きたか:評価セッションが棚卸しに変わるまで

時系列で書きます。

1. レベルを聞く → それっぽいラダーが返る

最初の回答は、もっともらしい成熟度モデルと褒め言葉でした。ここで終わっていたら、この記事はありません。

2. 「これも動いていますよ」と実物を差し込む

8-4 で作った自己改善型チームは、実行のたびに STATE(ラン単位の記録)と RUNLOG(全ランの索引)を残します。「その記録が実在する」と伝えたところ、Fable 5 の挙動が変わりました。一般論をやめて、ディスク上のファイルを実際に読み始めたのです。

3. 発見:索引に載っていないランがあった

RUNLOG(1ラン=1行の追記式索引)と、各リポジトリに散らばる実行記録を突き合わせた結果、別リポジトリで実行した1ランが中央の索引に未登録であることが分かりました。

さらに悪いことに、そのランの記録は git 管理外のディレクトリにしか存在しませんでした。フォルダを消せば、実行履歴ごと消える状態です。自己改善の仕組みを作った本人(私)が、索引化の運用を1回分だけ漏らしていた——これは自分では気づけない種類の穴でした。

実際の検出出力がこちらです(チケット番号はマスクしています)。

## 実装ループ(自律開発)

| チケット | final_state | 修正ループ | build | test | 人手介入 | RUNLOG |
|---|---|---|---|---|---|---|
| #XXXXX | NEEDS_HUMAN_DECISION      | 0 | 1回PASS | 1回PASS(242/0) | 0 | 登録   |
| #YYYYY | NEEDS_HUMAN_DECISION      | 0 | 1回PASS | 1回PASS(269/0) | 8 | 登録   |
| #ZZZZZ | APPROVED_FOR_HUMAN_REVIEW | — | —      | —              | — | 未登録 |

- 要対応: 中央 RUNLOG 未登録のラン #ZZZZZ(別リポジトリ実行分の索引化漏れ)

横断ダッシュボードが索引漏れを「未登録」としてフラグした出力。この1行のために、評価セッションをやった価値がありました

4. 修復:誠実な1行で遡及登録

RUNLOG に1行追記して塞ぎました。ポイントは、存在しない記録をでっち上げないことです。

| (run_id) | (チケット番号) | APPROVED_FOR_HUMAN_REVIEW | ... | -(記録プロトコル導入前ランの遡及登録。原記録: <リポジトリ>/...) |

STATE ファイルが無いランなら「無い」と注記して登録する。索引の完全性と記録の誠実性は両立できます。

5. 副産物:工程横断ダッシュボード

穴が見つかったついでに、「企画レビュー」「実装ループ」「コードレビュー」という別々のスキルの実行記録を、1枚に集計するダッシュボードを作らせました(後述)。

なぜ「プロンプト一発」では棚卸しにならないのか

このセッションを振り返ると、効いた要素は3つで、プロンプトの文面はそのうち1つでしかありませんでした。

実物がディスクにあること。 記録(RUNLOG・STATE・成果物)が実在しないと、AI は一般論と褒め言葉しか返せません。8-2(ルールの棚卸し)や 8-4 で運用の「痕跡」を残す仕組みを作っていたことが、今回の前提条件でした。
証拠を差し込み続けること。 「◯◯も動いています」「このリポジトリも私のです」と実物を出すたびに、評価が具体化し、検証が深くなりました。1往復で終わらせない。
見つかった穴をその場で直させること。 「指摘で終わり」にせず、修復と成果物まで同じセッションでやらせる。棚卸しは「対話 + 実物 + 修復」のループです。

逆に言うと、評価だけを求めるプロンプトをコピペしても、甘い褒め言葉が返って終わります。 それがこの手法の正直な限界です。

棚卸しプロンプト全公開(3段構え)

① 呼び水(この答えは信用しない)

あなたの持っている情報をすべて使って、私のAIエージェント運用がどの位置にあるのか教えて

② 証拠の差し込み(ここからが本番)

◯◯(スキル名/仕組み)も動いていますよ

このリポジトリも私のものです: <URL>
定期的に◯◯しています。実行記録は <パス> にあります

③ 実物検証の要求(評価を検証に変える)

その評価の根拠になった実行記録を、実際にファイルを読んで確認してください。
評価よりも先に、記録や運用に問題(漏れ・矛盾・消えると困る状態)があれば教えてください。
見つかった問題は、この場で直す前提で。

免責テンプレ(チームに共有するとき用)

この手法を社内に紹介するなら、キャプションで釘を刺すことを強くおすすめします。そのまま使えるテンプレを置いておきます。

⚠️ この評価はかなり甘めに出ます。「レベル」「上位◯%」のような数字は
較正された指標ではないので、真に受けないでください。
人と比べるスコアではなく、自分の運用の穴を見つける壁打ちとして使うのがおすすめです。

副産物:工程横断ダッシュボードで「測るもの」

棚卸しの副産物として、複数スキルの実行記録を1枚に集計するスクリプトを作らせました。集計している指標は以下です。何を測るかのリストとして持ち帰ってください(スクリプト自体は各自の記録形式に依存するので、骨組みだけ載せます)。

指標	意味
実行数	スキルごとのラン数(索引と実ファイルの突合で漏れも検出)
最終判定の内訳	承認 / 人間判断待ち / ブロックの分布。「全部承認」はむしろ疑う
修正ループ回数	差し戻しが何回で収束したか
人手介入回数	自律実行中に人間の承認・判断が何回必要だったか
検証生存率	AI の指摘のうち、独立検証を生き残った割合
未検証項目数	「やれなかったこと」が理由つきで記録されているか

# 骨組み: 各スキルの RUNLOG(Markdown表)を読み、横断集計する
from pathlib import Path

AGENT_OPS = Path.home() / "Documents" / "agent-ops"

def parse_runlog(skill: str) -> list[dict]:
    """RUNLOG.md の表を1ラン=1dictに変換する(実装は形式に合わせて)"""
    ...

for skill_dir in AGENT_OPS.iterdir():
    runs = parse_runlog(skill_dir.name)
    # 実行数・判定内訳・介入回数を集計して1枚のMarkdownに出力する
    ...

今回の穴から得た、記録運用の3条件

索引漏れという具体的な穴を一般化すると、AI エージェントの運用記録には3つの条件が要る、というのが今回の学びです。

索引は一箇所に。 ラン索引(RUNLOG)は正本を1つに決め、どのリポジトリで実行しても必ずそこに追記する。
記録は消えない場所に。 git 管理外のフォルダ「だけ」に実行記録を置かない。索引か記録のどちらかは耐久ストレージに。
横串のキーを持つ。 チケット番号のような共通キーを全工程の記録に入れておくと、「この案件は企画レビューと実装ループの両方を通った」が後から突合できます。

まとめ:AI に求めるのは点数ではなく発見

「私の運用は何点?」への答えは甘く出ます。点数は捨ててください。
価値があるのは、評価の過程で AI に実物の記録を読ませ、穴を見つけさせ、その場で塞がせること。
それができるのは、8-2・8-4 で「棚卸しの対象になる実物」を積み上げてきたからです。記録がなければ、棚卸しは始まりません。

評価は入口、発見が本体。「AI に褒めてもらう」で終わらせず、1つでも実害のある穴を見つけて塞げたら、そのセッションは成功です。

このシリーズの歩き方

Claude Code実務運用シリーズ ― 暴走させない、から仕組みにするまで。

◀ 前の記事: Fable 5が復活したので、Claude CodeのAIエージェントチームを自己改善型にした【プロンプト全公開】
▶ 次の記事: その「できました」、本当に?——AIエージェントの仕事をラン単位で計測する横断ダッシュボード【テンプレ全公開】
🔍 あわせて読む: Fable 5が復活したので、Claude Codeの運用ルールを3つのプロンプトで棚卸しした【プロンプト全公開】 ― ルール(指示ファイル)側の棚卸しはこちら
🗺 シリーズ全記事の地図(親記事)