本稿は英語のオリジナル https://piszczek.pl/proof-adjusted-autonomy を著者自身が日本語向けに再構成したものです。
自律性とはエージェントが「何をしたか」ではなく、「何を証明できるか」です。
私はこの指標を Proof-Adjusted Autonomy(PAA) と呼んでいます。組織が完了した仕事のうち、AIが人間の介入なしに実行し、かつ独立した、信頼できる、適時な証拠を伴う割合です。
公式
PAA = P(A) × P(C|A) × P(R|A,C) × P(T|A,C,R)
四つの条件付きゲートの積です。独立性を仮定せず、重複カウントもしません。
| ゲート | 意味 |
|---|---|
| A — 自律実行 | 人間の介入なしに完了した |
| C — 完全な証拠 | 意図・変更範囲・実行内容・成果物が揃っている |
| R — 独立検証 | 生成した仕組みとは別の方法で検証された(決定的テスト、別ファミリのモデル、リプレイ、不可逆境界での人間審査)。自分の嬿題に自分で点をつけるのはRではない |
| T — 適時性 | 検証済み結果が意思決定の窓内に間に合った |
「90%のエージェント」は実は61.6%のエージェント
デモで「自律度90%」と謳われるエージェントが、証拠カバレッジ 0.80、独立検証通過率 0.95、期限内完了率 0.90 だった場合:
0.90 × 0.80 × 0.95 × 0.90 = 0.616
マーケティングが報告するのは最初の因子だけです。運用チームが背負うのは四つの積です。
証明債(Proof Debt)
未検証の残りは消えません。在庫として蓄積します:
ProofDebt(t+1) = max(0, ProofDebt(t) + 生成量 − 検証済み量 − 却下量)
これはインシデント、監査、顧客からのクレームが問い合わせるまでP/Lに現れない繰延負債です。
法則:持続可能な自律性は検証能力を超えられない。 安全なスループットは min(生成レート, 検証レート)です。
実務への帰結
- ログから測る。 一定期間の完了タスクについて、四つの比率を順に求めて掛けるだけです。
-
- 検証容量をキャパシティ計画に入れる。 生成側だけ増やしてもPAAは上がりません。
-
- 決定的テストが最安のRです。 LLMによるLLMの採点は、別ファミリのモデルでなければ独立性を満たしません。
-
- デプロイ後の検証はTゲートを落とします。 それは保護策ではなく事後分析です。
不同意なら、あなたの定義を公開してください。この指標は議論されるためにあります。
参考リンク
- 正式な定義とFAQ(英語): https://piszczek.pl/proof-adjusted-autonomy
-
- 仕様・参照実装・ホワイトペーパー: https://github.com/pich/proof-adjusted-autonomy
著者: Michał Piszczek(Archdesk CTO)。オリジナルは https://piszczek.pl にて公開。