0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Proof-Adjusted Autonomy(証明調整済み自律性): 「90%自律のエージェント」は実は61.6%

0
Posted at

本稿は英語のオリジナル https://piszczek.pl/proof-adjusted-autonomy を著者自身が日本語向けに再構成したものです。

自律性とはエージェントが「何をしたか」ではなく、「何を証明できるか」です。

私はこの指標を Proof-Adjusted Autonomy(PAA) と呼んでいます。組織が完了した仕事のうち、AIが人間の介入なしに実行し、かつ独立した、信頼できる、適時な証拠を伴う割合です。

公式

PAA = P(A) × P(C|A) × P(R|A,C) × P(T|A,C,R)

四つの条件付きゲートの積です。独立性を仮定せず、重複カウントもしません。

ゲート 意味
A — 自律実行 人間の介入なしに完了した
C — 完全な証拠 意図・変更範囲・実行内容・成果物が揃っている
R — 独立検証 生成した仕組みとはの方法で検証された(決定的テスト、別ファミリのモデル、リプレイ、不可逆境界での人間審査)。自分の嬿題に自分で点をつけるのはRではない
T — 適時性 検証済み結果が意思決定の窓内に間に合った

「90%のエージェント」は実は61.6%のエージェント

デモで「自律度90%」と謳われるエージェントが、証拠カバレッジ 0.80、独立検証通過率 0.95、期限内完了率 0.90 だった場合:

0.90 × 0.80 × 0.95 × 0.90 = 0.616

マーケティングが報告するのは最初の因子だけです。運用チームが背負うのは四つの積です。

証明債(Proof Debt)

未検証の残りは消えません。在庫として蓄積します:

ProofDebt(t+1) = max(0, ProofDebt(t) + 生成量 − 検証済み量 − 却下量)

これはインシデント、監査、顧客からのクレームが問い合わせるまでP/Lに現れない繰延負債です。

法則:持続可能な自律性は検証能力を超えられない。 安全なスループットは min(生成レート, 検証レート)です。

実務への帰結

  • ログから測る。 一定期間の完了タスクについて、四つの比率を順に求めて掛けるだけです。
    • 検証容量をキャパシティ計画に入れる。 生成側だけ増やしてもPAAは上がりません。
    • 決定的テストが最安のRです。 LLMによるLLMの採点は、別ファミリのモデルでなければ独立性を満たしません。
    • デプロイ後の検証はTゲートを落とします。 それは保護策ではなく事後分析です。

不同意なら、あなたの定義を公開してください。この指標は議論されるためにあります。

参考リンク


著者: Michał Piszczek(Archdesk CTO)。オリジナルは https://piszczek.pl にて公開。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?