1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

監視者を誰が監視するのか — AIに任せる組織で人間が読む「統治の膜」の最適な厚み

1
Posted at

📚 連載「AIにとって組織とは何か」第6回 / 全11回

複数のAIエージェントに仕事を分担させるとき、私たちはつい会社の形を真似てしまう。マネージャー役を立て、担当範囲を割り振り、「ここから先は承認が要る」というゲートを置く。だが落ち着いて考えると、その階層の多くは人間の限界——一人が頭に入れられる情報の量、伝達の遅さ、信頼を築くのにかかる時間——への対処として生まれたものだ。AIではその限界が変わる。なら、組織の形そのものを問い直してよいはずだ。

この連載はその問い直しを続けてきた。役割も、チームも、固定された指揮系統も、効率の観点では惰性かもしれない。けれど、いくら問い直しても、最後まで人間の手に残したくなる部材が一つある。「誰が責任を負い、誰が承認するか」という統治だ。効率だけを見れば、それすら自動化して限りなく薄くしたくなる。だが薄くしすぎると、人間は自分が動かしているはずのシステムを読めなくなり、統治の主権を手放してしまう。逆に厚くしすぎれば、AIに人間の組織図をそのまま着せ込む「擬人的負債」を抱える。

そこで本稿の問いはこうなる。人間が読める統治の膜は、ゼロでも全面でもなく、どれくらいの厚みが最適なのか。そしてその最適点は、何が決めるのか。

統治とは、人間が合意して共有地に被せる膜である

ギャレット・ハーディンが1968年に書いた「共有地の悲劇」は、牧草地を例に、各人が合理的に振る舞うほど全体が壊れる構造を描いた。

Freedom in a commons brings ruin to all

共有地における自由は、すべての者に破滅をもたらす——各自が自分の利得だけを最大化すると、共有資源は食い潰される。AIエージェントの群れも同じだ。各エージェントがローカルな目標に最適化して走るほど、全体としては誰も責任を負わない、読めない挙動が積み上がりうる。

ハーディンの解は、技術的な発明ではなかった。彼が唯一推奨する強制は、当事者が合意した上での相互の強制だ。

The only kind of coercion I recommend is mutual coercion, mutually agreed upon by the majority of the people affected

ここが統治の核心である。統治とは外から一方的に課す支配ではなく、影響を受ける者たちが「この線は越えない」と合意して、自分たちの上に被せる膜だ。承認ゲートも、責任者の明示も、この合意された膜の一部材である。だからこそ、人間が読めて、納得できる形で残っていなければ意味がない。

だが膜を被せれば、新しい問題が生まれる。膜を管理する者は、誰が管理するのか。

Quis custodiet ipsos custodes

「監視者自身を、誰が監視するのか」。統治機構それ自体が腐敗しうる、という古い問いだ。AIに承認や監督を任せると、この問いは一段深くなる。検証するAIを検証するのは誰か。ハーディンはこの再帰を、フィードバックで断ち切れと言う。

The great challenge facing us now is to invent the corrective feedbacks that are needed to keep custodians honest

監視者を誠実に保つための是正フィードバックを発明すること——これが今の大きな課題だ、と。統治の膜は被せて終わりではなく、外から正し続ける仕組み(外部検証ループ)とセットでなければ自己腐敗する。本連載が繰り返してきた「外部検証が背骨」という主張は、ここで古典と一致する。

そしてハーディンは、適切な統治の形が状況によって変わることも示していた。

the morality of an act is a function of the state of the system at the time it is performed

ある行為の是非は、それが行われた時点のシステムの状態の関数だ——固定の正解はなく、状況、とりわけ何が懸かっているかに依存する。これは後の計測で「stakes がしきい値を決める」という形で具体的に効いてくる。

構造は通信の写し——だから人間に読める形をあえて残す

なぜ統治の膜は「人間に読める」必要があるのか。メルヴィン・コンウェイが1968年に定式化した法則がヒントになる。システムを設計するどんな組織も、と彼は言う。

will inevitably produce a design whose structure is a copy of the organization's communication structure

その組織のコミュニケーション構造のコピーとなる設計を、不可避的に生み出す——コンウェイの法則だ。裏返せば、設計物の構造を見れば、それを作った組織の通信構造が読める。人間が統治するとは、責任と承認の流れを「人間の通信構造」として設計物に残すことに他ならない。チームや役割や責任者は、効率には惰性でも、可読性には荷重部材——人間が「誰がどこを担い、どこで承認が要るか」を読み取るための写しなのだ。なおコンウェイは組織の固定化も戒めていた。膜は一度被せたら終わりではなく、状況に応じて厚みを変えられることが、効率と可読性の両立には要る。

分散した知識は中央に集まらない——AIネイティブの最適は市場に似る

では、効率だけを追ったときの「AIネイティブな最適構造」とはどんな形か。フリードリヒ・ハイエクが1945年に書いた知識の問題が、その輪郭を与える。

the knowledge of the circumstances of which we must make use never exists in concentrated or integrated form

我々が使うべき状況の知識は、決して集中・統合された形では存在しない——それは個々人が持つ断片として散らばっている、とハイエクは言う。だからこそ、

the ultimate decisions must be left to the people who are familiar with these circumstances

最終的な決定は、その状況に精通した者に委ねるしかない。AIエージェントに置き換えれば、各エージェントが自分の手元の文脈で、オンデマンドに判断する流動的な構造——中央集権的な指揮系統より、市場のように分散した調整のほうが効率はよい、ということになる。

その市場が情報を運ぶやり方も、ハイエクは描いている。

In abbreviated form, by a kind of symbol, only the most essential information is passed on

省略された形で、一種のシンボルによって、本質的な情報だけが伝わる——価格がその典型だ。AIネイティブな最適構造の通信は、このように圧縮され、最小化されている。効率は高い。だが問題はここだ。圧縮されたシンボルの流れは、機械には最適でも、人間には読めない。コンウェイの法則を逆向きに使えば、人間に読めない通信構造からは、人間が統治できない設計物しか出てこない。

ここに中心的な緊張がある。最適性(AIネイティブ)と可読性(人間統治)は、同じ方向を向かない。効率を突き詰めるほど膜は薄く・流動的になり、人間は読めなくなる。可読性を確保するほど膜は厚くなり、効率を削る。

なお、ハイエクはホワイトヘッドを引いてこうも書いている。

Civilization advances by extending the number of important operations which we can perform without thinking about them

文明は、考えずに実行できる重要な操作の数を増やすことで進歩する——と。AIは定型操作を次々と「考えずに済む」側へ送り、組織の多くの部材を溶かしていく。だが統治——何を承認し、何を止めるか——は、その都度考える操作だ。だから組織の大半がAIに溶けても、統治の膜はいちばん最後まで人間の手元に残ろうとする。どこまで残すべきかは、次の計測が決める。

計測——統治の膜に「内点最適」はあるか

ここまでの緊張は、測れる仮説にできる。人間が読める統治膜の厚みを、0から1までの連続値 m とする。m がゼロなら膜なし(純粋にAIネイティブ最適・効率最大だが主権ゼロ)、m が1なら全面的に人間可読な統治で覆う(可読性最大だが効率を大きく削る)。損失は、可読性を欠くことの損失と、効率を削ることの損失の和として定義する。最適な厚み m* は、その和を最小にする点だ。これは乱数を含まない決定論モデル(2026-06-25 検証)で、同じパラメータなら誰が解いても同じ答えになる。

結果はこうだ。既定パラメータのもとで、最適厚みは内点に存在する。

m* ≈ 0.73

つまり最小損失は、膜ゼロでも全面でもなく、部分的な膜のところにある。効率のために薄くしたい力と、主権のために厚くしたい力が釣り合う一点が、内側にあるということだ。直感的な「全部AIに任せる(m=0)」も「全部人間が承認する(m=1)」も、どちらも最適ではない。

では、その一点はどこに決まるのか。鍵は stakes——失敗したときに何が懸かっているか、だ。モデルは stakes をしきい値として扱う。

stakes が 1.11 を下回ると、m* = 0 になる。賭け金が小さい領域では、人間可読な膜を一切持たず、純粋に効率最適でよい。読めなくて困ることのコストが、効率を削るコストに見合わないからだ。

stakes が 22.3 を上回ると、m* = 1 になる。賭け金が大きい領域では、全面的に人間が読める膜で覆うのが最適になる。失敗の損害が大きすぎて、効率より主権を優先すべきだからだ。

その間、1.11 から 22.3 の間では、m* は stakes とともに対数的に厚くなる。賭け金が一桁上がっても、膜は比例して厚くなるのではなく、緩やかに増える。そして監督が効くほど——是正フィードバックが安く正確に効くほど——同じ stakes でも薄い膜で足りる。ハーディンの「監視者を誠実に保つ是正フィードバック」が安くなれば、人間が常時読まなくても主権を保てる、ということだ。

この内点最適には、両側の崖がある。膜が厚すぎれば、AIに人間の組織図を着せ込む擬人的負債——惰性のチーム・形だけの承認・読まれないレポート——が損失として効く。膜が薄すぎれば、主権喪失——人間が自分のシステムを読めず、止められなくなる損失——が効く。m* ≈ 0.73 は、この二つの崖の谷底だ。そして谷底の位置は、stakes が動かす。ハーディンの「行為の是非はシステムの状態の関数」が、ここで「最適な膜厚は stakes の関数」という具体形になっている。

実務的な含意は、こう言える。AIに任せる組織を設計するとき、「人間の承認をどこに残すか」は美学や安心感で決める問題ではない。賭け金の大きさと、是正フィードバックの効きやすさで決まる、測れる設計変数だ。低 stakes なら膜を薄く、あるいはゼロにしてAIネイティブの効率を取り、高 stakes なら膜を厚くして可読性を取る。そして大半の現場は、その両極ではなく、内点——部分的な膜——のどこかにいる。

References

[1] https://www.garretthardinsociety.org/articles/art_tragedy_of_the_commons.html

[2] https://www.melconway.com/Home/Committees_Paper.html

[3] https://www.econlib.org/library/Essays/hykKnw.html

連載「AIにとって組織とは何か」の前後

1
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?