📚 連載「AIにとって組織とは何か」第6回 / 全11回
複数のAIエージェントに仕事を分担させるとき、私たちはつい会社の形を真似てしまう。マネージャー役を立て、担当範囲を割り振り、「ここから先は承認が要る」というゲートを置く。だが落ち着いて考えると、その階層の多くは人間の限界——一人が頭に入れられる情報の量、伝達の遅さ、信頼を築くのにかかる時間——への対処として生まれたものだ。AIではその限界が変わる。なら、組織の形そのものを問い直してよいはずだ。
この連載はその問い直しを続けてきた。役割も、チームも、固定された指揮系統も、効率の観点では惰性かもしれない。けれど、いくら問い直しても、最後まで人間の手に残したくなる部材が一つある。「誰が責任を負い、誰が承認するか」という統治だ。効率だけを見れば、それすら自動化して限りなく薄くしたくなる。だが薄くしすぎると、人間は自分が動かしているはずのシステムを読めなくなり、統治の主権を手放してしまう。逆に厚くしすぎれば、AIに人間の組織図をそのまま着せ込む「擬人的負債」を抱える。
そこで本稿の問いはこうなる。人間が読める統治の膜は、ゼロでも全面でもなく、どれくらいの厚みが最適なのか。そしてその最適点は、何が決めるのか。
統治とは、人間が合意して共有地に被せる膜である
ギャレット・ハーディンが1968年に書いた「共有地の悲劇」は、牧草地を例に、各人が合理的に振る舞うほど全体が壊れる構造を描いた。
Freedom in a commons brings ruin to all
共有地における自由は、すべての者に破滅をもたらす——各自が自分の利得だけを最大化すると、共有資源は食い潰される。AIエージェントの群れも同じだ。各エージェントがローカルな目標に最適化して走るほど、全体としては誰も責任を負わない、読めない挙動が積み上がりうる。
ハーディンの解は、技術的な発明ではなかった。彼が唯一推奨する強制は、当事者が合意した上での相互の強制だ。
The only kind of coercion I recommend is mutual coercion, mutually agreed upon by the majority of the people affected
ここが統治の核心である。統治とは外から一方的に課す支配ではなく、影響を受ける者たちが「この線は越えない」と合意して、自分たちの上に被せる膜だ。承認ゲートも、責任者の明示も、この合意された膜の一部材である。だからこそ、人間が読めて、納得できる形で残っていなければ意味がない。
だが膜を被せれば、新しい問題が生まれる。膜を管理する者は、誰が管理するのか。
Quis custodiet ipsos custodes
「監視者自身を、誰が監視するのか」。統治機構それ自体が腐敗しうる、という古い問いだ。AIに承認や監督を任せると、この問いは一段深くなる。検証するAIを検証するのは誰か。ハーディンはこの再帰を、フィードバックで断ち切れと言う。
The great challenge facing us now is to invent the corrective feedbacks that are needed to keep custodians honest
監視者を誠実に保つための是正フィードバックを発明すること——これが今の大きな課題だ、と。統治の膜は被せて終わりではなく、外から正し続ける仕組み(外部検証ループ)とセットでなければ自己腐敗する。本連載が繰り返してきた「外部検証が背骨」という主張は、ここで古典と一致する。
そしてハーディンは、適切な統治の形が状況によって変わることも示していた。
the morality of an act is a function of the state of the system at the time it is performed
ある行為の是非は、それが行われた時点のシステムの状態の関数だ——固定の正解はなく、状況、とりわけ何が懸かっているかに依存する。これは後の計測で「stakes がしきい値を決める」という形で具体的に効いてくる。
構造は通信の写し——だから人間に読める形をあえて残す
なぜ統治の膜は「人間に読める」必要があるのか。メルヴィン・コンウェイが1968年に定式化した法則がヒントになる。システムを設計するどんな組織も、と彼は言う。
will inevitably produce a design whose structure is a copy of the organization's communication structure
その組織のコミュニケーション構造のコピーとなる設計を、不可避的に生み出す——コンウェイの法則だ。裏返せば、設計物の構造を見れば、それを作った組織の通信構造が読める。人間が統治するとは、責任と承認の流れを「人間の通信構造」として設計物に残すことに他ならない。チームや役割や責任者は、効率には惰性でも、可読性には荷重部材——人間が「誰がどこを担い、どこで承認が要るか」を読み取るための写しなのだ。なおコンウェイは組織の固定化も戒めていた。膜は一度被せたら終わりではなく、状況に応じて厚みを変えられることが、効率と可読性の両立には要る。
分散した知識は中央に集まらない——AIネイティブの最適は市場に似る
では、効率だけを追ったときの「AIネイティブな最適構造」とはどんな形か。フリードリヒ・ハイエクが1945年に書いた知識の問題が、その輪郭を与える。
the knowledge of the circumstances of which we must make use never exists in concentrated or integrated form
我々が使うべき状況の知識は、決して集中・統合された形では存在しない——それは個々人が持つ断片として散らばっている、とハイエクは言う。だからこそ、
the ultimate decisions must be left to the people who are familiar with these circumstances
最終的な決定は、その状況に精通した者に委ねるしかない。AIエージェントに置き換えれば、各エージェントが自分の手元の文脈で、オンデマンドに判断する流動的な構造——中央集権的な指揮系統より、市場のように分散した調整のほうが効率はよい、ということになる。
その市場が情報を運ぶやり方も、ハイエクは描いている。
In abbreviated form, by a kind of symbol, only the most essential information is passed on
省略された形で、一種のシンボルによって、本質的な情報だけが伝わる——価格がその典型だ。AIネイティブな最適構造の通信は、このように圧縮され、最小化されている。効率は高い。だが問題はここだ。圧縮されたシンボルの流れは、機械には最適でも、人間には読めない。コンウェイの法則を逆向きに使えば、人間に読めない通信構造からは、人間が統治できない設計物しか出てこない。
ここに中心的な緊張がある。最適性(AIネイティブ)と可読性(人間統治)は、同じ方向を向かない。効率を突き詰めるほど膜は薄く・流動的になり、人間は読めなくなる。可読性を確保するほど膜は厚くなり、効率を削る。
なお、ハイエクはホワイトヘッドを引いてこうも書いている。
Civilization advances by extending the number of important operations which we can perform without thinking about them
文明は、考えずに実行できる重要な操作の数を増やすことで進歩する——と。AIは定型操作を次々と「考えずに済む」側へ送り、組織の多くの部材を溶かしていく。だが統治——何を承認し、何を止めるか——は、その都度考える操作だ。だから組織の大半がAIに溶けても、統治の膜はいちばん最後まで人間の手元に残ろうとする。どこまで残すべきかは、次の計測が決める。
計測——統治の膜に「内点最適」はあるか
ここまでの緊張は、測れる仮説にできる。人間が読める統治膜の厚みを、0から1までの連続値 m とする。m がゼロなら膜なし(純粋にAIネイティブ最適・効率最大だが主権ゼロ)、m が1なら全面的に人間可読な統治で覆う(可読性最大だが効率を大きく削る)。損失は、可読性を欠くことの損失と、効率を削ることの損失の和として定義する。最適な厚み m* は、その和を最小にする点だ。これは乱数を含まない決定論モデル(2026-06-25 検証)で、同じパラメータなら誰が解いても同じ答えになる。
結果はこうだ。既定パラメータのもとで、最適厚みは内点に存在する。
m* ≈ 0.73
つまり最小損失は、膜ゼロでも全面でもなく、部分的な膜のところにある。効率のために薄くしたい力と、主権のために厚くしたい力が釣り合う一点が、内側にあるということだ。直感的な「全部AIに任せる(m=0)」も「全部人間が承認する(m=1)」も、どちらも最適ではない。
では、その一点はどこに決まるのか。鍵は stakes——失敗したときに何が懸かっているか、だ。モデルは stakes をしきい値として扱う。
stakes が 1.11 を下回ると、m* = 0 になる。賭け金が小さい領域では、人間可読な膜を一切持たず、純粋に効率最適でよい。読めなくて困ることのコストが、効率を削るコストに見合わないからだ。
stakes が 22.3 を上回ると、m* = 1 になる。賭け金が大きい領域では、全面的に人間が読める膜で覆うのが最適になる。失敗の損害が大きすぎて、効率より主権を優先すべきだからだ。
その間、1.11 から 22.3 の間では、m* は stakes とともに対数的に厚くなる。賭け金が一桁上がっても、膜は比例して厚くなるのではなく、緩やかに増える。そして監督が効くほど——是正フィードバックが安く正確に効くほど——同じ stakes でも薄い膜で足りる。ハーディンの「監視者を誠実に保つ是正フィードバック」が安くなれば、人間が常時読まなくても主権を保てる、ということだ。
この内点最適には、両側の崖がある。膜が厚すぎれば、AIに人間の組織図を着せ込む擬人的負債——惰性のチーム・形だけの承認・読まれないレポート——が損失として効く。膜が薄すぎれば、主権喪失——人間が自分のシステムを読めず、止められなくなる損失——が効く。m* ≈ 0.73 は、この二つの崖の谷底だ。そして谷底の位置は、stakes が動かす。ハーディンの「行為の是非はシステムの状態の関数」が、ここで「最適な膜厚は stakes の関数」という具体形になっている。
実務的な含意は、こう言える。AIに任せる組織を設計するとき、「人間の承認をどこに残すか」は美学や安心感で決める問題ではない。賭け金の大きさと、是正フィードバックの効きやすさで決まる、測れる設計変数だ。低 stakes なら膜を薄く、あるいはゼロにしてAIネイティブの効率を取り、高 stakes なら膜を厚くして可読性を取る。そして大半の現場は、その両極ではなく、内点——部分的な膜——のどこかにいる。
References
[1] https://www.garretthardinsociety.org/articles/art_tragedy_of_the_commons.html
[2] https://www.melconway.com/Home/Committees_Paper.html
[3] https://www.econlib.org/library/Essays/hykKnw.html
連載「AIにとって組織とは何か」の前後
- ← 第5回: 管理は消えない、変質する
- → 第7回: 競争は安全を薄くする(公開予定)