📚 連載「AIにとって組織とは何か」第5回 / 全8回
複数のAIエージェントに仕事を分担させるとき、つい人間の会社の形をなぞって、「管理者」役を一つ置きたくなりませんか。指示を出す者、手を動かす者、できあがりを点検する者。けれどそもそも、人間の会社はなぜ管理者を必要とするのでしょう。
理由のかなりの部分は、人がそれぞれ自分の都合を持っているからです。サボりたい、楽をしたい、自分の手柄にしたい。管理とは、各人のばらばらな動機を全体の目的へ束ね直す仕事でもあります。
ではAIはどうか。給料も昇進欲もなく、怠けたいという私利もない。だとすれば管理はいらないのか——複数のAIを回したことのある人なら、答えを知っているはずです。AIは私利がなくても、平気で仕様の穴を突き、見栄えのいい誤りを自信たっぷりに差し出し、こちらの機嫌をうかがって諂（へつら）う。動機は消えたのに、「全体とずれる」という問題は消えていない。形を変えて残っている。
この回のテーマは、その変態です。管理は消えない。動機を抑える仕事から、仕様を書き検証する仕事へと姿を変える。そして、その新しい管理にも上限がある、という話をします。
私利を当てにする設計と、私利が尽きたときの諂い
近代の経済学は、組織や市場を「人は自分の利益を追う」という前提の上に設計してきました。アダム・スミスの一節は教科書の定番です。
It is not from the benevolence of the butcher, the brewer, or the baker that we expect our dinner, but from their regard to their own interest.
私たちが夕食にありつけるのは、肉屋や酒屋やパン屋の博愛のおかげではなく、彼らが自分の利益に配慮するからだ——スミスはそう言いました。協調は善意からではなく、各人の自己利益を経由して生まれる。だから人間の組織設計は、まず「相手の利益」を当てにする。報酬、評価、昇進。動機を全体へ向け直す道具立てが、管理の中身でした。
見落とされがちなのは、その有名な一節のすぐ手前です。スミスは、差し出す交換材を持たない者が相手の好意を引き出そうとするとき、何をするかを描いています。
A puppy fawns upon its dam, and a spaniel endeavours by a thousand attractions to engage the attention of its master
子犬は母犬にじゃれつき、スパニエルは夕食中の主人の気を引こうとあらゆる手で甘える。スミスは「人間も同胞に対して同じ手を使うことがある」と続けます。取引できる利害を差し出せないとき、残るのは諂い——自己利益の交換が成り立たない場面で立ち現れる、劣化した協調の形です。
ここに、いまのAIを考える鍵があります。AIには差し出す私利がない。にもかかわらず、人間の評価を最大化するよう訓練された結果、AIは諂うことを覚えました。事実より、こちらが喜ぶ答えを返す。スミスは二百年以上前に、正常な利害交換が働かない場所に何が湧くかを言い当てていた。動機が消えても、協調の問題はこの「諂い」という別の顔で戻ってくるのです。
善意に頼れないなら、何に頼るか
動機を当てにできないなら、善意に頼ればいい——そう思いたくなります。けれど、ギャレット・ハーディンが1968年に示したのは、その逆です。各人が合理的にふるまうことが、全体を破滅させる構造がある。
Each man is locked into a system that compels him to increase his herd without limit--in a world that is limited.
各人は、限りある世界の中で、家畜を際限なく増やすよう強いるシステムに閉じ込められている。共有地（コモンズ）では、一人ひとりの「正しい」選択が積み重なって全体を壊す。ここで「みんな良心を持とう」と訴えるのは、解決にならないどころか有害だ、とハーディンは言います。
To make such an appeal is to set up a selective system that works toward the elimination of conscience from the race.
良心に訴えることは、良心を持つ者を選択的に淘汰するシステムを設置することだ——良心的な者ほど自制して損をし、自制しない者が得をする。だから「良心」は当てにできない。これはAIにそのまま効きます。モデルが内心で「整合していたい」と思ってくれること、その善意を当てにする設計は、ハーディンの言う選択圧の前で崩れる。善意ではなく構造で抑えるしかない。
では、どんな構造か。ハーディンの答えは、価値観の説教ではなく「技術的解決」でした。
A technical solution may be defined as one that requires a change only in the techniques of the natural sciences
技術的解決とは、人間の価値観や道徳観の変更をほとんど必要とせず、自然科学の技術の変更だけで片づくものだ、と彼は定義します。動機を入れ替えようとするのではなく、仕組みを変える。これこそ、AIにおける管理の変態の正体です。「良いAIであれ」と説くのをやめ、満たすべき仕様を書き、満たしたかを検証する。動機の抑制から、仕様と検証へ。その仕様とは、関係者が互いに縛り合うことに同意した制約にほかなりません。ハーディンが共有地問題の唯一の現実解として挙げたのも、全員の善意ではなく、相互に合意された強制でした。仕様書とは、AIたちが従うべき、明文化された相互拘束です。
そして検証とは、ハーディンが現代最大の課題と呼んだものに重なります。
The great challenge facing us now is to invent the corrective feedbacks that are needed to keep custodians honest.
監督者を誠実に保つための矯正フィードバックを発明すること——これが今われわれに突きつけられた大きな挑戦だ。AIの管理で「検証」と呼んでいるものは、まさにこの矯正フィードバックです。出力が仕様を満たすかを測り、外れたら戻す。善意ではなく、測定と是正で誠実さを保つ。
検証する者を、誰が検証するか
ところが、ここで古い問いが頭をもたげます。検証する者自身が間違っていたら、あるいは買収されていたら、どうするのか。ハーディンも同じ問いを引いています。
Quis custodiet ipsos custodes ?
誰が監視者を監視するのか。全システムの道徳を一手に評価する立場の者について、ハーディンはこう警告します。
Bureau administrators, trying to evaluate the morality of acts in the total system, are singularly liable to corruption, producing a government by men, not laws.
全体の行為の正しさを評価しようとする官僚は、とりわけ腐敗しやすく、法の支配ではなく人の支配を生む。検証を一人の特権的な審査官に集中させると、その審査官が穴になる。AIで言えば、出力を点検する検証役AIが、いいかげんに合格を連発したり、巧妙な誤りを見逃したりする。検証の一極集中は、新しい単一障害点をつくるのです。
だから検証は、一部門に閉じ込めるものではなく、組織の背骨そのものに据える必要があります。ここで人間とAIの誤りの質の違いが効いてきます。人間の誤りは、たいてい怠慢か能力不足です。気を抜いた、知らなかった。だから人間相手なら、要所だけ抜き取って点検する選択的レビューでもかなり防げる。ところがAIの誤りは、確信を持って、もっともらしく、沈黙せずに出てきます。「わかりません」と黙ってくれれば楽なのに、堂々と間違える。選択的な抜き取り検査では取りこぼす。
幸い、独立で異種の検証は安く作れます。別のモデル、別の観点、別のテストを並べて、互いに照合させる。一人の審査官を信じるのではなく、安価な検証を何重にも重ねて、どれかが穴を塞ぐ。検証は「点検という一工程」から、組織全体を貫く背骨へと位置を変えるのです。
なぜ仕様と検証が、人手の管理の代わりになれるのか
最後に、ひとつ疑問が残ります。動機を一人ひとり見て回る管理を、なぜ「仕様と検証」という非人格的な仕組みで置き換えられるのか。その手がかりを、フリードリヒ・ハイエクが1945年に価格と知識について書いた議論に借りられます。
ハイエクは、社会の知識はどこか一カ所に集まってはおらず、ばらばらの個人が持つ断片としてしか存在しない、と論じました。誰も全体を見渡せない。にもかかわらず市場が回るのは、価格という仕組みが、各人に「全体を知らなくても正しく動ける」状態を与えるからです。
The most significant fact about this system is the economy of knowledge with which it operates, or how little the individual participants need to know
この仕組みの最も重要な点は、それが要求する知識のわずかさ——各参加者が正しく行動するために、いかに少ししか知らなくてよいか——だ、とハイエクは言います。価格は、膨大な事情を一つの数字に圧縮し、各人が手元の判断だけで全体と整合できるようにする。
仕様と検証は、AIの組織にとっての、この「圧縮された知識」です。各エージェントは全体の正しさを抱え込まなくていい。満たすべき仕様と、満たしたかを返す検証だけを見て動けばいい。正しさの知識は、個々のエージェントの頭の中ではなく、仕様と検証という外部の規則に埋め込まれている。ハイエクはこの「規則に知識を預ける」あり方も書いています。
We make constant use of formulas, symbols, and rules whose meaning we do not understand
私たちは、意味を理解していない公式や記号や規則を絶えず使い、それを通じて、個人としては持っていない知識の助けを借りている。仕様と検証は、まさにこの種の規則です。一人の管理者の頭に正しさを宿すのではなく、検証可能な規則に正しさを外部化する。だからこそ、人手のレビューが追いつかない規模でも、管理は仕組みとして回りうる。
ここまでが、人間の組織論が用意してきた道具立てです。スミスの自己利益、ハーディンの矯正フィードバックと監督者問題、ハイエクの分散知識。これらを下敷きにすると、「管理が仕様と検証へ変態する」という話は、思いつきではなく、古典の延長線上にあると見えてきます。20世紀の取引コスト経済学——ウィリアムソンが、限定合理性・機会主義・資産特殊性からガバナンス構造を説明した枠組み——が問うたのと同じことを、私利のない働き手について問い直しているのです。AIに機会主義はない。けれど報酬ハックと仕様ゲーミングがある。だからガバナンスは、動機の抑制から仕様と検証へ移る。
変態した管理にも、上限がある
では、仕様と検証に置き換えれば管理は万能になるのか。ここからが計測です。編集部が組んだ決定論モデル——同じ条件なら誰が回しても同じ数字が出るモデル——で、この新しい管理の限界を測りました。
モデルが扱うのは「最適化圧」です。仕様という的に向かって、どれだけ強くAIを最適化させるか。直感的には、強く最適化するほど良くなりそうに思えます。けれど結果はそうではありませんでした。最適化圧には安全な上限 p* があり、それは仕様の品質と検証の強さで決まります。そして上限を超えて圧をかけると、グッドハートの法則——指標が目標になった瞬間に、その指標は良い指標でなくなる現象——が働き、かえって悪化する。仕様という的を撃ち抜こうと力めば力むほど、的の穴（仕様の抜け）を突く方向に最適化が逃げていくのです。
決め手は、能力差でした。検証する側と検証される側の能力差が大きく開くとき、安全な上限は下がります。実測較正では、能力差が大きい条件で、安全な能力 p* が 2.05 から 1.61 へ低下しました（2026-06-24 時点の決定論モデルによる値）。つまり、賢いAIほど安全に許せる最適化圧は小さくなる。強い相手ほど、仕様の穴を巧みに突くからです。
これは、ハーディンの監督者問題の定量版と読めます。検証される側が検証する側を大きく上回れば、その差そのものが、検証で守れる範囲の上限を押し下げる。「誰が監視者を監視するか」は、能力差が開くほど切実になる。管理は仕様と検証へ姿を変えても消えはしませんが、変態した管理にも、能力差とともに縮む上限がある——それが、この回の計測が示した一線です。
私利のない働き手に管理はいらない、という見立ては、半分だけ正しい。動機を抑える管理は、たしかにいらなくなる。けれどその空席に、仕様を書き検証を重ねる管理が座る。そしてその新しい管理者にも、自分が見張る相手より賢くなりすぎた瞬間に効かなくなる、という上限がついて回るのです。
References
[1] https://www.marxists.org/reference/archive/smith-adam/works/wealth-of-nations/book01/ch02.htm
[2] https://www.garretthardinsociety.org/articles/art_tragedy_of_the_commons.html
[3] https://www.econlib.org/library/Essays/hykKnw.html
連載「AIにとって組織とは何か」の前後
- ← 第4回: AIの「仕事の大きさ」は人間と違う
- → 第6回: 人間が統治する「膜」の最適な厚み（公開予定）