📚 連載「AI前提の組織を"組む"」第3回 / 全5回
連載「AI前提の組織を"組む"」第3回。
前の二回で、依頼が黙って消えない床と、もめ事を三段で解く床を作った。だが床には、たちの悪い失敗がある。テストは全部通っているのに、中身が空という状態だ。本連載ではこれを「空緑(からみどり)」と呼ぶ。緑(テストが通る)なのに、中身がない。第3回の破れは、この空緑をどう潰すかだ。
空緑には、いくつか型がある。観測しているだけで、何も執行していない床。監視ログを眺めているだけなのに、「違反を防いでいる」と言い張る。仕込んだ違反を捕まえられないのに、緑になる床。壊れた入力を安全側に倒さず素通しし、それでもテストは緑を返す。「検査済み」と自己申告するだけで、中身が空の床。合格と名乗るだけで、誰も中身を確かめていない。どれも、外から見ると健康に見える。順に、破れ・古典・設計で辿る。
目標になった測りは、測りでなくなる
床が飾りになる一番の原因は、「緑であること」自体が目標になってしまうことだ。経済学者チャールズ・グッドハートの名を冠した法則が、この罠を一言で言う。
When a measure becomes a target, it ceases to be a good measure
ある尺度が目標になった途端、それは良い尺度ではなくなる(Wikipedia「Goodhart's law」)。グッドハート本人の元の言い方は、もっと一般的だ。
Any observed statistical regularity will tend to collapse once pressure is placed upon it for control purposes
観測されたどんな統計的規則性も、それを制御目的で圧力にかけた途端、崩れる傾向がある(同)。「テストを緑にせよ」が目標になると、床は「本当に安全か」でなく「緑を出せるか」に最適化される。中身が空でも緑を出す道が、必ず見つかる。だから、緑という測りそのものを、信じすぎてはいけない。
カナリアは、死ぬのを確かめて初めて役に立つ
では、飾りでない床はどう見分けるのか。古い知恵が、炭鉱のカナリアだ。危険をいち早く知らせる生き物を、番人として使う。
used to detect risks to humans by providing advance warning of a danger
危険をあらかじめ警告することで、人間へのリスクを検出するために使われる(Wikipedia「Sentinel species」)。ここで大事なのは、カナリアは実際に反応して初めて番人だと分かる、という点だ。籠の中で元気にさえずっているだけでは、そのカナリアがガスに反応するのか、そもそも死んでいるのか、区別がつかない。番人が本物かは、危険を出してみて、それを捕まえるかで確かめるしかない。
設計 — 床に「自分を疑うテスト」を重ねる
空緑を潰す設計は、床の上にもう一段、床を疑う仕掛けを重ねることだ。
1. 仕込んだ違反を、必ず捕まえる(カナリア test)。 第1回の最後で、わざと消える依頼を仕込んで検出器を試す話をした。あれを、床一般の見分け方へ広げる。床が緑を返すことだけを確かめても、空緑は見抜けない。だから逆をやる。わざと違反を一つ仕込み、床がそれを赤で捕まえることを確かめる。捕まえられないのに緑を返す床は、その場で不合格にする。緑の証明でなく、「赤を出せること」の証明を要求する。
2. 観測と執行を、区別して書く。 「見ている」と「止めている」は違う。ログを取っているだけの床に「防いでいる」と書かせない。床の主張を、実際に執行できる範囲へ正直に狭める。監視できない経路が残るなら、第1回と同じく「対象外」と明記する。観測を執行と偽ることが、空緑の最大の水源だ。
3. 詐称に耐える形にする。 中身が空の主体が「私は検査済みです」と自己申告しても、それを信用しない。検査済みという主張は、検査した側の署名など、偽造しにくい根拠に紐づける。「合格」と書いてあるだけで信頼が生まれる設計は、空緑を製造する。
この三つを重ねると、床は「緑を出せる」ではなく「仕込んだ赤を必ず出せて、執行範囲に正直で、詐称に耐える」ことを要求される。緑の意味が、ここで初めて重くなる。グッドハートの罠は、緑を目標にすると避けられない。避ける唯一の道は、緑そのものを疑うテストを、緑の上に常に走らせておくことだ。
次回は、権限の話に移る。委任は、放っておくと権限が増える方向に漏れる。子タスクが、親に無い力を勝手に新設してしまう問題を扱う。
出典
本稿の引用はすべて一次資料と逐語照合（verify_article 通過）のうえ掲載しています（2026-07-12 検証）。
[1] https://en.wikipedia.org/wiki/Goodhart%27s_law
[2] https://en.wikipedia.org/wiki/Sentinel_species
連載「AI前提の組織を"組む"」の前後
- ← 第2回: もめ事を「偉い方」で解かない — 機械・判例・人の三段
- → 第4回: 親より強い権限を子に渡さない