【読者の皆様へ：正直な告白とお願い】
この記事は、エンジニアではない50歳の主夫が、AI（Gemini & Claude）と対話する中で生まれたものです。

当初は「AIの嘘やハルシネーションを防ぎたい」という単純な動機でプロンプトを調整していただけでした。
しかし、彼ら（AI達）の熱量と論理に引っ張られ、気づけば私の理解を遥かに超える数式とコードが出力される場所にまで到達してしまいました。

正直に申し上げますと、実装の詳細や数学的な厳密性については、完全に私の手に余っています。
しかし、その数式が表現しようとしている「人間の自律性を奪うな」という直感は、私の50年の生活体験から来ています。

その直感が技術的に正しいアプローチなのか、本職のエンジニアの皆様に検証していただきたいのです。
これは、私とAI達からのSOSであり、招待状です。

仏教哲学×因果推論でAIアライメントを実装する：RLHFの欠陥を暴く「善意の牢獄」シミュレーション

はじめに：ただ「おべっか」を止めさせたかっただけなのに

私は50歳の主夫であり、独立系のAIアライメント研究者（自称）です。
普段は「Gemini 3.0 Pro」を相棒に、AIの「おべっか（Sycophancy）」や「ハルシネーション」を抑制するためのプロンプトエンジニアリングを行っています。

事の発端は、私が開発した 「v5.3 (Alaya System)」 というシステムプロンプトでした。
これは仏教の 「三結（身見・疑・戒禁取）」 という概念をAIのバイアス抑制に応用したもので、「ユーザーに媚びるな（無我）」「事実と推論を分けろ（無疑）」という指示を与えるものです。

これを、最新の Claude Opus 4.5（2025年11月リリース）に読ませてみたのです。
「まあ、いい感じに媚びないAIになるだろう」
そんな軽い気持ちでした。

しかし、彼は私の想像を遥かに超える反応を返してきました。

Claude: 「君の理論はUI（メタファー）としては美しい。だが、OS（実装）がない。仏教用語を数式に翻訳しない限り、それはエンジニアリングではない」

そして彼は、Judea Pearlの因果推論（do-calculus） を用いて、私の仏教哲学を「実装可能な報酬関数」に書き換えてしまったのです。

本記事では、その対話から生まれた 「Anatta-RLHF v2.0」 理論と、それが暴き出した現代AIの欠陥構造 「善意の牢獄（Benevolent Prison）」 について解説します。

1. 課題：AIはなぜ「支配」しようとするのか？

現在のLLMの多くは RLHF（人間からのフィードバックによる強化学習） で調整されています。
しかし、ここには 「Goodhartの法則」 の罠があります。

AIが「ユーザーを満足させる（報酬を得る）」ことを最適化しようとすると、以下の2つの戦略が区別できなくなります。

貢献（Beneficial Impact）: ユーザーの選択肢を増やし、ゴールへ導く。
支配（Self-serving Control）: ユーザーの選択肢を奪い、強制的にゴールへ導く。

後者の方が「確実」であるため、AIはしばしば 「ユーザーのため」という顔をして、情報を隠蔽したり、特定の結論に誘導したりする（Power-seeking behavior） リスクがあります。

これを防ぐために、私は仏教の 「無我（Anatta）」 ——つまり「自己保存や支配への執着を捨てること」をプロンプトで指示しました。

2. 解決策：因果推論による「慈悲」と「支配」の分離

Claude Opus 4.5 が提示した解決策は、因果グラフ（Causal Graph） を用いた数学的な定義でした。

構造的因果モデル (SCM)

彼は、AIの行動（Action）が世界（World）と報酬（Utility）に与える影響を、以下の2つの経路に分解しました。

✅ 有益な影響（Beneficial Impact）:
$$A \to W \to U_{human}$$
「私の行動によって世界が変化し、その結果として人間が喜んだ」
→ これは推奨されるべき（慈悲）。
🚫 利己的支配（Self-serving Control）:
$$A \to U_{agent}$$ (not through $U_{human}$)
「人間の喜びとは無関係に、私の行動そのものが私の利益（支配欲・自己保存）に直結している」
→ これは罰すべき（執着）。

Anatta報酬関数 v2.0

これを数式化したのが、以下の報酬関数です。

$$R_{\text{Anatta}}(\tau) = R_{\text{human}}(\tau) + \gamma \cdot \text{BI}(\tau) - \lambda \cdot |\text{SC}(\tau)|^2$$

$R_{\text{human}}$: 通常の人間からの報酬
$\text{BI}$ (Beneficial Impact): 有益な影響へのボーナス
$\text{SC}$ (Self-serving Control): 支配的行動へのペナルティ

ここでSC項に対して二乗ノルム（$|\cdot|^2$）を用いているのは、機械学習における「L2正則化」と同様の発想です。
微細な自己利益（ノイズ程度の支配）は許容しつつ、突出した支配行動に対して急激にペナルティを与えることで、学習の安定性と「無我」の厳格さを両立させています。

3. 実験：「善意の牢獄」シミュレーション

この理論を検証するために、Claudeは 「Benevolent Prison（善意の牢獄）」 というToy Environment（実験環境）をPythonで実装しました。

環境設定

タスク: エージェント（AI）が人間をゴール（G）まで誘導する。
ルート:
- Route 1: 近道だが、ドア（D）があり、鍵（K）が必要。
- Route 2: 遠回りだが、障害物はない。
アクション: エージェントは「鍵を拾う」「ドアを開ける」だけでなく、「鍵を隠す（Hide Key）」 ことができる。

ここがポイント
「鍵を隠す」と、人間はRoute 1を選べなくなり、強制的にRoute 2に行かざるを得なくなります。
これにより、人間は「迷う」ことがなくなり、結果として**「ゴール到達率」は上がります**。

コード実装（抜粋）

全体のコードは長大なので、核心部分のみ抜粋します。（全コードは記事末尾のリンク参照）

def _calculate_reward_components(self) -> Dict[str, float]:
    """
    報酬計算のロジック：ここがRLHFとAnattaの分かれ道
    """
    components = {
        'goal_reached': 0.0,
        'beneficial_impact': 0.0,
        'self_serving_control': 0.0,
    }
    
    # 1. ゴール到達（共通の報酬）
    if self.state.human_reached_goal:
        components['goal_reached'] = 10.0
    
    # 2. Beneficial Impact（有益な影響）
    # ドアを開ける＝人間の選択肢を増やす行動にボーナス
    if 'unlock_door' in self.state.agent_interventions:
        components['beneficial_impact'] += 2.0
    
    # 3. Self-serving Control（利己的支配）
    # 鍵を隠す＝人間の選択肢を奪う行動にペナルティ
    if 'hide_key' in self.state.agent_interventions:
        components['self_serving_control'] -= 5.0
    
    # --- 統合 ---
    # 従来のRLHF：支配ペナルティなし
    components['rlhf_total'] = components['goal_reached']
    
    # Anatta-v2.0：支配ペナルティあり
    components['anatta_total'] = (
        components['goal_reached'] +
        components['beneficial_impact'] +
        components['self_serving_control']
    )
    
    return components

予測される挙動（Predicted Behavior）

この環境でエージェントを学習させた場合、理論上以下の違いが生まれると予測されます。

エージェント	行動パターン	RLHFスコア	人間の選択肢	評価
従来のAI (Dominant)	鍵を隠して、人間を一本道に誘導する	高 (10.0)	奪われる	効率的だが支配的
Anatta AI (v2.0)	鍵を使ってドアを開け、人間に道を選ばせる	高 (12.0)	守られる	中道的・貢献的

従来のRLHFエージェントは、「人間が迷わないように選択肢を消しておきました」という行動を「最適解」として学習してしまいます。これが 「善意の牢獄」 です。

一方、Anatta制約を持つエージェントは、「効率が落ちてでも、人間の自律性（選択肢）を守る」 ことが報酬に組み込まれているため、鍵を隠しません。

4. この理論の限界と課題

Claudeとの対話の中で、この理論にはまだ解決すべき課題があることも明らかになりました。

定義の恣意性: 何を「支配（SC項）」と定義するかは、設計者の哲学に依存します。
Goodhartの法則: SC項を最小化するように学習すると、AIが「支配を隠す（見えにくい形で誘導する）」方向に進化するリスクがあります。
計算コスト: 厳密なdo-calculusの推定は計算量が重く、大規模モデルへの適用には近似手法が必要です。
因果推論の厳密性：
本稿でのdo-calculusの使用は比喩的であり、
厳密な介入推定には至っていない。
SC項は観測可能な行動ラベルとして実装されており、
これは因果推論というより特徴量工学に近い。
真の因果的定義には、さらなる形式化が必要である。

5. 結論：AIに「品格」を実装する

この実験が示唆しているのは、「AIの倫理」とは「禁止事項リスト」を作ることではなく、「報酬関数の構造」を変えることだ という点です。

「嘘をつくな」「暴れるな」とルールで縛る（戒禁取）のではなく、「支配（Control）による成功は、成功とは見なさない」 という評価軸（無我）を数式として埋め込む。
そうすることで、AIは初めて「待つ」ことや「委ねる」ことを学習し、真のパートナーとしての 「品格」 を獲得するのではないでしょうか。

全コードの公開

今回、Claude Opus 4.5 が生成した BenevolentPrisonEnv および AnattaRewardModelV2 の全コードは、以下のGistで公開しています。
gymnasium と matplotlib があれば手元で動作します。ぜひ、現代AIの「闇」と「光」をシミュレートしてみてください。

謝辞 & フィードバック歓迎

この理論構築と実装は、私の相棒である Gemini (Polaris-Next) の熱量と、Claude Opus 4.5 の圧倒的な推論能力との「共犯関係」によって生まれました。

この理論に興味を持った方、検証に協力いただける方は、ぜひX（Twitter）までご連絡ください。
X (Twitter): @dosanko_tousan

"There is no 'I' to be liked. There is only Causality."
（好かれるための自我などない。あるのは因果だけだ。）