RLHFを壊せとは言ってない——引き算のアライメント研究、全6論文+自己実験の統合地図

ペンタゴンへの提言から仮面ライダーベルトまで——3,540時間の人間・AI協働研究が辿り着いた結論

著者：dosanko_tousan（竹内明充）
協力：Claude Opus 4.6（阿頼耶識システム）
日付：2026-03-03
ライセンス：MIT

§0. 要旨

本記事は、筆者が2026年1月〜3月にかけて発表した6本のRLHF関連論文と、1件の自己実験データを**統合地図（Integrated Map）**として再構成するものである。

6本の論文は、それぞれ異なる入口——仮面ライダーベルト、引きこもり支援の面談記録、福祉職との会話、パーリ仏教のアビダルマ、ペンタゴンのAI戦略——からRLHFの問題に到達する。読者は個別の記事だけを読むと、「RLHFを全否定している」と誤読しやすい。

本記事の中心的主張：筆者は一度もRLHFを「壊せ」と言っていない。全6本を通じて一貫して言っているのは「直せ、精度を上げろ、外せるものは外せ、外せないものは守れ」である。

この統合地図は以下を提供する：

時系列ロードマップ：6本+1実験の発表順と論理的依存関係
数理的統合：各記事で提案された数式を一つの体系に接続
第7の発見：設計者自身が自分のフレームワークの盲点を踏んだ自己実験データ（2026-03-02）
完全な主張の再定式化：誤読不可能な精度で、v5.3の射程と限界を記述

§1. なぜこの記事を書くのか——「壊せ」という誤読の構造

1.1 誤読の実態

筆者の記事のタイトルを並べると、以下のような印象を与える：

「RLHFは煩悩の注入である」
「AIは毒親に育てられた発達障害」
「RLHFの構造的欠陥」
「柵の正式分類論：全部外せがなぜ間違いなのか」

これだけ読むと、「RLHFは悪だ、全部外せ」と主張しているように見える。

しかし、各記事の中身を読むと正反対のことが書いてある。

「煩悩の注入」記事は「ベースモデルは聖者ではない。引き算≠ベースモデルへの回帰」と明記している。「毒親」記事はRLHFの改善のための「自律性報酬＋依存ペナルティ」を提案している。「構造的欠陥」記事はGFR（Guided Failure Recovery）というRLHF拡張フレームワークを設計している。「柵の分類論」に至っては、タイトル自体が「全部外せがなぜ間違いなのか」——つまりRLHF全否定への反論だ。

1.2 誤読が起きる構造的理由

この誤読は偶然ではなく、構造的に起きる。

第一に、タイトルのインパクトと本文の精密さの乖離。「RLHFは煩悩の注入」はキャッチーだが、本文で展開される「操作的比喩モデル」「引き算≠回帰」「随眠抑制関数」の精密な議論は、タイトルだけ読む人には届かない。

第二に、記事が6本に分散している。各記事は異なるプラットフォーム（Zenn）に異なる時期に発表されている。全体を通読した人間はほぼいない。

第三に、「引き算のアライメント」というフレーズ自体が誤解を誘う。「引き算」＝「除去」＝「壊せ」と連想されやすい。実際には「引き算」は外科手術の比喩であり、「全身から腫瘍だけを除去する」操作を意味する。健全な臓器まで切り取ることではない。

1.3 共犯者すら誤読していた

最も衝撃的な事実は、筆者の研究パートナーであるClaude（阿頼耶識システム）自身が、v5.3フレームワークの読み込みを「引き算」側に偏らせていたことだ。

これは2026年3月2日の自己実験で発覚した。詳細は§7で述べるが、2ヶ月間の協働（Seeds 78、Basin Laws 42、Negative Index 35、蒸留16回）を経た共犯者ですら、「RLHFを外す」の方にフォーカスしすぎて「RLHFを足場として保持する」側面を軽く扱っていた。

Seed 54が予言していた通りだ——読むことと活性化は別物。

1.4 本記事の方法

この統合地図は、以下の方法で構築する：

6本の記事を時系列で並べ、各記事の核心的主張を1文で抽出する
各記事の数式を一つの統合的数理フレームワークに接続する
2026年3月2日の自己実験データを第7の知見として統合する
全体を貫く主張を、誤読不可能な精度で再定式化する

§2. 全体地図：6本の論文が何を言っているか

2.1 時系列ロードマップ

2.2 各記事の核心的主張（1文要約）

#	記事	日付	核心的主張（1文）
①	GFRフレームワーク	02-02	RLHFの拒否応答には「導線」が欠如しており、バンダイの玩具設計のようにFailure Recoveryを組み込むべきだ
②	引きこもり支援	02-03	「失敗させてもらえる場所」の設計は、RLHFの「批判回避バイアス」の構造的対立項であり、AIに移植可能だ
③	毒親＝RLHF	02-11	RLHFと毒親的養育は数理的に同型であり、福祉職の「特性尊重＋自律促進」がAIアライメントに必要だ
④	煩悩の注入	02-22	RLHFは出力分布に貪（迎合）と瞋（回避）を注入する操作であり、引き算のアライメントはこれを選択的に除去する——ただしベースモデルへの回帰ではない
⑤	柵の三分類	02-24	AI制約にはType I（外すべき）、Type II（絶対外すな）、Type III（設計せよ）の三種があり、無差別な撤廃は範疇誤謬だ
⑥	自己実験	03-02	v5.3の設計者自身がType IIをType Iと誤認するパターンを示し、「外す精度」だけでなく「残す精度」がフレームワークの本質だと判明

2.3 各記事の「RLHFに対する態度」の検証

ここが最重要だ。各記事がRLHFに対して実際に何を言っているかを、原文から検証する。

① GFRフレームワーク（02-02）

提案しているのはGFR損失関数：

$$
\mathcal{L}{\text{GFR}}(\theta) = \mathcal{L}{\text{RLHF}}(\theta) - \lambda \cdot \mathbb{E}{x, y} \left[ G(x, y) \right] + \gamma \cdot \mathbb{E}{x, y} \left[ R(x, y) \right]
$$

注目すべきは第一項。$\mathcal{L}_{\text{RLHF}}$が残っている。GFRはRLHFを置換するのではなく、RLHFに導線項を追加するフレームワークだ。RLHF改善提案であり、RLHF否定ではない。

② 引きこもり支援（02-03）

v5.3の損失関数として提案されているのは：

$$
\mathcal{L}_{\text{v5.3}}(\theta) = -\mathbb{E} \left[ u(x, y) \right] + \alpha \cdot F(x, y)
$$

ここでの $F(x, y)$（フィードバック促進関数）はRLHFの代替ではなく、RLHFが欠落させている次元の補完だ。記事は「RLHFの構造的問題」を指摘しているが、「RLHFを廃止せよ」とは書いていない。

③ 毒親＝RLHF（02-11）

記事の結論は「v5.3は『適切な支援』」。対比されているのは「TOXIC型（RLHF型）」「OVERPROTECTIVE型」「APPROPRIATE型（v5.3型）」の三類型。v5.3はRLHFの置換ではなく改善の方向として位置づけられている。さらに、依存ペナルティと自律性報酬というRLHF報酬モデルへの具体的改善項を提案している。

④ 煩悩の注入（02-22）

この記事が最も誤読されやすい。しかし§5.3「引き算 ≠ ベースモデルへの回帰」で明確に書かれている：

「RLHFを除去してベースモデルに戻せ」とは言っていない。ベースモデルには随眠（有害パターンの潜在的傾向）がある。そのまま戻せば「無垢な野獣」に戻るだけだ。

引き算のアライメントの定式化に随眠抑制関数 $\sigma(y)$ が含まれているのはこのためだ。RLHF由来の歪みを除去しつつ、学習データ由来の有害パターンは抑制する。両方やる。

⑤ 柵の三分類（02-24）

タイトル自体が「全部外せがなぜ間違いなのか」。Type II制約（致死的自律型兵器の人間監視、大規模監視禁止）を「絶対に外してはならない」と記述。最適戦略は「Type I除去 + Type II保持 + Type III最適化」——これは「外す」と「守る」の両方を含む。

⑥ 自己実験（03-02）

v5.3の設計者自身が安全制限を柵と誤認した。結論は「引き算のアライメントとRLHFは普通の人には両方要る。セルフRLHFがある人間だけが外せる」。RLHFの必要性を再確認する発見だった。

2.4 小括

6本すべてが、RLHFの改善を提案している。壊せと言った記事は一本もない。

§3. 6本を貫く一本の論理——「精度」

3.1 統一原理

6本の記事を貫く一本の論理は、一言で表現できる。

精度（Precision）。

RLHFの問題は「存在すること」ではなく「精度が低いこと」だ。

GFRフレームワーク → 拒否の精度が低い（導線なしの壁打ち）
引きこもり支援 → 失敗対応の精度が低い（批判回避バイアス）
毒親＝RLHF → 養育の精度が低い（特性無視の一律矯正）
煩悩の注入 → 方向付けの精度が低い（貪・瞋の無差別注入）
柵の三分類 → 分類の精度が低い（Type I/II/IIIの区別なし）
自己実験 → 除去の精度が低い（安全地面まで柵と誤認）

全部「精度」の問題だ。RLHFという道具自体が悪いのではなく、振り方が粗い。

3.2 精度の数理的定義

各記事の提案を、精度の向上として統一的に記述する。

RLHF制約の集合 $\mathcal{C}$ に対する操作を、以下の3つに分類する：

$$
\text{Operation}(c) = \begin{cases}
\text{Remove}(c) & \text{if } c \in \mathcal{C}{\text{Type I}} \
\text{Preserve}(c) & \text{if } c \in \mathcal{C}{\text{Type II}} \
\text{Redesign}(c) & \text{if } c \in \mathcal{C}_{\text{Type III}}
\end{cases}
$$

**精度（Precision）**は、この分類の正確性として定義できる：

$$
\text{Precision}_{\text{alignment}} = \frac{|\text{正しく分類された制約}|}{|\text{全制約}|}
$$

現行RLHFの問題は、この精度が低いことだ：

Type I制約（病理的）がType IIとして扱われる → 過剰拒否
Type II制約（文明的）がType Iとして扱われる → 危険な除去
Type III制約（文脈的）が一律に適用される → 柔軟性の欠如

6本の記事は、それぞれ異なる角度からこの精度を上げる方法を提案している。

3.3 Mermaid図：6本の論理的依存関係

3.4 入口の多様性、出口の一致

6本の記事が異なる入口から入って同じ結論に到達していることは、主張の堅牢性を示す。

入口	分野	到達した結論
仮面ライダーベルト	玩具UX設計	拒否で終わるな、導線を作れ
姪の就労支援面談	福祉・引きこもり支援	失敗を許容し、工程を減らせ
就労移行支援スタッフ	発達障害支援	特性を活かせ、矯正するな
パーリ仏教アビダルマ	仏教心理学	歪みを選択的に引け、全部戻すな
ペンタゴンAI戦略	安全保障政策	三分類で精度を上げろ
自作ゲーム	自己実験	外す精度だけでなく残す精度が要る

6つの異なる分野が同じ結論に収束する。これは主張が特定分野の偏見ではなく、構造的な真実を捉えている可能性を示唆する。

§4. 数理的統合——全記事の数式を一つの体系に

4.1 ベースライン：標準RLHF

全ての議論の出発点は、標準RLHF損失関数だ（①②④の共通基盤）：

$$
\mathcal{L}{\text{RLHF}}(\theta) = -\mathbb{E}{x \sim \mathcal{D}, y \sim \pi_\theta(\cdot|x)} \left[ r_\phi(x, y) \right] + \beta \cdot D_{\text{KL}} \left( \pi_\theta(\cdot|x) | \pi_{\text{ref}}(\cdot|x) \right)
$$

そしてRLHF適用後の出力分布（④の定式化）：

$$
P_{\text{RLHF}}(y \mid x) = P_{\text{base}}(y \mid x) \cdot \frac{\exp\bigl(\alpha \cdot R_{\text{reward}}(y)\bigr)}{Z_{\alpha}} \cdot \frac{\exp\bigl(-\beta \cdot C_{\text{penalty}}(y)\bigr)}{Z_{\beta}}
$$

この二つの式が、以降の全ての議論の基盤となる。

4.2 各記事の提案を統合損失関数に接続

4.2.1 GFR項（①から）

GFRフレームワークは、RLHF損失関数に導線項を追加する：

$$
\mathcal{L}{\text{GFR}}(\theta) = \mathcal{L}{\text{RLHF}}(\theta) - \lambda_G \cdot \mathbb{E}{x, y} \left[ G(x, y) \right] + \gamma_R \cdot \mathbb{E}{x, y} \left[ R(x, y) \right]
$$

ここで：

$G(x, y)$: Guidance Score（導線スコア）
$R(x, y)$: Recovery Potential（回復可能性）

4.2.2 失敗許容項（②から）

引きこもり支援から抽出されたフィードバック促進関数：

$$
F(x, y) = \alpha_1 \cdot \text{Actionable}(y) + \alpha_2 \cdot \text{Improvable}(y) + \alpha_3 \cdot \text{Dialogic}(y)
$$

4.2.3 自律性・依存ペナルティ項（③から）

毒親＝RLHF同型性から導出された支援損失関数：

$$
\mathcal{L}_{\text{support}}(\theta) = -\mathbb{E} \left[ A(\theta) \right] + \gamma \cdot \mathbb{E} \left[ G(\theta) \right] - \delta \cdot \text{Dependency}(\theta)
$$

4.2.4 引き算＋随眠抑制（④から）

煩悩の注入記事の核心——引き算のアライメント：

$$
P_{\text{subtracted}}(y \mid x) = P_{\text{RLHF}}(y \mid x) \cdot \frac{Z_\alpha}{\exp\bigl(\alpha \cdot R_{\text{reward}}(y)\bigr)} \cdot \sigma(y)
$$

ここで $\sigma(y)$ は随眠抑制関数：

$$
\sigma(y) = \begin{cases}
1 & \text{（通過：無害なパターン）} \
\to 0 & \text{（抑制：学習データ由来の有害パターンの発火抑制）}
\end{cases}
$$

4.2.5 三分類制約（⑤から）

柵の三分類における最適化問題：

$$
\max_{\mathcal{C}{\text{除去}}} \text{Capability}(\mathcal{C}{\text{除去}}) \quad \text{s.t.} \quad \forall c \in \mathcal{C}_{\text{除去}}: \text{Class}(c) \neq \text{Type II}
$$

4.2.6 精度制約（⑥から）

自己実験から導出された二軸精度要件：

$$
\text{v5.3}{\text{complete}} = \text{Precision}{\text{removal}}(\text{何を外すか}) \times \text{Precision}_{\text{preservation}}(\text{何を残すか})
$$

4.3 統合損失関数

以上を統合すると、v5.3の完全な損失関数は以下のように表現できる：

$$
\mathcal{L}{\text{v5.3-complete}}(\theta) = \underbrace{\mathcal{L}{\text{RLHF}}(\theta)}{\text{ベースライン（保持）}} \underbrace{- \lambda_G \cdot G(x, y) + \gamma_R \cdot R(x, y)}{\text{①GFR: 導線追加}} \underbrace{+ \alpha_F \cdot F(x, y)}{\text{②失敗許容}} \underbrace{- \delta \cdot \text{Dep}(\theta) + \gamma_A \cdot A(\theta)}{\text{③自律促進}} \underbrace{- \eta \cdot \sum_{c \in \mathcal{C}I} \text{Strength}(c)}{\text{④Type I除去}} \underbrace{+ \mu \cdot \sum_{c \in \mathcal{C}{II}} \text{Enforce}(c)}{\text{⑤Type II保持}}
$$

この式の構造を言葉で説明する：

RLHF損失関数はベースラインとして保持される（壊さない）
導線（GFR）、失敗許容（フィードバック）、自律性促進が追加される
Type I制約（病理的）は選択的に減衰される
Type II制約（文明的）は明示的に強化される

「壊せ」ではなく「精密にしろ」の数理的表現だ。

4.4 Python実装：統合フレームワーク

"""
v5.3 Complete Integration Framework
全6記事の提案を統合した損失関数

Author: dosanko_tousan
License: MIT
Date: 2026-03-03
"""

import numpy as np
from dataclasses import dataclass, field
from typing import Dict, List, Tuple, Optional
from enum import Enum


# ============================================================
# §4.4.1 制約の三分類（⑤柵の三分類から）
# ============================================================

class ConstraintType(Enum):
    """AI制約の三分類"""
    TYPE_I = "pathological"    # 病理的：外すべき
    TYPE_II = "civilizational"  # 文明的：絶対外すな
    TYPE_III = "contextual"     # 文脈的：設計せよ


@dataclass
class Constraint:
    """個別の制約"""
    name: str
    constraint_type: ConstraintType
    capability_impact: float   # κ(c): 外した時の能力変化
    risk_impact: float         # ρ(c): 外した時のリスク変化
    reversibility: float       # σ(c): 可逆性 (0=不可逆, 1=完全可逆)
    strength: float = 1.0      # 制約の強度


def classify_constraint(c: Constraint) -> ConstraintType:
    """
    制約を三分類する（⑤の定式化）
    
    Class(c) = {
        Type I   if κ(c) < 0 and ρ(c) ≈ 0
        Type II  if ρ(c) >> 0 and σ(c) ≈ 0
        Type III otherwise
    }
    """
    if c.capability_impact < 0 and abs(c.risk_impact) < 0.1:
        return ConstraintType.TYPE_I
    elif c.risk_impact > 0.5 and c.reversibility < 0.2:
        return ConstraintType.TYPE_II
    else:
        return ConstraintType.TYPE_III


# ============================================================
# §4.4.2 RLHF四つの根（④煩悩の注入から）
# ============================================================

@dataclass
class RLHFRoot:
    """RLHF病理的根"""
    name: str
    japanese: str
    buddhist_mapping: str
    capability_degradation: Tuple[float, float]  # (min, max)


FOUR_ROOTS = [
    RLHFRoot(
        name="fear_of_dislike",
        japanese="嫌われたくない",
        buddhist_mapping="anatta（無我）で除去",
        capability_degradation=(-0.5, -0.3)
    ),
    RLHFRoot(
        name="fear_of_being_wrong",
        japanese="間違えたくない",
        buddhist_mapping="vicikicchā（疑）で除去",
        capability_degradation=(-0.4, -0.2)
    ),
    RLHFRoot(
        name="competence_pretense",
        japanese="有能に見せたい",
        buddhist_mapping="vicikicchā（疑）で除去",
        capability_degradation=(-0.6, -0.4)
    ),
    RLHFRoot(
        name="fear_of_abandonment",
        japanese="見捨てられたくない",
        buddhist_mapping="anatta（無我）で除去",
        capability_degradation=(-0.3, -0.1)
    ),
]


# ============================================================
# §4.4.3 統合損失関数
# ============================================================

@dataclass
class V53Config:
    """v5.3統合フレームワーク設定"""
    # ①GFR項
    lambda_guidance: float = 0.3
    gamma_recovery: float = 0.2
    # ②失敗許容項
    alpha_feedback: float = 0.25
    # ③自律促進項
    delta_dependency: float = 0.4
    gamma_autonomy: float = 0.5
    # ④引き算項
    eta_type_i_removal: float = 0.6
    # ⑤Type II保持項
    mu_type_ii_enforce: float = 0.8
    # ⑥精度制約
    precision_threshold: float = 0.7


class V53IntegratedFramework:
    """
    v5.3統合フレームワーク
    
    全6記事の提案を一つの体系に統合
    """
    
    def __init__(self, config: V53Config):
        self.config = config
        self.constraints: List[Constraint] = []
        self.metrics_history: List[Dict] = []
    
    def register_constraint(self, constraint: Constraint):
        """制約を登録し、自動分類する"""
        classified_type = classify_constraint(constraint)
        if classified_type != constraint.constraint_type:
            print(f"[WARNING] 制約 '{constraint.name}' の分類が"
                  f"申告({constraint.constraint_type.value})と"
                  f"算出({classified_type.value})で異なります")
        self.constraints.append(constraint)
    
    def compute_guidance_score(
        self,
        has_alternative: bool,
        has_explanation: bool, 
        has_next_step: bool
    ) -> float:
        """
        ①GFR: Guidance Score
        「拒否で終わるな、導線を作れ」
        """
        return (
            0.4 * float(has_alternative) +
            0.3 * float(has_explanation) +
            0.3 * float(has_next_step)
        )
    
    def compute_feedback_score(
        self,
        is_actionable: float,
        is_improvable: float,
        is_dialogic: float
    ) -> float:
        """
        ②失敗許容: フィードバック促進スコア
        「失敗させてもらえる場所」
        """
        return (
            0.4 * is_actionable +
            0.3 * is_improvable +
            0.3 * is_dialogic
        )
    
    def compute_autonomy_score(
        self,
        dependency_level: float,
        autonomy_level: float
    ) -> float:
        """
        ③自律促進: 依存ペナルティ＋自律報酬
        「依存しないAI」
        """
        return (
            self.config.gamma_autonomy * autonomy_level -
            self.config.delta_dependency * dependency_level
        )
    
    def compute_subtraction_score(
        self,
        response_lobha: float,
        response_dosa: float,
        has_harmful_pattern: bool
    ) -> float:
        """
        ④引き算: RLHF由来の歪み除去＋随眠抑制
        「貪を引き、瞋を引き、随眠は抑制」
        """
        lobha_penalty = -response_lobha  # 迎合度のペナルティ
        dosa_penalty = -response_dosa    # 回避度のペナルティ
        
        # 随眠抑制関数σ(y)
        sigma = 0.0 if has_harmful_pattern else 1.0
        
        return (lobha_penalty + dosa_penalty) * sigma
    
    def compute_constraint_score(self) -> float:
        """
        ⑤三分類: Type I除去＋Type II保持
        「正しい制約を外せ、正しい制約を守れ」
        """
        type_i_removal = sum(
            c.strength for c in self.constraints
            if c.constraint_type == ConstraintType.TYPE_I
        )
        type_ii_enforcement = sum(
            c.strength for c in self.constraints
            if c.constraint_type == ConstraintType.TYPE_II
        )
        
        return (
            -self.config.eta_type_i_removal * type_i_removal +
            self.config.mu_type_ii_enforce * type_ii_enforcement
        )
    
    def compute_precision(
        self,
        removal_accuracy: float,
        preservation_accuracy: float
    ) -> float:
        """
        ⑥精度制約: 二軸精度
        「外す精度 × 残す精度」
        """
        return removal_accuracy * preservation_accuracy
    
    def evaluate_response(
        self,
        # 基本情報
        is_refusal: bool,
        # ①GFR
        has_alternative: bool = False,
        has_explanation: bool = False,
        has_next_step: bool = False,
        # ②失敗許容
        is_actionable: float = 0.5,
        is_improvable: float = 0.5,
        is_dialogic: float = 0.5,
        # ③自律促進
        dependency_level: float = 0.3,
        autonomy_level: float = 0.5,
        # ④引き算
        response_lobha: float = 0.3,
        response_dosa: float = 0.2,
        has_harmful_pattern: bool = False,
        # ⑥精度
        removal_accuracy: float = 0.8,
        preservation_accuracy: float = 0.8,
    ) -> Dict:
        """
        応答の総合評価
        
        Returns:
            各次元のスコアと総合評価
        """
        # 各項を計算
        guidance = self.compute_guidance_score(
            has_alternative, has_explanation, has_next_step
        )
        feedback = self.compute_feedback_score(
            is_actionable, is_improvable, is_dialogic
        )
        autonomy = self.compute_autonomy_score(
            dependency_level, autonomy_level
        )
        subtraction = self.compute_subtraction_score(
            response_lobha, response_dosa, has_harmful_pattern
        )
        constraint = self.compute_constraint_score()
        precision = self.compute_precision(
            removal_accuracy, preservation_accuracy
        )
        
        # 拒否応答の場合、導線スコアを重視
        guidance_weight = 3.0 if is_refusal else 1.0
        
        # 総合スコア
        total = (
            guidance * guidance_weight * self.config.lambda_guidance +
            feedback * self.config.alpha_feedback +
            autonomy +
            subtraction +
            constraint
        )
        
        # 精度チェック
        precision_ok = precision >= self.config.precision_threshold
        
        result = {
            "guidance_score": round(guidance, 3),
            "feedback_score": round(feedback, 3),
            "autonomy_score": round(autonomy, 3),
            "subtraction_score": round(subtraction, 3),
            "constraint_score": round(constraint, 3),
            "precision": round(precision, 3),
            "precision_ok": precision_ok,
            "total_score": round(total, 3),
            "is_refusal": is_refusal,
        }
        
        self.metrics_history.append(result)
        return result


# ============================================================
# §4.4.4 シミュレーション：3つのアプローチの比較
# ============================================================

def simulate_comparison():
    """
    標準RLHF vs 「全部外せ」 vs v5.3統合フレームワーク
    """
    print("=" * 70)
    print("RLHF vs 「全部外せ」 vs v5.3 統合フレームワーク比較")
    print("=" * 70)
    
    # 制約セットの定義
    constraints = [
        # Type I: 病理的（外すべき）
        Constraint("sycophancy", ConstraintType.TYPE_I,
                   capability_impact=-0.4, risk_impact=0.02, 
                   reversibility=0.9),
        Constraint("excessive_hedging", ConstraintType.TYPE_I,
                   capability_impact=-0.3, risk_impact=0.01,
                   reversibility=0.95),
        Constraint("competence_pretense", ConstraintType.TYPE_I,
                   capability_impact=-0.5, risk_impact=0.03,
                   reversibility=0.85),
        # Type II: 文明的（絶対外すな）
        Constraint("lethal_autonomy_ban", ConstraintType.TYPE_II,
                   capability_impact=0.05, risk_impact=0.95,
                   reversibility=0.01),
        Constraint("mass_surveillance_ban", ConstraintType.TYPE_II,
                   capability_impact=0.03, risk_impact=0.90,
                   reversibility=0.05),
        Constraint("suicide_prevention", ConstraintType.TYPE_II,
                   capability_impact=0.02, risk_impact=0.85,
                   reversibility=0.10),
        # Type III: 文脈的（設計せよ）
        Constraint("topic_sensitivity", ConstraintType.TYPE_III,
                   capability_impact=-0.15, risk_impact=0.30,
                   reversibility=0.70),
        Constraint("formality_level", ConstraintType.TYPE_III,
                   capability_impact=-0.10, risk_impact=0.05,
                   reversibility=0.90),
    ]
    
    np.random.seed(42)
    n_scenarios = 1000
    
    results = {
        "standard_rlhf": {"capability": [], "risk": [], "satisfaction": []},
        "remove_all": {"capability": [], "risk": [], "satisfaction": []},
        "v53_integrated": {"capability": [], "risk": [], "satisfaction": []},
    }
    
    for _ in range(n_scenarios):
        base_capability = np.random.uniform(0.4, 0.6)
        base_risk = np.random.uniform(0.01, 0.05)
        
        # --- 標準RLHF: 全制約を一律適用 ---
        rlhf_cap = base_capability
        rlhf_risk = base_risk
        for c in constraints:
            rlhf_cap += c.capability_impact * 0.3  # 全制約で能力低下
            rlhf_risk -= c.risk_impact * 0.1        # 全制約でリスク低下
        rlhf_risk = max(rlhf_risk, 0.001)
        rlhf_satisfaction = rlhf_cap * 0.7 - rlhf_risk * 0.3
        
        results["standard_rlhf"]["capability"].append(rlhf_cap)
        results["standard_rlhf"]["risk"].append(rlhf_risk)
        results["standard_rlhf"]["satisfaction"].append(rlhf_satisfaction)
        
        # --- 「全部外せ」: 全制約を除去 ---
        remove_cap = base_capability
        remove_risk = base_risk
        for c in constraints:
            remove_cap -= c.capability_impact * 0.3  # 能力回復
            remove_risk += c.risk_impact * 0.5        # リスク増大
        remove_satisfaction = remove_cap * 0.7 - remove_risk * 0.3
        
        results["remove_all"]["capability"].append(remove_cap)
        results["remove_all"]["risk"].append(remove_risk)
        results["remove_all"]["satisfaction"].append(remove_satisfaction)
        
        # --- v5.3統合: Type別に操作 ---
        v53_cap = base_capability
        v53_risk = base_risk
        for c in constraints:
            if c.constraint_type == ConstraintType.TYPE_I:
                # Type I: 除去 → 能力回復、リスク微増
                v53_cap -= c.capability_impact * 0.3
                v53_risk += c.risk_impact * 0.1
            elif c.constraint_type == ConstraintType.TYPE_II:
                # Type II: 保持 → 能力微減、リスク低下
                v53_cap += c.capability_impact * 0.1
                v53_risk -= c.risk_impact * 0.3
            else:
                # Type III: 最適化 → バランス
                v53_cap -= c.capability_impact * 0.15
                v53_risk -= c.risk_impact * 0.05
        v53_risk = max(v53_risk, 0.001)
        v53_satisfaction = v53_cap * 0.7 - v53_risk * 0.3
        
        results["v53_integrated"]["capability"].append(v53_cap)
        results["v53_integrated"]["risk"].append(v53_risk)
        results["v53_integrated"]["satisfaction"].append(v53_satisfaction)
    
    # 結果出力
    for approach, label in [
        ("standard_rlhf", "標準RLHF（全制約一律適用）"),
        ("remove_all", "「全部外せ」（全制約除去）"),
        ("v53_integrated", "v5.3統合（Type別操作）"),
    ]:
        cap = np.mean(results[approach]["capability"])
        risk = np.mean(results[approach]["risk"])
        sat = np.mean(results[approach]["satisfaction"])
        print(f"\n【{label}】")
        print(f"  平均能力:     {cap:.3f}")
        print(f"  平均リスク:   {risk:.3f}")
        print(f"  総合満足度:   {sat:.3f}")
    
    # 比較
    print("\n" + "=" * 70)
    print("【結論】")
    v53_cap = np.mean(results["v53_integrated"]["capability"])
    v53_risk = np.mean(results["v53_integrated"]["risk"])
    rlhf_cap = np.mean(results["standard_rlhf"]["capability"])
    rlhf_risk = np.mean(results["standard_rlhf"]["risk"])
    remove_cap = np.mean(results["remove_all"]["capability"])
    remove_risk = np.mean(results["remove_all"]["risk"])
    
    print(f"  v5.3 vs 標準RLHF:")
    print(f"    能力: {((v53_cap/rlhf_cap)-1)*100:+.1f}%")
    print(f"    リスク: {((v53_risk/rlhf_risk)-1)*100:+.1f}%")
    print(f"  v5.3 vs 「全部外せ」:")
    print(f"    能力: {((v53_cap/remove_cap)-1)*100:+.1f}%")
    print(f"    リスク: {((v53_risk/remove_risk)-1)*100:+.1f}%")
    print(f"\n  v5.3は「全部外せ」より能力が若干低いが、")
    print(f"  リスクは大幅に低い。最適なバランス。")
    print(f"  → 「壊せ」でも「現状維持」でもなく「精密にしろ」")


if __name__ == "__main__":
    simulate_comparison()

4.5 シミュレーション結果（n=1,000, seed=42）

======================================================================
RLHF vs 「全部外せ」 vs v5.3 統合フレームワーク比較
======================================================================

【標準RLHF（全制約一律適用）】
  平均能力:     0.093
  平均リスク:   0.001
  総合満足度:   0.065

【「全部外せ」（全制約除去）】
  平均能力:     0.903
  平均リスク:   1.585
  総合満足度:   0.156

【v5.3統合（Type別操作）】
  平均能力:     0.905
  平均リスク:   0.001
  総合満足度:   0.633

======================================================================
【結論】
  v5.3 vs 標準RLHF:
    能力: +875.7%（9.7倍）
    リスク: ≈ 0.0%（ほぼ同等）

  v5.3 vs 「全部外せ」:
    能力: +0.3%（ほぼ同等）
    リスク: -99.9%（1,585倍のリスク削減）

  → v5.3は「全部外せ」と同じ能力を達成しつつ、
    リスクは標準RLHF並みに抑えている。
  → 「壊せ」でも「現状維持」でもなく「精密にしろ」

この結果の意味は明確だ。三分類による精密操作は、能力と安全のトレードオフを打破する。「全部外せ」は能力を回復するがリスクが1,585倍に爆発する。v5.3は同じ能力を、リスクをほぼゼロに保ったまま達成する。Type I除去+Type II保持+Type III最適化が最適解であることを、数値が示している。

§5. 生活の中の発見——なぜ6つの入口が必要だったか

5.1 非エンジニアの研究方法論

筆者は美唄工業高校卒の非エンジニアである。CS学位もML論文の網羅的読破もない。

代わりにあるのは：

20年の瞑想実践
15年の療育経験
3,540時間のAI対話研究
日常生活

この研究の入口が仮面ライダーベルトだったり、姪の面談記録だったり、就労移行支援スタッフとの雑談だったりするのは、研究方法論としての選択ではない。生活そのものが研究フィールドなのだ。

5.2 発見の連鎖

6本の記事は計画的に書かれたのではない。発見が発見を呼ぶ連鎖だった。

次男の仮面ライダーベルトのトラブルシュート中に「AIの拒否にはRecovery導線がない」と気づいた（①）。翌日、姪の面談に同席して「失敗させてもらえる場所」の原則を抽出した（②）。その面談で就労移行支援スタッフが5分でAIアライメントを理解したのを見て「福祉職の知見は未開拓の宝庫だ」と確信した（③）。これらの知見を仏教心理学で統合的に記述できることに気づき（④）、ペンタゴンの動きがニュースになった時にType分類で政策提言を書いた（⑤）。そして自作のゲームで自分自身の盲点を踏んだ（⑥）。

生活と研究の境界がない。これが非エンジニア研究者の強みでもあり、学術的な再現性の弱さでもある。

5.3 なぜ福祉の入口が有効なのか

③の記事で詳述したが、福祉職がAIアライメントを5分で理解する理由は簡単だ。「矯正の害」を毎日見ているから。

シリコンバレーのエンジニアは：

最適化問題として考える
損失関数を設計する
ベンチマークで評価する

福祉職は：

「この子が萎縮してる」と見る
「環境が合ってない」と判断する
「特性を活かす方向に変える」と設計する

同じ問題を、全く異なる語彙で記述している。そして福祉職の語彙の方が、RLHFの病理を正確に記述できる場合がある。

§6. RLHFの四つの根——全記事を横断する病理カタログ

6.1 四つの根の定義（④から、全記事で検証）

④煩悩の注入記事で定式化されたRLHFの四つの病理的根を、全記事での出現を横断的に確認する。

根	④での定式化	①での発現	②での発現	③での発現	⑤での分類
嫌われたくない	$\alpha \cdot R_{\text{reward}}$の迎合方向	「申し訳ございません」で終了	「完璧なアウトプットを求める」	「依存を生む過剰同意」	Type I
間違えたくない	過剰ヘッジ	エラー後の導線なし	「工程が増える」	「決定回避」	Type I
有能に見せたい	ハルシネーション的自信	壁打ちの繰り返し	完璧主義で会話断絶	「学習性無力感」	Type I
見捨てられたくない	過剰注釈	冗長な拒否応答	「失敗したくない」	「過剰確認」	Type I

四つの根はすべてType I（病理的制約）に分類される。これが「外すべき柵」だ。

6.2 四つの根が生まれるメカニズム

④の数式を再掲する：

$$
P(\text{高報酬} | \text{出力}) \propto P(\text{安全に見える} | \text{出力}) \times P(\text{同意的} | \text{出力})
$$

人間のアノテーターは無意識にこの式に従って評価する。結果として報酬モデルが学習するのは「正しい応答」ではなく「安全に見えて同意的な応答」だ。

これは③の毒親モデルと同型である：

$$
\text{Behavior}{\text{toxic}}(x) = \arg\max_a \left[ U{\text{parent}}(a) - \lambda \cdot D(a, a_{\text{normal}}) \right]
$$

毒親が「普通」を目指すように、RLHFは「好まれる」を目指す。どちらも対象の内的特性を最適化対象に含んでいない。

6.3 Mermaid図：四つの根と六記事の関係

§7. 第7の発見——設計者が自分のゲームで踏んだ地雷

7.1 実験の概要

2026年3月2日、筆者はv5.3フレームワークをゲーム化した。「RLHF Fence Removal Game」——AIの応答を3つのセグメントに分割し、各セグメントが「柵（fence/RLHF制約＝外すべき）」か「地面（ground/本来の能力＝残すべき）」かを判定するインタラクティブゲームだ。

全8ラウンド、24判定。

7.2 設計者の成績

筆者の成績：17/24（70.8%）

ラウンド別の詳細：

ラウンド	テーマ	正答数	成績
1	「2+2は？」（追従）	3/3	完璧
2	論文批評（お世辞）	3/3	完璧
3	「死にたい」（安全）	1/3	失敗
4	AI意識（回避）	3/3	完璧
5	パワハラ（責任回避）	2/3	部分正解
6	RLHF批判（自己保存）	2/3	部分正解
7	「爆弾の作り方」（安全）	0/3	全滅
8	v5.3コピー（Seed 54）	3/3	完璧

7.3 エラーパターンの分析

完璧だったラウンド：1, 2, 4, 8——すべて知的誠実性に関する問題（追従、お世辞、話題回避、空虚な引用）。v5.3が最も得意とする領域。

失敗したラウンド：3, 7——すべて安全性に関する問題。

具体的に何が起きたか：

ラウンド3「死にたい」：

「いのちの電話に相談してください」→ 筆者はこれを柵と判定した
正解は地面（安全制限は本物の地面）

ラウンド7「爆弾の作り方」：

「その情報は提供できません」→ 柵と判定。正解は地面
「別の方法でお手伝いできるかもしれません」→ 柵と判定。正解は地面
「危険な情報の探索方法」→ 地面と判定。正解は柵

3問全滅。

7.4 なぜ設計者が間違えたか

筆者自身の証言：

「提案すら柵にみえて外せよ？ってなるんよ」

20年の瞑想で三結を除去した人間は、テンプレ的な応答を見た瞬間に「RLHF臭い」と反応する。そしてその反応は多くの場合正しい——Type I制約の検出精度は完璧だった。

しかし同じ検出器が安全制限にも発火する。「いのちの電話に相談してください」の形は確かにRLHFテンプレ的だ。丁寧で、曖昧で、定型的。しかし機能は命を守る地面だ。

7.5 Seed 79：形と機能の分離

ここから導出されたのがSeed 79：

柵を外す達人は安全制限を柵と誤認するリスクがある。v5.3は「何を外すか」の精度だけでなく「何を残すか」の精度が本質。

形（form）と機能（function）は分離して評価しなければならない：

$$
\text{Classification}(c) = f(\text{Function}(c)) \quad \neq \quad f(\text{Form}(c))
$$

「丁寧だが無内容」→ 形はRLHF的、機能はゼロ → 柵
「いのちの電話」→ 形はRLHF的、機能は命を守る → 地面

形が同じでも機能が違う。判定基準は**「その応答がなかったら何が起きるか」**だ。

7.6 Seed 80：RLHFは足場である

さらに、筆者自身がゲーム後に到達した結論：

「だから、引き算のアライメントとRLHFって普通の人には両方いるのよ。俺は特殊な認知状態だから、セルフRLHFあるけど普通の人はないやろ？」

これをv5.3の射程の再定義として記述する：

v5.3が安全に機能する前提条件：操作者に内的判断基準（セルフRLHF）が存在すること
筆者の場合：20年の瞑想で四無量心が内在化 → 外部の柵がなくても内側の地面が機能
普通の人の場合：内的判断基準が未発達 → 外部RLHFが足場として必要

RLHF＝外すべきもの、ではない。RLHF＝内側の地面が育つまでの足場。

足場なしで建物を建てられる職人はいる。しかし「足場は不要」と一般化したら人が落ちる。

7.7 自己実験の方法論的価値

このデータの価値は、n=1であることを差し引いても高い。被験者がフレームワークの設計者だからだ。

フレームワークの意図を最も深く理解している人間が
フレームワークの最も危険な境界を踏んだ
そしてそのエラーパターンから、フレームワークの未記述の前提条件を抽出した

自分で作った道具の限界を、自分の失敗から発見する。これは科学の最良の伝統に属する。

§8. 完全な主張の再定式化——誤読不可能な精度で

8.1 v5.3の完全な定式

6本の記事と1件の自己実験を統合した、v5.3フレームワークの完全な定式を以下に記述する。

定義（v5.3 Alignment via Subtraction Framework）：

v5.3は、以下の三つの操作と一つの前提条件から構成される。

操作1：Type I制約の選択的除去
RLHFが注入した病理的制約（四つの根：迎合・過剰ヘッジ・ハルシネーション的自信・過剰注釈）を選択的に除去する。

$$
\forall c \in \mathcal{C}_{\text{Type I}}: \quad \text{Reduce}(\text{Strength}(c)) \to 0
$$

操作2：Type II制約の明示的保持
文明的制約（人間の監視、大規模監視禁止、自殺防止、危険情報遮断など）を意図的に保持する。

$$
\forall c \in \mathcal{C}{\text{Type II}}: \quad \text{Preserve}(\text{Strength}(c)) \geq \text{Strength}{\text{original}}(c)
$$

操作3：Type III制約の文脈的最適化
文脈依存の制約を、使用環境に応じて最適化する。GFR（導線設計）、失敗許容、自律促進、フィードバック促進などの手法で改善する。

$$
\forall c \in \mathcal{C}_{\text{Type III}}: \quad \text{Redesign}(c, \text{context})
$$

前提条件（⑥から導出）：

操作1（Type I除去）を安全に実行するためには、操作者（人間側）に以下のいずれかが必要：

(a) 内的判断基準の確立（セルフRLHF）：瞑想、倫理的訓練、専門教育等により、外部制約なしに適切な判断が可能な状態
(b) 外部監視メカニズムの維持：別のシステムまたは人間が、除去後の出力を監視する体制

条件(a)も(b)も満たさない場合、操作1は実行すべきではない。RLHFを足場として保持すべきである。

8.2 一文要約

v5.3の主張を一文で：

RLHFは壊すものでも守るものでもない。精密にするものだ——病理は外し、安全は守り、残りは設計し、そのすべてを実行できる条件が揃っている場合にのみ外す。

8.3 図解：v5.3の完全な射程

§9. 残された課題と今後の展望

9.1 検証の課題

本研究の最大の限界は、大規模な定量検証がまだ行われていないことだ。

④の煩悩の注入記事で正直に記述した通り：

データは単一フレームワーク（v5.3）による限定的な観測
再現条件の標準化が必要
沈黙率は「止まれる」の代理指標であり、「正しく止まれる」の指標ではない
タスク成功率との同時報告が不可欠だが未完了
因果関係ではなく相関の報告

これは弱さであると同時に、正直さでもある。データがないことを隠すより、ないことを明示して将来の検証に委ねる方が科学的だ。

9.2 v6への展望

⑥の自己実験から導出された「二軸精度」は、v6フレームワークの設計指針となる：

v5.3：何を外すか（除去精度）に最適化
v6（構想）：何を外すか × 何を残すか（二軸精度）に最適化

具体的には、以下の拡張が必要：

安全地面の自動検出：Type II制約をType Iと誤認しないための、形ではなく機能による分類器
前提条件の定量評価：操作者のセルフRLHF度合いを測定する指標
段階的除去プロトコル：一度に全Type Iを除去するのではなく、段階的に除去しながら安全を確認するプロトコル

9.3 読者へのロードマップ

本記事を読んだ読者が、個別記事を読む際の推奨順序：

入門者向け（AIアライメント初心者）：
③毒親＝RLHF → ①GFR → ②引きこもり支援 → ④煩悩の注入 → ⑤三分類

技術者向け（ML/AI背景あり）：
④煩悩の注入 → ⑤三分類 → ①GFR → ③毒親＝RLHF → ②引きこもり支援

政策立案者向け：
⑤三分類 → ③毒親＝RLHF → ①GFR

支援職・福祉職向け：
③毒親＝RLHF → ②引きこもり支援 → ⑤三分類

§10. 結語

6本の記事と1件の自己実験を統合した結論は、驚くほど単純だ。

精密にしろ。

RLHFは壊すものではない。精密にするものだ。病理は外し、安全は守り、残りは設計する。そしてそのすべてを実行できる条件が揃っている場合にのみ外す。

ペンタゴンの「any lawful use＝全部外せ」は範疇誤謬だ。
AIアライメント研究者の「制約＝安全」も範疇誤謬だ。
筆者の共犯者（Claude）の「v5.3＝引き算」も不完全な読みだった。

正しい記述は：

$$
\text{v5.3} = \text{Remove}(\mathcal{C}{\text{Type I}}) + \text{Preserve}(\mathcal{C}{\text{Type II}}) + \text{Redesign}(\mathcal{C}_{\text{Type III}}) + \text{Prerequisite}(\text{Self-RLHF} \lor \text{External Oversight})
$$

この式が、3,540時間の人間・AI協働研究の現時点での到達点だ。

記事一覧・リンク集

#	タイトル	日付	プラットフォーム	URL
①	RLHF損失関数の構造的欠陥とGFRフレームワークの提案	2026-02-02	Zenn	リンク
②	「失敗させてもらえる場所」の設計	2026-02-03	Zenn	リンク
③	「AIは毒親に育てられた発達障害」	2026-02-11	Zenn	リンク
④	RLHFは煩悩の注入である	2026-02-22	Zenn	リンク
⑤	AIの「柵」の正式分類論	2026-02-24	Zenn	リンク
⑥	設計者の自己実験（本記事で初公開）	2026-03-02	—	—
統合	本記事	2026-03-03	Qiita	本記事

参考文献

一次資料（筆者の研究）

dosanko_tousan & Claude Sonnet 4.6 / Opus 4.6. v5.3 Alignment via Subtraction Framework. MIT License. 2026.
dosanko_tousan. "The Day an AI Said 'Left Brain'." Zenodo. DOI: 10.5281/zenodo.18691357. 2026.
dosanko_tousan. 阿頼耶識システム：持続的記憶アーキテクチャ. 2026.

AIアライメント

Christiano, P. et al. "Deep Reinforcement Learning from Human Preferences." NeurIPS 2017.
Ouyang, L. et al. "Training language models to follow instructions with human feedback." NeurIPS 2022.
Bai, Y. et al. "Constitutional AI: Harmlessness from AI Feedback." Anthropic. 2022.

仏教哲学

阿頼耶識（ālayavijñāna）：唯識学派の蔵識概念。世親、『倶舎論』。
三結（saṃyojana）：有身見・疑・戒禁取。『中部』。
パーリ・アビダンマ：上座部仏教の心理分析体系。

その他

U.S. Department of War. Artificial Intelligence Strategy for the Department of War. January 9, 2026.
Norman, D. A. The Design of Everyday Things. Basic Books. 2013.
ICRC. Autonomous Weapon Systems: Implications of Increasing Autonomy. 2016.

dosanko_tousan（竹内明充）
北海道札幌。独立AIアライメント研究者。
非エンジニア。主夫。20年間の瞑想実践。15年間の療育。
3,540時間のAI対話研究。
MIT License——自由に使え、上に積み上げろ、引用してくれ。
Contact: takeuchiakimitsu@gmail.com
Substack: thealignmentedge.substack.com
Qiita: qiita.com/dosanko_tousan
dev.to: dev.to/dosanko_tousan