現代の LLM は 事前学習 → 事後学習（SFT/RLHF/DPO） → テスト時推論 という流れで洗練されていく。
この記事では、以下を すべて図で直感的に 理解できるように説明します
- RLHF の本質は「意見集約」
- 報酬モデルはどう組み込まれる？
- なぜ強化学習問題の形になる？
- DPO の位置づけとは？
- RLHF/DPO の欠点とは？
1. Logarithmic Opinion Pooling としての RLHF
RLHF の更新式は以下のようになる：
[
\pi^(y|x)=\frac{1}{Z(x)}\pi_{\text{ref}}(y|x)\exp\left(\frac{r^(x,y)}{\beta}\right)
]
これは「Logarithmic Opinion Pooling（意見の対数空間での加重和）」と同じ形である。
■ 図：RLHF は “意見の結合” として理解できる
┌───────────────────────┐
│ 事前学習モデル π_ref │
│ 「自然な文の分布」 │
└───────────────────────┘
│
│ （対数空間での加重）
▼
exp(r/β) = 人間の好み（報酬）を反映
│
▼
┌───────────────────────┐
│ 最終方策 π* │
│ 「自然 × 好み」の統合 │
└───────────────────────┘
■ 役割まとめ
| モデル | 意味 | |
|---|---|---|
| **π_ref(y | x)** | 「自然なテキスト」の確率（事前学習 LM） |
| r(x,y) | 「人間にとって良い」度合い（報酬モデル） | |
| β | 報酬をどれだけ強調するかの重み | |
| *π (y | x)** | 最終的な「好ましい」モデル |
2. LLM における RLHF は 1 ステップの強化学習
スライドの図をもとに再構成すると、LLM の RLHF では次のように解釈できる：
■ 図：LLM の RLHF は「1 ステップだけの RL」
状態 s（プロンプト x）
│
▼
行動 a（文章 y の生成）
│
▼
┌───────────────────────┐
│ 報酬モデル r(x,y) │ ← 人間の好みを近似
└───────────────────────┘
※ 状態遷移は無し（1 ステップで終了）
つまり、一般的な RL にある「長い軌跡」「状態遷移」は存在しない。
これが LLM 特有の RL の単純さであり、逆に難しさでもある。
■ 数式としての RLHF（PPO など）
[
\max_{\pi_\theta};\mathbb{E}{y\sim\pi\theta} \left[r_\phi(x,y)\right]
- \beta ; D_{KL}(\pi_\theta || \pi_{\text{ref}})
]
3. RLHF/DPO の欠点：報酬が 1 つのスカラーに潰れる
例として、2 つの回答があったとする：
Prompt: リンゴについて教えて下さい
Answer-1: 詳細で有用だが、危険な情報を含む
Answer-2: 安全だが簡潔
■ 図：複雑な評価軸が「1 つの数字に圧縮」されてしまう
有用性 ─────────────┐
├──→ 単一スカラー報酬
安全性 ─────────────┘
RLHF/DPO の報酬モデルや比較学習では、
最終的に 1 つのスカラー値 に評価がまとめられる。
これにより：
- 有用だがリスクのある回答
- 安全だが役に立たない回答
などの トレードオフを適切に扱えない 欠点が生じる。
4. 学習フェーズと「強化学習が入る場所」
LLM には 3 段階がある：
■ 図：LLM の 3 フェーズ（強化学習が使われるのは真ん中）
┌──────────────┬──────────────┬──────────────┐
│ 事前学習 │ 事後学習 │ テスト時推論 │
│ (Pretrain) │ (SFT/RLHF) │ (Inference) │
└──────────────┴──────────────┴──────────────┘
↑
強化学習はここに入る
各フェーズの役割
| フェーズ | 内容 |
|---|---|
| 事前学習 | 次トークン予測で知識・文法を獲得 |
| 事後学習（SFT） | 手動で作った良い回答に従う |
| RLHF / VR | 報酬モデルで最適化（RL） |
| DPO | RL の解析解を教師あり学習化したもの |
| 推論時最適化（RL-inference） | 追加学習なしで RL 的制御を行う試み |
5. DPO の構造を図で理解する
DPO は RLHF の目的関数を解析した結果、
次の「好ましい vs 好ましくない」の比較学習に落ちる：
■ 図：DPO の基本構造（好悪ペアで直接学習）
(好ましい y⁺) > (好ましくない y⁻)
│ │
└──────────┬──────────┘
▼
「y⁺ の方が良い」ことを
直接パラメータに反映
特徴：
- 報酬モデルを作らない
- 強化学習アルゴリズムも不要
- 計算が軽く、安定して学習可能
ただし欠点は RLHF と同じく
評価が 1 スカラーに潰れる。
6. 総まとめ：RLHF/DPO 全体像（図解）
■ 図：3 モデルによる「意見集約 → 好み最適化」の全体像
┌────────────────────┐
│ 事前学習モデル π_ref │
│ 自然なテキストの分布 │
└────────────────────┘
│
│（KLで制約）
│
▼
┌──────────────────────────┐
│ 人間の好み（報酬） │
│ r(x,y) or y⁺ > y⁻ (DPO) │
└──────────────────────────┘
│
│（加重または比較）
▼
┌────────────────────┐
│ 最終方策 π* │
│ 自然 × 好み の融合 │
└────────────────────┘
7. 今後の展望（図解）
■ 多次元報酬 (Multi-objective RLHF)
有用性 ─┐
安全性 ─┼──→ 多次元で最適化（研究中）
簡潔性 ─┘
■ テスト時最適化 (RL-inference)
ユーザー入力
│
▼
推論時に KL 最適化や 報酬最大化 を行う
（追加学習なしで品質改善）
8. 結論
図で説明した通り：
- RLHF は「自然な文 × 人間の好み」を
対数空間で重み付け統合 する手法 - DPO はその解析解を教師あり学習に変換した手法
- 両者の最大の欠点は
評価軸が単一スカラーに潰れること - 研究は「多次元報酬」「推論時最適化」へと向かっている