はじめに

大規模言語モデル（LLM）の性能向上は、これまでパラメータ数の増大に大きく依存してきました。しかし、パラメータを増やさずに「考える深さ」を増やすことで性能を向上させるアプローチがあります。再帰深度Transformer（Recurrent Depth Transformer, RDT） です。

RDTは、単一の再帰ブロックを複数回反復適用することで、パラメータ数を固定したまま計算深度を動的に変更できるアーキテクチャです。Huginn（Geiping et al., 2025）などの先行研究で、その有効性が示されています。

しかし、RDTには深刻な安定性の問題があります。反復深度を増やすと、ある臨界点で性能が突然崩壊する**「相転移」** が発生します。

本記事では、この相転移問題を解決する Gate Decay 機構を提案し、722Mパラメータモデルでの実験結果を報告します。

問題：深度方向の3つの失敗モード

RDTの深度安定化には、これまで3つのアプローチが試みられてきましたが、いずれも根本的な問題を抱えています。

失敗モード1：制御なし → 相転移

深度安定化を一切行わない場合、内部状態のノルムが指数的に発散し、ある深度を超えると性能が壊滅的に崩壊します。

n_loops=16: loss = 8.67（正常）
n_loops=24: loss = 12.37（崩壊）← +3.70の急激な悪化

失敗モード2：RMSNorm → 深度効果消失

状態ベクトルにRMSNormを適用すると、全ての深度で同一のlossになります。深度を増やしても性能が全く変わらず、再帰構造が意味をなさなくなります。

n_loops=1:  loss = 8.35
n_loops=12: loss = 8.35
n_loops=24: loss = 8.35  ← 全て同じ

失敗モード3：ReZero → 固定点形成

固定スケーリング係数（α=0.3）を適用すると、初期には有効ですが、学習の進行に伴い最適深度が浅い方へ退行します。

学習初期:   best_depth = 24
学習後期:   best_depth = 6  ← 退行

つまり、従来手法では**「深度利用の維持」と「状態発散の抑制」がトレードオフ**の関係にあり、両立する手法が存在しませんでした。

提案手法：Gate Decay

基本アイデア

Gate Decayの発想はシンプルです：

ゲート値に深度依存の減衰を掛けることで、深い反復での更新量を自然に抑制する。

アーキテクチャ

BathysRDTは、Prelude（前処理）→ Recurrent Block（再帰ブロック）→ Coda（後処理）の3段構造を持ちます。

入力トークン列
  → 埋め込み層
  → Prelude層群（標準Transformer層）
  → 埋め込みベクトル e

初期状態 s₀（ランダム初期化）

再帰ブロック（n_loops回反復）:
  for d = 1, 2, ..., n_loops:
    cand = Inject([s; e])          # 状態と入力を結合
    cand = SelfAttention(cand)     # 自己注意
    cand = FFN(cand)               # フィードフォワード
    g = sigmoid(W_gate * [s; e])   # ゲート値算出
    g_eff = g × exp(-d / τ)        # Gate Decay（本提案）
    s = (1 - g_eff) * s + g_eff * cand  # 凸結合で状態更新

  → Coda層群
  → 出力ヘッド → 予測分布

Gate Decayの数式

g_eff = g × exp(-d / τ)

ここで：

d：現在の反復深度（1から開始）
τ：減衰時定数（学習可能パラメータ）
g：入力依存のゲート値（sigmoid出力）

τは以下のように正値が保証されます：

τ = softplus(θ) = ln(1 + exp(θ))

θはニューラルネットワークの他のパラメータと同時に誤差逆伝播法で最適化されます。

なぜ機能するのか

Gate Decayの本質は、更新の方向を変えずに、更新の大きさだけを深度に応じて制御することにあります。

浅い深度（d ≪ τ）：exp(-d/τ) ≈ 1 → 通常のゲート動作
深い深度（d ≫ τ）：exp(-d/τ) → 0 → 更新量が自然に抑制

深い反復では状態更新がほぼ恒等写像になるため、状態ノルムの発散が防止されます。一方、浅い〜中間の深度では通常通りの学習が行われるため、深度効果が維持されます。

実験結果

実験設定

項目	値
生徒モデル	722Mパラメータ（H=2048）
教師モデル	llm-jp-4-8b-base（8B, 4-bit量子化）
学習データ	Wikipedia日本語（約139万記事）
GPU	NVIDIA RTX 3090（24GB）1台

4方式の比較結果

方式	best_depth	depth_gain	n16	n24	動態
制御なし	12	0.55	8.67	12.37	相転移で崩壊
RMSNorm	-	0.00	8.35	8.35	深度効果消失
ReZero(α=0.3)	6	0.31	9.60	9.99	固定点形成
Gate Decay	16	0.36	8.68	8.97	深度延長成功

best_depth：最良の性能を示した反復深度
depth_gain：n_loops=1との性能差（大きいほど良い）
n24：n_loops=24での性能値（低いほど良い）

Gate Decayの全深度プロファイル

n_loops:  1     3     6    12    16    24    32    48    64
loss:   9.03  8.87  8.76  8.70  8.68  8.97  9.08  9.13  9.14

相転移は完全に消失しています。 n16→n24の性能悪化は+0.29に留まり、制御なしの+3.70と比較して93%の削減を達成しました。n64まで破壊的崩壊は発生していません。

相転移の定量的抑制

	n16 → n24 の悪化幅
制御なし	+3.70（壊滅的崩壊）
Gate Decay	+0.29（緩やかな劣化、93%削減）

ゲートプローブ分析

深度ごとのゲート値と状態変化量を測定しました：

深度	ゲート値 g	状態変化 ds/s	状態ノルム
d=1	0.257	1.0000	6.49e+04
d=4	0.206	0.0645	7.52e+04
d=8	0.148	0.0105	7.57e+04
d=12	0.106	0.0028	7.58e+04
d=16	0.076	0.0025	7.56e+04
d=24	0.039	0.0020	7.58e+04
d=32	0.020	0.0022	7.58e+04

ゲート値は深度とともに単調に減少し（0.257→0.020）、Gate Decayが設計通りに機能していることが確認できます。状態ノルムは7.5e+04付近で安定しており、発散は一切発生していません。

スケール検証（2.1B、進行中）

現在、2.1Bパラメータモデルでのスケール検証実験を実施中です。

Stage 1（n_loops=1）完了時点での速報：

相転移なし：n=1（11.56）からn=64（11.84）まで安定（差わずか0.28）
Gate Decay正常動作：ゲート値の減衰パターンが722Mと同一
状態ノルム安定：全深度で発散なし

2.1Bモデルでも722Mと同じ減衰特性を示しており、Gate Decayのスケール非依存性が確認されつつあります。

先行研究との違い

手法	目的	Gate Decayとの違い
Universal Transformer (Dehghani+ 2019)	エンコーダ・デコーダの深度再帰	Seq2Seq限定、ACTで停止制御
Huginn (Geiping+ 2025)	RDTの実用化	深度安定化機構なし
PonderNet (Banino+ 2021)	確率的深度停止	「いつ止めるか」vs「どれだけ更新するか」
Adaptive Computation Time	動的計算量	効率化目的 vs 安定化目的

今後の方向性

深度メタ認知（Depth Metacognition）

Gate Decay機構は、異なる反復深度での出力分布の差異（Depth Drift）を測定することで、モデルの確信度を推定する基盤を提供します。深度を増やしても出力が収束しない場合、「内部知識では解決できない」と判断し、外部知識の検索をトリガーするような応用が考えられます。

深度スケーリング則

モデルサイズの増加に伴い、最適深度（best_depth）がどのように変化するかは、RDT研究の中核的な問いです。2.1Bでの実験結果により、この問いに対する最初の回答が得られる見込みです。

まとめ

Gate Decayは、再帰深度Transformerの相転移問題に対するシンプルかつ効果的な解決策です。

追加パラメータはスカラー1個（θ）のみ
計算オーバーヘッドはほぼゼロ
相転移を93%削減
最適深度を12→16に延長
深度64まで安定動作
2.1Bスケールでもスケール非依存で動作

本手法に関する特許出願は2026年6月20日に日本特許庁に受理されています。

著者

Nakamura Tadayuki

独立研究者、山形県

Email: tada2503@yahoo.co.jp