はじめに
Recurrent Depth Transformer（RDT）は、同一のTransformerブロックを複数回繰り返すことで、パラメータを増やさずに計算深度を拡張する。
しかし、再帰を深くすれば性能が上がるとは限らない。深くしすぎると状態が発散し、性能が急激に崩壊する。本研究では、この急激な性能変化を位相転移（phase transition）と呼ぶ。
では、再帰深度をどう制御すればよいのか。
本記事では、Gate Decayという機構が再帰深度の利用特性（深度プロファイル）をどのように制御するかを、実験データに基づいて報告する。
Gate Decayの設計思想
再帰型Transformerにおいて、各反復深度での状態更新量をどのように制御するかは、性能と安定性の両立に直結する問題である。
従来のアプローチには、大きく3つの方向がある。
- 制御なし: 深度を増やすと状態が発散し、ある臨界点で性能が崩壊する（位相転移）
- 正規化ベース（RMSNormなど）: 状態ノルムを正規化すると発散は防げるが、全深度で同一の性能となり、深度を増やす意味が消失する
- 固定スケーリング（ReZeroなど）: 初期には有効だが、学習が進むにつれ最適深度が浅い方へ退行する
つまり、「発散を防ぐ」ことと「深度利用を維持する」ことがトレードオフの関係にあり、両立する手法が存在しなかった。
Gate Decayは、この問題に対するシンプルな解を提供する。基本的な考え方は以下の通りである。
- 各反復深度で、入力に依存したゲート値を計算する（入力依存制御）
- そのゲート値に対して、深度に応じた減衰を適用する（深度依存制御）
- 浅い深度ではゲート値がほぼ維持され、深い深度では更新量が段階的に抑制される
これにより、浅い反復では自由に表現を形成し、深い反復では保守的に振る舞うという深度依存の更新特性が実現される。追加される学習可能パラメータはスカラー1個のみであり、計算オーバーヘッドはほぼゼロである。
具体的な減衰関数の形式および実装の詳細は特許出願済みのため、本記事では省略する。
実験設定
722Mパラメータの再帰深度Transformerを、減衰強度を変えた複数条件で100Mトークンにより学習した。教師モデルはllm-jp-4-8bの8Bモデル（4bit量子化）、学習データは日本語Wikipedia。
| 項目 | 値 |
|---|---|
| GPU | NVIDIA RTX 3090 (24GB) × 1 |
| 生徒モデル | 722Mパラメータ 再帰深度Transformer |
| 教師モデル | llm-jp-4-8b-base（4bit量子化） |
| 学習データ | 日本語Wikipedia 100Mトークン |
| 評価深度 | n=1, 3, 6, 12 |
| 評価指標 | Cross-Entropy（CE, 低いほど良い） |
結果: 減衰強度による深度プロファイルの変化
5条件比較（A3系列）
| 条件 | n=1 | n=3 | n=6 | n=12 | 最良深度 |
|---|---|---|---|---|---|
| 制御なし | 8.02 | 8.08 | 8.35 | 8.11 | n=1 |
| 強い減衰 | 7.80 | 7.98 | 7.81 | 8.13 | n=1 |
| 中程度の減衰 | 8.26 | 7.84 | 7.94 | 8.23 | n=3 |
| 弱い減衰 | 8.84 | 7.90 | 8.03 | 7.74 | n=12 |
| 非常に弱い減衰 | 7.89 | 7.82 | 7.70 | 7.91 | n=6 |
CE loss（低いほど良い）。全値eval2（最終評価）で統一。A3系列はseed未固定。
制御なしの条件では、n=1が最良であり、深度を増やすとむしろ悪化する。再帰構造が計算深度の拡張として機能していない。
強い減衰の条件では、n=1との差はわずか0.01。減衰が強すぎて深い再帰の効果がほぼ消失している。
中程度の減衰では、n=3で7.84を記録し、深度を増やすことで明確な改善が得られた。深度活用が安定して見られる最初の条件である。
弱い減衰では、n=12で全条件中の最良値 7.74 を記録した。
非常に弱い減衰では、n=6で7.70を記録したが、n=1からn=12まで7.70〜7.91の狭い範囲に収まっており、深度による性能差がほとんどない。減衰が弱すぎて深度制御の効果が薄れている。
seed固定再現実験（A4系列）
中程度の減衰条件について、seedを固定して3条件で再現性を検証した。
| 条件 | n=1 | n=3 | n=6 | n=12 | 最良深度 |
|---|---|---|---|---|---|
| seed=42 | 8.74 | 7.96 | 8.06 | 7.96 | n=3 |
| seed=123 | 8.08 | 7.87 | 7.92 | 7.78 | n=12 |
| seed=999 | 8.33 | 8.15 | 7.94 | 7.96 | n=6 |
3seed全てでn=1が最悪となり、「深い再帰が浅い再帰より有利である」 という傾向が再現された。ただし最良深度はseedによって異なり（n=3, n=12, n=6）、この点ではseed依存性が残る。
深度プロファイルの制御性
これらの結果から見えるのは、減衰強度によって深度プロファイルが体系的に変化するという事実である。
- 制御なし → 深度利用不可（n=1最良）
- 強すぎる減衰 → 深層効果消失（n=1との差がわずか）
- 適切な減衰 → 深度活用が安定（明確な改善）
- 弱すぎる減衰 → 深度間差消失（全深度で性能が横並び）
ただし、最適深度と減衰強度の関係は単調ではなく、この非単調性の解釈には追加の実験が必要である。
内部表現の三相学習ダイナミクス
gate weightの構造解析から、学習過程に3つのフェーズが存在することが確認された。
- Phase 1（0–20Mトークン）: 急速な構造形成。SVDエネルギー集中が上昇し、有効次元数が減少
- Phase 2（20–50Mトークン）: 構造安定化。SVD・有効次元数ともに変動が収まる
- Phase 3（50–100Mトークン）: SVDが飽和する一方、L2ノルムは緩やかに成長を続ける
この三相構造は減衰強度によらず共通して観察された。Gate Decayが「表現形成スケジュール」に関与している可能性を示唆する結果である。
減衰強度によるチャネル分化の違い
| 指標 | 制御なし | 非常に弱い | 弱い | 中程度 | 強い |
|---|---|---|---|---|---|
| SVD top-5% | 56.2% | 57.7% | 57.5% | 56.8% | 56.5% |
| rank90 | 974 | 954 | 954 | 966 | 964 |
| L2 mean | 1.10 | 1.11 | 1.08 | 1.16 | 1.19 |
checkpoint_analysis.json（A3完走版student_latest.pt）からの実測値。
減衰強度間のSVD・rank90の差は小さい（rank90で954〜974の範囲）。100Mトークン学習では、減衰強度によるチャネル構造の大きな差異は観測されなかった。L2ノルムにはやや傾向があり、強い減衰で最大、弱い減衰で最小となった。
A4の3seed実験でも、seed間のばらつきはSVD5%で55.4〜57.8%、rank90で950〜979、L2で1.10〜1.15であり、seed間の変動は減衰強度間の変動と同程度だった。
既存研究との位置づけ
| 方式 | 制御対象 | 深度制御 |
|---|---|---|
| Knowledge Distillation | Loss | なし（固定） |
| Adaptive Computation Time | Layer Skip | あり（停止判定） |
| Universal Transformer | Halting Probability | あり（離散的停止） |
| Gate Decay | 深度依存状態更新 | あり（連続制御） |
Adaptive Computation Time（ACT）やUniversal Transformerは、再帰を「いつ止めるか」を制御する。Gate Decayは、再帰の各深度において「どの程度状態を更新するか」を連続的に制御する。停止判定ではなく、深度ごとの更新特性そのものを制御する点が設計上の差分である。
まとめ
Gate Decayは、再帰深度の利用特性（深度プロファイル）を制御する機構である。
本記事では、減衰強度を変えた5条件の比較実験と、seed固定の3条件による再現実験に基づいて、減衰強度によって深度プロファイルが体系的に変化することを示した。seed固定実験では、全seedで深い再帰が浅い再帰より有利であるという共通した傾向が観察された。
今後の展開については、続編で扱う予定である。
実験環境: RTX 3090（24GB）、WSL2（Ubuntu 24.04）、722Mパラメータ 再帰深度Transformer、日本語Wikipedia 100Mトークン
関連特許: 出願済
本記事は特許出願に伴い、技術詳細の一部を抽象化しています（2026年7月更新）。
シリーズ記事（nakatada-lab）:
本研究はAletheon Researchによる独立研究です。