TL;DR
- 同じパラメータ数・同じデータ量・同じGPUの条件下で、計算深度の利用効率を制御することで深度追加による性能改善を安定化できる可能性を示す
- 提案手法「Gate Decay」は、入力依存の更新制御と深度依存の更新制御を組み合わせ、各深度での更新寄与を調整する
- RTX 3090 1枚、722Mパラメータ、100Mトークンでの実験の結果、入力依存の制御のみでは深度利用が不安定化する一方、深度方向の制御を加えることで改善傾向を回復できることを確認した
- これは「パラメータを増やす」「データを増やす」とは異なる、計算の使い方を最適化する改善軸の提案である
背景：Scaling Law以外に存在する改善軸
LLMの性能改善といえば、パラメータ数・データ量・計算量を増やすScaling Lawが主要な手段です。しかし限られた計算資源下でのモデル性能向上という観点では、この方向のスケーリングは常に選択できる手段ではありません。
一方で、モデル内部の深度利用効率という観点では、まだ検討の余地があります。
モデルは自分の「深さ」を効率的に使えているのか？
12層のTransformerがあるとき、入力によっては途中の層で十分な表現が得られ、残りの層は状態をほとんど変えていない可能性があります。あるいは逆に、制御が不適切なために深い層が浅い層で獲得した表現を壊している可能性もあります。
この「計算深度の利用効率」を制御する手法として、筆者はGate Decayを提案し、実験的に検証しました。
Gate Decayの考え方
通常のGated Update（Highway Networks, GRU, GateSkipなど）では、各層でデータに依存したゲート値を計算し、更新量を制御します。
$$
h_{d+1} = (1 - g) \cdot h_d + g \cdot F(h_d)
$$
ここで $h_d$ は深度 $d$ での隠れ状態、$F(h_d)$ は更新候補です。
Gate Decayでは、この更新過程に深度方向の制御を追加します。モデル内部の更新挙動に対して、入力状態と計算深度の双方から制御を加えることで、深度方向の利用特性を調整します。具体的な制御関数の設計は特許出願済みのため省略しますが、多くの関数形式が候補として考えられます。
実験設計
Gate Decayの効果を切り分けるため、以下の4条件でアブレーション実験を行いました。
実験環境
| 項目 | 値 |
|---|---|
| GPU | NVIDIA RTX 3090 (24GB) |
| モデル | 722Mパラメータ 再帰深度Transformer |
| 学習データ | 日本語Wikipedia 100Mトークン |
| 学習方式 | 知識蒸留（教師: llm-jp-4-8b-base 4bit） |
| 評価深度 | n=1, 3, 6, 12 |
| Seed | 42（全条件統一） |
比較条件
| 条件 | 入力依存制御 | 深度依存制御 | 説明 |
|---|---|---|---|
| baseline | なし | なし | 標準Transformer |
| gate_only | あり | なし | 入力依存制御のみ追加 |
| fixed | あり | あり | Gate Decay（制御パラメータ固定） |
| learnable | あり | あり | Gate Decay（制御パラメータ学習可能） |
評価指標：「深度単調性」
深度を増やしたときに性能（Cross-Entropy, CE）が単調に改善するかどうかを確認します。
$$
\text{CE}(n{=}1) \geq \text{CE}(n{=}3) \geq \text{CE}(n{=}6) \geq \text{CE}(n{=}12)
$$
これが成立すれば、深度追加による計算が評価指標上で一貫した改善として現れていることを意味します。
結果
深度別Cross-Entropy
| 条件 | n=1 | n=3 | n=6 | n=12 | 単調性 |
|---|---|---|---|---|---|
| baseline | 9.99 | 9.99 | 9.89 | 9.44 | ✓ |
| gate_only | 12.48 | 12.58 | 12.57 | 10.40 | ✗ |
| fixed | 12.09 | 11.56 | 11.26 | 9.61 | ✓ |
| learnable | 11.65 | 11.33 | 10.94 | 9.60 | ✓ |
図1: アブレーション実験におけるn=1基準のCE変化量（ΔCE）。gate_onlyでは中間深度で性能低下が発生する一方、Gate Decayでは深度増加に伴う一貫した改善傾向を確認した。
入力依存制御のみでは不安定化する
本実験条件では、入力依存の制御のみを追加した場合（gate_only）、深度方向の利用特性が安定しませんでした。
gate_onlyの結果を見ると、n=1（CE=12.48）からn=3（CE=12.58）で性能が悪化しています。n=6（CE=12.57）でも改善は見られません。一方、n=12（CE=10.40）では大幅に改善しており、制御機構自体は学習されています。
つまり、入力依存の制御のみでは中間深度における更新寄与が適切に調整されず、深度利用の安定性が損なわれることが確認されました。
深度方向の制御を加えると回復する
Gate Decay（fixed）では、深度方向の制御を加えたことで、深度単調性が回復しました。
CE推移を見ると、n=1（12.09）→ n=3（11.56）→ n=6（11.26）→ n=12（9.61）と、単調な改善傾向を確認しています。
gate_onlyとfixedの違いは深度方向の制御の有無だけです。この比較から、入力に応じた更新判断に加え、深度方向の構造的な制約を組み合わせることの有効性が示されています。
制御パラメータの学習可能化
制御パラメータを学習可能にした条件（learnable）では、手動設定値の近傍に自発的に収束しました。深度別CEは n=1: 11.65 → n=3: 11.33 → n=6: 10.94 → n=12: 9.60 と、全深度で単調改善しています。
最終性能（n=12: CE=9.60）はfixed（9.61）とほぼ同等であり、深度制御の強度がデータとアーキテクチャによって自然に定まることを示唆しています。
深度制御パラメータの効果
減衰強度を調整するハイパーパラメータを変えると、深度方向の更新特性が変化します。722Mパラメータの再帰深度Transformerを用いた比較実験では、以下の傾向を確認しました。
- 減衰が強すぎる場合: 深い層の更新がほぼ停止し、深度追加の恩恵が得られない
- 適切な減衰: 深度追加によるCE改善が安定し、深度単調性を達成
- 減衰なし: 深い層での更新量制御が不足し、深度利用が不安定化
図2: 減衰強度パラメータによる深度プロファイルの変化（模式図）。少数の制御パラメータにより、深度方向の更新特性を調整できる。
注: 減衰強度比較実験の詳細データおよびseed統一版の結果は、関連記事（006/007）で報告しています。
関連研究との位置づけ
深層ネットワークの層方向の学習安定化や計算量制御に関する研究は多数存在します。Gate Decayとの関係を整理します。
| 手法 | 制御対象 | データ依存 | 深度依存 |
|---|---|---|---|
| ReZero | 残差スケール | 学習スカラー | なし |
| LayerScale | 残差スケール | 学習ベクトル | なし |
| Highway Networks | ゲート | シグモイド | なし |
| DeepNorm | residual scaling | なし | 固定スケール |
| Stochastic Depth | ドロップ | なし | 確率的 |
| Universal Transformer (ACT) | 計算ステップ数 | 停止確率 | なし |
| Deep Equilibrium Model | 状態収束 | 不動点探索 | なし |
| Gate Decay | 深度方向の更新特性 | 入力状態と計算深度を考慮した制御 |
ACTやUniversal Transformerは「何回計算するか」（計算ステップ自体の停止）を動的に決定する手法です。Deep Equilibrium Model（DEQ）は不動点への収束を利用します。これらに対し、Gate Decayは各計算ステップを実行しつつその更新寄与量を深度に応じて調整するアプローチであり、制御対象が異なります。
既存手法の多くは入力依存の制御か、深度依存の制御のいずれか一方を持ちます。Gate Decayは両者を組み合わせている点で構造が異なり、本実験では入力依存制御のみ（gate_only）では深度利用が不安定化し、深度方向の制御を加えることで改善傾向が回復することを確認しました。
この結果が示唆すること
1. モデル規模拡大とは異なる改善軸
本実験では、パラメータ数もデータ量も変えずに、深度利用効率の制御だけで評価指標が変化しました。Gate Decayは学習可能パラメータを追加せず（制御パラメータ固定の場合）、既存アーキテクチャの更新ルールに構造的な制約を加えるものです。
2. 動的制御と構造的制約の分離
本実験条件では、入力依存の制御のみでは深度方向の安定性が確保できませんでした。入力に応じた動的な更新判断と、深度に基づく構造的な制約を分離して設計することで、深度利用の安定化が確認されました。
3. 更新寄与制御という研究方向
推論時の計算量削減を目的としたEarly Exitは、計算ステップ自体を途中で停止する手法です。これに対し、Gate Decayのような更新寄与制御は、各計算ステップを実行しつつその寄与量を深度に応じて調整するアプローチであり、制御対象が異なります。
この方向はまだ十分に探索されていない領域であり、制御関数の設計やパラメータの最適化戦略には多くの選択肢が考えられます。残差更新を持つニューラルネットワーク一般に対して適用可能性を有しており、Transformer以外のアーキテクチャへの展開も検討の余地があります。
再現環境
本記事の実験はすべて以下の環境で実施しました。
| 項目 | 値 |
|---|---|
| GPU | NVIDIA RTX 3090 (24GB VRAM) |
| OS | Windows 11 + WSL2 (Ubuntu 24.04) |
| Python | 3.10 + PyTorch 2.6.0 (CUDA 12.4) |
| 教師モデル | llm-jp/llm-jp-4-8b-base (4-bit量子化) |
| 学習データ | 日本語Wikipedia (HuggingFace Arrow形式) |
| 1条件の学習時間 | 約13.5時間 |
今後の方向
- 隠れ状態ダイナミクスの詳細解析: 各深度での隠れ状態の収束挙動や更新方向の構造を解析しており、制御機構の効果メカニズムをより詳細に報告する予定です
- 推論時の深度制御への応用: 学習時の深度プロファイルは推論時にも適用可能であり、計算深度の動的制御への展開が考えられます
関連記事
本研究はAletheon Researchによる独立研究です。Gate Decayの基本構成については特許出願済みです。
アブレーション実験: RTX 3090 / 722M params / 100M tokens / seed=42
本記事は特許出願に伴い、技術詳細の一部を抽象化しています（2026年7月更新）。