TL;DR
- 再帰Transformer（BathysRDT）の深い層で出力がほとんど変化しなくなる現象（Ghost状態）を体系的に観測した
- 直感に反して、最も性能の良いモデル（τ=12）が最も高いGhost率を示すことを発見した
- Ghost状態は「無駄な計算」ではなく、内部表現が収束に成功した証拠である
- Gate Decayの制御パラメータτは、この収束が生じる条件を制御している
背景：深い層で出力が変わらなくなる
再帰Transformerでは、同一の再帰ブロックをn回繰り返して計算深度を増やします。このとき、ある深度を超えると出力がほとんど変化しなくなる現象が観測されます。
例えば、深度d=8以降でtop-1トークンが変わらない、KLダイバージェンスがほぼゼロになる、といった状態です。
これは一見「無駄な計算」に見えます。実際、計算量削減の文脈では「変化がなければ止めてよい」という発想が自然です。しかし本当にそうでしょうか。
本記事では、この「出力が変わらない深層計算」の正体を実験的に明らかにします。
実験設計
Ghost Detection
再帰深度Transformer（BathysRDT, 722M）を用い、各深度での出力変化を体系的に観測しました。
| 項目 | 値 |
|---|---|
| モデル | BathysRDT 722M |
| 評価深度 | d=1〜12（全深度） |
| 制御パラメータ | τ=6, 12, 24, 9999（4条件） |
| 評価プロンプト | 5種類（日本語、異なるドメイン） |
| Seed | 42（全条件統一） |
各深度で以下の指標を記録しました。
- top-1トークンの変化有無
- KLダイバージェンス（前深度との差）
- 隠れ状態のコサイン類似度
- エントロピー変化
- 出力確率分布の変動
4分類フレームワーク
深度ごとの状態を以下の4カテゴリに分類しました。
Active — 出力が有意に変化している。top-1トークンの変更、KLの増大、隠れ状態の大きな変動がある。表現がまだ形成途上であることを示す。
Confidence Ghost — top-1トークンは変わらないが、確率分布が微調整されている。表現は確定しており、確信度の調整が行われている状態。
Representation Ghost — 出力分布はほぼ固定だが、隠れ状態がわずかに変化している。出力には現れない内部表現の微調整が行われている。
Output Ghost — 出力も隠れ状態もほぼ完全に固定。計算による状態変化が観測限界以下。
結果
Ghost分類の集計
| τ | Active | Conf Ghost | Rep Ghost | Out Ghost | Ghost率 |
|---|---|---|---|---|---|
| 6 | 35 | 3 | 17 | 0 | 36% |
| 12 | 25 | 15 | 4 | 11 | 67% |
| 24 | 23 | 15 | 9 | 8 | 58% |
| 9999 | 45 | 4 | 6 | 0 | 18% |
※ Ghost率 = (Active以外) / 全深度（d=2〜12、d=1はInitialとして除外）。全5プロンプト合計。
逆転発見：良いモデルほどGhost的
ここで重要な発見があります。
τ=12はCross-Entropyが最良（n=12で8.50、唯一の深度単調性達成）でありながら、Ghost率が67%と最も高い。 逆に、τ=9999は深度制御なしで性能が不安定（W型パターン）でありながら、Ghost率は18%と最も低い。
| τ | CE(n=12) | 深度単調性 | Ghost率 |
|---|---|---|---|
| 6 | 8.24 | ✗ | 36% |
| 12 | 8.50 | ✓ | 67% |
| 24 | 8.33 | ✗ | 58% |
| 9999 | 8.35 | ✗ | 18% |
「Ghostが多い＝無駄が多い」という直感とは逆の結果です。
深度別Ghost率の構造
τ=12の深度別Ghost率を見ると、明確な二層構造が浮かび上がります。
| 深度範囲 | Ghost率 | 解釈 |
|---|---|---|
| d=2〜5 | 0% | 表現形成領域（Active） |
| d=6〜7 | 40〜60% | 移行域 |
| d=8〜12 | 100% | 収束領域（Ghost） |
浅い層では表現が活発に変化し、深い層では状態が安定します。この構造は、Gate Decayによる深度方向の更新寄与制御と対応しています。
τ=9999（制御なし）の対照的な挙動
τ=9999では、d=8〜10でGhost的になった後、d=12で再びActiveに戻る不安定なパターンが観測されました。
| 深度 | d=2〜7 | d=8 | d=9 | d=10 | d=11 | d=12 |
|---|---|---|---|---|---|---|
| Ghost率 | 0% | 80% | 80% | 40% | 0% | 0% |
一度収束しかけた状態が深層で崩れています。深度方向の更新寄与制御がないため、深い層で過剰な更新が発生し、浅い層で獲得した表現を壊していると考えられます。
Ghost状態の再解釈
これらの結果から、Ghost状態の意味を再解釈できます。
従来の解釈： Ghost状態は計算資源の浪費である。出力が変わらないなら、その層の計算は不要。
本実験からの解釈： Ghost状態は内部表現の収束が成功した証拠である。Gate Decayが適切に機能するモデルほど、深い層で安定した収束状態（Ghost）に到達する。
つまり、Gate Decayの役割は「収束するかどうか」ではなく、**「収束が生じる条件を制御すること」**です。
τ=12では、浅い層で表現を形成し（Active領域）、深い層で安定化する（Ghost領域）という構造が自然に形成されます。τ=9999では、この構造が形成されず、深層で不安定な挙動を示します。
top-1トークン安定性
Ghost状態の実用的な側面として、deep layerでの出力トークンの安定性を確認しました。
| τ | 安定率（top-1が変化しない深度の割合） |
|---|---|
| 6 | 90.9% |
| 12 | 70.9% |
| 24 | 61.8% |
| 9999 | 80.0% |
τ=6（強い減衰）では早期に出力が固定されますが、これは「十分に表現を形成する前に更新が停止した」結果です。τ=12では中間的な安定率ですが、CE性能は最良です。出力安定性と性能は単純な正の相関ではなく、適切な深度で適切な更新が行われることが重要であることを示唆しています。
KLダイバージェンスから見た収束の質
各τで最深部（d=12）のKLダイバージェンスを比較すると、収束の「質」に大きな差があります。
| τ | d=12 平均KL | 解釈 |
|---|---|---|
| 12 | 1.71 | 安定した収束 |
| 9999 | 7.91 | 不安定、大きな変動 |
τ=12のd=12ではKLが低く、前深度からの変化が小さい安定した状態です。一方、τ=9999のd=12ではKLが大きく、最終深度でも出力が変動し続けています。
既存手法との関係
推論時の計算量削減を目的としたEarly Exit系の手法は、「出力が変わらなくなったら止める」という考え方に基づいています。本実験の結果は、この判断基準に対して重要な示唆を与えます。
「出力が変わらない」状態には、少なくとも2つの質的に異なる原因があります。一つは内部表現が十分に収束した結果としての安定（τ=12のGhost）、もう一つは更新制御の不備による早期停滞や不安定な振動（τ=6の過剰抑制、τ=9999の不安定収束）です。
単に「変化量が閾値以下なら停止」とするだけでは、これらを区別できません。収束の質を評価する指標の設計が、推論時の深度制御においても重要になると考えられます。
再現環境
| 項目 | 値 |
|---|---|
| GPU | NVIDIA RTX 3090 (24GB VRAM) |
| OS | Windows 11 + WSL2 (Ubuntu 24.04) |
| Python | 3.10 + PyTorch 2.6.0 (CUDA 12.4) |
| モデル | BathysRDT 722M (seed=42統一学習済み) |
| Ghost Detection | 5プロンプト × 4τ × 12深度 = 240観測点 |
Anthropic J-space研究との関連
2026年7月6日、AnthropicはClaudeの内部に「J-space」と呼ばれる作業領域が自発的に形成されていることを発表しました。J-spaceとは、モデルが出力を生成する前に概念を一時的に保持し操作する内部領域であり、人間の認知神経科学における「グローバル・ワークスペース理論」との類似性が指摘されています。
本記事で報告するGhost Detection実験は、再帰Transformerにおける類似の現象を異なる角度から観測したものです。
Anthropicの研究が大規模モデル（Claude 3.5/4.5）の内部表現をヤコビアン（Jacobian）解析によって可視化したのに対し、本実験では小規模な再帰モデル（722M）の深度方向の状態変化を直接測定しています。共通するのは、「モデル内部で出力に直接反映されない計算が行われている」という発見です。
BathysRDTにおけるGhost状態（深い層で出力がほとんど変化しない状態）は、AnthropicのJ-spaceにおける「出力には現れないが内部で概念が保持されている」現象と構造的に対応する可能性があります。
ただし重要な違いもあります。
- スケール: AnthropicはClaudeクラスの大規模モデル、本実験は722Mの小規模再帰モデル
- 観測手法: Anthropicはヤコビアン解析（J-lens）、本実験は深度ごとの出力分布・隠れ状態変化の直接測定
- 制御の有無: AnthropicのJ-spaceは訓練の副産物として自発的に出現。BathysRDTではGate Decayによって収束条件を明示的に制御できる点が異なる
Gate Decayによる深度方向の制御は、こうした内部作業領域の形成条件を設計可能にする技術的方向性を示しています。
まとめ
再帰Transformerの深層で出力が変化しなくなるGhost状態を体系的に観測し、以下を確認しました。
- Ghost状態は4種類（Confidence / Representation / Output / Active）に分類できる
- 最も性能の良いモデル（τ=12）が最も高いGhost率を示す（67%）
- Ghost状態は「無駄な計算」ではなく「収束の成功」を示す指標である
- Gate Decayは収束が生じる条件（深度・タイミング）を制御している
- 深度方向に「表現形成領域」と「収束領域」の二層構造が自然に形成される
関連記事
- パラメータを増やさずにLLMの深度利用効率を改善する — 深度制御によるTransformer安定化実験（ALTH-008）
- 再帰深度の利用特性を制御する ― Gate Decayの設計思想（ALTH-006）
本研究はAletheon Researchによる独立研究です。なお、深度状態に基づく収束判定および品質監視の手法については、特許出願済みです。
Ghost Detection実験: RTX 3090 / BathysRDT 722M / seed=42統一 / 4τ条件 × 5プロンプト