本記事について
本記事では、複数の大規模言語モデル（LLM）を比較測定して得られた現象の発見と、その測定方法について紹介します。
応用アルゴリズムや制御方式、モデル設計への適用については、現在研究および権利化を進めている内容を含むため、本記事では扱いません。本記事で紹介するのは、あくまで観測された現象とその測定結果です。
この現象がなぜ起きるのか、そしてどのように利用できるのかについては、現在さらに検証を進めています。検証がまとまり次第、学術論文などの形で公開できればと考えています。
はじめに
Transformerの推論効率化手法として、Early Exit（途中の層で計算を打ち切る手法）が広く研究されています。この手法の多くは、ある層の隠れ状態（hidden state）が「十分に収束した」と判断されたら、残りの層をスキップしても出力品質が維持されるという仮定に基づいています。
しかし、隠れ状態が収束したように見えることと、最終出力が確定していることは、本当に同じなのでしょうか？
6つの異なるTransformerモデルに対して、各層の隠れ状態と最終出力の関係を測定してみました。結果として、多くのモデルで隠れ状態の局所的収束と出力の収束は一致しないことが確認されました。
測定手法
何を測ったか
各モデルの中間層について、2つの類似度を計算しました。
Hidden cosine（h_cos）：中間層の隠れ状態と最終層の隠れ状態のコサイン類似度。
$$
h_cos(d) = \cos(h_d,\ h_{final})
$$
これが高ければ、隠れ状態は最終状態に近い——つまり「内部的に収束している」と解釈できます。
Logit cosine（l_cos）：中間層の隠れ状態をLM headに通して得たlogit分布と、最終層のlogit分布のコサイン類似度。
$$
l_cos(d) = \cos(W_{lm} \cdot h_d,\ W_{lm} \cdot h_{final})
$$
これが高ければ、その層で計算を止めても出力がほぼ同じになります。
J-gap：隠れ状態と出力のズレを測る
この2つの指標の差を定義します。
$$
J_gap(d) = l_cos(d) - h_cos(d)
$$
J_gapが0に近ければ、隠れ状態の収束度がそのまま出力の収束度を反映しています。J_gapが大きい場合、隠れ状態の見かけの収束を信用してEarly Exitすると、出力が意図しないものになるリスクがあります。
測定条件
- 日本語Wikipediaテキスト（モデルごとに50〜100サンプル）
- 各モデルの全層について h_cos / l_cos / Top-1一致率を計測
- AC Peak（h_cosが最大となる層）を各モデルで特定
測定対象
| モデル | パラメータ | 層数 | アーキテクチャ |
|---|---|---|---|
| GPT-2 | 124M | 12 | Dense |
| Llama 3.1 | 8B | 32 | Dense |
| Qwen2.5 | 32B | 64 | Dense |
| DeepSeek Coder | 6.7B | 32 | Dense (MoE系) |
| llm-jp-3 | 3.7B | 28 | Dense |
| llm-jp-4 | 8B (A3B) | 32 | MoE |
モデル選定の理由は、アーキテクチャ・規模・学習データの異なるモデルで現象の普遍性を確認するためです。
結果
AC Type分類
測定の結果、6モデルは以下の4タイプに分類されました。
| モデル | AC Type | l_cos（AC Peak時） | h_cos（AC Peak時） |
|---|---|---|---|
| GPT-2 | Predictive | 0.94 | 0.04 |
| Llama 3.1 8B | Partial | 0.45 | 0.29 |
| Qwen2.5 32B | Weak | 0.04 | 0.07 |
| DeepSeek 6.7B | False | -0.27 | 0.40 |
| llm-jp-3 3.7B | False | -0.05 | 0.30 |
| llm-jp-4 8B | False | -0.24 | 0.07 |
AC Typeの定義：
- Predictive AC：隠れ状態の収束が出力の収束を伴う（l_cos > 0.9）。Early Exitが安全に機能する可能性が高い。
- Partial AC：出力が部分的に収束（0.5 > l_cos > 0.0）。Early Exitは条件付きで可能だが、精度低下リスクがある。
- Weak AC：出力収束がほぼ見られない（l_cos ≈ 0）。隠れ状態の収束は出力と無関係。
- False AC：出力のコサイン類似度が負（l_cos < 0）。隠れ状態が収束して見えても、出力は最終結果と反対方向の表現を示している。
6モデル中、隠れ状態の収束が出力の収束を正しく反映していたのはGPT-2のみでした。
図1：6モデルのAC Peak時点におけるhidden cosineとlogit cosineの比較。GPT-2のみがPredictive AC（l_cos > 0.9）を示し、3モデルでFalse AC（l_cos < 0）が確認された。
GPT-2：なぜPredictive ACが成立するのか
GPT-2は12層と浅いモデルです。層ごとのプロファイルを見ると、L2の時点でl_cos = 0.83に到達しています。一方、h_cosはL12（最終層直前）でも0.31にとどまります。
つまりGPT-2では、隠れ状態はまだ最終状態から遠いのに、LM headを通した出力分布はすでに最終出力とほぼ一致しています。一つの可能性として、モデルが浅いことにより、LM headの射影空間が全層で比較的一貫していることが考えられます。
Qwen2.5-32B：深層Transformerの別パターン
Qwen2.5-32Bは64層のモデルです。このモデルでは、h_cosもl_cosも同じ低い速度でゆっくり上昇します。AC Peak時点（L26付近）でもl_cos = 0.04にとどまり、最終層直前のL63でもl_cos = 0.45程度です。
DeepSeekやllm-jpのFalse ACとは異なり、logitが負になることはありません。しかし、64層を経てもhidden-output alignmentが形成されないという点で、Early Exitの前提は同様に成立しません。
この2モデルの対比は、「浅いモデルと深いモデルで内部計算の性質が質的に異なる」ことを示唆しています。
図2：GPT-2（左）とQwen2.5-32B（右）の層ごとのh_cos / l_cosプロファイル。GPT-2ではL2時点でl_cosが0.83に到達する一方、Qwenでは64層を経てもl_cosが0.45にとどまる。オレンジの帯がJ_gap（hidden-output乖離）を表す。
False AC：最も危険なパターン
DeepSeek、llm-jp-3、llm-jp-4の3モデルでは、中間層で隠れ状態の類似度（h_cos）がピークを示す一方、同じ層でのlogit類似度（l_cos）は負の値を示しました。
これは、中間層の隠れ状態をLM headに通すと、最終出力と反対方向の表現が得られることを意味します。隠れ状態だけを見て「収束した」と判断してEarly Exitを実行した場合、出力品質が大きく劣化するリスクがあります。
考察
なぜ隠れ状態と出力が乖離するのか
Transformerの最終層にはLM head（出力射影層）があり、隠れ状態を語彙空間に変換します。
$$
z = W_{lm} \cdot h
$$
浅いモデル（GPT-2）では、各層の隠れ状態がLM headの「想定する入力空間」と比較的一致しています。しかし深いモデルでは、中間層の隠れ状態はLM headが想定する入力空間とは異なる表現を持っています。
概念的には、隠れ状態空間と出力空間の間に変換空間の存在が示唆され、この変換の整合性がモデルの深さや構造に依存して変化する可能性があります。
浅いモデルでは、この変換空間が全層で比較的一貫しているため、どの層でも出力射影が意味のある結果を返します。一方、深いモデルでは層によって隠れ表現の性質が大きく変わるため、中間層の隠れ状態を直接出力射影しても最終出力とは無関係な分布が得られます。
Early Exit研究への示唆
本結果は、hidden stateのみを指標とするEarly Exit判定には限界がある可能性を示しています。
本研究では、hidden stateだけでは説明できない挙動を定量化するためにJ_gapを導入しました。J_gapがどのような応用へ利用できるかについては、現在検証を進めています。
測定の限界
本測定にはいくつかの限界があります。
- サンプル数は50-100で、大規模な統計的検証ではない
- 日本語テキストのみで測定しており、言語依存性は未検証
- 4bit量子化モデル（DeepSeek、llm-jp-4）では量子化の影響が含まれる可能性がある
- AC Typeの閾値（0.9 / 0.5 / 0）は経験的に設定しており、理論的根拠は今後の課題
なお、本記事で提案するJ_gapは、新しい推論アルゴリズムではなく、「隠れ状態と出力の関係を観測するための測定指標」として導入しています。
追加検証報告（2026/7/19）
本記事の公開後、追加検証を実施しましたので報告します。
1. 再帰型Transformerでの検証
独自に開発した再帰型Transformer（約722Mパラメータ）について、本記事と同じ測定手法（h_cos / l_cos / J_gap）で解析を行いました。
このモデルでは、再帰初期から l_cos が高い値（約0.96以上）に達し、再帰を重ねるにつれて J_gap が単調に0へ近づく収束挙動が確認されました。これは、通常の feed-forward Transformer とは異なる特徴を示しています。
また、初期状態をランダム初期化・ゼロ初期化の2条件で比較したところ、最終的な収束傾向は初期状態に依存しないことを確認しました。さらに、推論時の乱数シードを変更した場合でも、同様の傾向が再現されています。
2. コサイン類似度による評価の限界
追加検証の過程で、本記事で用いた h_cos / l_cos に重要な限界があることも分かりました。
コサイン類似度はベクトルの方向のみを評価し、大きさ（ノルム） は評価対象に含まれません。
実際に異なる制御条件を比較したところ、状態ベクトルのノルムが数十倍異なっていても、方向がほぼ一致していれば（cos ≈ 0.98）、h_cos や l_cos にはほとんど差が現れませんでした。
つまり、J_gap は有用な指標ではあるものの、内部状態の違いを単独で完全に表現できるとは限りません。今後は、ノルムや勾配情報を含めた複数指標による評価について検証を進めています。
3. 学習ダイナミクスに関する追加解析
学習済みモデルについて追加解析を行った結果、本記事で扱った制御機構の有無によって、学習過程における勾配スケールやゲートの振る舞いに大きな違いが現れることを確認しました。
一方で、十分に学習したモデルでは、推論時にその制御機構を無効化しても出力性能への影響は小さいケースがあり、学習過程で重みが制御機構の効果を内部的に取り込んでいる可能性が示唆されています。
現在、この仮説を検証するため、
- 学習途中のチェックポイント解析
- 学習途中で制御機構を無効化する切替実験
- 制御機構を用いない学習との比較
を進めています。
これらの結果は、本現象が学習時にのみ必要な正則化・最適化機構なのか、それとも推論時にも本質的な役割を持つのかを明らかにする重要な検証になると考えています。
まとめ
6つのTransformerモデルを対象に、中間層の隠れ状態収束と最終出力収束の関係を測定しました。
主な発見は以下の通りです。
- 6モデル中5モデルで、隠れ状態の見かけの収束（Apparent Convergence）は出力の収束を保証しない
- GPT-2のみがPredictive AC（隠れ状態の収束が出力の収束を伴う）を示した
- 3モデルでFalse AC（隠れ状態が収束して見えるのに出力のコサイン類似度が負）を確認
- J_gap = l_cos - h_cos という測定指標により、隠れ状態と出力の乖離を定量化できる
これらの結果は、hidden stateの収束度のみに基づくEarly Exit手法の前提に疑問を投げかけます。
本研究の詳細は、Jxivプレプリントとして公開しました：
https://doi.org/10.51094/jxiv.5809
著者情報
Aletheon Research（山形県）
独立研究者として、RTX 3090単機でTransformerの内部計算構造に関する研究を行っています。
関連記事：