本記事の公開範囲について
本記事では、研究の方向性、実験結果、観測された現象、研究の進展について、公開可能な範囲で記載しています。
一方、現在研究中の制御技術については、具体的な制御式、係数、閾値、パラメータ設定、実装上の詳細な条件など、研究上・知財上の核心にあたる情報は意図的に伏せています。
そのため、本記事では「何を観測したのか」「どのような結果が得られたのか」「研究がどのように発展したのか」を中心に説明し、再現に必要となる具体的な制御ロジックそのものは公開していません。
本記事の目的は、制御技術そのものを再現可能な形で公開することではなく、**「再帰Transformerを実際に研究・学習させることで、何が見えてきたのか」**を記録することです。
はじめに
現在の大規模言語モデル（LLM）の多くは、Transformerを基盤としています。Transformerは非常に高い性能を実現し、現在のAI技術を支える重要なアーキテクチャになりました。
一方で、モデルが大規模になるにつれて、パラメータ数、学習計算量、推論計算量、GPUメモリ、学習時間、推論コストも大きくなっています。
現在のTransformerがすぐに置き換えられるとは考えていません。しかし、今後さらにAIが大規模化し、利用範囲が広がっていけば、
現在のTransformerを、そのまま大きくしていくことが本当に最適なのか
という問題は、いずれ改めて検討されるのではないかと考えています。
特に、計算コストと汎用性の両面から、Transformerそのものが見直される可能性があります。
私は、その研究対象の一つとして再帰Transformerに注目しました。
1. 再帰Transformerとは
一般的なTransformerでは、異なるパラメータを持つLayerを積み重ねます。
一方、再帰Transformerでは、同じ計算ブロックを複数回繰り返します。
この構造には、パラメータの再利用という側面があります。しかし、私が注目したのはそれだけではありません。
同じ計算ブロックを繰り返すため、**「計算が進むにつれて、モデルの状態がどのように変化するのか」**を観測しやすいという特徴があります。この点が、再帰Transformerを研究対象として選んだ大きな理由の一つです。
2. 関連研究と本研究の位置づけ
再帰Transformerという考え方そのものは新しいものではありません。関連する先行研究として、以下のようなものがあります。
Universal Transformer（Dehghani et al., 2019）は、Transformerの各層で同一パラメータを繰り返し適用する構造を提案し、Adaptive Computation Time（ACT）を組み合わせて入力ごとに計算ステップ数を動的に調整する手法を示しました。
ALBERT（Lan et al., 2020）は、層間パラメータ共有によってモデルサイズを大幅に削減しつつ性能を維持できることを示しました。
PonderNet（Banino et al., 2021）は、ACTの改良として、各ステップで「計算を停止するか続けるか」を確率的に決定する仕組みを導入しました。
これらの研究は、再帰的な計算や適応的な計算深度制御に取り組んでいます。
今回の研究は、これらの先行研究を調査した上で、推論時の計算制御を出発点として、そこから学習過程の観測・制御へ展開した点に特徴があります。
本研究では、これらの研究を踏まえつつ、推論時の計算制御で得た観測・制御の考え方を学習過程へ展開する方向を検討しました。その結果、学習効率化ロジックの発見へつなげたという経緯をたどりました。
また、再帰Transformerの観測手法を通常Transformerの内部分析に応用するという方向も、本研究の特徴的な展開です。
研究の出発点は、これらの先行研究を参考に再帰Transformerを実際に構築・追試することでした。しかし、推論中の再帰計算を観測していくと、計算をどこまで続けるべきなのかという問題が見えてきました。そこから研究は、追試から計算制御の研究へと展開していきました。
3. 推論制御の確立
今回の研究は、最初から学習効率化を目的として始めたものではありません。最初に注目したのは、再帰Transformerの推論をどのように制御できるのかという問題でした。
再帰Transformerでは、同じ計算ブロックを複数回利用します。そのため、「どこまで計算すれば十分なのか？」という問題が生じます。
推論時の計算量とモデル状態、性能の関係を観測しながら、再帰回数を制御する方法を検討しました。
具体的な制御式や判定条件については、研究上・知財上の核心部分にあたるため公開しません。重要なのは、再帰Transformerでは、推論時の計算量を固定するだけではなく、計算途中の状態を利用して制御するという考え方が成立することを実験的に確認できたことです。
この段階で、再帰Transformerを単なる「同じLayerを繰り返すTransformer」としてではなく、計算そのものを制御できるアーキテクチャとして見るようになりました。
4. 推論制御から学習過程の観測へ
推論制御の研究を進めていると、自然に次の疑問が出てきました。
同じような考え方を、学習にも適用できないか？
再帰Transformerでは、推論だけでなく学習中にも再帰計算が発生します。そこで、学習中の状態を観測するようになりました。
これは、最初から計画していた別の研究テーマではありません。推論制御を研究した結果、その知見を学習側へ展開できる可能性が見えてきたという流れです。
5. lossだけでは学習過程を十分に見られない
一般的なTransformerの学習では、training lossやvalidation lossを見ることで学習の進行を確認できます。これは当然重要です。
しかし、lossだけでは、モデル内部で何が起きているのかを直接知ることはできません。
そこで今回の研究では、lossに加えて以下のような観測を行っています。
深さ（depth）： 再帰深度方向の状態変化に関する観測です。計算が進むにつれて状態がどのように推移するのかを追跡します。
広がり（spread）： 状態の変動や分布の特性に関する観測です。計算過程における状態のばらつき方を見ています。
大きさ（magnitude）： 状態のスケールに関する観測です。計算の進行に伴って状態の絶対的な大きさがどう変化するかを追跡します。
これらの具体的な計算方法や判定指標については公開していません。
これらを学習ステップごとに時系列で追跡することで、**「現在のモデルがどの段階にあるのか」**を考える材料が増えます。lossだけでは得られない情報です。
「どれだけlossが下がったか」だけではなく、「モデルがどのような状態に変化しているか」も見る
という考え方が重要になってきました。
6. 検証の設計：2種類の学習ソースと並行評価
今回の検証では、以下の2点を重視しています。
第一に、性質の異なる2種類の学習ソースを準備しました。 これは、観測された現象が特定のデータに依存したものなのか、それともモデルの学習過程そのものに関係するのかを確認するためです。一つの学習ソースだけで特徴的な挙動が確認されても、それだけでは一般化できません。
第二に、学習と性能評価を並行して行っています。 checkpointごとに内部状態を観測し、性能評価も実施します。これによって、学習量、内部状態、再帰計算、モデル性能を時系列で比較できます。単に「内部状態に変化があった」で終わらせず、その変化が実際の性能とどう関係しているのかを確認しています。
7. 学習効率化ロジックの発見
推論制御で得られた考え方を学習側に展開し、学習中のモデル状態を観測していくと、学習状態に応じて計算・学習の強度を調整することで、学習効率を改善できる可能性が見えてきました。
ここから試行錯誤を重ねました。
当初の制御では、特徴的な状態を確認するまでに約200Mトークン規模の学習が必要でした。その後、制御方法を改良していった結果、現在の方法では約100Mトークン規模の学習で、同様の特徴的な状態を確認できるようになりました。
これは単純に学習を短くしたという話ではありません。重要なのは、学習過程を観測しながら制御することで、より早い段階から効率的な学習状態へ到達できる可能性が見えてきたという点です。
8. 単調性の達成と、その後の継続学習
本研究でいう「単調性」とは、再帰深度方向に観測される状態変化が、一定の規則性を持って安定して推移する状態を指しています。
この単調性が安定的に成立するということは、再帰計算が「発散」や「振動」をせず、制御された状態で推移していることを意味します。学習初期にはこの単調性が成立しない場合があり、学習が進むにつれて安定的に成立するようになります。
具体的な判定条件や閾値については公開していません。
重要なのは、この状態に到達すること自体を最終目的としていないことです。
初期の制御では約200Mトークン規模の学習で確認していた単調性を、現在の方法では約100Mトークン規模で確認できるようになりました。しかし、そこで学習を止めるわけではありません。
現在確認したいのは、単調性を達成した後も、効率的な学習を継続できるのかということです。
つまり、制御は学習終了判定だけのために存在するわけではなく、学習そのものを効率的に進めるための仕組みとして機能しています。
9. 再帰Transformerは学習観測にも適している
ここまでの実験から、再帰Transformerについて新しい見方が生まれました。
再帰Transformerは、パラメータを再利用するアーキテクチャであるだけではありません。同じ計算ブロックを繰り返すため、計算の進行を追跡しやすく、学習過程を観測し、制御するためのアーキテクチャとしても興味深いと考えるようになりました。
通常のTransformerでは各層が異なるパラメータを持つため、「層を通過するごとの状態変化」を追跡しても、パラメータの違いと計算の深さの効果が混在します。再帰Transformerでは同一パラメータで計算を繰り返すため、純粋に「計算の深さ」の効果を分離して観測できます。
この観測可能性は、再帰Transformerの大きな特徴だと考えています。
10. 再帰Transformer研究で通常Transformerの内部も見えてきた
ここで、当初は予想していなかった結果が出てきました。
通常Transformerは、もともと再帰Transformerとの比較対象として調べていました。再帰Transformerで使っていた観測方法（深さ・広がり・大きさの追跡）を通常Transformerに適用したところ、通常Transformerの内部状態についても、制御可能性を示唆する新しい挙動が見えてきました。
これは当初から狙っていた結果ではありません。再帰Transformerの研究を進めた結果として、比較対象だった通常Transformerについても新しい見方が得られたということです。
つまり、再帰Transformer研究が、通常Transformerの内部を観測するための一つの「レンズ」になったとも言えます。
ただし、現時点では通常Transformerについて、再帰Transformerほど十分な制御実験は行っていません。「通常Transformerでも同じ制御が確立した」とは言いません。現時点では、通常Transformerでも関連する挙動と、それを利用できる可能性を観測したという段階です。
再帰Transformerと通常Transformerでは構造が異なるため、再帰Transformerで得られた制御方法をそのまま適用すればよいとは考えていません。通常Transformerには、その構造に合わせた改良が必要です。この研究は今後の課題として位置づけています。
11. 現在の研究段階
現在の研究を一言で表すなら、再帰Transformerの制御ロジックを発見する段階から、その有効性を実証する段階へ移っていると言えます。
再帰Transformerの制御は、研究としてほぼ完成形に近い段階まで進んでおり、現在は実証学習によって長期的な有効性を確認している段階です。
一方、通常Transformerについては、比較実験によって制御可能性が見えてきた段階です。本格的な制御研究は、再帰Transformer側の実証が一段落した後に行う予定です。
12. 「大きくする」から「計算を設計する」へ
これまでのLLM開発では、モデルを大きくすることが性能向上につながってきました。しかし今後は、モデルサイズだけでなく、計算そのものを設計する方向が重要になるのではないでしょうか。
入力の難しさ、必要な性能、計算深度、学習状態、モデルサイズなどを組み合わせて、必要な計算量を動的に決定する。
再帰Transformerは、このような「計算そのものを設計する」研究を行う上で、非常に興味深い構造を持っています。
再帰Transformerを研究対象として選定した理由は、単にパラメータ効率だけではなく、推論、学習、計算効率、内部状態解析、動的な計算、モデル設計へ展開できる多方面への展開可能性にあります。
13. 研究の経緯の整理
今回の研究を振り返ると、最初から現在の研究内容を考えていたわけではありません。出発点は、再帰Transformerについて既存研究を参考に追試・実証してみるというものでした。
つまり、別の研究テーマへ突然移ったのではありません。推論を研究した結果、学習を研究する必要が生まれた。 そして、再帰Transformerを研究した結果、通常Transformerについても新しい観測視点が得られた。 という連続した展開です。
14. 現時点で分かっていること
ここまでの研究から、少なくとも次のことが見えてきました。
① 再帰Transformerは多方面の研究対象として有用。 パラメータ再利用だけでなく、推論・学習・内部状態観測を一つのアーキテクチャで研究できます。
② 推論制御から学習効率化への展開が成立した。 推論時の計算制御を研究したことが、学習効率化ロジックの発見につながりました。
③ 制御方法の改良により到達効率が向上した。 当初約200Mトークン規模で確認していた特徴的な状態（単調性）を、現在は約100Mトークン規模で確認できるようになりました。
④ 単調性達成後も効率的な学習を継続できるかを実証中。 現在は「早く到達する」だけでなく、その後の長期学習の安定性を検証しています。
⑤ lossだけではなく、深さ・広がり・大きさを観測している。 学習状態を多面的に捉えることで、loss曲線だけでは見えない変化を確認しています。
⑥ 2種類の学習ソースで検証している。 特定のデータに依存した現象なのかを確認するためです。
⑦ 再帰Transformer研究から通常Transformerの内部も見えてきた。 比較実験によって、通常Transformerにも関連する内部挙動があることを観測しました。ただし、通常Transformerの制御研究はまだ初期段階です。
⑧ 具体的な制御式や条件は公開していない。 本記事では研究の方向性と実証結果を中心に公開し、制御技術の核心部分は伏せています。
15. 今後の研究
現在の優先順位は明確です。
まず、再帰Transformerの長期実証です。学習効率、性能、計算量、状態変化、長期学習での安定性を確認していきます。
その後、通常Transformerについて、再帰Transformerで得られた観測・制御の知見をどこまで改良・適用できるのかを検証する予定です。
さらにその先には、Transformerそのものの計算方法を、モデル状態に応じて設計するという研究方向があります。
おわりに
今回の研究は、再帰Transformerについて既存研究を追試するところから始まりました。
そこから推論制御を研究・確立し、その過程で得られた観測・制御の知見を学習側へ展開しました。その結果、学習効率化につながるロジックが見えてきました。
当初の制御では約200Mトークン規模の学習で確認していた特徴的な状態（単調性）を、制御方法の改良により、現在は約100Mトークン規模で確認できるようになりました。現在は、単調性達成後も学習を継続し、その後も効率的な学習を維持できるのかを実証しています。
さらに、再帰Transformer研究によって、比較対象だった通常Transformerの内部についても新しい観測視点が得られたことは、当初予想していなかった成果です。
今回の研究を通じて特に強く感じているのは、モデルのlossだけを見るのではなく、学習・推論の過程そのものを観測することで、モデルについて新しい情報が得られるということです。
深さを見る。広がりを見る。大きさを見る。そして、それらを学習量や性能と合わせて見る。こうした観測を続けることで、単純なloss曲線だけでは見えなかった学習状態が見えてきました。
現在のTransformerは非常に強力です。しかし、モデルがさらに大規模化するにつれて、**「どれだけ大きなモデルを作るか」だけではなく、「どのように計算させるか」**という問題が重要になるのではないでしょうか。
その問いに対する一つの研究対象として、私は再帰Transformerを研究しています。
まだ実証途中の部分もあります。だからこそ、理論だけで結論を出すのではなく、学習させる。観測する。性能を測る。制御する。そして、さらに学習する。 このサイクルを繰り返していきます。
Transformerの研究は、モデルを大きくするだけではなく、モデルの状態を観測し、その状態に応じて計算を設計する段階へ進む可能性がある。
再帰Transformerは、その可能性を実際に検証するための研究対象として、非常に興味深いアーキテクチャだと考えています。