Transformer の学習を安定化するためになされてきたさまざまな試みを、「どんな動機で」「何を改修したか」の 2 つの観点で分類してみたいと思います。
分類は私見で、オーソライズドなものではありません。
動機に基づく分類
動機に基づいて分類すると、以下のようになると思います。
-
warmup や正規化層の役割の解析と代替
- warmup : RAdam [Liu2020a], Pre-LN [Xiong2020]
- warmup と正規化層 : T-Fixup [Huang2020]
- 学習率などに対する頑健性の向上 : σReparam [Zhai2023]
- 深さの追求 : ReZero [Bachlechner2021], DeepNet [Wang2024]
- Post-LN の性能と Pre-LN の安定性の両立 : Admin [Liu2020b], B2T Connection [Takase2023]
- 低精度での大規模学習時に損失が NaN になることの防止 : Sandwich-LN [Ding2021]
- 大規模学習での正規化層の配置の影響の解析 : Peri-LN [Kim2025]
何を改修したかに基づく分類
何を改修したかに基づいて分類すると、以下のようになると思います。
- 初期化の改修 : T-Fixup [Huang2020]
- オプティマイザの改修 : RAdam [Liu2020a]
-
ネットワーク構造の改修 :
- 正規化層の移動 : Pre-LN [Xiong2020]
- 正規化層の追加 : Sandwich-LN [Ding2021], Peri-LN [Kim2025]
- 残差接続部への重み・係数追加 : ReZero [Bachlechner2021], Admin [Liu2020b], DeepNet [Wang2024]
- 残差接続パスの追加 : B2T Connection [Takase2023]
- 線形層の改修 : σReparam [Zhai2023]
一覧表
Transformer の学習を安定化する試みで修正されることが多い warmup、正規化層、残差接続部について、どの研究がどこをどうしたのか私がわからなくなるので、文献を眺めた範囲ではこれをこうしたはずという一覧表にしておきます。
| warmup | 正規化 | 残差接続部 | |
|---|---|---|---|
| RAdam [Liu2020a] | 撤去 | Post-LN | そのまま |
| Pre-LN [Xiong2020] | 撤去 | Pre-LN | そのまま |
| T-Fixup [Huang2020] | 撤去 | 撤去 | そのまま |
| Admin [Liu2020b] | 使用 | Post-LN | 重み追加 ※2 |
| Sandwich-LN [Ding2021] | 使用 | サブ層出入口 | そのまま |
| ReZero [Bachlechner2021] | 撤去 | 撤去 | 重み追加 ※2 |
| σReparam [Zhai2023] | 撤去 ※1 | Post-LN ※1 | そのまま |
| B2T Connection [Takase2023] | 使用 | Post-LN | パス追加 |
| DeepNet [Wang2024] | 使用 | Post-LN | 定数倍 |
| Peri-LN [Kim2025] | 使用 | サブ層出入口 | そのまま |
※1. 実験による。
※2. 下の表を参照。
| 重み追加箇所 | 重みの形 | 学習 | 初期値 | |
|---|---|---|---|---|
| Admin | 残差接続側 | $d_{\mathrm{model}}$ 次元 | する | 最初の 1 バッチから決定 |
| ReZero | サブ層出力側 | スカラー | する | 0 |
一口メモ
- RAdam [Liu2020a] — warmup がなぜ効くのかを解析し、訓練初期は Adam の 2 次モーメントの推定の分散が大きいために更新が不安定になるが warmup はそれを抑えていると考え、warmup の代わりに Adam の 2 次モーメントによる正規化の分散を一定に保つ補正を入れました。→ 【文献メモ】RAdam: 2 次モーメントによる正規化の分散が一定な Adam (ICLR 2020)
- Pre-LN [Xiong2020] — warmup は訓練を遅くしハイパーパラメータも増やすので、初期化時の勾配を解析し、Post-LN では出力層に近いパラメータの勾配が大きいことによる不安定化を warmup が防いでいると考え、warmup の代わりに正規化を残差接続で包まれたサブ層の入口に移動しました。現代 LLM の主流になっています。→ 【文献メモ】現代 LLM の正規化 Pre-LN + RMSNorm の成り立ち
- T-Fixup [Huang2020] — Post-LN の訓練に LayerNorm と warmup が必要な理由を解析し、訓練初期の Adam の大きな更新が積み重なったサブ層で増幅されるのを両者が抑えていると考え、LayerNorm と warmup の代わりに各サブ層のパラメータの初期値を層数に応じて小さくしました。残差接続をもつネットワーク一般の初期化手法 Fixup [Zhang2019] に着想を得ています。→ 【文献メモ】T-Fixup: LayerNorm と warmup が要らない初期化 (ICML 2020)
- Admin [Liu2020b] — Post-LN の訓練を不安定にし Pre-LN の性能を制限している要因を解析し、各層の出力に占めるサブ層の出力の割合が大きい Post-LN ではパラメータの更新による最終出力の変化が層数に比例して大きくなり、その割合が小さい Pre-LN では層を深くした効果が得られにくいと考え、両者の利点を両立するよう、Post-LN の残差接続のトークン埋め込みベクトルの要素ごとに、最初の 1 バッチの順伝播で測った分散から初期値を決めた学習可能な重みをかけました。→ 【文献メモ】Admin: 残差接続への係数で Post-LN Transformer を安定化する初期化 (EMNLP 2020)
- Sandwich-LN [Ding2021] — 大規模モデルを FP16 で訓練すると損失が NaN になることから訓練の過程を解析し、深い層の値が非常に大きくなって最後の LayerNorm でオーバーフローしていることを確認し、これはサブ層の出力の大きな値が層を重ねるごとに増幅されるためと考え、それを抑えるように Pre-LN に加えて残差接続で包まれたサブ層の出口にも LayerNorm を足しました。
- ReZero [Bachlechner2021] — 深くても学習できるように、初期化時に dynamical isometry (学習しやすさの指標) を満たす最も単純な変更として、残差接続で包まれたサブ層の出力に初期値 0 の学習可能なスカラーを掛けました。Transformer では LayerNorm をこれに置き換え、warmup も使いません。なお、ReZero は Transformer 限定の改善手法ではなく、構造に agnostic なので残差接続があるネットワーク全般に適用でき、実際に MLP や ResNet でも検証されています。
- σReparam [Zhai2023] — Transformer の訓練が学習率などのハイパーパラメータに敏感で不安定になりやすいことから訓練中のアテンションエントロピーを追跡し、アテンションエントロピーが極端に小さくなると訓練が不安定になることを確認し、これは Q と K の変換のスペクトルノルムが際限なく大きくなるためと考え、それを抑えるようにすべての線形層の重みを、スペクトルノルムで割って学習可能なスカラーをかけた形に再パラメータ化しました。→ 【文献メモ】σReparam: アテンションの崩壊を防ぐ再パラメータ化 (行列ノルム分離) (ICML 2023)
- B2T Connection [Takase2023] — 深い Post-LN は訓練が不安定な一方で浅い Post-LN は Pre-LN より高性能という食い違いの原因を解析し、Post-LN では LN を通るところで勾配ノルムが大きく減少することを確認し、LN が勾配消失の主な原因と考え、Post-LN の性能を保ちつつ安定させるように、層の入力を LN をとばして層の最後の LN の直前へ足す残差接続を追加しました。
- DeepNet [Wang2024] — Transformer を桁違いに深くするために訓練中のモデルの更新量を測り、深い Post-LN では訓練のごく初期に更新量が極端に大きくなってその後ほとんど更新されなくなることを確認し、これが訓練を不安定にしていると考え、更新量を層数によらず抑えるように Post-LN の残差接続に層数で決まる定数をかけ、一部の重みの初期値を縮小しました。→ 【文献メモ】DeepNet: 残差接続を定数倍し初期値を縮小して 1000 層の Post-LN Transformer を学習する (IEEE TPAMI 2024)
- Peri-LN [Kim2025] — 正規化層をどこに置くのがよいか決め手がなく、Post-LN と Pre-LN の比較も初期化時に限られていたことから、訓練が進んだあとの隠れ状態の分散と勾配を解析し、一部の大規模なオープンソースモデルで経験的に採用されていた、残差接続で包まれたサブ層の入口と出口の両方に正規化層を置く配置を Peri-LN と名付けて、分散の増え方や勾配が安定することを示しました。→ 【文献メモ】Peri-LN: 各サブ層の入力でも出力でも正規化して学習が進んでも安定させる (ICML 2025)
参考文献
- [Zhang2019] Hongyi Zhang et al. Fixup Initialization: Residual Learning Without Normalization. ICLR 2019.
https://arxiv.org/abs/1901.09321 - [Liu2020a] Liyuan Liu et al. On the Variance of the Adaptive Learning Rate and Beyond. ICLR 2020.
https://arxiv.org/abs/1908.03265 - [Xiong2020] Ruibin Xiong et al. On Layer Normalization in the Transformer Architecture. ICML 2020.
https://proceedings.mlr.press/v119/xiong20b.html
https://arxiv.org/abs/2002.04745 - [Huang2020] Xiao Shi Huang et al. Improving Transformer Optimization Through Better Initialization. ICML 2020.
https://proceedings.mlr.press/v119/huang20f.html - [Liu2020b] Liyuan Liu et al. Understanding the Difficulty of Training Transformers. EMNLP 2020.
https://aclanthology.org/2020.emnlp-main.463/
https://arxiv.org/abs/2004.08249 - [Ding2021] Ming Ding et al. CogView: Mastering Text-to-Image Generation via Transformers. NeurIPS 2021.
https://proceedings.neurips.cc/paper/2021/hash/a4d92e2cd541fca87e4620aba658316d-Abstract.html
https://dl.acm.org/doi/10.5555/3540261.3541777
https://arxiv.org/abs/2105.13290 - [Bachlechner2021] Thomas Bachlechner et al. ReZero is All You Need: Fast Convergence at Large Depth. UAI 2021.
https://proceedings.mlr.press/v161/bachlechner21a.html
https://arxiv.org/abs/2003.04887 - [Zhai2023] Shuangfei Zhai et al. Stabilizing Transformer Training by Preventing Attention Entropy Collapse. ICML 2023.
https://proceedings.mlr.press/v202/zhai23a.html
https://arxiv.org/abs/2303.06296 - [Takase2023] Sho Takase et al. B2T Connection: Serving Stability and Performance in Deep Transformers. Findings of ACL 2023.
https://aclanthology.org/2023.findings-acl.192/
https://arxiv.org/abs/2206.00330 - [Wang2024] Hongyu Wang et al. DeepNet: Scaling Transformers to 1,000 Layers. IEEE TPAMI 2024.
https://dl.acm.org/doi/abs/10.1109/TPAMI.2024.3386927
https://arxiv.org/abs/2203.00555 - [Kim2025] Jeonghoon Kim et al. Peri-LN: Revisiting Normalization Layer in the Transformer Architecture. ICML 2025.
https://proceedings.mlr.press/v267/kim25u.html
https://arxiv.org/abs/2502.02732