0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Gated Residual(GR)について

0
Posted at

Qwen4が発表された。
Gated Residual(GR)自体はQwen3.8-Flash-Next自体からあったのだが、これがどういうものか考えたい。

読込係数と書込係数

image.png

読込係数$G_i$と書込係数$s_i$と潜在変数$R$の関係は以下の様である。
image.png
image.png
image.png

重要なのは潜在変数$R$によって読込係数$G_i$(各ブランチの情報をどの程度読み出すか)と書込係数$s_i$(各ブランチに出力をどの程度書き込むか)が決定され、$n_r=4$のブランチがあることである。

読み出し、書き出しにおいて恣意的な値を使用するとある程度任意層の潜在層を保持・活用できることを示したい。
例えば4つのブランチb0,b1,b2,b3があったとする。
読込係数がG0,G1,G2,G3、書込係数をs0,s1,s2,s3であったとする。
なお、厳密には$s_i$はスカラーだが$G_i$はベクトルである。

もし、読み出しにおいてG0=0.4、G1=0.2、G2=0.0、G3=0.4ならばb0とb3は強めに使用し、b1は弱めに使用し、b2は使用しないという意味である。
書き出しにおいてs0=0.0、s1=0.8、s2=0.2、s3=0.0ならb0とb3は全く更新せず(値を維持し)、b1は強めに更新し、b2は緩やかに更新していく。
このように各層において読込係数と書込係数を恣意的に設定すれば短距離(強めに更新)や中距離(緩やかに更新)の層や初期層や中間層の値を読みだすことが可能になる。

例えば以下の図を見ると15層に対しては、b0は0層目の初期層の情報を10層目以降に強く残しているように見えるし、b3は10層目付近の中間層の情報を強く残しているように見える。対してb1は一個前の層を渡しているように見え、これは通常のResidualである。
ここで中間層においてb3に強く書込みを行い、以降の層ではb3に対して全く書込みを行わなければ中間層の潜在変数$R_{mid}$を終端層付近でも使用できることになる。

image.png

例え話

Residualにおいて例え話を考える。
例えばダンジョンに潜る冒険者を考え、道具袋には最初に「薬草」が入っている。
ダンジョンが進むにつれ「薬草(初期)」は5Fで「薬草(+回復力強化)」、10Fで「薬草(+回復力強化)(+毒回復)」、15Fで「薬草(+回復力強化)(+毒回復)(+麻痺回復)」のように進化していく。この時の取得した効果は元の効果に上書きで追加されていく。
$R_{l+1}=R_l+F(R_l)$
しかし、16Fのボスは麻痺攻撃をするが毒攻撃をしないとすれば、この場合の薬草の(+毒回復)の効果は腐ってしまう。(+毒回復)を諦めればもっと別の特性強化に割り振れたかもしれないが、13Fに毒攻撃をする敵がいるならそれ以降の階で役に立たなくても10Fで(+毒回復)を選択せざるを得ない。また初期に追加された(+回復力強化)の効果は追加効果が付与されるたび効能が混じりあって相対的に弱くなる可能性がある。

一方、Gated Residual(GR)に対しては道具袋の空きは四つで最初に「薬草、薬草、薬草、薬草」が入っている。ダンジョンが進むと「薬草(初期)、薬草(+回復力強化)、薬草(+毒回復)、薬草(+麻痺回復)」のように異なる特性を取得し、実際に薬草を使用する場合はこの4種の薬草を割合を変えて調合してから飲む。
この場合はその階のボスに合わせて(+毒回復)や(+麻痺回復)の効果を選択することが出来、あるボスにしか効かない特効の効果を延ばすことも出来る。ダンジョンに挑むたびに出現ボスは(ある程度予想可能だが)変化するのだが。

この例えでは薬草(初期)をかなり深い階まで道具袋に残している意味が見当たらないが、厳密には「ダンジョンに入る前の薬草(初期)」にも性能ばらつき(token embedding)があり、深い階のボスにも効く「最適な初期薬草」を決定するのにこれが使用されるのかもしれない。

また、b3が中間層の値をずっと保持しているという例えをこの話に置き換えようとすれば途中の階で薬草が超重要アイテムの「聖水」に進化し、誤って捨てないようにアイテムロックを掛ける様なものかもしれない。

Gated Residual(GR)は四種の薬草に対しダンジョンの階層ごとにそれぞれ読込係数(使用時の混合率)や書込係数(どの薬草に特性習得させるか)を設定でき、好きな特性獲得および使用割合の最適化が可能である。
正確にいうなら係数を学習するのではなく、その係数を導出させるGate重みを学習する。

類似構成:Hyper-Connection(HC、mHC)

論文では以下の様な潜在層Rの更新式がある。
image.png
GRとの係数を比較するとmHCはHresの係数がある。
この係数はブランチの混合を実行できる。

先程の例え話で言うと(+毒回復)と(+回復力強化)を混ぜて(+毒回復小、回復力強化小)といった混合ブランチも作れる。ただし論文によると$H_{res}$の寄与は性能改善に対して僅かであったため(有意な改善が得られなかったため)、GRではこの係数は削除されたようです。
このためGRではmHCと違って読み出し時以外でのブランチ間の混合は出来ません。

image.png

参考:

類似構成:Attention Residuals(AttnRes)

Block AttnResもGRやmHCと同様に、Residualの情報伝達を改善する方式である。
Block AttnResはmHC(Hyper-Connection)と学習lossは実は大差ない。

image.png

image.png

image.png

image.png

なおこの式と類似な式はGated DeltaNetの文脈でも見た。
ただし、こちらはqとkの掛け算ではなくvとkの掛け算である。またTransformersの深さ方向に伝達される値ではなく、token時系列方向に伝達される値だった気がする。
image.png

参考:

学習の安定性

GRをMuonと併用すると高い学習率でも学習が安定するらしい。
ただGR重みの学習自体はAdamWを使用するとある。低rank重み(縦長、横長行列)においては直交性を使用するMuonは有効ではないのだろうか?

image.png

ブランチ数は層数に対し指数関数的に効くのか?

mHCにおいては以下の図が示される。
ブランチ数が1→2→4では改善を示すのに4→8ではほとんど変わらない。

image.png

ここで自分が思ったのはOLMoE-1B-7Bというモデルは16層のモデルである。
つまり$2^{n_r}$がnum_layersを超える場合はブランチ数を増やしてもほとんど改善効果がないのではないかということだ。1g~15gまで連続で測れるためには4種の重り(1g,2g,4g,8g)があるなら十分である。
また、天秤の場合は4種の重み(1g,3g,9g,27g)を使えば最大40gまで測れる。(バシェの分銅問題) これは$\frac{3^{n_r}-1}{2}$である。右の皿と左の皿の違いがforwardとbackwardなら推論/勾配学習を何回か往復する必要があるかもしれないが。

これは自分の単なる思い付きであり、ブランチ数と層数の間にこのような関係があるかは分からないが、この仮説によればどんなモデルにおいてもブランチ数は高々4~6で効果は飽和する。

まとめ

Qwen3.5ではGated Residual(GR)はなかった。
GRはQwen3.8-Flash-Nextで導入された機構であり、Qwen4のアーキテクチャにも採用されている。

この記事ではGated Residual(GR)のメリットについて考えた。
Hyper-Connection(mHC)(DeepSeek)やAttention Residuals(AttnRes)(Kimi)もGated Residual(GR)と割と近い機構で複数ブランチにおける読込係数と書込係数が定義されるという観点では似ている。実際これらと性能差は似たり寄ったりで、GRの改善効果は他の構成(mHC、AttnResそれぞれDeepSeekとKimiで採用)でも同程度のLossに到達している。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?