1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

OpenMythosのアーキテクチャ・学習フロー解読メモ:Prelude/Recurrent/Codaの3階層構造及び勾配累積フロー

1
Posted at

OpenMythos一部ソースの解読メモを元に、Geminiにmd fileを作成してもらいました。


LLM(大規模言語モデル)の新たなアプローチとして注目されるOpenMythosのソースコードを解読した際のメモです。
メインモジュール(open_mythos/main.py)における、特徴的な3階層のネットワーク構成と、学習時の勾配累積(Gradient Accumulation)のフローについてまとめています。


1. 独自構成:Prelude・Recurrent Block・Codaの3階層

OpenMythosの最大の特徴は、モデル構造がPrelude(前奏)、Recurrent(反復)、Coda(結尾)という3つのフェーズに分割されている点です。

初期化コード (__init__)

self.prelude = nn.ModuleList(
    [TransformerBlock(cfg, use_moe=False) for _ in range(cfg.prelude_layers)]
)
self.recurrent = RecurrentBlock(cfg)
self.coda = nn.ModuleList(
    [TransformerBlock(cfg, use_moe=False) for _ in range(cfg.coda_layers)]
)

各フェーズの役割

フェーズ 構成 役割
Prelude 独立した数層のTransformerブロック 入力埋め込み(Embedding)を初期化し、トークン列の表層情報を潜在空間に投影する。
Recurrent Block 重みを共有するループ構造 同じ重みパラメータを複数回ループ実行する中核部分。ここでモデルの「思考」に相当する深い推論計算が行われる。
Coda 独立した数層のTransformerブロック ループ後の潜在表現を、次トークン予測のロジット(Logits)へと変換する出力ヘッド。Preludeとは別の独立したパラメータを持つ。

2. 順伝播処理 (forward)

forward メソッドでは、上記の3つのフェーズが順番に実行されます。
特徴的なのは、Recurrent Blockに入力される直前の状態 $x$ を変数 e として凍結し、ループごとに再注入(Injection)している点です。

# 1. Preludeフェーズ:表層情報の潜在空間への投影
for i, layer in enumerate(self.prelude):
    x = layer(x, freqs_cis, mask, kv_cache, cache_key=f"prelude_{i}")

# 2. Recurrentフェーズ:深い推論(思考ループ)
e = x  # ループごとにインジェクションするため、エンコードされた入力をフリーズ
x = self.recurrent(x, e, freqs_cis, mask, n_loops, kv_cache)

# 3. Codaフェーズ:出力ロジットへの変換
for i, layer in enumerate(self.coda):
    x = layer(x, freqs_cis, mask, kv_cache, cache_key=f"coda_{i}")


3. 学習のトレーニングループ(勾配累積フロー)

OpenMythosのトレーニングにおける、1ステップ(重み更新)あたりの処理フローです。
メモリ効率を高めるための「勾配累積(Gradient Accumulation)」を取り入れたマイクロステップのループ構造になっています。

処理のポイント

  1. grad_accum(勾配累積回数)分だけマイクロステップをループし、前方向(Forward)と後ろ方向(Backward)の計算を繰り返します。これにより、実質的なバッチサイズを大きく擬似化できます。
  2. 蓄積された勾配に対し、勾配爆発を防ぐための clip_grad_norm_(勾配クリッピング) を適用します。
  3. 最後に optimizer.step() を呼ぶことで、溜まった勾配を元にモデルの重みが一括更新されます。
1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?