OpenMythos一部ソースの解読メモを元に、Geminiにmd fileを作成してもらいました。
LLM(大規模言語モデル)の新たなアプローチとして注目されるOpenMythosのソースコードを解読した際のメモです。
メインモジュール(open_mythos/main.py)における、特徴的な3階層のネットワーク構成と、学習時の勾配累積(Gradient Accumulation)のフローについてまとめています。
1. 独自構成:Prelude・Recurrent Block・Codaの3階層
OpenMythosの最大の特徴は、モデル構造がPrelude(前奏)、Recurrent(反復)、Coda(結尾)という3つのフェーズに分割されている点です。
初期化コード (__init__)
self.prelude = nn.ModuleList(
[TransformerBlock(cfg, use_moe=False) for _ in range(cfg.prelude_layers)]
)
self.recurrent = RecurrentBlock(cfg)
self.coda = nn.ModuleList(
[TransformerBlock(cfg, use_moe=False) for _ in range(cfg.coda_layers)]
)
各フェーズの役割
| フェーズ | 構成 | 役割 |
|---|---|---|
| Prelude | 独立した数層のTransformerブロック | 入力埋め込み(Embedding)を初期化し、トークン列の表層情報を潜在空間に投影する。 |
| Recurrent Block | 重みを共有するループ構造 | 同じ重みパラメータを複数回ループ実行する中核部分。ここでモデルの「思考」に相当する深い推論計算が行われる。 |
| Coda | 独立した数層のTransformerブロック | ループ後の潜在表現を、次トークン予測のロジット(Logits)へと変換する出力ヘッド。Preludeとは別の独立したパラメータを持つ。 |
2. 順伝播処理 (forward)
forward メソッドでは、上記の3つのフェーズが順番に実行されます。
特徴的なのは、Recurrent Blockに入力される直前の状態 $x$ を変数 e として凍結し、ループごとに再注入(Injection)している点です。
# 1. Preludeフェーズ:表層情報の潜在空間への投影
for i, layer in enumerate(self.prelude):
x = layer(x, freqs_cis, mask, kv_cache, cache_key=f"prelude_{i}")
# 2. Recurrentフェーズ:深い推論(思考ループ)
e = x # ループごとにインジェクションするため、エンコードされた入力をフリーズ
x = self.recurrent(x, e, freqs_cis, mask, n_loops, kv_cache)
# 3. Codaフェーズ:出力ロジットへの変換
for i, layer in enumerate(self.coda):
x = layer(x, freqs_cis, mask, kv_cache, cache_key=f"coda_{i}")
3. 学習のトレーニングループ(勾配累積フロー)
OpenMythosのトレーニングにおける、1ステップ(重み更新)あたりの処理フローです。
メモリ効率を高めるための「勾配累積(Gradient Accumulation)」を取り入れたマイクロステップのループ構造になっています。
処理のポイント
-
grad_accum(勾配累積回数)分だけマイクロステップをループし、前方向(Forward)と後ろ方向(Backward)の計算を繰り返します。これにより、実質的なバッチサイズを大きく擬似化できます。 - 蓄積された勾配に対し、勾配爆発を防ぐための
clip_grad_norm_(勾配クリッピング) を適用します。 - 最後に
optimizer.step()を呼ぶことで、溜まった勾配を元にモデルの重みが一括更新されます。