そろそろまとめるAdamオプティマイザ完全解説：適応的学習率の理論と実践~

Posted at 2025-09-01

Adam（Adaptive Moment Estimation）は、現代の深層学習で最も広く使われている最適化アルゴリズムの一つです。SGDの限界を克服し、RMSpropとMomentumの長所を組み合わせた革新的な手法として、2014年にKingmaとBaによって提案されました。本記事では、Adamの数学的基盤から実装上の注意点まで、包括的に解説します。

1. 最適化問題の背景

従来手法の限界

深層学習の最適化では、以下の課題がありました：

1. SGD（確率的勾配降下法）の問題

θ = θ - α∇f(θ)

固定学習率による非効率性
谷間での振動現象
異なるパラメータで適切な学習率が異なる

2. 勾配の性質によるスケールの問題

勾配が大きいパラメータ：学習率を小さくしたい
勾配が小さいパラメータ：学習率を大きくしたい
次元ごとに異なる最適化が必要

適応的学習率の必要性

理想的には、各パラメータが：

自動的に学習率を調整
過去の勾配情報を活用
ノイズに対してロバスト

であるべきです。

2. Adamに至る道のり

Momentum：慣性項の導入

v_t = βv_{t-1} + (1-β)g_t
θ = θ - αv_t

効果：

過去の勾配方向を記憶
谷間での振動を抑制
収束の高速化

RMSprop：適応的学習率

v_t = βv_{t-1} + (1-β)g_t²
θ = θ - α·g_t/√v_t

効果：

勾配の2次モーメントを追跡
パラメータごとに学習率を調整
大きな勾配に対して学習率を自動的に減少

Adamの着想：両者の融合

「Momentumの方向性 + RMSpropの適応性」

3. Adam更新式の完全導出

基本的な更新ルール

1次モーメント（勾配の移動平均）：

m_t = β₁m_{t-1} + (1-β₁)g_t

2次モーメント（勾配の2乗の移動平均）：

v_t = β₂v_{t-1} + (1-β₂)g_t²

ここで：

g_t：時刻tでの勾配 ∇f(θ_t)
β₁：1次モーメント減衰率（通常0.9）
β₂：2次モーメント減衰率（通常0.999）

バイアス補正の必要性

**問題：**初期化でm₀ = 0, v₀ = 0とすると、初期段階で推定値にバイアスが生じる

**解決策：**バイアス補正

m̂_t = m_t / (1 - β₁ᵗ)
v̂_t = v_t / (1 - β₂ᵗ)

数学的理由：
期待値を取ると：

E[m_t] = E[g_t](1-β₁ᵗ) + β₁ᵗE[m₀]
       = E[g_t](1-β₁ᵗ)  [m₀ = 0なので]

したがって、E[m̂_t] = E[g_t]となり、不偏推定量になります。

最終的な更新式

θ_t = θ_{t-1} - α · m̂_t / (√v̂_t + ε)

ここで：

α：学習率（通常0.001）
ε：数値安定性のための小さな定数（通常10⁻⁸）

4. Adamの各構成要素の直感的理解

1次モーメント m_t の役割

m_t = 0.9·m_{t-1} + 0.1·g_t

直感：「勾配の慣性」

過去の勾配方向を記憶
ノイズの多い勾配を平滑化
一貫した方向への加速

**例：**谷間でのジグザグ運動を抑制

2次モーメント v_t の役割

v_t = 0.999·v_{t-1} + 0.001·g_t²

直感：「勾配の大きさの記録」

各パラメータの勾配の分散を推定
大きな勾配→小さな学習率
小さな勾配→大きな学習率

**例：**異なるスケールのパラメータを自動調整

バイアス補正の効果

# t=1での比較
# 補正前: m₁ = 0.1·g₁  (過小評価)
# 補正後: m̂₁ = 0.1·g₁/(1-0.9¹) = g₁  (正しい値)

# t→∞での比較
# 補正前: m_t ≈ 真の1次モーメント
# 補正後: m̂_t ≈ 真の1次モーメント  (ほぼ同じ)

5. パラメータの選択指針

デフォルト値の根拠

β₁ = 0.9：

直近10ステップ程度の勾配を重視
Momentumの標準的な値
ほとんどの問題で良好に動作

β₂ = 0.999：

直近1000ステップ程度の2次モーメントを考慮
より長期的な統計を保持
勾配の分散推定の安定化

α = 0.001：

多くのネットワークで適切なスケール
学習の安定性と速度のバランス

調整の指針

# 学習が遅い場合
α = 0.01  # 学習率を上げる
β₁ = 0.95  # より強いMomentum

# 学習が不安定な場合
α = 0.0001  # 学習率を下げる
β₂ = 0.99   # 2次モーメントの反応を速く

# 収束後の微調整
α_schedule = ExponentialDecay(0.001, decay_steps=1000, decay_rate=0.9)

6. 実装例

基本的なPython実装

import numpy as np

class Adam:
    def __init__(self, lr=0.001, beta1=0.9, beta2=0.999, epsilon=1e-8):
        self.lr = lr
        self.beta1 = beta1
        self.beta2 = beta2
        self.epsilon = epsilon
        self.m = None  # 1次モーメント
        self.v = None  # 2次モーメント
        self.t = 0     # 時間ステップ
    
    def update(self, params, grads):
        if self.m is None:
            self.m = [np.zeros_like(param) for param in params]
            self.v = [np.zeros_like(param) for param in params]
        
        self.t += 1
        
        for i, (param, grad) in enumerate(zip(params, grads)):
            # 1次・2次モーメントの更新
            self.m[i] = self.beta1 * self.m[i] + (1 - self.beta1) * grad
            self.v[i] = self.beta2 * self.v[i] + (1 - self.beta2) * grad**2
            
            # バイアス補正
            m_hat = self.m[i] / (1 - self.beta1**self.t)
            v_hat = self.v[i] / (1 - self.beta2**self.t)
            
            # パラメータ更新
            param -= self.lr * m_hat / (np.sqrt(v_hat) + self.epsilon)

TensorFlow/Keras実装

import tensorflow as tf

# Keras組み込みのAdam
optimizer = tf.keras.optimizers.Adam(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07
)

# モデルコンパイル時に指定
model.compile(
    optimizer=optimizer,
    loss='categorical_crossentropy',
    metrics=['accuracy']
)

# 学習率スケジューリング
lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate=0.001,
    decay_steps=10000,
    decay_rate=0.9
)

optimizer = tf.keras.optimizers.Adam(learning_rate=lr_schedule)

PyTorch実装

import torch.optim as optim

# PyTorch組み込みのAdam
optimizer = optim.Adam(
    model.parameters(),
    lr=0.001,
    betas=(0.9, 0.999),
    eps=1e-08,
    weight_decay=0
)

# 学習ループ
for epoch in range(num_epochs):
    for batch in dataloader:
        optimizer.zero_grad()
        loss = criterion(model(batch.x), batch.y)
        loss.backward()
        optimizer.step()

7. Adamの長所と短所

長所

1. 実装の簡便性

デフォルトパラメータでほぼどこでも動作
ハイパーパラメータ調整の負担が少ない

2. 広範囲での有効性

CNN、RNN、Transformerなど様々なアーキテクチャ
分類、回帰、生成モデルなど多様なタスク

3. 適応性

パラメータごとに学習率が自動調整
勾配のスケールに対してロバスト

4. 収束特性

初期段階での高速な収束
局所最適解への安定した到達

短所

1. 一般化性能の問題

SGD+Momentumより汎化性能が劣る場合がある
過適合しやすい傾向

2. メモリ使用量

パラメータ数の2倍のメモリが必要（m, v の保存）
大規模モデルでメモリ制約

3. 理論的収束保証

非凸問題での収束保証が限定的
学習率減衰なしでは収束しない場合がある

8. Adamの改良版

AdamW：Weight Decayの改良

# 通常のAdam + L2正則化（推奨されない）
loss = original_loss + λ * ||θ||²

# AdamW（推奨）
θ = θ - α * (m̂_t / (√v̂_t + ε) + λ * θ)

**利点：**Weight decayが適応的学習率に影響されない

RAdam：Rectified Adam

初期段階でのバイアス補正の問題を解決：

# 分散推定の信頼性をチェック
if variance_reliable:
    # 通常のAdam更新
else:
    # SGD更新で安定化

AdaBelief：2次モーメント推定の改良

# Adamの2次モーメント
v_t = β₂v_{t-1} + (1-β₂)g_t²

# AdaBeliefの2次モーメント
s_t = β₂s_{t-1} + (1-β₂)(g_t - m_t)²

9. 実践的な使用指針

いつAdamを使うべきか

推奨される場面：

プロトタイピング・実験段階
複雑なアーキテクチャ（Transformer等）
勾配のスケールが大きく異なる問題
ハイパーパラメータ調整の時間が限られている

SGDを検討すべき場面：

最終的な性能が最重要
計算リソースに余裕がある
長時間の学習が可能

学習率スケジューリング

# Warmup + Cosine Annealing
def get_cosine_schedule_with_warmup(optimizer, num_warmup_steps, num_training_steps):
    def lr_lambda(current_step):
        if current_step < num_warmup_steps:
            return float(current_step) / float(max(1, num_warmup_steps))
        progress = float(current_step - num_warmup_steps) / float(max(1, num_training_steps - num_warmup_steps))
        return max(0.0, 0.5 * (1.0 + math.cos(math.pi * progress)))
    
    return torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda)

10. デバッグと診断

学習曲線の分析

# Adamの診断指標
def adam_diagnostics(optimizer):
    total_norm_m = 0
    total_norm_v = 0
    
    for group in optimizer.param_groups:
        for p in group['params']:
            if p.grad is not None:
                state = optimizer.state[p]
                if 'exp_avg' in state:
                    total_norm_m += state['exp_avg'].norm().item() ** 2
                    total_norm_v += state['exp_avg_sq'].norm().item() ** 2
    
    return {
        '1st_moment_norm': total_norm_m ** 0.5,
        '2nd_moment_norm': total_norm_v ** 0.5,
        'effective_lr': group['lr'] / (total_norm_v ** 0.5 + group['eps'])
    }

よくある問題と対処法

1. 学習が進まない

学習率を上げる（0.01程度まで）
バッチサイズを調整
Gradient clippingの導入

2. 損失が振動する

学習率を下げる
β₂を小さくする（0.99程度）
バッチサイズを大きくする

3. 過適合が早い

AdamWに変更
Dropout、BatchNormの追加
学習率減衰の導入

まとめ

Adamオプティマイザは、1次・2次モーメント推定とバイアス補正という巧妙な仕組みにより、深層学習の最適化問題を効果的に解決します：

核心的アイデア

適応的学習率：パラメータごとに自動調整
モーメント推定：勾配の統計的性質を活用
バイアス補正：初期段階の推定誤差を修正

実践的価値

使いやすさ：デフォルト設定でほぼ動作
汎用性：様々な問題・アーキテクチャに対応
効率性：高速な収束と安定した学習

Adamの理解は、現代の深層学習における最適化の本質を理解することに他なりません。理論的背景を把握することで、より効果的なハイパーパラメータ調整と問題診断が可能になるでしょう。

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up