はじめに
E資格勉強のために最適化手法の数式を暗記したい人向けのチートシートです。
それぞれの参考書などで記法が統一されておらず混乱したので、自分の理解のしやすい形でまとめてみました。
| 手法 | 更新式（暗記用） | 補助変数更新式 | 特徴・ポイント |
|---|---|---|---|
| 最急降下法（Batch GD） | $ \theta_{t+1} = \theta_t - \eta \cdot \nabla_\theta L(\theta_t) $ | なし | 全データで勾配計算 |
| 確率的勾配降下法（SGD） | $ \theta_{t+1} = \theta_t - \eta \cdot \nabla_\theta L_i(\theta_t) $ | なし | 1サンプルで更新 |
| Momentum | $ \theta_{t+1} = \theta_t + v_t $ | $ v_t = \alpha v_{t-1} - \eta \cdot \nabla_\theta L(\theta_t) $ | 慣性を付与 |
| NAG | $ \theta_{t+1} = \theta_t + v_t $ | $ v_t = \alpha v_{t-1} - \eta \cdot \nabla_\theta L(\theta_t + \alpha v_{t-1}) $ | 先読み勾配 |
| AdaGrad | $ \theta_{t+1} = \theta_t - \eta \cdot \dfrac{1}{\sqrt{h_t} + \epsilon} \cdot \nabla_\theta L(\theta_t) $ | $ h_t = h_{t-1} + \left( \nabla_\theta L(\theta_t) \right)^2 $ | 学習率が単調減少 |
| RMSProp | $ \theta_{t+1} = \theta_t - \eta \cdot \dfrac{1}{\sqrt{h_t} + \epsilon} \cdot \nabla_\theta L(\theta_t) $ | $ h_t = \rho h_{t-1} + (1-\rho)\left( \nabla_\theta L(\theta_t) \right)^2 $ | 指数移動平均 |
| Adam | $ \theta_{t+1} = \theta_t - \eta \cdot \dfrac{\hat m_t}{\sqrt{\hat v_t} + \epsilon} $ | $ m_t = \beta_1 m_{t-1} + (1-\beta_1)\nabla_\theta L(\theta_t) $ $ v_t = \beta_2 v_{t-1} + (1-\beta_2)\left(\nabla_\theta L(\theta_t)\right)^2 $ $ \hat m_t = \dfrac{m_t}{1-\beta_1^t} $ $ \hat v_t = \dfrac{v_t}{1-\beta_2^t} $ |
Momentum + RMSProp |
画像版
Qiitaでは横幅が潰れてしまうので
