はじめに
機械学習を学び始めると、「最適化」に関する用語が多く登場します。
それぞれ単体では理解できても、用語同士の関係性が分かりづらいと感じることがありました。
本記事では、G検定対策として、最適化に関する用語を体系的に整理します。
最適化とは何か
最適化とは、モデルの予測誤差（損失関数）を最小化するために、パラメータを調整するプロセスです。
この「最適化手法」という大きな枠の中に、さまざまな概念が含まれます。
全体像（構造で理解）
最適化手法
├─ モデル学習におけるデータの使い方
├─ モデル学習の進行単位
├─ パラメータ更新アルゴリズム
├─ ハイパーパラメータ
├─ ハイパーパラメータ探索
├─ 学習の制御
└─ 理論・課題
この順番に沿って整理していきます。
1. モデル学習におけるデータの使い方（データ供給方式）
データをどの単位で使うかという観点の分類です。
- バッチ学習： 全データをまとめて学習する
- ミニバッチ学習： 一部のデータを使って学習する（一般的）
- オンライン学習： データを1件ずつ処理する
2. モデル学習の進行単位（更新のカウント方法）
学習がどのように進むかを表す単位です。
- エポック： データ全体を1周すること
- イテレーション： パラメータ更新1回分
関係性
1エポック = 複数イテレーション
3. パラメータ更新アルゴリズム
モデルの重みをどのように更新するかという中核部分です。
- 勾配降下法（Gradient Descent）（基礎）
その派生として：
- 確率的勾配降下法（SGD）
- モーメンタム
- AdaGrad
- RMSprop
- AdaDelta
- Adam
- AdaBound
- AMSBound
4. ハイパーパラメータ
学習前に人が設定する値で、学習の挙動を制御します。
- ハイパーパラメータ（上位概念）
- 学習率（learning rate）：更新の大きさを決める重要なパラメータ
5. ハイパーパラメータ探索
適切なハイパーパラメータを見つけるための方法です。
- グリッドサーチ： 候補を網羅的に試す
- ランダムサーチ： ランダムに試す
6. 学習の制御
学習の進め方を調整する手法です。
- 早期終了（Early Stopping）： 過学習を防ぐために途中で学習を止める
7. 理論・課題
最適化における重要な概念や性質です。
- 局所最適解： 一部の範囲で最適
- 大域最適解： 全体で最適
- 鞍点： 勾配が0でも最適ではない点
- ノーフリーランチの定理： 万能な最適化手法は存在しない
- 二重効果現象（Double Descent）： モデル複雑度と誤差の関係に関する現象
まとめ
最適化まわりの用語は、以下のように整理すると理解しやすくなります。
| 分類 | 用語 |
|---|---|
| データの使い方 | バッチ / ミニバッチ / オンライン |
| 進行単位 | エポック / イテレーション |
| 更新方法 | SGD / Adam など |
| 制御 | 学習率（ハイパーパラメータ） |
| 探索 | グリッド / ランダム |
| 学習制御 | 早期終了 |
| 理論 | 局所最適 / 鞍点 / NFL定理 |
おわりに
最適化は機械学習の重要な基礎ですが、用語が多いため、単体ではなく関係性で整理することが理解の助けになります。