Learning Rate
Learning Rate(学習率)はハイパーパラメータの中で最も重要なものの一つ。
一般的な値
- 0.1
- 0.01
- 0.001
- 0.0001
- 0.00001
- 0.000001
初期値は0.01にしてみるのが基本。
調整方法
validation errorがより少なくなるように設定する。
validation errorの減少するスピードが遅ければ(①)learning rateを増やし、validation errorが増加してしまっているなら(②)learning rateを減らすなど。
より高度な設定
効率的に学習をすすめるにはLearning Rateをepoch数に応じて減少させる。
[参考]横軸はepoch数
学習アルゴリズムを使う。