的外れな学習係数探し

はじめに

程よい学習係数の値を大雑把に探してみた。

環境

• OS : Ubuntu18.04
• メモリ : 12GB
• CPU : 遅い←
• 隠れ層 : 1層
• 最適化アルゴリズム : 確率的勾配降下法(SGD)
• データ
  • 種類 : 画像
    
  • 訓練データ数 : 60000
  • テストデータ数 : 10000
  • ミニバッチ数 : 100
    

結果

1. 学習係数 : 0.001
2. 学習係数 : 0.01
3. 学習係数 : 0.1
4. 学習係数 : 1
5. 学習係数 : 10

まとめ

今回は10の累乗で最適な学習係数を見積もった。
全体としてどれも2つのグラフが乖離していないので過学習はほとんど起きていないことがわかる。
パッと見た感じだと今回の場合、$\ 0.1,1\ $あたりが素早く漸近していて、精度も高い。
対して、$\ 0.001,10\ $あたりはひどいことになった。
学習係数次第で人工知能は天才にもまぬけにもなる。