参考
実行ソース
対象
- 自己満
何したの??
参考にさせていただいたURLを元に
- SGD
- MomentumSGD
- AdaGrad
- RMSprop
をpythonで書いてみて
この記事にある (https://qiita.com/Akidukin14/items/4cf3fd1a065726450e4d)
- sphere関数
- losenbrock関数
- styblinskitang関数
に適用させてみてどのような動きをするのか見てみたかった
それぞれの偏微分式は自分で解いたのでそこも悪いのかも
結果
まとめ
MomentumSGDが特にひどい、全部どこいくねーんと
疲れたのでもういいやと思いました まる