紹介する学習法
- 重み減衰
- ドロップアウト
- アーリーストッピング
重み減衰
訓練誤差を最小化する際、パラメータに関する正則化項を加えて最小化を行うこと。例としてL1正則化やL2正則化があげられる。これによって単純に汎化誤差を最小にすることで生じる過学習を回避できる。
ドロップアウト
ニューラルネット内のユニットについて学習する際に、毎回すべてのユニットを学習させる代わりに一部のユニットが欠けたニューラルネットを用いて学習させる方法。学習の度に欠けるユニットを選び、推論をするときは全部のユニットを用いて行う。これによって汎化性能が改善する。
アーリーストッピング
訓練誤差のみが改善するようになる前の段階で学習を止める方法。学習が進みすぎると過学習が起きてしまうため、「これ以上学習を進めたら汎化誤差は小さくならない」という時点を見つけ、その範囲内で学習させる。
数式にして考えるとアーリーストッピングは重み減衰の一種であるととらえることもできる。
気になる方はこれならわかる深層学習入門を読んでみてください！