DropOut(ドロップアウト)の役割

ドロップアウト（Dropout）
- ニューラルネットワークの過学習を防ぐために提案されたテクニックで、一定の確率でランダムにニューロンを無視して学習を進める正則化の一種

図1:softmax関数のグラフ

出典：[https://deepage.net/deep_learning/2016/10/17/deeplearning_dropout.html]

ノード間が全て繋がったニューラルネットワークを上図のように、学習時には一定の確率で無視する。

こうすると一時的に、ニューロンが活性化しなくなり、重みの更新もバックプロパゲーション時にされなくなる。

訓練時にランダムでニューロンを消去していくことで、毎回異なるニューラルネットワークを学習していることになる。

→　アンサンブル学習と同様の効果があり、複数の独立したニューラルネットワークを学習しているとみなすことができる。

Dropoutは、ただ訓練時にランダムでニューロンを選択していくだけなので、手軽にアンサンブル学習できる。

推論時はドロップアウトせずに、すべてのニューロンを使う。
実際には、各ニューロンのウェイトに𝑞=1−𝑝を掛けてやることで、学習時と近い状態にする。

参考サイト