BatchNormalizationとDropoutの併用について

• 下図よりBatchNormalizationとDropoutを併用することで、学習速度が低下するものの、過学習が抑制できることがわかる。
  また、過学習を抑制することができた結果として、最も低いlossを獲得できている。
• しかし、併用する場合は順序に注意する必要がある。

図1:cifar10でのlossとaccuracy

• 論文ではBatchNormalizationとDropoutを併用した場合の性能低下に関する考察が行われており、BatchNormalizationの前にDropoutを入れることは非推奨となっている。
  しかし、FC層の前のみにDropoutを使用することで性能が改善することを示している。

• よって、BatchNormalizationと併用する場合は、DropoutはFCの前のみに適用するのが望ましい。

参考サイト

https://atmarkit.itmedia.co.jp/ait/articles/2003/11/news016.html