dying ReLU の発生が MiniBatchSize, LeakyReLU でどう変わるかが気になり調査しました。結果をここでまとめます。参考になれば幸いです。

MiniBatchSizeを変化させた場合

NNの構成と測定内容

どの MiniBatchSizeの値でも発生はしている。
MiniBatchSize 10 の時が最多6 となったが、以後の 50,100,200,500 と発生数に相関はないように見える。（比例や反比例のような関係を期待してました）
MiniBacheSizeを大きくしても、dyingReLUの抑制には効かなさそう。(大きくするメリットはなさそう）

y_i = \frac{x_i - min}{max-min+ 0.0001} × 255

K:20170523 MiniBatchSize:500 pic.twitter.com/yaiJKMTYjK
— t-tkd3a (@t_tkd3a) 2017年5月27日

K20170523 , MiniBatchSize 200 pic.twitter.com/oeTuJEprCQ
— t-tkd3a (@t_tkd3a) 2017年5月27日

K:20170523 mb:50 pic.twitter.com/ckMyUBknO5
— t-tkd3a (@t_tkd3a) 2017年5月27日

K:20170523 MB:10 pic.twitter.com/E32m9DD3Ru
— t-tkd3a (@t_tkd3a) 2017年5月27日

K:20170523 mb:100 LeakyReLU:0.01 pic.twitter.com/uJaSY5D5HH
— t-tkd3a (@t_tkd3a) 2017年5月27日

K:20170523 mb:100 LeakyReLU:0.01 pic.twitter.com/uJaSY5D5HH
— t-tkd3a (@t_tkd3a) 2017年5月27日

K:20170523 mb:100 LeakyReLU:0.18 pic.twitter.com/2gDZAiV9R3
— t-tkd3a (@t_tkd3a) 2017年5月27日

K:20170523 mb:100 LeakyReLU:0.5 pic.twitter.com/absoRFxy31
— t-tkd3a (@t_tkd3a) 2017年5月27日