Group Normalization
Group Normは
Channel=1であればInstance Norm
Channel=CであればLayer Norm
Instance NormはChannelに対するNomalizationが弱い
Layer NormはChannelに対するNomalizationが強すぎる
この中間を取れるのがGroup Norm
結果
Batch Size32の時の精度は
Batch Norm ≒ Group Norm >> Leyer Norm >> Instance Norm
Batch Norm(左側)はBatch sizeが小さくなると精度が著しく下がる
Group Norm(右側)はBatch sizeに影響されない
Layer NormやInstance NormよりGroup Normの方が精度が高くなってる。
結論
・Batch sizeを大きく取れない自分にとってはGroup Normは超ありがたい。
参考文献
Group Normalization
https://arxiv.org/pdf/1803.08494.pdf