More than 3 years have passed since last update.

【Normalization】Group Norm : Batch sizeを大きく取れない庶民の味方

Posted at 2021-01-06

Group Normalization

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/634f1538-6405-a19f-851d-0d3c1bd53905.png)

Group Normは
Channel=1であればInstance Norm
Channel=CであればLayer Norm

Instance NormはChannelに対するNomalizationが弱い
Layer NormはChannelに対するNomalizationが強すぎる

この中間を取れるのがGroup Norm

結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/a4c6cb86-9b42-b572-574f-3a2febbd5a26.png) Batch Size32の時の精度は Batch Norm ≒ Group Norm >> Leyer Norm >> Instance Norm

Batch Norm(左側)はBatch sizeが小さくなると精度が著しく下がる
Group Norm(右側)はBatch sizeに影響されない

Layer NormやInstance NormよりGroup Normの方が精度が高くなってる。

結論

・Batch sizeを大きく取れない自分にとってはGroup Normは超ありがたい。

参考文献

Group Normalization https://arxiv.org/pdf/1803.08494.pdf

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up