More than 3 years have passed since last update.

【Pytorch】BatchNorm VS InstanceNorm

Posted at 2021-03-13

背景

BatchSize=1の時、BatchNormとInstanceNormは等価なので、結果が同じになるのか気になって調べてみた。 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/b2a5e994-e9f4-6950-2e27-05b943748430.png)

調査

Pytorchでの BatchNormのではaffine=TrueでΓとβの値がparameterとして学習されるのに対し InstanceNormではaffine=FalseでΓ=1とβ=0と固定している。

結果

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/482094/4c01b1ce-4069-2fea-68bc-1e5d600394a1.png) BatchNormよりInstanceNormの方が精度が高い BatchNormのDefault Valueを同じに設定したらほとんど同じ結果が得られた。

結論

・BatchNormのaffine=FalseにするとInstanceNormと同じ結果が得られる・Batch_size=1でBatchNormを使うとΓとβがノイズを持ったデータに対して学習されてしまうと考えられるので、AffineをFalseにするかInstanceNormを使うと良いかもしれない。

参考文献

BatchNorm2d https://pytorch.org/docs/stable/generated/torch.nn.BatchNorm2d.html InstanceNorm2d https://pytorch.org/docs/stable/generated/torch.nn.InstanceNorm2d.html

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up