pytorchでCNNのlossが毎回変わる問題の対処法 (on gpu)

はじめに

pytorchでCNNのlossが毎回変わる問題の対処法 (on cpu)の続きでgpu versionです。

pytorchのライブラリ以外は他の方が既に記事にされてます。
ChainerでGPUを使うと毎回結果が変わる理由と対策
TensorFlowでGPUを使うと毎回結果が変わる理由と対策

検証環境

ubuntu 16.04
python 2.7.15
pytorch 0.4.0
torchvision 0.2.1
cuda 8.0
cudnn 5.1

検証

cpu実行で同じ結果になるようになったプログラムで比較(長いので省略)
https://github.com/chatflip/qiita_code/blob/master/deterministic/deterministic_cpu.py

terminal

~/qiita_code/deterministic$ python deterministic_cpu.py

deterministic_cpu.py

							      	1回目           2回目            3回目
Train Epoch: 5 [0/60000 (0%)]	Loss: 0.143671	Loss: 0.068791	Loss: 0.094007
Train Epoch: 5 [64/60000 (0%)]	Loss: 0.118837	Loss: 0.269800	Loss: 0.131437
Train Epoch: 5 [128/60000 (0%)]	Loss: 0.176576	Loss: 0.265202	Loss: 0.206423
Train Epoch: 5 [192/60000 (0%)]	Loss: 0.420969	Loss: 0.569533	Loss: 0.391462

Epoch1の始めの方はlossの値が同じですが、Epoch2以降から違う値になりました。原因はcudnnによる最適化なんですが、プログラムが辿れないの詳しくは分からないです…
ただtorch.backends.cudnn.deterministic = Trueとすると決定論的振る舞いをするらしいです。

torch.backends.cudnn
https://github.com/pytorch/pytorch/blob/v0.4.0/torch/backends/cudnn/__init__.py
cudnn.deterministic関連issue
https://github.com/pytorch/pytorch/issues/6351

再検証

torch.backends.cudnn.deterministic = Trueを加えてプログラムを実行
https://github.com/chatflip/qiita_code/blob/master/deterministic/deterministic_gpu.py

terminal

~/qiita_code/deterministic$ python deterministic_gpu.py

deterministic_gpu.py

							      	1回目           2回目            3回目
Train Epoch: 5 [0/60000 (0%)]	Loss: 0.062156	Loss: 0.062156	Loss: 0.062156
Train Epoch: 5 [64/60000 (0%)]	Loss: 0.133375	Loss: 0.133375	Loss: 0.133375
Train Epoch: 5 [128/60000 (0%)]	Loss: 0.212103	Loss: 0.212103	Loss: 0.212103
Train Epoch: 5 [192/60000 (0%)]	Loss: 0.430716	Loss: 0.430716	Loss: 0.430716

lossが同じ値になりました

おわりに

pytorch on gpuでlossが毎回変わる問題の対処法は

• torch.backends.cudnn.deterministic = True

cpu部分の対処法はpytorchでCNNのlossが毎回変わる問題の対処法 (on cpu)