Summary
ColaboratoryのGPU環境を使っている際に、pytorch(pytorch lightning)でpytorch_lightning.Trainer(.. , deterministic=True, ..)を実行したところ、次のようなRuntimeErrorが発生した。
RuntimeError: Deterministic behavior was enabled with either
`torch.use_deterministic_algorithms(True)` or `at::Context::setDeterministicAlgorithms(true)`,
but this operation is not deterministic
because it uses CuBLAS and you have CUDA >= 10.2.
To enable deterministic behavior in this case,
you must set an environment variable before running your PyTorch application:
CUBLAS_WORKSPACE_CONFIG=:4096:8 or CUBLAS_WORKSPACE_CONFIG=:16:8.
For more information, go to https://docs.nvidia.com/cuda/cublas/index.html#cublasApi_reproducibility
これに対処する。
ちなみに、ColaboratroyのGPU環境というのは、この設定をすることで使えるよ。
Resolution
0. エラーメッセージを読む
To enable deterministic behavior in this case,
you must set an environment variable before running your PyTorch application:
CUBLAS_WORKSPACE_CONFIG=:4096:8 or CUBLAS_WORKSPACE_CONFIG=:16:8.
「この場合に deterministic behavior を有効化するためには、PyTorchを実行する前に環境変数:CUBLAS_WORKSPACE_CONFIG=:4096:8 又は CUBLAS_WORKSPACE_CONFIG=:16:8を設定する必要があるよ。」
1. 環境変数の設定
というわけで、環境変数を設定してみよう。
この記事の通りにやってみる。
環境変数のパラメータ追加
%env PATH=xxxxx:yyyy:zzzz
この %env というのを使えば設定できる模様なので、実行してみる。
%env CUBLAS_WORKSPACE_CONFIG=:4096:8
# セルの下に以下のような結果が表示される
env: CUBLAS_WORKSPACE_CONFIG=:4096:8
# 本当に設定できたか確認しよう
%env
{'CLICOLOR': '1',
'CLOUDSDK_CONFIG': '/content/.config',
'CLOUDSDK_PYTHON': 'python3',
'COLAB_GPU': '1',
'CUBLAS_WORKSPACE_CONFIG': ':4096:8', # 出来てた！(((o(*ﾟ▽ﾟ*)o)))
'CUDA_DEVICE_ORDER': 'PCI_BUS_ID',
'CUDA_VERSION': '11.1.1',
'CUDNN_VERSION': '8.0.5.39',
ただ、このままもう一度pytorch_lightning.Trainer(.. , deterministic=True, ..)を実行してもエラーが発生してしまった。
なぜかはわからない。
ただの勘だけど、多分、色々読み込んだ後に環境変数を設定しても遅いんじゃないかな( ˘·ω·˘ ).。oஇ
2. Colaboratoryランタイム初期化
というわけで、最初からやり直してみよう。
Colaboratoryメニューの、「ランタイム」「ランタイムを再起動」をクリック。
すると、この部分に「再起動中」と表示される。
次のように、緑色のチェックマークが出るまで待とう。
この後、先に環境変数を設定してからpythonパッケージのインポートやソースコードを実行したところ、無事エラーを回避できた( *˙︶˙*)وｸﾞｯ!
関連記事
あんまり関係ないけど、deterministicに関してはこの記事が詳しそう。
ちゃんと理解したくなったら読んでみようと思う。