PyTorch

PyTorchを使っているときに起きたGPU周りのトラブル

小ネタです

確保したGPUメモリが迷子になってしまった

  • Notebookでプロセスの実行中に、Juypyter Kernelを再起動してしまう(よくある
  • Ctrl+C を連打して、メモリの開放処理が正しく行われなかったとき

気をつけましょう

CUDAの初期化で失敗する

python -c "import torch; print(torch.cuda.is_available())"

False になってしまう状態です。僕の場合は、notebookでPyTorchを使っているまま、Ubuntuをスリープして、再開した際に、たまに(毎回ではない)CUDAが使えなくなってしまうことがありました。こうなってしまったら、僕は再起動しています…つらい。より良い方法があれば、どなたか教えてください。

以上です。ここに書いたことは、PyTorchに限らず、GPUを使う数値計算のライブラリでは避けた方がよいですね。