小ネタです
確保したGPUメモリが迷子になってしまった
- Notebookでプロセスの実行中に、Juypyter Kernelを再起動してしまう（よくある
- Ctrl+C を連打して、メモリの開放処理が正しく行われなかったとき
気をつけましょう
CUDAの初期化で失敗する
python -c "import torch; print(torch.cuda.is_available())"
が False になってしまう状態です。僕の場合は、notebookでPyTorchを使っているまま、Ubuntuをスリープして、再開した際に、たまに（毎回ではない）CUDAが使えなくなってしまうことがありました。こうなってしまったら、僕は再起動しています…つらい。より良い方法があれば、どなたか教えてください。
以上です。ここに書いたことは、PyTorchに限らず、GPUを使う数値計算のライブラリでは避けた方がよいですね。