環境
windows10 64bit
cpu: Ryzen7 1700X
gpu: GTX1080Ti
CUDA9.0
cuDNN7.3.1 for cuda9.0
python3.6
tensorflow-gpu 1.11.0
keras 2.2.4
やったこと
- jupyter notebookで実行後にgc.collect()
- jupyter notebookで実行後にdel model
- 1つのclassにまとめてjupyter notebookで実行後インスタンスをdelする
- pyファイルにまとめてjupyter notebookから%runで呼ぶ
- terminalでpyファイルを実行
- pycharmでpyファイルを実行
何故やったか
GPU使った画像認識をjupyter notebookでやろうとしたんですが、2回目以降学習が止まってしまって困りました。nvidia-smiでメモリ使用状況を確認したところ、学習が終わったあともメモリがリリースされてないのが分かったので、これをリリースするべく色々試してみましたが結局ダメでした。
結論
jupyter notebook上で出来る1～4は全部ダメ
pycharmまたはterminalは無事リリースされる
jupyter notebookがダメ？困ったなぁ…
1. jupyter notebookで実行後にgc.collect()
>>> import gc
>>> gc.collect()
普通にダメ
2. jupyter notebookで実行後にdel model
keras+tensorflow-gpuで以下のようにモデルを作ったあと学習してたので、このmodelをdelしたらメモリもリリースされるかな、とやってみました。
>>> #学習
>>> model = self.initModel(self.nb_classes)
>>> history = model.fit_generator(train_batches, train_steps, epochs=self.epoch, validation_data=valid_batches, validation_steps=valid_steps)
>>> del model
うん、ダメ
3. 1つのclassにまとめてjupyter notebookで実行後インスタンスをdelする
じゃあ１つのclassにまとめて、インスタンスを作って実行した後にインスタンスをdelしたらどうかなというのをやってみました。class visual()にすべてのコードをまとめて以下のように実行後にdel。
>>> study = visual()
>>> %time history = study.main()
>>> del study
あうあう、ダメ
4. pyファイルにまとめてjupyter notebookから%runで呼ぶ
上記でまとめたclassをpyファイルにして、jupyter notebookから呼んだらどうかなというのをやってみました。下記ではipynbファイル置いてる場所と同じフォルダにvisual10.pyを置いています。
>>> %run './visual10.py'
うん知ってた
5. terminalでpyファイルを実行
そんで、上記visual10.pyをterminalから実行するとどうなるかというとですね
ちゃんとリリースされるわけですよ
6. pycharmでpyファイルを実行
じゃあ同じことをpycharmからやると？
リリースされます。
まとめ
4～6は同じファイルを実行してるだけなんですよね。今回は比較のために同じAnacondaで作ったpython.exeファイルを使って実行してるので、違いはどこから実行したかだけなんですが、jupyter notebookのみがダメという結果になりました。
1回だけ実行するなら問題ないし、コードを書いていく過程では結果が見やすいjupyter notebookがやりやすいので、jupyter notebookで書きながら完成したらpyファイルにまとめるというやり方になりそうです。
ほんとは全部jupyter notebookでやりたいんで、継続して良い方法を探したいですが検索しても手動でプロセスkillする方法しか出て来ないので連続して複数の条件を試していく使い方が出来ないんですよね…
悩ましいです。