流れ
僕：今まであまり変数の多くない学習を機械学習を試していたが，弊ラボには折角GPU4枚刺しマシンがあるので，tensorflow-gpuを使ってみよう．
僕：ついでに心新たにtensorflow2.0のkerasを使ってみよう．
僕：openaigymのtaxiでこんな感じに．．．
僕：さ～て学習は進んでいるかな？？？
PC：ターミナル「強制終了」
僕：え？
PC：強制終了！
決まって120学習ステップくらいで停止するのであった．
環境
OS:ubuntu18系
GPU：GTX1080x4枚
python:3.6.9(Anaconda)
cudnn:7.6.0
cudatoolkit:10.0.130
以下使用したニューラルネットワーク構成
Model: "sequential"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
embedding (Embedding) (None, 1, 10) 5000
_________________________________________________________________
reshape (Reshape) (None, 10) 0
_________________________________________________________________
dense (Dense) (None, 50) 550
_________________________________________________________________
dense_1 (Dense) (None, 50) 2550
_________________________________________________________________
dense_2 (Dense) (None, 6) 306
=================================================================
Total params: 8,406
Trainable params: 8,406
Non-trainable params: 0
_________________________________________________________________
結論から言うと・・・
強制終了前にネットワークを適宜保存．
繰り返しプログラム回して学習という力業．
とりあえずこれでなんとかなる．
解決するまでに試したこと(こっちの方が為になった)
linuxのログを確認
tensorflowがエラーを吐いてくれているならターミナル上にメッセ―ジで問題を伝えてくれるが，今回の場合は唐突に
強制終了
の文字が表れた．
こういう時はやはりまずはlogを確認する．
sudo cat /var/log/syslog
Oct 27 18:27:41 hoge kernel: [1056250.835731] Out of memory: Kill process 1034 (python) score 949 or sacrifice child
Oct 27 18:27:41 hoge kernel: [1056250.835735] Killed process 1034 (python) total-vm:133873604kB, anon-rss:47517436kB, file-rss:440992kB
Out of memory: Kill processおせっかいにもメモリを心配してプロセスを強制終了をしてくれたこいつのことをoom killerなんて巷では言うらしい．
僕：そんなにメモリー必要なネットワークじゃないと思うんだけど・・・
GPU使用状況確認＆メモリ確認
nvidia-smi #GPUの使用状況が分かる
free #メモリの使用状況が分かる
top #他ユーザー含めてプロセスの確認
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.67 Driver Version: 418.67 CUDA Version: 10.1 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GeForce GTX 108... Off | 00000000:05:00.0 On | N/A |
| 47% 78C P2 72W / 250W | 625MiB / 11178MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
| 1 GeForce GTX 108... Off | 00000000:06:00.0 Off | N/A |
| 39% 71C P2 59W / 250W | 149MiB / 11178MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
| 2 GeForce GTX 108... Off | 00000000:09:00.0 Off | N/A |
| 35% 67C P2 58W / 250W | 149MiB / 11178MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
| 3 GeForce GTX 108... Off | 00000000:0A:00.0 Off | N/A |
| 29% 62C P2 56W / 250W | 149MiB / 11178MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 1808 G /usr/bin/X 168MiB |
| 0 2567 G compiz 171MiB |
| 0 15131 C python 273MiB |
| 1 15131 C python 137MiB |
| 2 15131 C python 137MiB |
| 3 15131 C python 137MiB |
+-----------------------------------------------------------------------------+
nvidia-smiを実行すると上記のような出力がある．
注目すべきはMemory-Usage
今回載せているのはメモリ確保の設定変更後の学習中の様子なのでGPUは一枚だけかつ600MiB程度で学習が行えている．
oom killerが動作時はこれが10000MiB近い値が出てしまっていた．
それでもステップ序盤は止まらなかった・・・どうするとkillされるのか．
freeの出力を観察しているとなんとなくそれが分かった．
total used free shared buffers cached
Mem: 49374704 43332596 6042108 37000 67152 808784
-/+ buffers/cache: 42456660 6918044
Swap: 7999484 1564196 6435288
こちらがfreeの出力．これも修正後（問題発生時を再現するのがめんどくさかった）.
oom killerが発動するまでになにが起きていたのかというと
ステップが進むたびにusedが爆上がり，そしてとあるタイミングでSwapが0に落ちる．
僕：で？？
Swapメモリについてやlinuxのメモリ確保の仕組みバッファキャッシュ確保の仕組みについてｇｇりましたが，今回どういう流れでoom killerが働いたのかまではわかりませんでした．．．
読者:いや，結局そこわからんのかい！
僕：またわかったら追記します．．．
ところで実際ニューラルネットワーク作るのに必要なメモリってどれくらいなの？
こちらのブログで紹介されている式より
必要メモリ量(byte)
=(ニューロンの数 × Batch Size ＋ パラメータ数) × 2 (data & grad) × 4(byte)
これを僕のネットワークで計算すると．．．約95000Byte
強化学習でtarget networkとreplay memory採用してても知れてる．
そう，ここで気づく．
僕：いや，GPU占有しすぎじゃね？？
tensorflowのGPU確保設定の変更
gpu_devices = tf.config.experimental.list_physical_devices('GPU')
if len(gpu_devices) > 0:
for i in range(len(gpu_devices)):
tf.config.experimental.set_memory_growth(gpu_devices[i], True)
print('memory growth:', tf.config.experimental.get_memory_growth(gpu_devices[i]))
memory_growthをTrueにすると解決した．
これがFalseだとGPUの使用可能スペースをフルで確保してしまい，oomkillerを呼び出す羽目になる．
tensorflow2.0ではGPU1枚ずつこれを設定できるので，for文で全てのGPUについて設定しておいた．
まとめ
oom killerによって学習プロセスを途中で強制終了されるのは強化学習の性質上仕方ないか？途中でモデルをクリアしてメモリ解放なんてことを画像処理系モデルでは推奨されているが強化学習では環境であったりエージェントであったりをクリアすることはできないので難しそう．
実際にメモリの必要量を推定してみたり，linuxのメモリシステムについて再度いろいろ調べて勉強になりました．（実はtensorflowのmulti_gpu_modelとかも試したけどまるで見当違いだったので省略しました）
本当は実装に関する記事を書きたかったのでそれはまた今度書きます．