Docker(19.03)でgpu使って学習したかった時の覚書ーTensorflow/Keras

#はじめに
DockerインストールしなおしてみたらDocker環境下TFやKerasで学習しようとしたときにGPU認識してくれなくてしばらくハマったので覚書です。

#こういう環境にしたい

Docker　19.03

--コンテナ内--
ubuntu 18.04
cuda 10.0
cudnn 7.4
tensorflow-gpu 1.14.0
keras : latest

過去記事のResNet学習環境を作ることとします。

#気を付けることその0：Dockerのバージョン
まずここが違ってくるとお話になりません。
旧と現では結構コマンドも変わってきてる模様。
確認して合う環境を構築しましょう

docker環境確認方法はホスト側で以下コマンドです

docker version

今回はDockerバージョン19.03を対象とします

#気を付けることその1：コンテナ立ち上げ時のコマンド
いつのまにか--runtime=nvidiaじゃなくなってたので注意
GPU使いたいときは--gpu all(もしくは番号指定)コマンドになったんだそうで
より直感的ですね。
こちらの記事を参考
https://qiita.com/ksasaki/items/b20a785e1a0f610efa08

#気を付けることその2：cuda,cudnn,tensorflow-gpu,pythonのバージョン
毎回引っかかるんだけどここに齟齬あるとほんと動きません。
オフィシャルの動作確認表を参考に入れましょう
LinuxのGPU周りの整合表は以下の通りでした。macは別表へ
https://www.tensorflow.org/install/source#gpu

今回はtensorflow-gpu==1.14.0が使いたかったので、それに合わせてCUDA10.0,cudnn7.4,python3.6を入れることとします。

#環境構築していく
今回はcuda,cudnnのバージョンを狙い打ちたいので下記のコマンドでコンテナ立ち上げました

docker run --gpus all -it (ここにいろいろコマンド)--name test_container nvidia/cuda:10.0-cudnn7-devel-ubuntu18.04 /bin/bash

実際は(ここにいろいろコマンド)部分に細々としたディスプレイ設定とかディレクトリのマウント設定とか付け足してます
過去記事参照ください

あらかじめdockerfileとかに書けたらいいんだろうけどそれもそれで面倒なので必要なものを後からいれていきます。

apt update
apt install python-pip3 
pip3 install tensorflow-gpu==1.14.0 keras matplotlib scikit-learn pillow

これで学習まわるはず

#GPU使えてるか？の確認
学習回し始めた時にワーニング文的なのが出るのでそこ確認しても良いし
一度Ctrl + P + Qでコンテナから抜けて
コマンド

nvidia-smi

でGPUの占有率見ることでも確認できます。

#おわりに
Dockerまわりもう少しお勉強が必要そう
より良いコマンドを探していきたいです