この記事はDocker Advent Calendar 2016 の13日目の記事です。
AWS re:Invent2016に初参加してきたのですが、一番印象に残っているのがAmazon AIをはじめとする
Deep learningの取り組みです。
そこで今回はAWSが公式にサポートを表明したDeep learningフレームワークであるMXNetを
ECSを使ってDockerコンテナで立ち上げて処理をしてみる、という内容になります。
MXNetとは
MXNet はワシントン大学とカーネギーメロン大学によって開発されたDeep learningフレームワークです。
re:Invent 2016で発表された内容から抜粋すると、特徴としては以下です。
- 豊富な対応言語
- 学習(train)には Python/C++/R/Scala/Java/Julia が使える
- 推論(prediction)には上記に加えてMatlab/JavaScriptが使える
- すべてコンパイルされてC++で動くので高速
- スケーラビリティ
- KVSを利用しているおり、複数ノードで分散処理が実行可能
- ノードを追加するだけでスケールアウトし、16台のp2.16xlargeインスタンスでテストしたところ理想的な状態から考えても88%の効率で処理することが出来た
- Tensorflowより効率的(By AWS)
- ポータビリティ
- モデルをストアする際に効率的に格納できる。1000レイヤのモデルを4Gのメモリに収めることが出来る
- Android/iOSでも動作可能
セッション後にAWSの方に質問した所、今回発表されたAmazon AI含めて各種サービスでMXNetが既に動いているようです。
今回やること
今回やることは基本的にはre:Invent 2016内のワークショップセッションで行われた、
ECSを用いてMXNetを動かしてみるものの拡張です。
拡張している所としては、
- CPU版ではなくGPU版として動かす
というところです。
なぜならDeep learningのタスクはCPUよりもGPUを使うほうが高速で、
大規模データの学習や多層ネットワークの場合は必須といってよいからです。
また、コンテナを使うメリットとしては上記サイトにも書いていますが、ポータビリティや処理の独立性だと思います。
環境構築はCloudformationを使わずにやってみます。
それでは始めます。
ECSクラスタの準備
ECSのクラスタを作成します。
サービスからECSを選びクラスターに移動します。
クラスタ名はmxnetとします。
ECRのポジトリを作ります。
サービスからECSを選びリポジトリに移動します。
mxnetrepoとします。
インスタンスの準備
ベースイメージ起動
まずはGPUインスタンスを用意します。
P2インスタンスを使いたいところですが、東京リージョンでまだ使うことができず、
ちょっとお高いのでG2インスタンスを使います。
また、AMIはワークショップで使われていたAmazon ECS-optimized AMIを使っています。
Dockerとecs-agentコンテナを立てればAMIは通常のAmazon Linuxでも構いません。
起動時にuserdata(高度な詳細欄)として以下を入力します。
#!/bin/bash
echo ECS_CLUSTER=mxnet > /etc/ecs/ecs.config
nvidiaドライバのインストール
nvidiaドライバのインストールをここ
に従い行います。
まずは下準備。
sudo yum erase nvidia cuda
sudo yum update -y
sudo reboot
sudo yum install -y gcc wget aws-cli git kernel-devel-`uname -r`
次にnvidiaドライバのダウンロード及びインストールです。
P2インスタンスを使う場合はドライババージョンが違うのでご注意ください。
wget http://jp.download.nvidia.com/XFree86/Linux-x86_64/367.57/NVIDIA-Linux-x86_64-367.57.run
sudo /bin/bash ./NVIDIA-Linux-x86_64-367.57.run
sudo reboot
下記のコマンドが実行して結果が返ってくればOKです。
nvidia-smi -q | head
==============NVSMI LOG==============
Timestamp : Sat Dec 10 09:46:59 2016
Driver Version : 367.57
Attached GPUs : 1
GPU 0000:00:03.0
Product Name : GRID K520
Product Brand : Grid
nvidia-dockerのインストール
確認のためにnvidia-dockerをインストールします。詳細はこの記事をご参照ください。
wget -P /tmp https://github.com/NVIDIA/nvidia-docker/releases/download/v1.0.0-rc.3/nvidia-docker_1.0.0.rc.3_amd64.tar.xz
sudo tar --strip-components=1 -C /usr/bin -xvf /tmp/nvidia-docker*.tar.xz && rm /tmp/nvidia-docker*.tar.xz
起動します。
sudo mkdir -p /run/docker/plugins/
sudo -b nohup nvidia-docker-plugin > /tmp/nvidia-docker.log
再起動したときも使えるようにします。
sudo sh -c "cat << EOF > /etc/init.d/nvdocker-plugin
#!/bin/sh
# chkconfig: 345 98 20
# description: NVIDIA-docker plugin
nvidia-docker-plugin > /tmp/nvidia-docker.log
EOF"
sudo chmod +x /etc/init.d/nvdocker-plugin
sudo chkconfig --add nvdocker-plugin
確認します。以下の2つのコマンドは実質的に同じことです。
nvidia-docker run --rm nvidia/cuda nvidia-smi
docker run --rm --privileged --volume=nvidia_driver_367.57:/usr/local/nvidia:ro nvidia/cuda nvidia-smi
今のECS Agentは一度落としておきます。
docker rm -f ecs-agent
AMI作成
ここでイメージを作成します。
できあがったAMIからEC2を起動
作成したAMIをベースに選びます。
Userdata(高度な詳細欄)に以下を記載して実行します。
今回は3つインスタンスを起動しました。
#!/bin/bash
echo ECS_CLUSTER=mxnet > /etc/ecs/ecs.config
start ecs
ECSのmxnetクラスタに追加されていることが確認できればOKです。
MXNetコンテナの作成と登録
コンテナイメージ作成
MXNetのコンテナイメージをビルドします。
ワークショップで言うとLab2に当たります。
git clone https://github.com/awslabs/ecs-deep-learning-workshop.git
cd ecs-deep-learning-workshop/lab-2-build/mxnet
Labで公開されているイメージはCPU用なので、GPU用に置き換えます。
CUDAとCUDNNを有効にして、CUDAのPATHを指定します。
diffをとると次のような感じ。
- && echo "USE_CUDA=0" >>config.mk \
- && echo "USE_CUDNN=0" >>config.mk \
+ && echo "USE_CUDA=1" >>config.mk \
+ && echo "USE_CUDNN=1" >>config.mk \
&& echo "USE_BLAS=atlas" >>config.mk \
+ && echo "USE_CUDA_PATH=/usr/local/cuda" >>config.mk \
ビルドします。
docker build -t mxnet .
結構時間がかかります。
完了次第、docker imagesするとmxnetのイメージが出来上がっています。
ECRにプッシュ
まずdocker loginコマンドを取得します。
aws ecr get-login --region ap-northeast-1
次に返ってきたコマンドを実行します。
docker login....
プッシュるためにtagを変えます。
AWSACCOUNTIDは皆さんのAWSアカウントIDを入れます。
docker tag mxnet:latest AWSACCOUNTID.dkr.ecr.ap-northeast-1.amazonaws.com/mxnetrepo:latest
プッシュします。
docker push AWSACCOUNTID.dkr.ecr.ap-northeast-1.amazonaws.com/mxnetrepo:latest
コンソールで確認できればOKです。
コンテナデプロイとDeep learning実行
コンテナのデプロイと実行を行います。Lab3とLab４に当たります。
ECSでコンテナデプロイ
ECSのサービスのページからタスク定義を開き、タスクを作成します。
事前にボリュームのところでnvidiaドライバを設定しておきます。
コンテナの追加でmxnetを選びます。
AWSACCOUNTIDはみなさんのAWSアカウントIDです。
特権付与をONにします。
マウントポイントを指定します。
作成し終わったらタスク実行します。
タスクの数は分散処理を今後することを考えてEC2と同じ数で3としました。
タスクが実行されると3つ立ち上がります。
EC2にSSHでログインし、docker psコマンドを打つとイメージがあるのが確認できます。
[ec2-user@ip-172-22-1-30 mxnet]$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
31253a08201d 071860940913.dkr.ecr.ap-northeast-1.amazonaws.com/mxnetrepo "/usr/local/bin/dumb-" 3 minutes ago Up 3 minutes 0.0.0.0:80->8888/tcp ecs-mxnet-2-mxnet-c298f8eda0beea8ced01
552b9821ff48 amazon/amazon-ecs-agent:latest "/agent" About an hour ago Up About an hour ecs-agent
実行
コンテナの中に入り、Deep learningを実行してみます。
docker exec -it 31253a08201d /bin/bash
コンテナの中でnvidia-smiを実行してみます。
root@31253a08201d:~/ecs-deep-learning-workshop# nvidia-smi
Sun Dec 11 03:48:12 2016
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 367.57 Driver Version: 367.57 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GRID K520 Off | 0000:00:03.0 Off | N/A |
| N/A 27C P8 17W / 125W | 0MiB / 4036MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
GPUが見えています。
ジョブを実行します。
実行するジョブは既に用意されているmnist(手書き文字)のトレーニングです。
cd /root/ecs-deep-learning-workshop/mxnet/example/image-classification/
python train_mnist.py
CPUでジョブが実行されます。
timeで実行時間をはかるとこんな感じです。
real 1m44.029s
user 1m54.208s
sys 0m18.404s
次にGPUを利用した場合を試してみます。
GPUで実行する場合はオプションを付けるとすぐです。
python train_mnist.py --gpus 0
実行時間の結果は以下です。
real 0m40.438s
user 1m25.152s
sys 0m11.612s
CPUよりも高速に学習ができています。
おわりに
Deep learningフレームワークのMXNetをコンテナとして実行する事ができました。
Amazon AIによって気軽にDeep learningの恩恵をうけられるようになりましたが、
どのようなことが行われているか、また自分で試してみたい場合には便利かと思います。
今後もし機会があれば分散処理実行を試してみたいです。