本業はwebエンジニアなので、機械学習的なお作法は知らずにとりあえずAWS上に機械学習をできる環境を立ち上げようと思ってまとめてみました。

機械学習用サーバ（以下、GPUサーバ）はプライベートサブネットに置くことにしました。
※踏み台を乗っ取られたら意味ないじゃんという説もあります…。

また機械学習をしたいのでGPUサーバにはJupyter NotebookとTensorFlowを入れる予定です。先にセキュリティグループのポート設定だけはしておこうと思います。GPUサーバにTensorFlowやCUDA・cuDNNをインストールする方法は後日書きます。

構成

基本構成

GPUサーバ：１台（GPUインスタンス）
踏み台サーバ：１台（Bastianインスタンス）
クラウドストレージ：１個（S3-Bucket）… マウントして使うことにした

※S3のマウントはこちら

構築手順

VPCの作成

1 個のパブリックサブネットを持つ VPCを選択する
これを選択すると「Bastian-Subnet」をVPCと同時に作成することができる
RouteTableもVPCと同時に作成される
このタイミングでPablic用のInternet Gateway はattach されている

IPv4 CIDR ブロック	VPC名	アベイラビリティゾーン
10.0.0.0/16	GPU-VPC	us-east-1a

名前タグ	VPC	アベイラビリティゾーン	IPv4 CIDR	Pablic/Private
Bastian-Subnet	GPU-VPC	us-east-1a	10.0.0.0/24	Pablic

※少しでも安くしたかったのでアベイラビリティゾーンをバージニア北部にしました。
　やはり若干、SSHが遅いですが慣れれば気にならないかなと思います。

Subnetの作成

GPUサーバ用のSubnetを作成する（※GPU用はVPC作成時に同時作成されている）
Pablic/PrivateはInternet Gatewayの設定をRouteTableで定義することで決定する

名前タグ	VPC	アベイラビリティゾーン	IPv4 CIDR	Pablic/Private
GPU-Subnet1	GPU-VPC	us-east-1a	10.0.1.0/24	Private

※GPU用のサブネットは拡張することを想定

Internet Gateway の確認 & 設定

VPC作成時に自動作成されるので今回は割愛

Route Table の確認 & 設定

Bastian-SubnetにはRoute Tableは設定されているので、そのままインターネットに接続することができる。

Security Group の作成

GPUサーバ用と踏み台サーバ用の２つを作成する。設定は以下の通り。

踏み台サーバ用のセキュリティグループ

セキュリティグループ名	VPC	説明
Bastian-Security	GPU-VPC	Use for Bastian

インバウンドルール （※アウトバウンドは全て）

タイプ	ポート範囲	ソース（種類）	ソース（IP/SG）	説明
SSH	22	カスタム	各接続元のグローバルIP	SSH@
カスタムTCPルール	6006	カスタム	各接続元のグローバルIP	TesnsorBoard
カスタムTCPルール	19999	カスタム	各接続元のグローバルIP	JupyterNotebook

SSHでの接続：22
JuptyerNotebook：19999（ポート番号は任意）
TensorBoarf：6006（ポート番号はデフォルト）

GPUサーバ用のセキュリティグループ

セキュリティグループ名	VPC	説明
GPU-Security	GPU-VPC	Use for GPU

インバウンドルール （※アウトバウンドは全て）

タイプ	ポート範囲	ソース（種類）	ソース（IP/SG）	説明
SSH	22	カスタム	Bastian-Security	SSH from Bastian
カスタムTCP	6066	カスタム	Bastian-Security	TesnsorBoard from Bastian
SSH	19999	カスタム	Bastian-Security	JupyterNotebook from Bastian

SSHでの接続：22
JuptyerNotebook：19999（踏み台サーバと同じにする）
TensorBoarf：6006（デフォルト）

踏み台サーバの作成

STEP1　AMIの選択

クイックスタートで「Ubuntu Server 16.04 」を選択する。

STEP2 インスタンスタイプの作成

GPUインスタンス/p2.microを選択する。（踏み台だけの用途なのでインスタンスサイズはt2.microでOK）

STEP3 インスタンスの設定

ネットワークには作成したVPCを選択し、サブネットにはVPCと同時に作成したパブリックサブネットを選択する。IAMロールは今は選ばない（後で設定できる）。また削除保護の有効化にはチェックを入れておく。

STEP4 ストレージの追加

ストレージのサイズは8GBのままで変更する必要はない。

STEP5 インスタンスのタグ付け

後で区別できるようにタグを付ける。ここではキーを「Name」「Client」「Owner」の３つとしてそれぞれ任意の値を入れる。

STEP6 セキュリティグループの設定

既存のセキュリティグループから踏み台サーバ用のセキュリティグループBastian-Security を選択する。
（接続元に応じてBastian-Securityのインバウンドを変更する必要がある）

STEP7 確認

STEP6で確認と作成を選択して問題なさそうならば作成をクリックすると以下のポップアップが表示されるので既存のキーペアから選択してインスタンスの作成をクリックするとインスタンスの作成が開始される。

Elastic IPの割り当て

踏み台サーバは外部に接続するのでElastic IPを割り当てておくと少しラクかも。

これで踏み台サーバの準備は完了です。

GPUサーバの作成

基本的には踏み台サーバの作り方と同じ。

STEP1　AMIの選択

クイックスタートで「Ubuntu Server 16.04 」を選択する。

STEP2　インスタンスタイプの作成

インスタンスタイプはGPUインスタンス/p2.xlargeを選択する。
（p2.xlargeはNVIDIA Tesla K80 GPUを搭載している）

STEP3 インスタンスの設定

ネットワークには踏み台サーバと同じVPCを選択し、サブネットはGPUサーバ用に作成したGPU-Subnet1を選択する。IAMロールは今は選ばない（後で設定できる）。また削除保護の有効化にはチェックを入れておく。

STEP4 ストレージの追加

ストレージのサイズを8GB→20GBへ変更する。（余裕を持つなら30GB）

STEP5 インスタンスのタグ付け

後で区別できるようにタグを付ける。ここではキーを「Name」「Client」「Owner」の３つとしてそれぞれ任意の値を入れる。

STEP6 セキュリティグループの設定

既存のセキュリティグループからGPUサーバ用のセキュリティグループGPU-Security を選択する。

STEP7 確認

これでGPUサーバと踏み台サーバを構築できたので、あとはSSHで接続すれば完了。

GPUサーバにSSH接続する

踏み台サーバからGPUサーバへ簡単にSSH接続するために踏み台サーバの以下のディレクトリにkeyファイルを格納する。

/home/ubuntu/.ssh

パーミッションを変更して参照できるようにする。

$ chmod 600 GPU-Key.pem

.ssh/configファイルへ以下の内容を記載する。

# GPU-Srver host
# Hostnameは内部IP
Host GPU
  Hostname 10.0.0.24
  User ubuntu
  IdentityFile /home/ubuntu/.ssh/GPU-Key.pem

※踏み台サーバにはグローバルIPで接続するが、GPUサーバは同じVPCにあるので内部IPで接続する。また内部IPはインスタンスを再起動しても変わらないので、confファイルに記載して問題ない。

configファイルが無い場合は以下のコマンドで作成する

$ cd /home/ubuntu/.ssh
$ touch config

この設定をすると

$ ssh GPU

だけで踏み台サーバから簡単にGPUサーバにSSH接続することができる。

まとめ

今回とりあえず環境を作ってみましたが、ここからGPUサーバにSSH接続して必要なもの（CUDA、NVIDIAドライバ、cuDNNなど）色々と入れていかなければならないので、そっちの方が大変でした。

また、ここではGPUインスタンスをプライベートサブネットに置いているので、実際にGPUサーバに諸々をインストールする際にはRoute Tableを設定してパブリックサブネットにした方が何かと便利かと思います。

機械学習基盤をAWSに構築してみた

構成