#TL;DR
Photon Controllerのリリースと同時に公開されたDevBoxを利用して、Nested ESXi環境にSwarmクラスターを作成して、Windowsワークステーションのdockerクライアントから利用してみた。

#Photon Controllerとは
クラウドネイティブアプリケーションやコンテナの実行環境として最適化された、VMwareのPhotoon Platformのコントローラー。オープンソースとして公開されている。
VMware ESXiハイパーバイザーを上にMesos/Kubernetes/Swarmのクラスターを簡単に構成することができる。
Photon Controllerの詳細はVMwareのJapan Cloud Infrastructure Blogに詳しく書かれている。

#DevBoxとは
Photon Platformの機能をラップトップやPCなどの最低限(16GB RAM + 50GB HDD)の環境で試すことができる。DevBoxはOVAとして提供されており、Photon OSを利用している。

##DevBox環境のデプロイ方法
Getting Started GuideではVMware FusionもしくはVMware Workstationの利用方法が記載されているが、16GB RAMと50GB HDDをラップトップで用意するのは難しいので、vSphere + NSX環境で作ってみた。DNSやDHCPサービスはNSXがあるとEdge Service Gatewayで簡単に用意できる。

##DevBoxに必要なネットワーク
DevBoxは予めIPアドレスが設定されており、Photon Controllerを構成する各種サービスもIPアドレスが構成されているため、以下のネットワーク上で構成する必要がある。

Network : 192.168.209.0/24
Default Gateway : 192.168.209.2
DNS : 192.168.209.2
DHCP Pool : 192.168.209.129 - 192.168.209.254

###NSXを使って構成する場合のネットワーク構成例

##DevBoxのデプロイ
DevBoxをダウンロードして、vSphere環境にデプロイする。IPアドレスは事前定義されているため、デプロイ時にはIPアドレスなどのOVFプロパティの指定は不要。PhotonControllerDevbox-11-12-15.ovaは、4vCPU/3GB RAM/80GB HDD。

##Nested ESXiの用意
Photon Controllerによって管理するESXiホストをNested ESXiとして用意する。メモリ割り当ては8GB以上。大きいほうがクラスターをたくさん作れるので、16GB程度割り当てるのが望ましい。
Nested ESXiを接続するポートグループはpromiscuousに設定する必要があるので注意。

##Photon Controller CLIのインストール
Photon Controller CLIはDevBox上で動作するPhoton ControllerのクライアントCLI。Windows用とMac版が提供されている。(ビルド済みのLinux向けバイナリは公開されていない模様)

ダウンロードした後、PATHが通っている場所に移動すること。(C:¥Windows¥system32 等)

#Photon Platformの準備

##Photon Controller CLIの接続先指定
Photon Controller CLIの接続先としてDevBoxのPhoton Controllerを指定する

PS C:\> photon target set https://192.168.209.29:443
API target set to 'https://192.168.209.29:443'
Certificate (with below fingerprint) presented by server (192.168.209.29:443) isn't trusted.
MD5 = B9D1D2C1B764B5CB415D00457A7A7312
SHA1  = 433A5D8736000E39EADFF4F700BF37D8DDE307F1
Do you trust this certificate for future communication? (yes/no): yes

Saved your preference for future communicaition with 192.168.209.29:443

##ESXiホストの登録
Photon ControllerにNested ESXiを登録する。

PS C:\> photon host create --username root --password [esxpassword] --tag CLOUD --address 192.168.209.31
Host Metadata ({'key':'value'}. required by host of 'MGMT' tag):
Using target 'https://192.168.209.29:443'


Host with ip '192.168.209.31' created: ID = ef86128a-140f-4325-a474-4236fa07cc32

###登録したホストの確認

PS C:\> photon host list
Using target 'https://192.168.209.29:443'
ID                                    State  IP              Tags
ef86128a-140f-4325-a474-4236fa07cc32  READY  192.168.209.31  CLOUD

Total: 1

ESXiホストにはPhoton ControllerのLeaf SchedulerがVIBとしてインストールされ、データストアに必要なフォルダが作成される。

[root@esxi:~] esxcli software vib list | grep Community
photon-controller-agent        0.1.0.dev-5.5.0                       VMware  CommunitySupported  2015-11-16

##ベースイメージの登録
VMDKとして配布されるMesos/Kubernetes/Swarmのベースイメージを登録する。登録したベースイメージはESXiのデータストア(datastore1)に保存される。

PS C:\> photon image create C:\photon-kubernetes-vm-disk1.vmdk -n photon-kubernetes-vm.vmdk -i EAGER
Using target 'https://192.168.209.29:443'
Created image 'photon-kubernetes-vm.vmdk' ID: 32daa1e4-0a71-4326-a24d-59fc6489eb14

PS C:\> photon image create C:\photon-swarm-vm-disk1.vmdk -n photon-swarm-vm.vmdk -i EAGER
Using target 'https://192.168.209.29:443'
Created image 'photon-swarm-vm.vmdk' ID: 612d079e-e166-4fb5-870e-e74d9f9ea78e

PS C:\> photon image create C:\photon-mesos-vm-disk1.vmdk -n photon-mesos-vm.vmdk -i EAGER
Using target 'https://192.168.209.29:443'
Created image 'photon-mesos-vm.vmdk' ID: 45217e98-ddbf-4999-b449-45b4e9ca1d65

PS C:\> photon image list
Using target 'https://192.168.209.29:443'
ID                                    Name                       State  Size(Byte)   Replication_type
32daa1e4-0a71-4326-a24d-59fc6489eb14  photon-kubernetes-vm.vmdk  READY  85899345968  EAGER
45217e98-ddbf-4999-b449-45b4e9ca1d65  photon-mesos-vm.vmdk       READY  85899345968  EAGER
612d079e-e166-4fb5-870e-e74d9f9ea78e  photon-swarm-vm.vmdk       READY  85899345968  EAGER

Total: 3

#Photon Platformの利用
Swarm、Kubernetes、Mesosのクラスター作成が可能。

##Swarmクラスターの作成
SwarmクラスターをSlave2台で作成する。Swarmクラスターはmasterとetcd、複数台のSlaveの仮想マシンで構成される。

PS C:\> photon cluster create -n Swarm2 -k Swarm --dns 192.168.209.2 --gateway 192.168.209.2 --netmask 255.255.255.0 --etcd1 192.168.209.55 -s 2
Using target 'https://192.168.209.29:443'
etcd server 2 static IP address (leave blank for none):

Creating cluster: Swarm2 (SWARM)
  Slave count: 2

##作成したクラスターの確認
作成したクラスターが表示される。

PS C:\> photon cluster list
Using target 'https://192.168.209.29:443'
ID                                    Name    Type   State  Slave Count
0db6bb43-5537-4ece-98c2-d0ae17a0e54a  Swarm2  SWARM  READY  2

Total: 1
READY: 1

###クラスターの詳細情報
「master-xxxx」(192.168.209.173)の仮想マシンがSwarmのmasterとなっている。クラスターのノード(master/slave)はDHCPでIPアドレスを取得する。

PS C:\> photon cluster show 0db6bb43-5537-4ece-98c2-d0ae17a0e54a
Using target 'https://192.168.209.29:443'
Cluster ID:     0db6bb43-5537-4ece-98c2-d0ae17a0e54a
  Name:         Swarm2
  State:        READY
  Type:         SWARM
  Slave count:  2

VM ID                                 VM Name                                      VM IP
d28726ff-ebd4-46a5-acf6-ba54e59a7508  master-505f1abd-3950-4e2a-abf2-a76d08324aac  192.168.209.173
91025592-362b-4c63-9040-0ade0b3d7fbf  etcd-097b3dd1-4e8b-4a0c-bf84-95ad3ab8fb00    192.168.209.55

クラスターを構成するVMの確認

PS C:\> photon cluster list_vms 0db6bb43-5537-4ece-98c2-d0ae17a0e54a
Using target 'https://192.168.209.29:443'
ID                                    Name                                         State
d28726ff-ebd4-46a5-acf6-ba54e59a7508  master-505f1abd-3950-4e2a-abf2-a76d08324aac  STARTED
51d6e7d1-3652-4c42-987d-38c58e3425cf  slave-3eaa99ae-ee0f-46ac-a0ed-bca2e5af7a85   STARTED
bda835f9-e223-495e-a660-0a6252c6437b  slave-f9102f1a-7acf-4f07-9b57-b79eb0c0402e   STARTED
91025592-362b-4c63-9040-0ade0b3d7fbf  etcd-097b3dd1-4e8b-4a0c-bf84-95ad3ab8fb00    STARTED

Total: 4
STARTED: 4

masterにssh(ユーザー名:root/パスワード:vmware)して確認すると、作成されたSwarmクラスターはSwarm 0.4.0、Docker version 1.8.1。

root@master-505f1abd-3950-4e2a-abf2-a76d08324aac [ ~ ]# export DOCKER_HOST="tcp://localhost:2375"
root@master-505f1abd-3950-4e2a-abf2-a76d08324aac [ ~ ]# docker version
Client:
 Version:      1.8.1
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   d12ea79
 Built:        Thu Aug 13 02:49:29 UTC 2015
 OS/Arch:      linux/amd64

Server:
 Version:      1.8.1
 API version:  1.20
 Go version:   go1.4.2
 Git commit:   d12ea79
 Built:        Thu Aug 13 02:49:29 UTC 2015
 OS/Arch:      linux/amd64
root@master-505f1abd-3950-4e2a-abf2-a76d08324aac [ ~ ]# docker ps -a
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                    NAMES
0effdfd20fdb        swarm:0.4.0         "/swarm manage etcd:/"   21 minutes ago      Up 21 minutes       0.0.0.0:8333->2375/tcp   clever_mestorf
0af98e8449df        swarm:0.4.0         "/swarm join --addr=1"   21 minutes ago      Up 21 minutes       2375/tcp                 goofy_archimedes

##Dockerのインストール
ワークステーションにDockerクライアントをインストールする。最新のDocker 1.9.xをインストールしてしまうとAPIミスマッチのエラーが出てしまうので注意。

Error response from daemon: client is newer than server (client API version: 1.21, server API version: 1.20)

Windowsの場合はここからDocker Toolboxの1.8.xをダウンロードしてインストール。

#Swarmクラスターの利用
DOCKER_HOSTとしてSwarm Master(ポート番号は8333)を指定して利用可能。

PS C:\> $env:DOCKER_HOST="tcp://192.168.209.173:8333"

クラスターの状態を見てみる。指定した通りMasterとSlaveが2台できている。

PS C:\> docker info
Containers: 4
Images: 6
Role: primary
Strategy: spread
Filters: affinity, health, constraint, port, dependency
Nodes: 3
 master-505f1abd-3950-4e2a-abf2-a76d08324aac: 192.168.209.173:2375
  └ Containers: 2
  └ Reserved CPUs: 0 / 2
  └ Reserved Memory: 0 B / 513.9 MiB
  └ Labels: executiondriver=native-0.2, kernelversion=4.0.9, operatingsystem=VMware Photon/Linux, storagedriver=overlay

 slave-3eaa99ae-ee0f-46ac-a0ed-bca2e5af7a85: 192.168.209.174:2375
  └ Containers: 1
  └ Reserved CPUs: 0 / 1
  └ Reserved Memory: 0 B / 249.5 MiB
  └ Labels: executiondriver=native-0.2, kernelversion=4.0.9, operatingsystem=VMware Photon/Linux, storagedriver=overlay

 slave-f9102f1a-7acf-4f07-9b57-b79eb0c0402e: 192.168.209.175:2375
  └ Containers: 1
  └ Reserved CPUs: 0 / 1
  └ Reserved Memory: 0 B / 249.5 MiB
  └ Labels: executiondriver=native-0.2, kernelversion=4.0.9, operatingsystem=VMware Photon/Linux, storagedriver=overlay

CPUs: 4
Total Memory: 1013 MiB
Name: 3e44d2b43116

##コンテナの確認
3台のVM上でSwarm用のコンテナが起動している。

PS C:\> docker ps -a
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                            NAMES
09bf640d2360        swarm:0.4.0         "/swarm join --addr=1"   About an hour ago   Up About an hour    2375/tcp                         slave-f9102f1a-7acf-4f07-9b57-b79eb0c0402e/high_einstein
f7357b931ea7        swarm:0.4.0         "/swarm join --addr=1"   About an hour ago   Up About an hour    2375/tcp                         slave-3eaa99ae-ee0f-46ac-a0ed-bca2e5af7a85/lonely_mahavira
3e44d2b43116        swarm:0.4.0         "/swarm manage etcd:/"   About an hour ago   Up About an hour    192.168.209.173:8333->2375/tcp   master-505f1abd-3950-4e2a-abf2-a76d08324aac/cocky_varahamihira
0a1498b816a2        swarm:0.4.0         "/swarm join --addr=1"   About an hour ago   Up About an hour    2375/tcp                         master-505f1abd-3950-4e2a-abf2-a76d08324aac/hungry_mestorf

##コンテナの起動
Swarm経由でnginxコンテナを起動してみる。

PS C:\> docker run -itd --name nginx -p 8000:80 nginx
ba8ba9590796a88bcd49b0ac6ddca6ea381fc60dd3a1b1b330b71619e61fae87

起動したコンテナの確認。nginxコンテナはslave-3eaa99ae-ee0f-46ac-a0ed-bca2e5af7a85(192.168.207.174)の8000番で起動しているので、ブラウザで接続可能。

PS C:\> docker ps -a
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                                   NAMES
ba8ba9590796        nginx               "nginx -g 'daemon off"   5 seconds ago       Up 2 seconds        443/tcp, 192.168.209.174:8000->80/tcp   slave-3eaa99ae-ee0f-46ac-a0ed-bca2e5af7a85/nginx
09bf640d2360        swarm:0.4.0         "/swarm join --addr=1"   About an hour ago   Up About an hour    2375/tcp                                slave-f9102f1a-7acf-4f07-9b57-b79eb0c0402e/high_einstein
f7357b931ea7        swarm:0.4.0         "/swarm join --addr=1"   About an hour ago   Up About an hour    2375/tcp                                slave-3eaa99ae-ee0f-46ac-a0ed-bca2e5af7a85/lonely_mahavira
3e44d2b43116        swarm:0.4.0         "/swarm manage etcd:/"   About an hour ago   Up About an hour    192.168.209.173:8333->2375/tcp          master-505f1abd-3950-4e2a-abf2-a76d08324aac/cocky_varahamihira
0a1498b816a2        swarm:0.4.0         "/swarm join --addr=1"   About an hour ago   Up About an hour    2375/tcp                                master-505f1abd-3950-4e2a-abf2-a76d08324aac/hungry_mestorf

##クラスターのスケールアウト
一度作ったクラスターのSlave台数は後から変更可能。Slave台数を3台に増やしてみる。

PS C:\> photon cluster resize 0db6bb43-5537-4ece-98c2-d0ae17a0e54a 3
Using target 'https://192.168.209.29:443'

Resizing cluster 0db6bb43-5537-4ece-98c2-d0ae17a0e54a to slave count 3
Are you sure [y/n]? y
Cluster resized: ID = 0db6bb43-5537-4ece-98c2-d0ae17a0e54a
Note: A background task is running to gradually resize the cluster to its target capacity.
You may continue to use the cluster. You can run 'cluster show '
to see the state of the cluster. If the resize operation is still in progress, the cluster state
will show as RESIZING. Once the cluster is resized, the cluster state will show as READY.

クラスターの状態を確認。「RESIZING」となっている。

PS C:\> photon cluster show 0db6bb43-5537-4ece-98c2-d0ae17a0e54a
Using target 'https://192.168.209.29:443'
Cluster ID:     0db6bb43-5537-4ece-98c2-d0ae17a0e54a
  Name:         Swarm2
  State:        RESIZING
  Type:         SWARM
  Slave count:  3

VM ID                                 VM Name                                      VM IP
d28726ff-ebd4-46a5-acf6-ba54e59a7508  master-505f1abd-3950-4e2a-abf2-a76d08324aac  192.168.209.173
91025592-362b-4c63-9040-0ade0b3d7fbf  etcd-097b3dd1-4e8b-4a0c-bf84-95ad3ab8fb00    192.168.209.55

しばらく待ってもう一度確認すると、「READY」になる。

PS C:\> photon cluster show 0db6bb43-5537-4ece-98c2-d0ae17a0e54a
Using target 'https://192.168.209.29:443'
Cluster ID:     0db6bb43-5537-4ece-98c2-d0ae17a0e54a
  Name:         Swarm2
  State:        READY
  Type:         SWARM
  Slave count:  3

VM ID                                 VM Name                                      VM IP
d28726ff-ebd4-46a5-acf6-ba54e59a7508  master-505f1abd-3950-4e2a-abf2-a76d08324aac  192.168.209.173
91025592-362b-4c63-9040-0ade0b3d7fbf  etcd-097b3dd1-4e8b-4a0c-bf84-95ad3ab8fb00    192.168.209.55

docker infoで確認すると、slaveが3台に増えている。

PS C:\> docker info
Containers: 5
Images: 12
Role: primary
Strategy: spread
Filters: affinity, health, constraint, port, dependency
Nodes: 4
 master-505f1abd-3950-4e2a-abf2-a76d08324aac: 192.168.209.173:2375
  └ Containers: 2
  └ Reserved CPUs: 0 / 2
  └ Reserved Memory: 0 B / 513.9 MiB
  └ Labels: executiondriver=native-0.2, kernelversion=4.0.9, operatingsystem=VMware Photon/Linux, storagedriver=overlay

 slave-3eaa99ae-ee0f-46ac-a0ed-bca2e5af7a85: 192.168.209.174:2375
  └ Containers: 1
  └ Reserved CPUs: 0 / 1
  └ Reserved Memory: 0 B / 249.5 MiB
  └ Labels: executiondriver=native-0.2, kernelversion=4.0.9, operatingsystem=VMware Photon/Linux, storagedriver=overlay

 slave-f9102f1a-7acf-4f07-9b57-b79eb0c0402e: 192.168.209.175:2375
  └ Containers: 1
  └ Reserved CPUs: 0 / 1
  └ Reserved Memory: 0 B / 249.5 MiB
  └ Labels: executiondriver=native-0.2, kernelversion=4.0.9, operatingsystem=VMware Photon/Linux, storagedriver=overlay

 slave-f93ca2e3-74a2-467a-b416-f5beb4b08463: 192.168.209.183:2375
  └ Containers: 1
  └ Reserved CPUs: 0 / 1
  └ Reserved Memory: 0 B / 249.5 MiB
  └ Labels: executiondriver=native-0.2, kernelversion=4.0.9, operatingsystem=VMware Photon/Linux, storagedriver=overlay

CPUs: 5
Total Memory: 1.233 GiB
Name: 3e44d2b43116

##クラスターのスケールイン
残念ながら今のところサポートされていない模様。

PS C:\> photon cluster resize 0db6bb43-5537-4ece-98c2-d0ae17a0e54a 2
Using target 'https://192.168.209.29:443'

Resizing cluster 0db6bb43-5537-4ece-98c2-d0ae17a0e54a to slave count 2
Are you sure [y/n]? y
2015/11/20 12:42:28 esxcloud: Task '5f9046cd-3754-4323-aeb2-ea6f82953d02' is in error state. Examine task for full details.
API Errors: [esxcloud: { HTTP status: '0', code: 'InternalError', message: 'Reducing cluster size is not supported. Current cluster size: 3. New cluster size: 2.', data: 'map[]' }]