さくらのクラウド、いつもお世話になっています。

さくらのクラウド、Dockerのホスト動かしたり、検証用途で使わせていただいています。
すぐサーバーが作成でき、使う事ができる。しかも、使った分だけしかお金がかからない。

便利ですね!

実は、11月に「さくら石狩DC見学ツアー」に参加しました。
https://picasablog.wordpress.com/2015/11/19/第4回「さくら石狩dc見学ツアー」に参加しました/

その際に頂いた、さくらのクラウドのクーポンで「Dockerのクラスタを作る」検証をしてみました。

※検証のため、firewallオフ、rootでの操作を行っています。
運用する際には、適切なfirewallの設定、権限の操作でお願いします。

Docker SwarmでDockerクラスタを作る。

事前に、石狩第１ゾーンに、Ubuntu Server 14.04 3 LTS 64bit (Dockerホスト用)
事前に、石狩第２ゾーンに、Ubuntu Server 14.04 3 LTS 64bit (Dockerホスト用)
事前に、東京第１ゾーンに、CentOS 7.1 64bit (consul用)
のサーバーを作成します。（説明省略）

ゾーン	ホスト名	IP
石狩第１ゾーン	docker-host-1	a.a.a.a
石狩第２ゾーン	docker-host-2	b.b.b.b
東京第１ゾーン	consul	c.c.c.c

http://kakakikikeke.blogspot.jp/2015/10/centos-consul.html より引用

consul構築

[root@consul ~]# systemctl stop firewalld
[root@consul ~]# cd /usr/bin
[root@consul ~]# curl -O https://dl.bintray.com/mitchellh/consul/0.5.2_linux_amd64.zip
[root@consul ~]# unzip 0.5.2_linux_amd64.zip
[root@consul ~]# consul agent -server -bootstrap -client=0.0.0.0 -data-dir /tmp/consul

Dockerホスト構築

公式のインストール方法に従って構築します。（説明省略）
https://docs.docker.com/engine/installation/ubuntulinux/

# docker run hello-world

Swarmクラスタ構築

こちらも、公式のインストール方法に従って構築します。
https://docs.docker.com/swarm/install-manual/

# docker pull swarm

Swarm node構築

それぞれのDockerホストで、別ターミナル上で

# docker daemon -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock

このコマンドを入力したターミナルには、ログが流れるので、複数ターミナルを開いています。

それぞれのDockerホストで

docker-host-1

# docker run -d swarm join --addr=a.a.a.a:2375 consul://c.c.c.c:8500/nodes

docker-host-2

# docker run -d swarm join --addr=b.b.b.b:2375 consul://c.c.c.c:8500/nodes

Swarm manager構築

それぞれのDockerホストで

# docker run -d -p 10000:2375 swarm manage consul://c.c.c.c:8500/nodes

クラスタの情報を見てみる

# docker -H tcp://localhost:10000 info
Containers: 32
Images: 7
Role: primary
Strategy: spread
Filters: health, port, dependency, affinity, constraint
Nodes: 2
 docker-host-1: a.a.a.a:2375
  └ Status: Healthy
  └ Containers: 16
  └ Reserved CPUs: 0 / 1
  └ Reserved Memory: 0 B / 1.019 GiB
  └ Labels: executiondriver=native-0.2, kernelversion=3.16.0-28-generic, operatingsystem=Ubuntu 14.04.3 LTS, storagedriver=aufs
 docker-host-2: b.b.b.b:2375
  └ Status: Healthy
  └ Containers: 16
  └ Reserved CPUs: 0 / 1
  └ Reserved Memory: 0 B / 1.019 GiB
  └ Labels: executiondriver=native-0.2, kernelversion=3.16.0-28-generic, operatingsystem=Ubuntu 14.04.3 LTS, storagedriver=aufs
CPUs: 2
Total Memory: 2.038 GiB
Name: 082f0047225d

2つのノードが確認できました。

コンテナを沢山起動してみる。

コンテナが、どのようにスケジューリングされるかの説明です。（URL先）
https://docs.docker.com/swarm/scheduler/strategy/
今回は、
Strategy: spreadなので、均等にコンテナが配置されるはずです。

試してみます。

# docker -H tcp://localhost:10000 ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

このコマンドを10回入力

# docker -H tcp://localhost:10000 run -itd ubuntu /bin/bash

# docker -H tcp://localhost:10000 ps
CONTAINER ID        IMAGE               COMMAND             CREATED              STATUS              PORTS               NAMES
94248b8d581e        ubuntu              "/bin/bash"         53 seconds ago       Up 52 seconds                           docker-host-2/serene_goldberg
14756426159c        ubuntu              "/bin/bash"         About a minute ago   Up About a minute                       docker-host-1/lonely_brown
648aacfd52cc        ubuntu              "/bin/bash"         About a minute ago   Up About a minute                       docker-host-2/sharp_kowalevski
5e252ac1cd66        ubuntu              "/bin/bash"         About a minute ago   Up About a minute                       docker-host-1/condescending_engelbart
75ef8b2e8489        ubuntu              "/bin/bash"         About a minute ago   Up About a minute                       docker-host-2/sad_liskov
90bd7d46fe05        ubuntu              "/bin/bash"         About a minute ago   Up About a minute                       docker-host-1/cocky_wright
64d4378d3552        ubuntu              "/bin/bash"         About a minute ago   Up About a minute                       docker-host-2/angry_archimedes
dcaeb7fd8bbc        ubuntu              "/bin/bash"         About a minute ago   Up About a minute                       docker-host-1/stoic_jang
c8e476c8faac        ubuntu              "/bin/bash"         About a minute ago   Up About a minute                       docker-host-1/agitated_curie
264b7a389a79        ubuntu              "/bin/bash"         About a minute ago   Up About a minute                       docker-host-2/sharp_hypatia

それぞれのノードに5つずつコンテナが配置されました。

Multi-host networkingでDockerホストを跨ぐネットワークを作る。

先程は、クラスタを作りました、しかし、ノード間のコンテナ同士は同じネットワークではありません。
そこで、別ノード間（別ホスト）でもコンテナ同士が同じネットワークに繋がるようにします。

https://docs.docker.com/engine/userguide/networking/get-started-overlay/
Multi-host networkingを利用するには、Linux Kernelが3.16以上でないと利用できません。

それぞれのDockerホストでカーネルをアップデートします。

http://www.neko6.info/archives/1874 より引用

# apt-get install linux-image-3.16.0-28-generic linux-headers-3.16.0-28

https://github.com/docker/docker/issues/14026 より引用

# apt-get -y update
# apt-get -y upgrade
# apt-get -y dist-upgrade
# apt-get -y install aufs-tools openjdk-7-jre curl wget git vim make php-pear \
php5-dev php5-curl python mc gawk ssh grep sudo htop nmon mysql-client php5-cli \
sqlite3 sysstat sysdig linux-headers-$(uname -r) lxc bsdtar
# apt-get -y install linux-image-extra-$(uname -r)
# modprobe aufs
# apt-get clean
# reboot

先ほど同様、それぞれのDockerホストで別ターミナルを開いて

# docker daemon --cluster-advertise=eth0:2376 --cluster-store=consul://c.c.c.c:8500/nodes -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock

docker-host-1

# docker run -d swarm join --addr=a.a.a.a:2375 consul://c.c.c.c:8500/nodes

docker-host-2

# docker run -d swarm join --addr=b.b.b.b:2375 consul://c.c.c.c:8500/nodes

それぞれのDockerホストで

# docker run -d -p 10000:2375 swarm manage consul://c.c.c.c:8500/nodes

どちらかのホストで

# docker network create --driver overlay my-net

それぞれのDockerホストで

# docker -H tcp://localhost:10000 run --net=my-net -i -t ubuntu /bin/bash

立ち上がったコンテナは、10.0.0.* のIPが割り振られます。

立ち上がったコンテナ同士をpingを実行すると、ネットワークが繋がっている事を確認できます。

感想

クラスタというと、結構難しいのかなと思っていましたが、
swarmをpullしてノードであったり、マネージャーが組めるのはすごく楽だなと思いました。

HA構成も組めるようですので、組んでみたいと思います。