なにこれ
ChefSoloでDockerホストをガンガン立てて、DockerSwarmでクラスタリングして
一つのリソースプールにするお話し。趣味で使う数値計算の分散基盤に使う予定。
※chef-soloを使っていますが、今のご時世、chef-localmodeを使うことを推奨します。
参考： https://blog.isao.co.jp/graduated_from_chef-solo/
※Dockerがセットアップできれば、Ansibleでもなんでも大丈夫です。
注意
- 決してProduction環境等では使わないでください(セキュリティ対策無しです)
前提条件
- わりと真っ白なところから。
- 1台1台手塩をかけてプロビジョニングしたくないのでchef soloを利用する。
- DockerSwarmによるコンテナオーケストレーションを実施
- オーケストレーション部分は手動で行う（後日、レシピ追加でこれも自動化予定)
筆者のホスト環境
- 作業用 (192.168.33.10) ubuntu 14.04 Cpus:2 RAM:2GB
- master (192.168.33.11) ubuntu 14.04 Cpus:2 RAM:2GB
- sub-1 (192.168.33.12) ubuntu 14.04 Cpus:2 RAM:2GB
- sub-2 (192.168.33.13) ubuntu 14.04 Cpus:2 RAM:2GB
- sub-3 (192.168.33.14) ubuntu 14.04 Cpus:2 RAM:2GB
手順
ホスト群へのDockerのインストール
この章での作業は、作業用マシンでお願いします。
準備
# gitいれる。rbenvのために
$ sudo apt-get install -y git
$ sudo apt-get install -y libssl-dev libreadline-dev zlib1g-dev
# 新しめのrubyいれとく
$ git clone https://github.com/sstephenson/rbenv.git ~/.rbenv
$ git clone https://github.com/sstephenson/ruby-build.git ~/.rbenv/plugins/ruby-build
$ echo 'export PATH="$HOME/.rbenv/bin:$PATH"' >> ~/.bash_profile
$ echo 'eval "$(rbenv init -)"' >> ~/.bash_profile
$ source ~/.bash_profile
$ rbenv install 2.3.3
$ rbenv global 2.3.3
$ rbenv rehash
# knife-soloをいれる
$ curl -L https://www.opscode.com/chef/install.sh | sudo bash
$ gem install knife-solo
$ gem i berkshelf --no-ri --no-rdoc
# 作業用chefリポ作成
$ knife solo init chef-repo
$ cd chef-repo
レシピを落としてくる
Dockerをインストールするためのレシピをネットから落としてきます。
$ vi Berksfile
site :opscode
cookbook 'docker', '~> 2.13.0'
$ berks vendor cookbooks
Dockerインストールするレシピを書く
※ボキャ貧すぎてhelloにしてしまいましたが、お好きな名前をどうぞ
$ mkdir -p site-cookbooks/hello
$ mkdir -p site-cookbooks/hello/recipes
$ vi site-cookbooks/hello/README.md
これはDockerをインストールするためのレシピです。
$ vi site-cookbooks/hello/metadata.rb
name 'hello'
maintainer 'YOUR_COMPANY_NAME'
maintainer_email 'YOUR_EMAIL'
license 'All rights reserved'
description 'Setup Docker'
long_description IO.read(File.join(File.dirname(__FILE__), 'README.md'))
version '0.1.0'
depends 'docker', '~> 2.0'
$ vi site-cookbooks/hello/recipes/default.rb
execute "apt-get-update" do
command "apt-get update --fix-missing"
ignore_failure true
end
docker_service 'default' do
# 0.0.0.0:2376でDockerAPIをEXPOSEしちゃう
host ["tcp://0.0.0.0:2376", 'unix:///var/run/docker.sock']
action [:create, :start]
end
# ユーザー名に合わせて編集してください。
execute "set user permission" do
command "usermod -aG docker vagrant"
end
対象ホスト達にBootstrapを仕込む
SSHの公開鍵の設定はご自身の環境に合わせてください。やっている事としては、以下の2点です。
- 公開鍵を対象ホスト群へコピーして、鍵でログインできるようにしておく
- chef-soloを対象ホストにインストール
$ ssh-copy-id -i ~/.ssh/id_rsa.pub vagrant@192.168.33.11
$ ssh-copy-id -i ~/.ssh/id_rsa.pub vagrant@192.168.33.12
$ ssh-copy-id -i ~/.ssh/id_rsa.pub vagrant@192.168.33.13
$ ssh-copy-id -i ~/.ssh/id_rsa.pub vagrant@192.168.33.14
$ knife solo prepare -i ~/.ssh/id_rsa vagrant@192.168.33.11
$ knife solo prepare -i ~/.ssh/id_rsa vagrant@192.168.33.12
$ knife solo prepare -i ~/.ssh/id_rsa vagrant@192.168.33.13
$ knife solo prepare -i ~/.ssh/id_rsa vagrant@192.168.33.14
対象ホスト群のrun_listにレシピ追加
つくったレシピが実行されるように全ホストのrun_listにレシピを追加してください
実は、knifeコマンドでうまくやれるがここでは人力で。
$ vi nodes/192.168.33.11.json
{
"run_list": [
"recipe[hello]"
],
"automatic": {
"ipaddress": "192.168.33.11"
}
}
対象ホスト群にDockerインストール実施
たまにコケることがあるので、そのときはリトライしてください。
$ knife solo cook -i ~/.ssh/id_rsa vagrant@192.168.33.11
$ knife solo cook -i ~/.ssh/id_rsa vagrant@192.168.33.12
$ knife solo cook -i ~/.ssh/id_rsa vagrant@192.168.33.13
$ knife solo cook -i ~/.ssh/id_rsa vagrant@192.168.33.14
オーケストレーション設定と確認
今回構築したDockerホストは、DockerAPI用のポートを外部にEXPOSEしている為、
基本的には外部から作業が可能です。
(ただ、作業マシンにはDockerが入っていて、対象ホスト群と同じネットワーク上にある必要性があります)
Token生成
ここで生成したトークンは、今後使うのでメモっておいてください。
vagrant@master:~$ docker -H 192.168.33.11:2376 run --rm swarm create
Unable to find image 'swarm:latest' locally latest: Pulling from library/swarm
220609e0bc51: Pull complete
b54bf338fe2f: Pull complete
d53aac5750d5: Pull completeDigest: sha256:c9e1b4d4e399946c0542accf30f9a73500d6b0b075e152ed1c792214d3509d70
Status: Downloaded newer image for swarm:latest
d3c063f108135XXXXXXXXXXXXXXXXXXX
スレーブのJOIN
vagrant@master:~$ docker -H 192.168.33.12:2376 run -d swarm join --addr=192.168.33.12:2376 token://d3c063f108135XXXXXXXXXXXXXXXXXXX
vagrant@master:~$ docker -H 192.168.33.13:2376 run -d swarm join --addr=192.168.33.13:2376 token://d3c063f108135XXXXXXXXXXXXXXXXXXX
vagrant@master:~$ docker -H 192.168.33.14:2376 run -d swarm join --addr=192.168.33.14:2376 token://d3c063f108135XXXXXXXXXXXXXXXXXXX
マネージャーを立ち上げる
vagrant@master:~$ docker -H 192.168.33.11:2376 run -d -p 12375:2375 swarm manage token://d3c063f108135XXXXXXXXXXXXXXXXXXX
ホスト一覧の確認
JOINしたホストのIPとポート番号が列挙されていれば問題ありません。
vagrant@master:~$ docker -H 192.168.33.11:2376 run --rm swarm list token://d3c063f108135XXXXXXXXXXXXXXXXXXX
192.168.33.14:2375
192.168.33.13:2375
192.168.33.12:2375
各Dockerホストの状態
各ホストにpsコマンド投げた感じ。
これらのSwarm管理用のコンテナは削除しないようにしてください。くれぐれも
vagrant@master:~$ docker -H 192.168.33.11:2376 ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
588ddd969e5a swarm "/swarm manage token:" 40 minutes ago Up 40 minutes 0.0.0.0:12375->2375/tcp nauseous_hawking
vagrant@master:~$ docker -H 192.168.33.12:2376 ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
f53fd4fc19e3 swarm "/swarm join --addr=1" 44 minutes ago Up 44 minutes 2375/tcp pensive_golick
vagrant@master:~$ docker -H 192.168.33.13:2376 ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
dfae3a02e6a2 swarm "/swarm join --addr=1" 43 minutes ago Up 43 minutes 2375/tcp nostalgic_spence
vagrant@master:~$ docker -H 192.168.33.14:2376 ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d511dd6b6d17 swarm "/swarm join --addr=1" 42 minutes ago Up 42 minutes 2375/tcp cocky_wozniak
Swarm Manegerにつないでみる
ちゃんとクラスタとして認識されていると思います。
CPU2コア RAM2GMのマシンを3台束ねているので、合計6CPU RAM6GBに
なっていることも確認できます。いったん、ここまででゴール。
vagrant@master:~$ docker -H 192.168.33.11:12375 info
Containers: 3
Running: 3
Paused: 0
Stopped: 0
Images: 3
Server Version: swarm/1.2.5
Role: primary
Strategy: spread
Filters: health, port, containerslots, dependency, affinity, constraint
Nodes: 3
slave-1: 192.168.33.12:2376
└ ID: EEZI:UKFK:G2F2:SNWF:C3R6:2NWN:PBJV:XO5R:XB34:I5TL:MMNE:ETXN
└ Status: Healthy
└ Containers: 1 (1 Running, 0 Paused, 0 Stopped)
└ Reserved CPUs: 0 / 2
└ Reserved Memory: 0 B / 2.053 GiB
└ Labels: kernelversion=3.13.0-103-generic, operatingsystem=Ubuntu 14.04.5 LTS, storagedriver=aufs
└ UpdatedAt: 2016-12-06T15:13:17Z
└ ServerVersion: 1.12.3
slave-2: 192.168.33.13:2376
└ ID: O53J:5CP5:D2SL:JR3G:B7KG:E2B6:OWEF:WY36:NWPQ:25FZ:6PVT:DQOW
└ Status: Healthy
└ Containers: 1 (1 Running, 0 Paused, 0 Stopped)
└ Reserved CPUs: 0 / 2
└ Reserved Memory: 0 B / 2.053 GiB
└ Labels: kernelversion=3.13.0-103-generic, operatingsystem=Ubuntu 14.04.5 LTS, storagedriver=aufs
└ UpdatedAt: 2016-12-06T15:13:18Z
└ ServerVersion: 1.12.3
slave-3: 192.168.33.14:2376
└ ID: IB4U:UUJB:RCTB:R7NZ:LBYR:3ZB2:WOR6:2IPA:MLYM:IAMA:T45L:FKGZ
└ Status: Healthy
└ Containers: 1 (1 Running, 0 Paused, 0 Stopped)
└ Reserved CPUs: 0 / 2
└ Reserved Memory: 0 B / 2.053 GiB
└ Labels: kernelversion=3.13.0-103-generic, operatingsystem=Ubuntu 14.04.5 LTS, storagedriver=aufs
└ UpdatedAt: 2016-12-06T15:14:01Z
└ ServerVersion: 1.12.3
Plugins:
Volume:
Network:
Swarm:
NodeID:
Is Manager: false
Node Address:
Security Options:
Kernel Version: 3.13.0-103-generic
Operating System: linux
Architecture: amd64
CPUs: 6
Total Memory: 6.158 GiB
Name: f8e6c11a239c
Docker Root Dir:
Debug Mode (client): false
Debug Mode (server): false
WARNING: No kernel memory limit support