Help us understand the problem. What is going on with this article?

DockerのSwarmモードでクラスタを構築するメモ

More than 1 year has passed since last update.

以前にDocekrをクラスタ管理するためにDocker Swarmを使ってオーケストレーションしてみたことが過去あったのですが、Docker Swarmを使った構築は、ConsulなどのKVSを別途用意したり大変だったりで、クラスタ構築が大変だったのですが、

最近はSwarmモードというのが追加されているらしく、結構簡単にできるとのことだったので、ホントに簡単にSwarmモードなるものでクラスタを簡単構築できるか調査してみました。
以下は、その時のメモになります。

ちなみに、現在では「Docker Swarm」というと、一般的にはSwarmモードのことを指すらしいです。

クラスタ環境の構成

  • Managerノード
    • 仮想マシンのホスト名: manager1, manager2
    • CentOS7
  • Workerノード
    • 仮想マシンのホスト名: worker1, worker2
    • CentOS7 ## 仮想マシンの準備とDockerのインストール

Vagrantfileをこんな感じで用意しておきました。

IPアドレスやらホスト名やらはお好みで。

# -*- mode: ruby -*-
# vi: set ft=ruby :

Vagrant.configure("2") do |config|

  # Managerサーバ#1
  config.vm.define "manager1" do |node|
    node.vm.provider "virtualbox" do |vm|
      vm.name = "manager1"
      vm.customize ["modifyvm", :id, "--memory", "512"]
    end
    node.vm.box = "centos/7"
    node.vm.hostname = "manager1"
    node.vm.network "private_network", ip: "192.168.33.41"
  end

  # Managerサーバ#2 (あとでクラスタを追加したいために用意)
  config.vm.define "manager2" do |node|
    node.vm.provider "virtualbox" do |vm|
      vm.name = "manager2"
      vm.customize ["modifyvm", :id, "--memory", "512"]
    end
    node.vm.box = "centos/7"
    node.vm.hostname = "manager2"
    node.vm.network "private_network", ip: "192.168.33.42"
  end

  # Workerサーバ#1
  config.vm.define "worker1" do |node|
    node.vm.provider "virtualbox" do |vm|
      vm.name = "worker1"
      vm.customize ["modifyvm", :id, "--memory", "512"]
    end
    node.vm.box = "centos/7"
    node.vm.hostname = "worker1"
    node.vm.network "private_network", ip: "192.168.33.51"
  end

  # Workerサーバ#2
  config.vm.define "worker2" do |node|
    node.vm.provider "virtualbox" do |vm|
      vm.name = "worker2"
      vm.customize ["modifyvm", :id, "--memory", "512"]
    end
    node.vm.box = "centos/7"
    node.vm.hostname = "worker2"
    node.vm.network "private_network", ip: "192.168.33.52"
  end

end

仮想マシンを起動

$ vagrant up
$ vagrant ssh-config >> ~/.ssh/config

Docker CEのインストール

コミュニティエディションでインストールします。
Managerサーバ、Workerサーバで以下のコマンドを実行してインストールします。

$ sudo yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2

$ sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

$ sudo yum install -y docker-ce

バージョンでも確認しておきます。

$ docker -v

Docker version 18.03.1-ce, build 9ee9f40

Dockerの起動

Managerサーバ、Workerサーバで以下のコマンドを実行して起動します。

$ sudo systemctl start docker
$ sudo systemctl enable docker

ここまででインストール完了したので、
次はSwarmでクラスタを構築します。

Docker Swarmでクラスタを構築

クラスタの初期化

$ sudo docker swarm init --advertise-addr 192.168.33.41
Swarm initialized: current node (7i9tnczzu1usm5bijr532j7ou) is now a manager.

To add a worker to this swarm, run the following command:

    docker swarm join --token SWMTKN-1-4ieqe6ymrsxevbyo0875l8h20q54ma80lddvmrqwep0nib51dd-ele3qb3mxsioopz2fqcjteux3 192.168.33.41:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.

上記に記載のコマンドによって、あとでワーカーノード(Worker#1, Worker#2)をクラスタに追加します。トークンは実行環境によって異なるので注意してください。

また、注意が必要ですが、マネージャノード(Manager#2)をクラスタに追加する際のトークンが異なります。

マネージャをクラスタに追加するためのトークンは以下のコマンドで確認できます。

$ sudo docker swarm join-token manager
To add a manager to this swarm, run the following command:

    docker swarm join --token SWMTKN-1-4ieqe6ymrsxevbyo0875l8h20q54ma80lddvmrqwep0nib51dd-02ym4vkgpi7r895buzxne1sl3 192.168.33.41:2377
$ sudo docker node ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
7i9tnczzu1usm5bijr532j7ou *   manager1            Ready               Active              Leader              18.03.1-ce

クラスタに追加

ワーカーノードをクラスタに追加

ワーカーノードをクラスタに追加します。

Worker#1, Worker#2で実行してください。

$ sudo docker swarm join --token SWMTKN-1-4ieqe6ymrsxevbyo0875l8h20q54ma80lddvmrqwep0nib51dd-ele3qb3mxsioopz2fqcjteux3 192.168.33.41:2377
This node joined a swarm as a worker.

マネジャーノードをクラスタに追加

今度は、Manager#2をマネジャノードとしてクラスタに追加します。
トークンがワーカーノードで実行した時のものと異なっていることに注意してください。

$ sudo docker swarm join --token SWMTKN-1-4ieqe6ymrsxevbyo0875l8h20q54ma80lddvmrqwep0nib51dd-02ym4vkgpi7r895buzxne1sl3 192.168.33.41:2377
This node joined a swarm as a manager.

クラスタ構築できたか確認する

クラスタのどこかのノードで実行して確認してください。
以下のようになっていればOKです。

[vagrant@manager1 ~]$ sudo docker node ls
ID                            HOSTNAME            STATUS              AVAILABILITY        MANAGER STATUS      ENGINE VERSION
7i9tnczzu1usm5bijr532j7ou *   manager1            Ready               Active              Leader              18.03.1-ce
woryol5l22uwaw20cgkdeni8c     manager2            Ready               Active              Reachable           18.03.1-ce
y2ix3jsrefb46u4ibvhxzsvhz     worker1             Ready               Active                                  18.03.1-ce
gs5bzrxb76glo40wn92psl0f3     worker2             Ready               Active                                  18.03.1-ce

*がついているのノードがこのコマンドを実行しているノードです。

デプロイ

Alpine Linuxからdocker.comにpingを行うサービスを追加します。起動するコンテナ数は1つです。

$ sudo docker service create --replicas 1 --name helloworld alpine ping docker.com
rr5zwn0fyamykt79ihr08c5te
overall progress: 1 out of 1 tasks
1/1: running
verify: Service converged

起動しているサービス一覧にhelloworldが追加されている事を確認します。

$ sudo docker service ls
ID                  NAME                MODE                REPLICAS            IMAGE               PORTS
rr5zwn0fyamy        helloworld          replicated          1/1                 alpine:latest

サービス内(helloworld)でどのようなコンテナを実行しているかを確認するためには、以下のコマンド。

$ sudo docker service ps helloworld
ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE                ERROR               PORTS
wxjc7ttz1u3h        helloworld.1        alpine:latest       worker1             Running             Running about a minute ago

スケールアウト

サービスを1から5に変更します。

$ sudo docker service scale helloworld=5
helloworld scaled to 5
overall progress: 5 out of 5 tasks
1/5: running
2/5: running
3/5: running
4/5: running
5/5: running
verify: Service converged
$ sudo docker service ps helloworld
ID                  NAME                IMAGE               NODE                DESIRED STATE       CURRENT STATE                ERROR               PORTS
wxjc7ttz1u3h        helloworld.1        alpine:latest       worker1             Running             Running 4 minutes ago
2wiqq5ff537d        helloworld.2        alpine:latest       manager1            Running             Running about a minute ago
ah46fj4uwq5k        helloworld.3        alpine:latest       manager2            Running             Running about a minute ago
o6om7iyhtf5e        helloworld.4        alpine:latest       manager2            Running             Running about a minute ago
22ptlffc7bmd        helloworld.5        alpine:latest       worker2             Running             Running about a minute ago

備忘録

Docker Swarmは過半数のマネージャーを失うとタスクを評価できなくなり自動的に回復できなくなる。
そのため、マネージャーノードは奇数台で構築するのがよさそう。

用語

  • ノード
    • Swarm内に参加する Docker Engineインスタンス。
  • マネージャーノード
    • アプリケーションをswarmにデプロイするには、マネージャノード(manager node)にサービス定義を送信します。マネージャはワーカーノードへタスクと呼ばれる単位を送ります。
    • マネージャノードはswarmの期待状態(desired state)を維持するために、オーケストレーションと管理機能を処理。マネージャはオーケストレーションタスクを処理するため、単一のリーダーを選出(elect)する。
  • ワーカーノード
    • ワーカ・ノード(worker nodes) はマネージャ・ノードから送られてきたタスクの受信して処理する。
    • デフォルトでは、マネージャノードはワーカーノードも兼ねるが、マネージャのみのノード(manager-only node)としてもマネージャを設定可能。割り当てられたタスクの現在の状況をマネージャノードに伝えることによって、マネージャは期待状態を維持できます。
  • サービス
    • アプリケーションを作り上げるための様々なタスクを、どのように実行するかという定義
    • サービスの作成時に指定するのは、どのコンテナのイメージを使い、コンテナ内でどのようなコマンドを実行するか
    • 以下のサービスがある。
      • 複製サービス
        • 期待状態の指定に基づき、swarm マネージャがノード間に複製タスク(replica task)を指定した数だけ分散する
      • グローバル・サービス
        • 特定のタスクをクラスタ内の全ノード上で利用可能になるようにswarmが実行する。
  • タスク
    • Dockerコンテナを運び、コンテナ内でコマンドを実行する。swarmにおける最小スケジューリング単位です。
    • マネージャノードはワーカノードに対してタスクを割り当てる。割り当てる数はサービスのスケールで設定されたレプリカ数に応じる。
chocomintkusoyaro
SI企業で働いています。 ->2019/12 退職しました。 -> 現在ニート。 チョコミントのアイスが好きで歯が2本虫歯になりました。 今後はクソ記事を週1回投稿しようと思います。
https://chocomintkusoyaro.hatenadiary.jp/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした