はじめに
三番煎じ(そんな日本語はないが)ですが、Kubenetesを使うこととなり、Kubenetesがサポートする分散ファイルシステムのGlusterFSを動かしてみます。ぐぐったら、多くの方が検証されていたので驚きました。CockroachDBと比較すると天と地の差があります...
その他、HDFSとは違ってマスターレスな構成のため、どのノードが落ちても大丈夫なのは非常に良いと思いました。でも、デメリットは何だろう。小さい大量のファイルを扱う場合、NFSより性能が悪くなるところなのですかね。
という訳で、CentOS、Docker、GlusterFSの組み合わせを選択します。
環境
Docker 17.06.2-ce
CentOS 7.4
GlusterFS 3.10.5
トポロジー
Docker環境ですので、Gluster層とStorage層に分けました。Glusterサーバーにデータを格納してしまうと、コンテナとデータが疎結合ではなくなり、Dockerのメリットであるポータビリティー性が悪くなります。
| サーバー名称 | 役割 | 備考 |
|---|---|---|
| gluster-client | クライアント | 172.17.0.5 |
| gluster1-server | Glusterサーバー用 | 172.17.0.6 |
| gluster1-volume | データボリューム用 | gluster1-serverからマウント |
| gluster2-server | Glusterサーバー用 | 172.17.0.7 |
| gluster2-volume | データボリューム用 | gluster2-serverからマウント |
1. 事前準備
-1.1. HostOSの作成と起動
boot2dockerを使います。デスクトップにあるアイコンをダブルクリックし、Docker Quick Start Terminalを起動します。いつも通りクジラで出てきます。
## .
## ## ## ==
## ## ## ## ## ===
/"""""""""""""""""\___/ ===
~~~ {~~ ~~~~ ~~~ ~~~~ ~~~ ~ / ===- ~~~
\______ o __/
\ \ __/
\____\_______/
docker is configured to use the default machine with IP 192.168.99.100
For help getting started, check out the docs at https://docs.docker.com
-1.2. CentOS7イメージのダウンロード
あ、CentOS6は200MBオーバーだったのに、CentOS7は200MBアンダーになっています。CentOS7で、不要なモジュールを削除したのかな。
$ docker pull centos:centos7
centos7: Pulling from library/centos
(省略)
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
centos centos7 196e0ce0c9fb 6 days ago 196.6 MB
-1.3. Failed to get D-Bus connection: Operation not permittedへの対応
CentOS7では、docker run xxx /bin/bashでコンテナを起動すると、systemctl実行時に下記エラーが表示されます。従いまして、今回は、docker run --privileged xxx /sbin/initで起動することにします。privilegedはセキュリティーの課題があるかもしれないのですが、GlusterFSの検証が目的なので目をつぶります。
・特権モードにする(--privileged)
・コンテナで起動されるコマンドを/sbin/initにする
# systemctl start gluster
Failed to get D-Bus connection: Operation not permitted
また、/sbin/initで起動すると、docker attachコマンドが使用できなくなります。そこで、nsenterを使用します。
$ docker run --rm -v /usr/local/bin:/target jpetazzo/nsenter
(省略)
Status: Downloaded newer image for jpetazzo/nsenter:latest
Installing nsenter to /target
Installing docker-enter to /target
Installing importenv to /target
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
centos centos7 196e0ce0c9fb 6 days ago 196.6 MB
jpetazzo/nsenter latest c16fe938c1a5 14 months ago 370.9 MB
2. GlusterFS用のマスターイメージの作成と起動
-2.1. マスターイメージの作成
GlusterFS用のマスターイメージを作成すべく、centos7を指定してコンテナを起動します。
$ docker run --privileged -itd --name GlusterMaster centos:centos7 /sbin/init
35740bdcf45f594163f5a9bd9cc0bc38151e4bf2f0c54d54cf7e7e2aa067b93d
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b92d93620ccc centos:centos7 "/sbin/init" 9 seconds ago Up 43 seconds GlusterMaster
Gluster関連パッケージをインストールします。下記を実行すれば、epelを入れる必要がありませんでした。
$ docker-machine ssh default
# docker-enter GlusterMaster
# yum update -y
# yum -y install centos-release-gluster
# yum -y install glusterfs-server
# yum -y install glusterfs
# exit
-2.2. GlusterMasterイメージの作成
Gluster関連パッケージをインストールしたコンテナを、docker commitコマンドにてイメージ化します。
$ docker ps -a
$ docker commit GlusterMaster shimizu/glusterserver
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
shimizu/glusterserver latest b2f06387fe86 7 seconds ago 296MB
centos centos7 196e0ce0c9fb 6 days ago 197MB
jpetazzo/nsenter latest c16fe938c1a5 14 months ago 371MB
-2.3. マスターイメージからコンテナの起動
データボリューム用のコンテナを起動します。
$ docker run -itd -v /data --name gluster1-volume centos:centos7 /sbin/init
$ docker run -itd -v /data --name gluster2-volume centos:centos7 /sbin/init
データボリューム用のコンテナをマウントし、コンテナを起動します。実行するターミナルは、それぞれ別にします。
ターミナルA: gluster-client
$ docker run --privileged -itd --name gluster-client shimizu/glusterserver /sbin/init
ターミナルB: gluster1-server
$ docker run --privileged -itd --volumes-from gluster1-volume --name gluster1-server shimizu/glusterserver /sbin/init
ターミナルC: gluster2-server
$ docker run --privileged -itd --volumes-from gluster2-volume --name gluster2-server shimizu/glusterserver /sbin/init
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
3a5e2c99d4f6 shimizu/glusterserver "/sbin/init" Less than a second ago Up 6 seconds gluster2-server
2933fd28433e shimizu/glusterserver "/sbin/init" Less than a second ago Up 14 seconds gluster1-server
1e23056c183c shimizu/glusterserver "/sbin/init" 40 seconds ago Up About a minute gluster-client
92bed989c92d centos:centos7 "/sbin/init" About a minute ago Up About a minute gluster2-volume
5c498f023402 centos:centos7 "/sbin/init" About a minute ago Up About a minute gluster1-volume
b92d93620ccc centos:centos7 "/sbin/init" 22 minutes ago Up 23 minutes GlusterMaster
コンテナに接続し、起動時に指定した/dataがマウントされていることを確認します。
ターミナルB: gluster1-server
$ docker-machine ssh default
$ sudo -s
# docker-enter gluster1-server
# df -k | grep data
/dev/sda1 18745336 461712 17292900 3% /data
ターミナルC: gluster2-server
$ docker-machine ssh default
$ sudo -s
# docker-enter gluster2-server
# df -k | grep data
/dev/sda1 18745336 461724 17292888 3% /data
3. GlusterFSの設定
-3-1. glusterdの起動
最初に、gluster1-serverとgluster2-serverのglusterdを起動します。
ターミナルB: gluster1-server
# docker-enter gluster1-server
# systemctl start glusterd
# systemctl status glusterd
● glusterd.service - GlusterFS, a clustered file-system server
Loaded: loaded (/usr/lib/systemd/system/glusterd.service; disabled; vendor preset: disabled)
Active: active (running) since Thu 2017-09-21 11:50:35 UTC; 5s ago
Process: 116 ExecStart=/usr/sbin/glusterd -p /var/run/glusterd.pid --log-level $LOG_LEVEL $GLUSTERD_OPTIONS (code=exited, status=0/SUCCESS)
Main PID: 117 (glusterd)
CGroup: /system.slice/glusterd.service
└─117 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO
(省略)
ターミナルC: gluster2-server
# docker-enter gluster2-server
# systemctl start glusterd
# systemctl status glusterd
● glusterd.service - GlusterFS, a clustered file-system server
Loaded: loaded (/usr/lib/systemd/system/glusterd.service; disabled; vendor preset: disabled)
Active: active (running) since Thu 2017-09-21 11:52:28 UTC; 5s ago
Process: 98 ExecStart=/usr/sbin/glusterd -p /var/run/glusterd.pid --log-level $LOG_LEVEL $GLUSTERD_OPTIONS (code=exited, status=0/SUCCESS)
Main PID: 99 (glusterd)
CGroup: /system.slice/glusterd.service
└─99 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO
(省略)
-3-2. ストレージプールの作成
gluster1-serverから、gluster2-serverをpeerとして登録します。gluster2-serverから、gluster1-serverをpeerとして登録することも可能です。gluster peerを実行することでノード間を認識させ、ストレージプールを作成します。
ターミナルB: gluster1-server
# gluster peer status
Number of Peers: 0
# gluster peer probe 172.17.0.7
peer probe: success.
# gluster peer status
Number of Peers: 1
Hostname: 172.17.0.7
Uuid: 28d83406-c655-4617-955a-96150c409081
State: Peer in Cluster (Connected)
# gluster pool list
UUID Hostname State
28d83406-c655-4617-955a-96150c409081 172.17.0.7 Connected
ca7bb3f6-7d14-4738-a047-2bcbfbaa9b68 localhost Connected
gluster2-serverからも状況を確認します。
ターミナルC: gluster2-server
# gluster peer status
Number of Peers: 1
Hostname: 172.17.0.6
Uuid: ca7bb3f6-7d14-4738-a047-2bcbfbaa9b68
State: Peer in Cluster (Connected)
# gluster pool list
UUID Hostname State
ca7bb3f6-7d14-4738-a047-2bcbfbaa9b68 172.17.0.6 Connected
28d83406-c655-4617-955a-96150c409081 localhost Connected
-3-3. ボリュームの作成
/dataをGlusterFS上のReplicated Volumeとして作成します。最初に、brick用のディレクトリを作成します。
ターミナルB: gluster1-server
# mkdir /data/vol1
ターミナルC: gluster2-server
# mkdir /data/vol1
gluster1-serverからGlusterFSのボリュームを作成します。
ターミナルB: gluster1-server
# gluster volume create test-vol replica 2 172.17.0.6:/data/vol1 172.17.0.7:/data/vol1
volume create: test-vol: success: please start the volume to access data
# gluster volume start test-vol
volume start: test-vol: success
# gluster volume info
Volume Name: test-vol
Type: Replicate
Volume ID: 02a988b9-f365-4028-8e12-72a34c1df544
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: 172.17.0.6:/data/vol1
Brick2: 172.17.0.7:/data/vol1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
# gluster volume list
test-vol
# gluster volume status
Status of volume: test-vol
Gluster process TCP Port RDMA Port Online Pid
------------------------------------------------------------------------------
Brick 172.17.0.6:/data/vol1 49152 0 Y 160
Brick 172.17.0.7:/data/vol1 49152 0 Y 126
Self-heal Daemon on localhost N/A N/A Y 146
Self-heal Daemon on 172.17.0.6 N/A N/A Y 180
Task Status of Volume test-vol
------------------------------------------------------------------------------
There are no active volume tasks
4. テスト
-4.1. レプリカの確認
gluster-clientからVolumeをマウントします。マウントコマンド実行時に、下記のWARNINGが出力されましたが、WARNINGなので先に進めました。attr is a command used for extended attributes on XFS filesystem objects とのことで、getfattrを導入すればよいと思ったのですが、導入済みでした。
ターミナルA: gluster-client
# docker-enter gluster-client
# df -k
Filesystem 1K-blocks Used Available Use% Mounted on
none 18745336 867708 16886904 5% /
tmpfs 509824 0 509824 0% /dev
tmpfs 509824 0 509824 0% /sys/fs/cgroup
/dev/sda1 18745336 867708 16886904 5% /etc/hosts
shm 65536 0 65536 0% /dev/shm
tmpfs 509824 6652 503172 2% /run
tmpfs 101968 0 101968 0% /run/user/0
# mkdir /data
# mount -t glusterfs 172.17.0.6:/test-vol /data
WARNING: getfattr not found, certain checks will be skipped..
テストしてみます。すごいです。ファイルを更新しても問題ありません、レプリカされています。
ターミナルA: gluster-client <ファイルを作成
# pwd
/data
# touch shimizu
# ls -la | grep shimizu
-rw-r--r-- 1 root root 0 Sep 21 12:36 shimizu
ターミナルB:gluster1-server </data/vol1を確認
# ls -la /data/vol1 | grep shimizu
-rw-r--r-- 2 root root 0 Sep 21 12:36 shimizu
ターミナルC:gluster2-server </data/vol1を確認
# ls -la /data/vol1 | grep shimizu
-rw-r--r-- 2 root root 0 Sep 21 12:36 shimizu
-4.2. 排他制御の確認
gluster-clientでファイルを操作している時に、gluster2-serverで操作できるのかを確認します。
ターミナルA: gluster-client
# vi /data/shimizu
ターミナルAでviでファイル操作中に、ターミナルBでviを実行してみると、下記になる。想定通りというか、当たり前か... どのノードからファイルを更新しても良いが、1時点では1ノードからしかアクセスできない。
# vi shimizu
E325: ATTENTION
Found a swap file by the name ".shimizu.swp"
owned by: root dated: Fri Sep 22 04:50:04 2017
file name: /data/shimizu
modified: no
user name: root host name: 71d3366cf052
process ID: 208
While opening file "shimizu"
dated: Fri Sep 22 04:50:00 2017
(1) Another program may be editing the same file. If this is the case,
be careful not to end up with two different instances of the same
file when making changes. Quit, or continue with caution.
(2) An edit session for this file crashed.
If this is the case, use ":recover" or "vim -r shimizu"
to recover the changes (see ":help recovery").
If you did this already, delete the swap file ".shimizu.swp"
to avoid this message.
5. 用語の整理
| 用語 | 意味 |
|---|---|
| Storage Pool | ストレージクラスタに参加するサーバーの集まり。 |
| Brick | 個々のサーバー上のディレクトリになり、GlusterFSにストレージとして提供される。 |
| Volume | Brickを論理的に集約した、GlusterFS上の仮想的なストレージ領域。ストレージを使う側は、このVolumeをマウントして利用することになる。 |
Volumeには3つのタイプ(Distributed Volume、Replicated Volume、Striped Volume)があり、Volumeを作成するとき選択できます。タイプ毎にファイルの保存方法が異なります。
まとめ
所感は、OSSなのにすごいです。簡単に作れます。
kubenetesと連携してテストできていないのですが、これからは、GlusterFS等でストレージを仮想化、Kubenetes等でDockerコンテナを仮想化ですね。IBM社はubiquityを提供していますので、何が違うのかについて今後調べたいと思います。
参考
Gluster
DockerでGlusteFS。分散ファイルシステムの実装。
CentOS7でGlusterFSの環境構築