DockerでGlusteFS。分散ファイルシステムの実装。 #Docker

どうも、千葉です。
今日は、GlusterFSの検証をします。そして、Docker上でやります。
なぜ、Dockerを使うかというと私のDockerスキル向上のためです。
そして、１月の社内勉強会で「Docker冬祭#1」をりやります。
今日はGlusterFSを通して、Dockerをもっと身近に。

今回の構成

ポイント

ポータビリティを向上させるために、Gluster層とストレージ層に分けます Glusterサーバにデータを格納しても良いが、そうすとDcokerのいいところ、ポータビリティ性が激減する　データに引きづられるコンテナになってしまうため、ここは分離します　こちらのコンテナは、ボリュームコンテナとして永続化して使います。

環境

OS:OS X Yosemite 10.10.1
Dockerのインストール方法はこちらから

サーバの起動

以下、5台をDockerを使って起動していきます。
* client
* gluster1
* gluster1-storage
* gluster2
* gluster2-storage

Dockerの起動と接続設定

$ boot2docker start
$ export DOCKER_HOST=tcp://[Your IP Address]:2376
$ export DOCKER_CERT_PATH=/Users/Jun/.boot2docker/certs/boot2docker-vm
$ export DOCKER_TLS_VERIFY=1

CentOS6のイメージをダウンロード

$ docker pull centos:centos6
$ docker images

※ちょっと時間かかります

GlusterFS用のイメージを作成する

GlusterFS用のマスターイメージを作成します。
GlusterFS用のパッケージを入れて保存します。
保存したマスターイメージからGlusterFS用コンテナをバシバシ起動します。

CentOSのイメージからコンテナを起動し、コンソールに接続します。

$ docker run -dti --name GlusterMaster centos:centos6 /bin/bash
$ docker ps
$ docker attach GlusterMaster

ここからは、コンテナ上での作業となります。
Gluster関連のパッケージをインストール。

# yum update -y
# yum install -y wget
# wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/glusterfsepel.repo
# yum install -y glusterfs glusterfs-server
# exit

インストールが完了したので、イメージを作成します。

$ docker ps -a
$ docker commit GlusterMaster myimage/glusterserver
$ docker images

これで、myimage/glusterserverというイメージができました。
これを元に、GlusterFSコンテナを起動していきます。

イメージからコンテナをそれぞれ起動する

まずは、データボリューム用のコンテナを起動します。

$ docker run -v /data --name gluster1-storage centos:centos6 /bin/bash
$ docker run -v /data --name gluster2-storage centos:centos6 /bin/bash

ボリューム用コンテナをマウントして、それぞれ起動します。
※3つのターミナルで、それぞれ実行してください。

$ docker run -idt --name client myimage/glusterserver /bin/bash
$ docker run -idt --volumes-from gluster1-storage --name gluster1 myimage/glusterserver /bin/bash
$ docker run -idt --volumes-from gluster2-storage --name gluster2 myimage/glusterserver /bin/bash
$ docker ps

コンテナへの接続

コンテナが接続できたので、それぞれ接続します。

$ docker attach gluster1
$ docker attach gluster2
$ docker attach client

※docker run時にiオプションつけると、起動時にattacheできますが、あえてやってません
※起動時に指定した、ボリュームコンテナの領域/dataが利用可能になってます

TIPS:コンテナから一旦抜けたくなったら（一旦抜ける場合）

control + p　→ control + q

※再接続する場合は、↑のコンテナへの接続を実施

TIPS:ホスト名を変更してみる

3台あって紛らわしいので変更します
と、思って

# vi /etc/sysconfig/network
# vi /etc/hostname
# docker restart client

とかやってみましたが無理でした。
これは私の考え方が古くて、dockerではホスト名を使う意味があんまりないんだと思います。
ばんばんコンテナの起動・停止が繰り返される世界でだれもホスト名は気にしないんだと思います。
ということで、変更やめました。

GlusterFSのボリューム作成

まずは、glusterdを起動します。
※gluster1、gluster2で実行

service glusterd start

gluster1、gluster2のIPアドレスを確認し、peerとして登録

※1台で実施。GlusterFSではプライマリサーバ、セカンダリサーバとかの概念がないので、どちらで実施しても問題ないです。今回は、gluster1で実施してます。

# gluster peer probe [ipアドレス]
# gluster peer status

Connectedになってるはずです。

ボリュームの作成

/dataをGlusterFS上のミラーボリュームとして作成します。
その他のタイプはこちらを参考に。

ますは、brick用のディレクトリを作成します。
gluster1、gluster2でそれぞれ実施。

# mkdir /data/vol1

GlusterFSのボリューム作成
gluster1で実施

# gluster volume create test-vol replica 2 172.17.0.33:/data/vol1 172.17.0.34:/data/vol1
volume create: test-vol: failed: Glusterfs is not supported on brick: 172.17.0.33:/data/vol1.
Setting extended attributes failed, reason: Operation not permitted.

あら、エラーで作成できません。
調べたところ

どうやら、GlusterFSでは拡張ファイル属性を利用しているのですが、
dockerでは特権モードの制限をいくつかしているようです。

参考：
* Running GlusterFS inside docker container
* Linuxの拡張ファイル属性(extended attributes)についてメモ
* (ヽ´ω`) < *****

起動時のオプションで変更できるようです。
--cap-add、--cap-dropで細かく設定できるみたいですが、今回は大盤振る舞いで--privilegedを指定して起動します。

と、いうことで先ほどのコンテナを削除して起動しなおします。
glusterfsのボリュームも再作成します。

※gluster1のターミナルで実行

# exit
$ docker rm gluster1
$ docker run --privileged=true -idt --volumes-from gluster1-storage --name gluster1 myimage/$ glusterserver /bin/bash

※gluster2のターミナルで実行

# exit
$ docker rm gluster2
$ docker run --privileged=true -idt --volumes-from gluster2-storage --name gluster2 myimage/glusterserver /bin/bash

それでは、気をとりなおしてボリュームの作成

gluster1、gluster2でそれぞれ実施。

# service glusterd start

gluster1で実施

# gluster peer probe [ipアドレス]
# gluster peer status
# gluster volume create test-vol replica 2 172.17.0.36:/data/vol1 172.17.0.37:/data/vol1
# gluster volume start test-vol
# gluster volume info

これで、glusterfsでのボリュームが出来ました。

clientからマウントして使ってみる

※clientも、--privileged=trueで起動し直さないとマウントできませんでしたのでオプション付で起動してください

clientのターミナルより実行

# mkdir /data
# mount -t glusterfs [gluster1のIP]:/test-vol /data

※gluster1、gluster2で/data/vol1を見ると同じファイルが作成されています。

まとめ

Dockerを利用した分散ファイルシステムの構築が可能
Dockerのポータビリティ性を考慮する場合は、永続データをどうするか考慮が必要
セキュリティを向上するにはprivilegedにて、細かなセキュリティ設定を行う必要がある
調査していたら、dockerはホストのボリューム領域をマウントしてrootとして利用できるためセキュリティ的な考慮が必要
オーケストレーションでの実装ができればよいと思った。（容量足りなくなったら、コンテナを起動により自動的にボリューム追加が出来る構成）