最近私の中で色んな意味でホットなGlusterFSを大好きなDockerコンテナに導入してみました。
環境
| OS | CentOS7.2 |
|---|---|
| Kernel | 3.10.0 |
| Docker | 1.8.2 |
| Container | CentOS7.2 |
| GlusterFS | 3.7.8 |
前提
- ホストOSはminimal install
- yum update済み
- SELINUX停止済み
- Dockerは導入済み
- 作業はrootで行う
導入
- Dockerコンテナを特権モードで起動する
[root@hostos ~]# docker run --privileged -it --name=gfs docker.io/centos
- 必要なパッケージを導入する
[root@container /]# yum install -y glusterfs-server.x86_64
- コンテナから抜けてイメージ化を行う
[root@hostos ~]# docker commit gfs centos7/gfs
- 作成したイメージから特権モードでコンテナを起動する
[root@hostos ~]# docker run --privileged -itd --name=gfs01 centos7/gfs /sbin/init
[root@hostos ~]# docker run --privileged -itd --name=gfs02 centos7/gfs /sbin/init
- GlusterFSサービスを起動する
[root@container01 /]# systemctl start glusterd
[root@container02 /]# systemctl start glusterd
- GlusterFSの領域を作成する
[root@container01 /]# mkdir -r /gfs01/01
[root@container02 /]# mkdir -r /gfs02/02
- GlusterFSのコンテナ同士でPeerを貼る
[root@container01 /]# gluster peer probe [gfs02 IPADDR]
- GlusterFSのストレージを作成する
glusterの後の「volume」は「vol」と省略も可能
[root@container01 /]# gluster volume create [VOLUME NAME] replica 2 [gfs01 IPADDR]:/gfs01/01 [gfs02 IPADDR]:/gfs02/02
[root@container01 /]# gluster volume start [VOLUME NAME]
- ホストOSからGlusterFSをマウントする
ここではgfs01のIPアドレスを指定しているがgfs02のIPアドレスでもマウント可能
glusterfsタイプでマウントするには「glusterfs-fuse」パッケージが必要
[root@hostos ~]# yum install -y glusterfs-fuse
[root@hostos ~]# mount -t glusterfs [gfs01 IPADDR]:/[VOLUME NAME] [MOUNT POINT]
DockerコンテナのGlusterFSを外部からマウントしたい時
方法１：ブリッジネットワークで外に出す
- Pipeworkなんかを使ってコンテナにブリッジ接続のvethを追加
Pipeworkまたはnsenterの設定を行いブリッジ接続でコンテナを外部公開することでGlusterFSの外部マウントが可能になります。
Pipework/nsenterの設定方法についてはこの記事の本質ではないので割愛いたします。
(後日別記事としてあげるかもしれません。)
方法２：必要なポートをExposeする
Dockerコンテナの起動時に必要なポートをExposeすることによって外部からGlusterFSストレージに対してアクセス出来るようにします。GlusterFSのバージョンによって必要なポートが変更されておりますのでご注意ください。
- Peerで利用されるポート
- 1017 - 10xx
- GlusterFS Deamonポート
- 24007
- マネジメントポート
- 24008
- GlusterFSのブリックが利用するポート
- 24009 -
- GlusterFS NFSサービスを利用する場合
- 38465 -
- GlusterFSのブリックが利用するポート
- 49152 -
Peerで利用する1017-ポートは解放しなくてOK
GlusterFS Version3.4未満ではブリックごとに24009から連番で割り当てられる
GlusterFS Version3.4以上ではブリックごとに49152から連番で割り当てられる
参考URL(外部サイト)：http://www.gluster.org/community/documentation/index.php/Basic_Gluster_Troubleshooting
Dockerコンテナ In GlusterFSで出来ないこと
コンテナに直接Lunをマウント出来ない
現状コンテナにLunをマウントすることが権限的に出来ないのでホストOSにマウントして、コンテナに-vオプションでマウントという方法しか無い。
マウントレイヤが一層増えるのでもちろん性能は下がる。これはDockerの仕様の問題なので解決するのには先が長そう・・(システム領域を触ることになるのでセキュリティ的に大丈夫かとかがあるはず)
性能はそんなによろしくない
直接Lunマウントなんかが出来ないものだから素で使うより性能はよろしくはない。
ただHWリソースの制限ができるので最適化できれば利用価値はあるかも。しれない。
Stripeモードが不安定な場合がある
ホストに直接GlusterFSを導入してガリガリ使ったことがないからなんとも言えないがStripeで組んだ時にマウント先の中身が見えなくなることがあった(書き込みは出来る)。
これはGlusterFSのポートとも関係がありそう。基本的には双方向通信が出来ないとGlusterFSは利用出来ないです。