LoginSignup
6
7

More than 5 years have passed since last update.

@koshigoein株式会社フィードフォース

EFS 待ちの間に GlusterFS で暇つぶし

Last updated at Posted at 2015-10-04

Amazon Elastic Filey System のプレビューを申し込んでから数週間が経ちます。
なかなか使えるようにならないので、GlusterFS というやつで暇をつぶします。
以下、だらだらとした暇つぶしをメモしたものです。

TL;DR

  • GlusterFS をさわってみた(詳しいことは理解してない)
  • GlusterFS には ELB を経由して NFS でマウントしてみた(ありなのかわかってない)
  • クラスタのノード増減をオンラインで行えるらしきことを確認(その際の負荷などは測ってない)
  • ボリューム作成までは公式ドキュメントを参考にした(ノード増減あたりはブログ記事などの非公式情報を参考)
  • EFS プレビュー、はよこい

GlusterFS

GlusterFS is a scalable network filesystem. Using common off-the-shelf hardware, you can create large, distributed storage solutions for media streaming, data analysis, and other data- and bandwidth-intensive tasks. GlusterFS is free and open source software.
Storage for your Cloud. — Gluster

GlusterFSは、スケーラブルなストレージのための汎用分散ファイルシステムの1つ。InfiniBandのRDMAやTCP/IPインターコネクトなどの各種ストレージを集約し、大規模並列ネットワークファイルシステムを構築できる。GlusterFSはユーザー空間で構築されており、性能を低下させることがない。クラウドコンピューティング、生物医学、超大容量ストレージなど様々な応用がなされている。GlusterFSは、当初Gluster, Inc.によって開発された。2011年のレッドハットによるGluster買収の後はレッドハットにより開発されている。
GlusterFS - Wikipedia

Deploying in AWS

  • Deploying in AWS - Gluster Docs
  • 2つ以上のインスタンスを使う
  • セキュリティグループでポートを制限する(後述)
  • ephemeral が許されるのはテストまで
  • 商用環境では、Multi-AZ でレプリケーションすべし
  • 商用環境では、EBS, EIP の利用を推奨する

疑問

  • ダウンタイムなしでノードの増減が可能なのか
  • ホットスワップ的なノード交換は可能なのか

EC2 インスタンス

Amazon Linux の AMI を使い、t2.micro の EC2 インスタンスを 2 つ用意します。

EBS

それぞれ、追加で EBS ボリュームをアタッチしておきます。

Zone

インスタンスは異なるゾーンに配置します。

Security Group

  • 同一セキュリティグループに対してはすべての TCP を許可しておきます
  • 同一 VPC のサブネット 172.31.0.0/16 に対して、以下を許可しておきます
    • UDP: 111
    • TCP: 111
    • TCP: 2049
    • TCP: 38465 - 38467

インストール

$ sudo wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/LATEST/RHEL/glusterfs-epel.repo
$ sudo sed -i.orig -e 's/$releasever/6/g' /etc/yum.repos.d/glusterfs-epel.repo
$ diff -u /etc/yum.repos.d/glusterfs-epel.repo.orig /etc/yum.repos.d/glusterfs-epel.repo
--- /etc/yum.repos.d/glusterfs-epel.repo.orig   2015-09-03 14:06:25.000000000 +0000
+++ /etc/yum.repos.d/glusterfs-epel.repo        2015-10-04 08:23:22.733374955 +0000
@@ -2,7 +2,7 @@

 [glusterfs-epel]
 name=GlusterFS is a clustered file-system capable of scaling to several petabytes.
-baseurl=http://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/EPEL.repo/epel-$releasever/$basearch/
+baseurl=http://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/EPEL.repo/epel-6/$basearch/
 enabled=1
 skip_if_unavailable=1
 gpgcheck=1
@@ -10,7 +10,7 @@

 [glusterfs-noarch-epel]
 name=GlusterFS is a clustered file-system capable of scaling to several petabytes.
-baseurl=http://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/EPEL.repo/epel-$releasever/noarch
+baseurl=http://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/EPEL.repo/epel-6/noarch
 enabled=1
 skip_if_unavailable=1
 gpgcheck=1
@@ -18,7 +18,7 @@

 [glusterfs-source-epel]
 name=GlusterFS is a clustered file-system capable of scaling to several petabytes. - Source
-baseurl=http://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/EPEL.repo/epel-$releasever/SRPMS
+baseurl=http://download.gluster.org/pub/gluster/glusterfs/3.7/LATEST/EPEL.repo/epel-6/SRPMS
 enabled=0
 skip_if_unavailable=1
 gpgcheck=1
$ sudo yum install --enablerepo=epel glusterfs-server
...
=========================================================================================================================================================================
 Package                                          アーキテクチャー               バージョン                                 リポジトリー                            容量
=========================================================================================================================================================================
インストール中:
 glusterfs-server                                 x86_64                         3.7.4-2.el6                                glusterfs-epel                         1.3 M
依存性関連でのインストールをします:
 glusterfs                                        x86_64                         3.7.4-2.el6                                glusterfs-epel                         416 k
 glusterfs-api                                    x86_64                         3.7.4-2.el6                                glusterfs-epel                          73 k
 glusterfs-cli                                    x86_64                         3.7.4-2.el6                                glusterfs-epel                         156 k
 glusterfs-client-xlators                         x86_64                         3.7.4-2.el6                                glusterfs-epel                         920 k
 glusterfs-fuse                                   x86_64                         3.7.4-2.el6                                glusterfs-epel                         118 k
 glusterfs-libs                                   x86_64                         3.7.4-2.el6                                glusterfs-epel                         321 k
 python26                                         x86_64                         2.6.9-1.80.amzn1                           amzn-main                              5.7 M
 python26-argparse                                noarch                         1.2.1-2.8.amzn1                            amzn-main                               72 k
 python26-libs                                    x86_64                         2.6.9-1.80.amzn1                           amzn-main                              692 k
 python26-pyxattr                                 x86_64                         0.5.0-1.6.amzn1                            amzn-main                               25 k
 userspace-rcu                                    x86_64                         0.7.7-1.el6                                epel                                    60 k
...

$releasever

glusterfs-epel.repo の中に $releasever で指定されている箇所がありますが、Amazon Linux だと latest と解釈されてしまい 404 エラーになってしまします。
最初からある epel の設定が 6 だったので、同様に 6 に書き換えます。

依存解決の失敗

追加した glusterfs-epel.repo は enable=1 なので --enablerepo をつける必要はないのですが、そうすると以下のエラーになってインストールに失敗します。

$ sudo yum install glusterfs-server
...
--> 依存性解決を終了しました。
エラー: パッケージ: glusterfs-server-3.7.4-2.el6.x86_64 (glusterfs-epel)
             要求: liburcu-bp.so.1()(64bit)
エラー: パッケージ: glusterfs-server-3.7.4-2.el6.x86_64 (glusterfs-epel)
             要求: liburcu-cds.so.1()(64bit)
 問題を回避するために --skip-broken を用いることができます。
 これらを試行できます: rpm -Va --nofiles --nodigest

--enablerepo=epel をつけて epel を利用できるようにすると、依存解決に成功してインストールできるようになります。

設定

デーモン起動

$ sudo /sbin/service glusterd start
$ sudo chkconfig glusterd on

peer

[ec2-user@ip-172-31-6-251 ~]$ sudo gluster peer probe 172.31.22.91
peer probe: success.

[ec2-user@ip-172-31-22-91 ~]$ sudo gluster peer probe 172.31.6.251
peer probe: success.
  • host: hostname of the other server in the cluster, or IP address if you don’t have DNS or /etc/hosts entries

パーティション

$ sudo yum install xfsprogs
$ sudo mkfs.xfs -i size=512 /dev/sdb
meta-data=/dev/sdb               isize=512    agcount=4, agsize=524288 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=0        finobt=0
data     =                       bsize=4096   blocks=2097152, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=0
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

マウント

$ sudo mkdir -p /export/sdb
$ sudo mount /dev/sdb /export/sdb
$ sudo mkdir -p /export/sdb/brick

fstab

$ echo "/dev/sdb /export/sdb xfs defaults 0 0" | sudo tee -a /etc/fstab

Gluster ボリュームのセットアップ

レプリカタイプでセットアップします。

$ sudo gluster volume create gv0 replica 2 172.31.22.91:/export/sdb/brick 172.31.6.251:/export/sdb/brick
volume create: gv0: success: please start the volume to access data
  • host 1: e.g. node01.mydomain.net
  • host 2: e.g. node02.mydomain.net

info で情報を確認することができます。

$ gluster volume info

Volume Name: gv0
Type: Replicate
Volume ID: 373b646e-7f70-4daf-b73c-e4e56db2bba6
Status: Created
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: 172.31.22.91:/export/sdb/brick
Brick2: 172.31.6.251:/export/sdb/brick
Options Reconfigured:
performance.readdir-ahead: on

ボリュームの利用を開始します。

$ sudo gluster volume start gv0
volume start: gv0: success

glusterfsd も起動している模様。

$ service glusterfsd status
glusterfsd (pid 3018) is running...

$ sudo chkconfig glusterfsd on

利用

EC2 インスタンス

別に新しくクライアントとなる EC2 インスタンスを作ります。
セキュリティグループは GlusterFS 用のものとは別で、ウィザードデフォルトの SSH のみオープンなやつを適用します。

glusterfs-fuse で接続

まずはパッケージをインストールします。

[ec2-user@ip-172-31-4-109 ~]$ sudo wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/LATEST/RHEL/glusterfs-epel.repo
[ec2-user@ip-172-31-4-109 ~]$ sudo sed -i.orig -e 's/$releasever/6/g' /etc/yum.repos.d/glusterfs-epel.repo
[ec2-user@ip-172-31-4-109 ~]$ sudo yum install glusterfs glusterfs-fuse

続いてマウントします。

[ec2-user@ip-172-31-4-109 ~]$ sudo install -d /glusterfs/gv0
[ec2-user@ip-172-31-4-109 ~]$ sudo mount -t glusterfs 172.31.22.91:/gv0 /glusterfs/gv0/

適当にファイルを作成してみます。

[ec2-user@ip-172-31-4-109 ~]$ sudo install -d -o ec2-user -g ec2-user /glusterfs/gv0/ec2-user
[ec2-user@ip-172-31-4-109 ~]$ touch /glusterfs/gv0/ec2-user/{01..10}
[ec2-user@ip-172-31-4-109 ~]$ ls -l /glusterfs/gv0/ec2-user
合計 0
-rw-rw-r-- 1 ec2-user ec2-user 0 10月  4 10:17 01
-rw-rw-r-- 1 ec2-user ec2-user 0 10月  4 10:17 02
-rw-rw-r-- 1 ec2-user ec2-user 0 10月  4 10:17 03
-rw-rw-r-- 1 ec2-user ec2-user 0 10月  4 10:17 04
-rw-rw-r-- 1 ec2-user ec2-user 0 10月  4 10:17 05
-rw-rw-r-- 1 ec2-user ec2-user 0 10月  4 10:17 06
-rw-rw-r-- 1 ec2-user ec2-user 0 10月  4 10:17 07
-rw-rw-r-- 1 ec2-user ec2-user 0 10月  4 10:17 08
-rw-rw-r-- 1 ec2-user ec2-user 0 10月  4 10:17 09
-rw-rw-r-- 1 ec2-user ec2-user 0 10月  4 10:17 10

サーバ側を確認します。

[ec2-user@ip-172-31-6-251 ~]$ ls -al /export/sdb/brick/ec2-user/
合計 0
drwxr-xr-x 2 ec2-user ec2-user 96 10月  4 10:17 .
drwxr-xr-x 5 root     root     54 10月  4 10:17 ..
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 01
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 02
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 03
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 04
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 05
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 06
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 07
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 08
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 09
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 10

[ec2-user@ip-172-31-22-91 ~]$ ls -al /export/sdb/brick/ec2-user/
合計 0
drwxr-xr-x 2 ec2-user ec2-user 96 10月  4 10:17 .
drwxr-xr-x 5 root     root     54 10月  4 10:17 ..
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 01
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 02
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 03
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 04
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 05
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 06
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 07
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 08
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 09
-rw-rw-r-- 2 ec2-user ec2-user  0 10月  4 10:17 10

片側の glusterd を止めてみる

マウント時に指定した方とは別のホストで glusterd を止めてみます。

[ec2-user@ip-172-31-6-251 ~]$ sudo service glusterd stop
[ec2-user@ip-172-31-6-251 ~]$ sudo service glusterd status
glusterd is stopped

適当にファイルを作成してみます。

[ec2-user@ip-172-31-4-109 ~]$ touch /glusterfs/gv0/ec2-user/{11..20}

ファイルは両方に作られている模様。

[ec2-user@ip-172-31-6-251 ~]$ ls -la /export/sdb/brick/ec2-user/
合計 0
drwxr-xr-x 2 ec2-user ec2-user 186 10月  4 10:23 .
drwxr-xr-x 5 root     root      54 10月  4 10:17 ..
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 01
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 02
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 03
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 04
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 05
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 06
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 07
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 08
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 09
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 10
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 11
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 12
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 13
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 14
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 15
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 16
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 17
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 18
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 19
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 20

[ec2-user@ip-172-31-22-91 ~]$ ls -la /export/sdb/brick/ec2-user/
合計 0
drwxr-xr-x 2 ec2-user ec2-user 186 10月  4 10:23 .
drwxr-xr-x 5 root     root      54 10月  4 10:17 ..
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 01
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 02
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 03
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 04
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 05
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 06
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 07
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 08
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 09
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:17 10
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 11
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 12
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 13
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 14
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 15
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 16
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 17
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 18
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 19
-rw-rw-r-- 2 ec2-user ec2-user   0 10月  4 10:23 20

片側の EC2 インスタンスを止めてみる

[ec2-user@ip-172-31-6-251 ~]$ sudo shutdown -h now

status を確認すると、Disconnected になりました。

[ec2-user@ip-172-31-22-91 ~]$ sudo gluster peer status
Number of Peers: 1

Hostname: ip-172-31-6-251.ap-northeast-1.compute.internal
Uuid: d51c1102-1503-478e-bf6f-0b23ca9a3e52
State: Peer in Cluster (Disconnected)
Other names:
172.31.6.251

ファイルを作ります。

[ec2-user@ip-172-31-4-109 ~]$ touch /glusterfs/gv0/ec2-user/21

[ec2-user@ip-172-31-22-91 ~]$ ls -la /export/sdb/brick/ec2-user/21
-rw-rw-r-- 2 ec2-user ec2-user 0 10月  4 10:30 /export/sdb/brick/ec2-user/21

停止させたインスタンスを起動して、停止中に増えたファイルが同期されるか確認します。

[ec2-user@ip-172-31-6-251 ~]$ ls -l /export/sdb/brick/ec2-user/21
-rw-rw-r-- 2 ec2-user ec2-user 0 10月  4 10:30 /export/sdb/brick/ec2-user/21

どの程度の時間で同期されるかは未確認。

NFS

glusterfs-fuse でのマウントを解除します。

[ec2-user@ip-172-31-4-109 ~]$ sudo umount -t /glusterfs/gv0/

[ec2-user@ip-172-31-4-109 ~]$ sudo install -d /glusterfs/gv0-nfs/
[ec2-user@ip-172-31-4-109 ~]$ sudo mount -t nfs 172.31.22.91:/gv0 /glusterfs/gv0-nfs/\
[ec2-user@ip-172-31-4-109 ~]$ ls -al /glusterfs/gv0-nfs/ec2-user
合計 0
drwxr-xr-x 2 ec2-user ec2-user 195 10月  4 10:30 .
drwxr-xr-x 5 root     root      54 10月  4 10:17 ..
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 01
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 02
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 03
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 04
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 05
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 06
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 07
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 08
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 09
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 10
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 11
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 12
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 13
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 14
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 15
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 16
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 17
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 18
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 19
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 20
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:30 21

NFSv4

Amazon Elastic File System は NFSv4 互換という話なので、GlusterFS も NFSv4 で使えるようにしたいのですが、デフォルトでは対応していないようです。

[ec2-user@ip-172-31-4-109 ~]$ sudo umount /glusterfs/gv0-nfs/
[ec2-user@ip-172-31-4-109 ~]$ sudo install -d /glusterfs/gv0-nfs4/
[ec2-user@ip-172-31-4-109 ~]$ sudo mount -t nfs4 172.31.22.91:/gv0 /glusterfs/gv0-nfs4/
mount.nfs4: Protocol not supported

NFS-Ganesha というものと組み合わせることで NFSv4 での接続が可能になるようです。

これはまた今度。

NFS と ELB

マウント時に指定するホストを固定することができるのか、内部向け ELB を使って試してみます。
ネットワーク及び NFS に詳しくないため、素っ頓狂なことをしている気がします。

内部向け ELB の作成

リスナーを以下とします。

  • TCP 111
  • TCP 2049
  • TCP 38465
  • TCP 38466
  • TCP 38467

セキュリティグループは、ノードとなるインスタンスに適用したものを指定します。

ヘルスチェックを TCP 2049 への Ping とします。

マウント

dig などで DNS の名前解決ができることが確認できたらマウントしてみます。

[ec2-user@ip-172-31-4-109 ~]$ sudo mount -t nfs internal-glusterfs-736899893.ap-northeast-1.elb.amazonaws.com:/gv0 /glusterfs/gv0-nfs/
[ec2-user@ip-172-31-4-109 ~]$ df
ファイルシス                                                       1K-ブロック    使用  使用可 使用% マウント位置
/dev/xvda1                                                             8123812 1123564 6900000   15% /
devtmpfs                                                                500720      60  500660    1% /dev
tmpfs                                                                   509728       0  509728    0% /dev/shm
internal-glusterfs-736899893.ap-northeast-1.elb.amazonaws.com:/gv0     8378368   32768 8345600    1% /glusterfs/gv0-nfs
[ec2-user@ip-172-31-4-109 ~]$ ls -la /glusterfs/gv0-nfs
合計 4
drwxr-xr-x 5 root     root       54 10月  4 10:17 .
drwxr-xr-x 7 root     root     4096 10月  4 10:42 ..
drwxr-xr-x 3 root     root       24 10月  4 09:30 .trashcan
drwxr-xr-x 2 ec2-user ec2-user  204 10月  4 12:07 ec2-user
[ec2-user@ip-172-31-4-109 ~]$ ls -la /glusterfs/gv0-nfs/ec2-user/
合計 0
drwxr-xr-x 2 ec2-user ec2-user 204 10月  4 12:07 .
drwxr-xr-x 5 root     root      54 10月  4 10:17 ..
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 01
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 02
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 03
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 04
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 05
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 06
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 07
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 08
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 09
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:17 10
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 11
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 12
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 13
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 14
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 15
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 16
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 17
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 18
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 19
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:23 20
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 10:30 21
-rw-rw-r-- 1 ec2-user ec2-user   0 10月  4 12:07 22
[ec2-user@ip-172-31-4-109 ~]$ rm /glusterfs/gv0-nfs/ec2-user/*
[ec2-user@ip-172-31-4-109 ~]$ ls -la /glusterfs/gv0-nfs/ec2-user/
合計 0
drwxr-xr-x 2 ec2-user ec2-user  6 10月  4 12:31 .
drwxr-xr-x 5 root     root     54 10月  4 10:17 ..
[ec2-user@ip-172-31-4-109 ~]$ touch /glusterfs/gv0-nfs/ec2-user/{01..10}
[ec2-user@ip-172-31-4-109 ~]$ ls -la /glusterfs/gv0-nfs/ec2-user/
合計 0
drwxr-xr-x 2 ec2-user ec2-user 96 10月  4 12:31 .
drwxr-xr-x 5 root     root     54 10月  4 10:17 ..
-rw-rw-r-- 1 ec2-user ec2-user  0 10月  4 12:31 01
-rw-rw-r-- 1 ec2-user ec2-user  0 10月  4 12:31 02
-rw-rw-r-- 1 ec2-user ec2-user  0 10月  4 12:31 03
-rw-rw-r-- 1 ec2-user ec2-user  0 10月  4 12:31 04
-rw-rw-r-- 1 ec2-user ec2-user  0 10月  4 12:31 05
-rw-rw-r-- 1 ec2-user ec2-user  0 10月  4 12:31 06
-rw-rw-r-- 1 ec2-user ec2-user  0 10月  4 12:31 07
-rw-rw-r-- 1 ec2-user ec2-user  0 10月  4 12:31 08
-rw-rw-r-- 1 ec2-user ec2-user  0 10月  4 12:31 09
-rw-rw-r-- 1 ec2-user ec2-user  0 10月  4 12:31 10

「できた」と言えばできましたが、いろいろとポイントを抑えられていないため、不安は残ります。

ノード増減

折角なので、ノードを増やしたり減らしたりしてみます。
(用語として正しいのはブリックかもしれません。)

追加

まずは、Gluster のセットアップを一通り済ませます。
参考にした資料によれば、レプリカ構成の場合はインスタンスが2つ(等倍?)必要になるとのことなので、新しいインスタンスを準備します。

$ sudo wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/LATEST/RHEL/glusterfs-epel.repo
$ sudo sed -i.orig -e 's/$releasever/6/g' /etc/yum.repos.d/glusterfs-epel.repo
$ sudo yum install -y --enablerepo=epel glusterfs-server
$ sudo yum install -y xfsprogs
$ sudo mkfs.xfs -i size=512 /dev/sdb
$ sudo mkdir -p /export/sdb
$ sudo mount /dev/sdb /export/sdb
$ sudo mkdir -p /export/sdb/brick
$ echo "/dev/sdb /export/sdb xfs defaults 0 0" | sudo tee -a /etc/fstab
$ sudo /sbin/service glusterd start
$ sudo chkconfig glusterd on

プールにノードを登録します。

[ec2-user@ip-172-31-6-251 ~]$ sudo gluster peer probe 172.31.11.127
peer probe: success.
[ec2-user@ip-172-31-6-251 ~]$ sudo gluster peer probe 172.31.10.131
peer probe: success.
[ec2-user@ip-172-31-6-251 ~]$ sudo gluster pool list
UUID                                    Hostname        State
a7241f9b-086e-43b1-8194-f0415635ef0f    172.31.22.91    Connected
7fc1bf72-c10f-4205-b0d3-a926d6a402f2    172.31.11.127   Connected
a6dd5cc5-7fbe-43bf-957a-6111bdeff0a6    172.31.10.131   Connected
d51c1102-1503-478e-bf6f-0b23ca9a3e52    localhost       Connected

ボリュームにブリックを追加します。

[ec2-user@ip-172-31-6-251 ~]$ sudo gluster volume add-brick gv0 172.31.11.127:/export/sdb/brick 172.31.10.131:/export/sdb/brick
volume add-brick: success
[ec2-user@ip-172-31-6-251 ~]$ sudo gluster volume status gv0
Status of volume: gv0
Gluster process                             TCP Port  RDMA Port  Online  Pid
------------------------------------------------------------------------------
Brick 172.31.22.91:/export/sdb/brick        49152     0          Y       22879
Brick 172.31.6.251:/export/sdb/brick        49152     0          Y       2381
Brick 172.31.11.127:/export/sdb/brick       49152     0          Y       2592
Brick 172.31.10.131:/export/sdb/brick       49152     0          Y       2539
NFS Server on localhost                     2049      0          Y       2694
Self-heal Daemon on localhost               N/A       N/A        Y       2702
NFS Server on 172.31.11.127                 2049      0          Y       2611
Self-heal Daemon on 172.31.11.127           N/A       N/A        Y       2619
NFS Server on 172.31.10.131                 2049      0          Y       2558
Self-heal Daemon on 172.31.10.131           N/A       N/A        Y       2566
NFS Server on 172.31.22.91                  2049      0          Y       23317
Self-heal Daemon on 172.31.22.91            N/A       N/A        Y       23325

Task Status of Volume gv0
------------------------------------------------------------------------------
There are no active volume tasks

この時点では、追加したノードにファイルが同期されません。

[ec2-user@ip-172-31-11-127 ~]$ ls -al /export/sdb/brick/
合計 0
drwxr-xr-x 4 root root  39 10月  4 12:56 .
drwxr-xr-x 3 root root  18 10月  4 12:40 ..
drw------- 6 root root 133 10月  4 12:57 .glusterfs
drwxr-xr-x 3 root root  24 10月  4 12:56 .trashcan

[ec2-user@ip-172-31-10-131 ~]$ ls -al /export/sdb/brick/
合計 0
drwxr-xr-x 4 root root  39 10月  4 12:56 .
drwxr-xr-x 3 root root  18 10月  4 12:56 ..
drw------- 6 root root 133 10月  4 12:57 .glusterfs
drwxr-xr-x 3 root root  24 10月  4 12:56 .trashcan

なお、すでにマウントしていたクライアントからファイルの読み書きは出来ています。

[ec2-user@ip-172-31-4-109 ~]$ touch /glusterfs/gv0-nfs/ec2-user/11

[ec2-user@ip-172-31-6-251 ~]$ ls -l /export/sdb/brick/ec2-user/11
-rw-rw-r-- 2 ec2-user ec2-user 0 10月  4 12:58 /export/sdb/brick/ec2-user/11

[ec2-user@ip-172-31-22-91 ~]$ ls -l /export/sdb/brick/ec2-user/11
-rw-rw-r-- 2 ec2-user ec2-user 0 10月  4 12:58 /export/sdb/brick/ec2-user/11

追加したノードにファイルが同期されるように、再配置を開始します。

[ec2-user@ip-172-31-6-251 ~]$ sudo gluster volume rebalance gv0 start
volume rebalance: gv0: success: Rebalance on gv0 has been started successfully. Use rebalance status command to check status of the rebalance process.
ID: b3d552aa-3f61-40b1-9436-8bbe66b0407c

[ec2-user@ip-172-31-6-251 ~]$ sudo gluster volume rebalance gv0 status
                                    Node Rebalanced-files          size       scanned      failures       skipped               status   run time in secs
                               ---------      -----------   -----------   -----------   -----------   -----------         ------------     --------------
                               localhost                0        0Bytes             0             0             0            completed               0.00
                            172.31.22.91                4        0Bytes            11             0             0            completed               0.00
                           172.31.11.127                0        0Bytes             0             0             0            completed               0.00
                           172.31.10.131                0        0Bytes             0             0             0            completed               0.00
volume rebalance: gv0: success:

[ec2-user@ip-172-31-6-251 ~]$ sudo gluster volume status gv0
Status of volume: gv0
Gluster process                             TCP Port  RDMA Port  Online  Pid
------------------------------------------------------------------------------
Brick 172.31.22.91:/export/sdb/brick        49152     0          Y       22879
Brick 172.31.6.251:/export/sdb/brick        49152     0          Y       2381
Brick 172.31.11.127:/export/sdb/brick       49152     0          Y       2592
Brick 172.31.10.131:/export/sdb/brick       49152     0          Y       2539
NFS Server on localhost                     2049      0          Y       2694
Self-heal Daemon on localhost               N/A       N/A        Y       2702
NFS Server on 172.31.11.127                 2049      0          Y       2611
Self-heal Daemon on 172.31.11.127           N/A       N/A        Y       2619
NFS Server on 172.31.10.131                 2049      0          Y       2558
Self-heal Daemon on 172.31.10.131           N/A       N/A        Y       2566
NFS Server on 172.31.22.91                  2049      0          Y       23317
Self-heal Daemon on 172.31.22.91            N/A       N/A        Y       23325

Task Status of Volume gv0
------------------------------------------------------------------------------
Task                 : Rebalance
ID                   : b3d552aa-3f61-40b1-9436-8bbe66b0407c
Status               : completed

レプリケーション＋分散されました。
1台だけのレプリカ追加はできないのでしょうか。

削除

先ほど追加したブリックを削除します。

[ec2-user@ip-172-31-6-251 ~]$ sudo gluster volume remove-brick gv0 172.31.11.127:/export/sdb/brick 172.31.10.131:/export/sdb/brick start
volume remove-brick start: success
ID: 77ff7183-1575-4a68-8718-af733802853f
[ec2-user@ip-172-31-6-251 ~]$ sudo gluster volume remove-brick gv0 172.31.11.127:/export/sdb/brick 172.31.10.131:/export/sdb/brick status
                                    Node Rebalanced-files          size       scanned      failures       skipped               status   run time in secs
                               ---------      -----------   -----------   -----------   -----------   -----------         ------------     --------------
                           172.31.11.127                4        0Bytes             4             0             0            completed               0.00
                           172.31.10.131                0        0Bytes             0             0             0            completed               0.00

処理が完了したら確定する必要があるようです。

[ec2-user@ip-172-31-6-251 ~]$ sudo gluster volume status gv0
Status of volume: gv0
Gluster process                             TCP Port  RDMA Port  Online  Pid
------------------------------------------------------------------------------
Brick 172.31.22.91:/export/sdb/brick        49152     0          Y       22879
Brick 172.31.6.251:/export/sdb/brick        49152     0          Y       2381
Brick 172.31.11.127:/export/sdb/brick       49152     0          Y       2592
Brick 172.31.10.131:/export/sdb/brick       49152     0          Y       2539
NFS Server on localhost                     2049      0          Y       2823
Self-heal Daemon on localhost               N/A       N/A        Y       2831
NFS Server on 172.31.11.127                 2049      0          Y       2611
Self-heal Daemon on 172.31.11.127           N/A       N/A        Y       2619
NFS Server on 172.31.10.131                 2049      0          Y       2558
Self-heal Daemon on 172.31.10.131           N/A       N/A        Y       2566
NFS Server on 172.31.22.91                  2049      0          Y       23371
Self-heal Daemon on 172.31.22.91            N/A       N/A        Y       23379

Task Status of Volume gv0
------------------------------------------------------------------------------
Task                 : Remove brick
ID                   : 77ff7183-1575-4a68-8718-af733802853f
Removed bricks:
172.31.11.127:/export/sdb/brick
172.31.10.131:/export/sdb/brick
Status               : completed

[ec2-user@ip-172-31-6-251 ~]$ sudo gluster volume remove-brick gv0 172.31.11.127:/export/sdb/brick 172.31.10.131:/export/sdb/brick commit
Removing brick(s) can result in data loss. Do you want to Continue? (y/n) y
volume remove-brick commit: success
Check the removed bricks to ensure all files are migrated.
If files with data are found on the brick path, copy them via a gluster mount point before re-purposing the removed brick.

[ec2-user@ip-172-31-6-251 ~]$ sudo gluster volume status gv0
Status of volume: gv0
Gluster process                             TCP Port  RDMA Port  Online  Pid
------------------------------------------------------------------------------
Brick 172.31.22.91:/export/sdb/brick        49152     0          Y       22879
Brick 172.31.6.251:/export/sdb/brick        49152     0          Y       2381
NFS Server on localhost                     2049      0          Y       2869
Self-heal Daemon on localhost               N/A       N/A        Y       2877
NFS Server on 172.31.11.127                 2049      0          Y       2714
Self-heal Daemon on 172.31.11.127           N/A       N/A        Y       2722
NFS Server on 172.31.10.131                 2049      0          Y       22820
Self-heal Daemon on 172.31.10.131           N/A       N/A        Y       22828
NFS Server on 172.31.22.91                  2049      0          Y       23398
Self-heal Daemon on 172.31.22.91            N/A       N/A        Y       23406

Task Status of Volume gv0
------------------------------------------------------------------------------
There are no active volume tasks

すでにマウントしていたクライアントからファイルを読み書きすることができました。

備考

EC2 インスタンスメモ

  • 最初の Gluster ノード 2 台(異なるゾーン)
    • 172.31.6.251
    • 172.31.22.91
  • クライアントのインスタンス
    • 172.31.4.109
  • 後から追加した Gluster ノード 2 台
    • 172.31.11.127
    • 172.31.10.131

参考

6
7
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
6
7