サーバ3台を使って簡単にDRBD9で多ノード環境を構築します。
DRBDでリアルタイムにデータ冗長化をします。
前提条件
3台のサーバDRBD9、DRBD Manageがインストール済みであること。
構成図
3台構成で「r0」という名前のリソースを作成しリソース上のデータをリアルタイムに冗長化します。
DRBD9-1を一号機、DRBD9-2を二号機、DRBD9-3を三号機と呼ぶことにします。
DRBD9インストール手順
インストール手順については以下をご参照ください。
DRBD9環境をソースコードからVagrant+Ansibleでインストールしてみた。(CentOS7編)
http://qiita.com/ksawada1979/items/1dd528f9867f78a10f73
DRBD9環境をVagrant+Ansibleで540秒でインストールしてみた。(Ubuntu16.04編)
http://qiita.com/ksawada1979/items/4fed3724bac966c1738b
DRBD9初期化
まず初期化を実施します。特に指定が無い場合は本ページの手順は一号機で実施します。
192.168.33.11は実際の環境と読み替えて実施します。
途中でyesを入力してください。
$ sudo drbdmanage init 192.168.33.11
You are going to initialize a new drbdmanage cluster.
CAUTION! Note that:
* Any previous drbdmanage cluster information may be removed
* Any remaining resources managed by a previous drbdmanage installation
that still exist on this system will no longer be managed by drbdmanage
Confirm:
yes/no: yes
Empty drbdmanage control volume initialized on '/dev/drbd0'.
Empty drbdmanage control volume initialized on '/dev/drbd1'.
Operation completed successfully
ノード追加
次にノードを追加します。
二号機を追加します。
$ sudo drbdmanage add-node DRBD9-2 192.168.33.12
Operation completed successfully
Operation completed successfully
Host key verification failed.
Join command for node DRBD9-2:
drbdmanage join -p 6999 192.168.33.12 1 DRBD9-1 192.168.33.11 0 cl+AZLWc3tV2VZJERwqu
三号機を追加します。
$ sudo drbdmanage add-node DRBD9-3 192.168.33.13
Operation completed successfully
Operation completed successfully
Host key verification failed.
Join command for node DRBD9-3:
drbdmanage join -p 6999 192.168.33.13 2 DRBD9-1 192.168.33.11 0 cl+AZLWc3tV2VZJERwqu
次に二号機にログインして以下を実行します。(ここでのコマンドは先ほどのadd-nodeコマンドの結果からコピー＆ペーストして実行してください。)
$ sudo drbdmanage join -p 6999 192.168.33.12 1 DRBD9-1 192.168.33.11 0 cl+AZLWc3tV2VZJERwqu
You are going to join an existing drbdmanage cluster.
CAUTION! Note that:
* Any previous drbdmanage cluster information may be removed
* Any remaining resources managed by a previous drbdmanage installation
that still exist on this system will no longer be managed by drbdmanage
Confirm:
yes/no: yes
Operation completed successfully
次に三号機にログインして以下を実行します。
$ sudo drbdmanage join -p 6999 192.168.33.13 2 DRBD9-1 192.168.33.11 0 cl+AZLWc3tV2VZJERwqu
You are going to join an existing drbdmanage cluster.
CAUTION! Note that:
* Any previous drbdmanage cluster information may be removed
* Any remaining resources managed by a previous drbdmanage installation
that still exist on this system will no longer be managed by drbdmanage
Confirm:
yes/no: yes
Operation completed successfully
ノード確認
ノードが追加されたことを確認します。
$ sudo drbdmanage list-nodes
+------------------------------------------------------------------------------+
| Name | Pool Size | Pool Free | | State |
|------------------------------------------------------------------------------|
| DRBD9-1 | 10236 | 10228 | | ok |
| DRBD9-2 | 10236 | 10228 | | ok |
| DRBD9-3 | 10236 | 10228 | | ok |
+------------------------------------------------------------------------------+
プールとリソースとボリュームの関係
ノードが追加できたところで早速データ冗長化するための領域リソースを追加するまえにプールとリソースとボリュームの関係を整理しておきます。
ノード追加後にリソースを追加し、次にボリュームを割り当て最後にデプロイすることでDRBD上で使用することになります。割り当てられるボリュームはプールの領域から切り出して割り当てます。
図にすると以下のような関係になります。
プールの作成部分はインストール編で自動で実施しています。
「vgs」コマンドでプール名とプールの領域を確認することができます。
$ sudo vgs
VG #PV #LV #SN Attr VSize VFree
centos 1 2 0 wz--n- 39.51g 44.00m
drbdpool 1 0 0 wz--n- 10.00g 10.00g
リソース追加
リソースの追加をします。
ここではr0という名前のリソースを追加します。
$ sudo drbdmanage add-resource r0
Operation completed successfully
リソースが追加されたことを確認します。
リソース追加確認
r0というリソースが追加されたことを確認します。
リソースはポート7000番を使用します。リソースを追加するごとに7000番から連番で使用します。
$ sudo drbdmanage list-volumes --groupby Size --show Port
+------------------------------------------------------------------------------+
| Name | Vol ID | Size | Minor | Port | | State |
|------------------------------------------------------------------------------|
| r0 | * | * | * | 7000 | | * |
+------------------------------------------------------------------------------+
ボリューム割り当て
ボリュームを割り当てます。先ほどの解説例では２つのボリュームの図がありましたが、ここでは5GBのボリューム1つを「r0」リソースに追加します。
$ sudo drbdmanage add-volume r0 5GB
Operation completed successfully
ここでリソース内に領域が確保されます。
デプロイはしていないのでDRBD上ではまだ使えません。
ボリューム割り当て確認
r0リソースにボリュームが割り当てられたことを確認します。
Vol IDは「0」になっていますがr0にボリュームをさらに追加すると1,2,3のように連番で振られます。
$ sudo drbdmanage volumes
+------------------------------------------------------------------------------+
| Name | Vol ID | Size | Minor | | State |
|------------------------------------------------------------------------------|
| r0 | 0 | 4.66 GiB | 100 | | ok |
+------------------------------------------------------------------------------+
デプロイ
いよいよデプロイをします。
デプロイをすることによりDRBDで使用することができます。
最後の3は3台のサーバにデプロイすることを示しています。2にして2台にすることもできます。
$ sudo drbdmanage deploy-resource r0 3
Operation completed successfully
ここでメタディスクが作成されます。
また初期同期もここで実行されます。
デプロイ確認
デプロイされたことを確認します。
r0リソースが初期同期していることも確認します。
replication:SyncSourceとなっていることを確認します。
「.drbdctrl」は各ノードにインストールされたDRBDコントロール用のソフトウェアです。全てSecondaryになっていますが問題ありません。設定変更などをしたときに一時的にPrimaryになりさらに他ノードと設定情報を同期した後にSecondaryに戻ります。
$ sudo drbdadm status
The server's response is:
you are the 3rd user to install this version
.drbdctrl role:Secondary
volume:0 disk:UpToDate
volume:1 disk:UpToDate
DRBD9-2 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate
DRBD9-3 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate
r0 role:Secondary
disk:UpToDate
DRBD9-2 role:Secondary
replication:SyncSource peer-disk:Inconsistent done:5.57
DRBD9-3 role:Secondary
replication:SyncSource peer-disk:Inconsistent done:5.70
ファイルシステム作成
DRBDで使用できるようになったところで、ファイルシステムを作成します。
CentOS7のデフォルトファイルシステムであるxfsを指定します。
$ sudo mkfs -t xfs /dev/drbd100
meta-data=/dev/drbd100 isize=256 agcount=4, agsize=305176 blks
= sectsz=512 attr=2, projid32bit=1
= crc=0 finobt=0
data = bsize=4096 blocks=1220703, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=0
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
マウント
マウントします。
$ sudo mkdir /drbd9
$ sudo mount /dev/drbd100 /drbd9
書き込みテスト
ddコマンドで作成したDRBD領域に書き込みを行います。
$ sudo dd if=/dev/zero of=/drbd9/test.file bs=1M count=100
100+0 レコード入力
100+0 レコード出力
104857600 バイト (105 MB) コピーされました、 0.453204 秒、 231 MB/秒
最後に書き込みされたことを確認します。
$ ls -l /drbd9
合計 102400
-rw-r--r--. 1 root root 104857600 10月 27 18:20 test.file