環境

CentOS Linux release 7.7.1908 (Core)
mdadm - v4.1 - 2018-10-01
3TB HDD x 4台で raid5 を構築済み

目標

この内の1台を 6TB の HDD に置き換える。
※ゆくゆくは残りも全て 6TB HDD に置き換えて容量増加を図る。

事前確認

/dev/md0 のファイルシステムを確認

# df -T -> ext3 であることを確認。

現在のraid状態

# mdadm --detail /dev/md0 -> sdb1,sdc1,sdd1,sde1 の4台で構成されていることを確認。今回は正常だがもし故障などしていればここでFailed Devicesとして表示されるはず。

マウントされているデバイスのパーティション情報を表示

# fdisk -l -> 全部出る。
# fdisk -l /dev/sdb1 -> GPTフォーマットであることを確認。

SMART情報確認

# smartctl -a /dev/sdb1 -> hddのモデル名やシリアル番号などを確認。

交換

mdadm で、取り外したいディスクに故障マークを付けてから切り離し

# mdadm --fail /dev/md0 /dev/sdb1 -> md0 の sdb1 を故障とする
# mdadm --remove /dev/md0 /dev/sdb1 -> md0 の sdb1 を切り離す

縮退していることを確認

# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sde1[4] sdd1[2] sdc1[1]
      8790398976 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [_UUU]
      bitmap: 1/22 pages [4KB], 65536KB chunk

unused devices: <none>

マシンをシャットダウンして sdb1 のディスクを新規ディスクと入れ替える

モデル名、シリアル番号を確認して間違えないように。

マシンを起動して新規ディスクのデバイス名を確認

# fdisk -l -> １つだけ6TBの表示。どうやら/dev/sdb のままらしい。
# smartctl -a /dev/sdb -> モデル名、シリアルが交換したものと一致。

新規ディスクをフォーマット

# parted /dev/sdb
GNU Parted 3.1
/dev/sdb を使用
GNU Parted へようこそ！ コマンド一覧を見るには 'help' と入力してください。
(parted) mklabel gpt
(parted) unit GB
(parted) mkpart primary ext3 0% 100%
(parted) set 1 raid on
(parted) p
モデル: ATA WDC WD60EZAZ-00S (scsi)
ディスク /dev/sdb: 6001GB
セクタサイズ (論理/物理): 512B/4096B
パーティションテーブル: gpt
ディスクフラグ:

番号  開始    終了    サイズ  ファイルシステム  名前     フラグ
 1    0.00GB  6001GB  6001GB                    primary  raid

(parted) q

mklabel gpt … ラベルを gpt に。
unit GB … デフォルトの単位を GB に。
mkpart primary ext3 0% 100% … 全領域をext3でプライマリとするパーティションを作成。
set 1 raid on … 指定したパーティションに raid フラグを設定。
p … print
q … quit

新規ディスクを raid に編入

# mdadm --add /dev/md0 /dev/sdb1
mdadm: added /dev/sdb1

応答が返ってくるのがちょっとだけ時間がかかる。信じて待つ。

再構築が完了するのを待つ

# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[5] sde1[4] sdd1[2] sdc1[1]
      8790398976 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [_UUU]
      [>....................]  recovery =  0.0% (1152640/2930132992) finish=4674.6min speed=10442K/sec
      bitmap: 0/22 pages [0KB], 65536KB chunk

unused devices: <none>

4674分… 78時間…!?
信じて待つ。

(2022.04.02追記)構築速度を上げる方法

どうやら speed_limit_min という設定に引っ張られるらしい。
動的に変更してやると構築速度が向上する。

# cat /proc/sys/dev/raid/speed_limit_min
1000
# echo 100000 > /proc/sys/dev/raid/speed_limit_min
# cat /proc/sys/dev/raid/speed_limit_min
100000

システムを再起動すると元に戻る。恒久設定は /etc/sysctl.conf に書き込む

# vi /etc/sysctl.conf 
(以下の行を追加)
dev.raid.speed_limit_min=100000

今後

同様にして sdc sdd sde も 6TB HDD に入れ替え。
全ディスクが 6TB HDD になったら容量を拡張する。

# mdadm --grow /dev/md0 --size=max
# resize2fs -p /dev/md0

でいけるらしい(未確認)。

(2022.04.09追記)全ディスクを交換し終えたので拡張を実施

# mdadm --grow /dev/md0 --size=max
mdadm: component size of /dev/md0 has been set to 5860388864K
#

プロンプトはすぐ戻ってくるが、裏で再構築が走る。
50%から開始されたのは 3TB->6TB での追加領域のみの構築だからか？

# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] 
md0 : active raid5 sdb1[5] sde1[4] sdd1[7] sdc1[6]
      17581166592 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]
      [==========>..........]  resync = 50.5% (2964709248/5860388864) finish=680.4min speed=70929K/sec
      bitmap: 11/22 pages [44KB], 131072KB chunk

unused devices: <none>

再構築が完了してもまだ容量は増えない。

# df -h | grep md0
/dev/md0                  8.2T  7.7T   40G  100% /data

ext3なので /dev/md0 に対して resize2fs を実施することで拡張を試みる … が怒られる。
New size too large to be expressed in 32 bits

ファイルシステムを ext3->ext4 にすることで解決を図る (別記事にしました)。