ソフトウェアRAIDを構成する ( mdadm )
前提
基本的に、使用するディスクは、同じメーカー、同じ型番、同じ容量、同じロットのディスクがよい。
そこまで気にしないなら、同じメーカーで同じ型番、容量のものを選んでおけばいいと思う。
使用するコマンド
cat /proc/mdstat
mdadm --add /dev/md0 /dev/sdb1
mdadm --create /dev/md0 --level=raid0 --raid-device=3 /dev/sdb1 /dev/sdc1 /dev/sdd1
mdadm --detail /dev/md0
mdadm --detail --scan > /etc/mdadm.conf
mdadm --fail /dev/md0 /dev/sdb1
mdadm --misc --stop /dev/md0
mdadm --misc --zero-superblock /dev/sdb1 /dev/sdc1 /dev/sdd1
mdadm --remove /dev/md0 /dev/sdb1
使用したディスク
同型のものを3本使用。
[root@localhost ~]# hdparm -I /dev/sdb
/dev/sdb:
ATA device, with non-removable media
Model Number: OCZ-VERTEX3
Serial Number: OCZ-9RIXRBFQ611CG1Q7
Firmware Revision: 2.15
Transport: Serial, ATA8-AST, SATA 1.0a, SATA II Extensions, SATA Rev 2.5, SATA Rev 2.6, SATA Rev 3.0
Standards:
Used: unknown (minor revision code 0x0110)
Supported: 8 7 6 5
Likely used: 8
Configuration:
Logical max current
cylinders 16383 16383
heads 16 16
sectors/track 63 63
--
CHS current addressable sectors: 16514064
LBA user addressable sectors: 117231408
LBA48 user addressable sectors: 117231408
Logical Sector size: 512 bytes
Physical Sector size: 512 bytes
Logical Sector-0 offset: 0 bytes
device size with M = 1024*1024: 57241 MBytes
device size with M = 1000*1000: 60022 MBytes (60 GB)
cache/buffer size = unknown
Nominal Media Rotation Rate: Solid State Device
Capabilities:
LBA, IORDY(can be disabled)
Queue depth: 32
Standby timer values: spec'd by Standard, no device specific minimum
R/W multiple sector transfer: Max = 16 Current = 16
Advanced power management level: 254
DMA: mdma0 mdma1 mdma2 udma0 udma1 udma2 udma3 udma4 udma5 *udma6
Cycle time: min=120ns recommended=120ns
PIO: pio0 pio1 pio2 pio3 pio4
Cycle time: no flow control=120ns IORDY flow control=120ns
Commands/features:
Enabled Supported:
* SMART feature set
Security Mode feature set
* Power Management feature set
* Write cache
Look-ahead
* Host Protected Area feature set
* WRITE_BUFFER command
* READ_BUFFER command
* NOP cmd
* DOWNLOAD_MICROCODE
* Advanced Power Management feature set
Power-Up In Standby feature set
* SET_FEATURES required to spinup after power up
* 48-bit Address feature set
* Mandatory FLUSH_CACHE
* FLUSH_CACHE_EXT
* SMART error logging
* SMART self-test
* General Purpose Logging feature set
* WRITE_{DMA|MULTIPLE}_FUA_EXT
* 64-bit World wide name
* IDLE_IMMEDIATE with UNLOAD
Write-Read-Verify feature set
* WRITE_UNCORRECTABLE_EXT command
* {READ,WRITE}_DMA_EXT_GPL commands
* Segmented DOWNLOAD_MICROCODE
* Gen1 signaling speed (1.5Gb/s)
* Gen2 signaling speed (3.0Gb/s)
* Gen3 signaling speed (6.0Gb/s)
* Native Command Queueing (NCQ)
* Host-initiated interface power management
* Phy event counters
* unknown 76[14]
* unknown 76[15]
* DMA Setup Auto-Activate optimization
Device-initiated interface power management
* Software settings preservation
* SMART Command Transport (SCT) feature set
* SCT Data Tables (AC5)
* DOWNLOAD MICROCODE DMA command
* SET MAX SETPASSWORD/UNLOCK DMA commands
* WRITE BUFFER DMA command
* READ BUFFER DMA command
* Data Set Management TRIM supported (limit 1 block)
* Deterministic read data after TRIM
Security:
Master password revision code = 65534
supported
not enabled
not locked
not frozen
not expired: security count
not supported: enhanced erase
2min for SECURITY ERASE UNIT.
Logical Unit WWN Device Identifier: 5e83a97e8aeb67f6
NAA : 5
IEEE OUI : e83a97
Unique ID : e8aeb67f6
Checksum: correct
環境
[root@localhost ~]# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 6.9 (Santiago)
[root@localhost ~]# uname -a
Linux spkrnish-011091 4.1.12-94.3.9.el6uek.x86_64 #2 SMP Fri Jul 14 20:16:11 PDT 2017 x86_64 x86_64 x86_64 GNU/Linux
1. ディスクの準備
fdiskコマンドでパーティションを作成する。
パーティションのタイプは、fd ( Linux raid 自動検出 ) に設定する。
[user@localhost ~]$ su -
[root@localhost ~]# fdisk /dev/sdb
警告: DOS互換モードは廃止予定です。このモード (コマンド 'c') を止めることを
強く推奨します。 and change display units to
sectors (command 'u').
コマンド (m でヘルプ): p
ディスク /dev/sdb: 60.0 GB, 60022480896 バイト
ヘッド 255, セクタ 63, シリンダ 7297
Units = シリンダ数 of 16065 * 512 = 8225280 バイト
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O size (minimum/optimal): 512 bytes / 512 bytes
ディスク識別子: 0x0006ee62
デバイス ブート 始点 終点 ブロック Id システム
コマンド (m でヘルプ): n
コマンドアクション
e 拡張
p 基本パーティション (1-4)
p
パーティション番号 (1-4): 1
最初 シリンダ (1-7297, default 1):
Using default value 1
Last シリンダ, +シリンダ数 or +size{K,M,G} (1-7297, default 7297):
Using default value 7297
コマンド (m でヘルプ): t
選択した領域 1
16進数コード (L コマンドでコードリスト表示): fd
領域のシステムタイプを 1 から fd (Linux raid 自動検出) に変更しました
コマンド (m でヘルプ): p
ディスク /dev/sdb: 60.0 GB, 60022480896 バイト
ヘッド 255, セクタ 63, シリンダ 7297
Units = シリンダ数 of 16065 * 512 = 8225280 バイト
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O size (minimum/optimal): 512 bytes / 512 bytes
ディスク識別子: 0x0006ee62
デバイス ブート 始点 終点 ブロック Id システム
/dev/sdb1 1 7297 58613121 fd Linux raid 自動検出
コマンド (m でヘルプ): w
パーティションテーブルは変更されました！
ioctl() を呼び出してパーティションテーブルを再読込みします。
ディスクを同期しています。
/dev/sdc, /dev/sdd も同様にパーティションを作成する。
mdadmコマンドでraidデバイスを作成
ここでは、raid5で構築する。
[root@localhost ~]# mdadm --create /dev/md0 --level=raid5 --raid-device=3 /dev/sdb1 /dev/sdc1 /dev/sdd1
mdadm: /dev/sdc1 appears to contain an ext2fs file system
size=58613120K mtime=Thu Jan 1 09:00:00 1970
Continue creating array? y
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
raidデバイスをフォーマット
ここでは、EXT4 でフォーマットする。
[root@localhost ~]# mke2fs -t ext4 /dev/md0
mke2fs 1.43-WIP (20-Jun-2013)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=128 blocks, Stripe width=256 blocks
7323648 inodes, 29289984 blocks
1464499 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=4294967296
894 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424, 20480000, 23887872
Allocating group tables: done
Writing inode tables: done
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done
raid構成の確認
[root@localhost ~]# cat /proc/mdstat
Personalities : [raid0] [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[3] sdc1[1] sdb1[0]
117159936 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [UU_]
[==>..................] recovery = 13.9% (8154752/58579968) finish=4.1min speed=200057K/sec
unused devices: <none>
...
[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdd1[3] sdc1[1] sdb1[0]
117159936 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
unused devices: <none>
完了
raid構成情報を/etc/mdadm.confに出力
[root@localhost ~]# cat /etc/mdadm.conf
cat: /etc/mdadm.conf: そのようなファイルやディレクトリはありません
[root@localhost ~]# mdadm --detail --scan > /etc/mdadm.conf
[root@localhost ~]# cat /etc/mdadm.conf
ARRAY /dev/md0 metadata=1.2 name=localhost:0 UUID=f49a8674:13777e43:4f3eaade:7aeb9fe6
[root@localhost ~]# mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Fri Jul 21 07:41:29 2017
Raid Level : raid5
Array Size : 117159936 (111.73 GiB 119.97 GB)
Used Dev Size : 58579968 (55.87 GiB 59.99 GB)
Raid Devices : 3
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Fri Jul 21 07:46:27 2017
State : clean
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Name : localhost:0 (local to host localhost)
UUID : f49a8674:13777e43:4f3eaade:7aeb9fe6
Events : 20
Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 33 1 active sync /dev/sdc1
3 8 49 2 active sync /dev/sdd1
再起動後に自動マウントさせるため、マウントポイントを設定
[root@localhost ~]# ls -l /
合計 93
dr-xr-xr-x. 2 root root 4096 7月 15 10:19 2017 bin
dr-xr-xr-x. 5 root root 4096 7月 21 07:00 2017 boot
drwxr-xr-x. 20 root root 3920 7月 21 07:41 2017 dev
drwxr-xr-x. 64 root root 4096 7月 21 07:56 2017 etc
drwxr-xr-x. 3 root root 4096 11月 1 17:47 2011 home
dr-xr-xr-x. 8 root root 4096 5月 31 10:24 2017 lib
dr-xr-xr-x. 8 root root 12288 7月 15 14:49 2017 lib64
drwx------. 2 root root 16384 5月 31 10:22 2017 lost+found
drwxr-xr-x. 2 root root 4096 11月 1 17:47 2011 media
drwxr-xr-x. 5 root root 4096 7月 15 11:12 2017 mnt
drwxr-xr-x. 2 root root 4096 11月 1 17:47 2011 opt
dr-xr-xr-x. 118 root root 0 7月 21 07:18 2017 proc
dr-xr-x---. 3 root root 4096 7月 15 09:49 2017 root
dr-xr-xr-x. 2 root root 12288 7月 15 14:49 2017 sbin
drwxr-xr-x. 7 root root 0 7月 21 07:18 2017 selinux
drwxr-xr-x. 2 root root 4096 11月 1 17:47 2011 srv
dr-xr-xr-x. 13 root root 0 7月 21 07:59 2017 sys
drwxrwxrwt. 3 root root 4096 7月 21 07:19 2017 tmp
drwxr-xr-x. 13 root root 4096 5月 31 10:23 2017 usr
drwxr-xr-x. 18 root root 4096 5月 31 10:24 2017 var
[root@localhost ~]# mkdir /raid
[root@localhost ~]# vi /etc/fstab
...
/dev/md0 /raid ext4 defaults 0 0
...
再起動
[root@localhost ~]# reboot
マウント確認
[root@localhost ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
45G 2.7G 40G 7% /
tmpfs 3.5G 0 3.5G 0% /dev/shm
/dev/sda1 477M 215M 233M 48% /boot
/dev/mapper/VolGroup-lv_home
4.3G 8.9M 4.0G 1% /home
/dev/md0 110G 60M 105G 1% /raid <=== raid5なのでディスク2本分のサイズ
異常時の確認
ディスク1本をフェイルさせる
[root@localhost ~]# mdadm --fail /dev/md0 /dev/sdc1
mdadm: set /dev/sdc1 faulty in /dev/md0
[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[0] sdd1[3] sdc1[1](F) <=== sdc1がfaultとなっている
117159936 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [U_U]
unused devices: <none>
異常ディスクを除去する
[root@localhost ~]# mdadm --remove /dev/md0 /dev/sdc1
mdadm: hot removed /dev/sdc1 from /dev/md0
[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdb1[0] sdd1[3]
117159936 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [U_U]
unused devices: <none>
フェイルさせたディスクを再パーティショニング
[root@localhost ~]# mdadm --misc --zero-superblock /dev/sdc1
[root@localhost ~]# fdisk /dev/sdc
警告: DOS互換モードは廃止予定です。このモード (コマンド 'c') を止めることを
強く推奨します。 and change display units to
sectors (command 'u').
コマンド (m でヘルプ): p
ディスク /dev/sdc: 60.0 GB, 60022480896 バイト
ヘッド 255, セクタ 63, シリンダ 7297
Units = シリンダ数 of 16065 * 512 = 8225280 バイト
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O size (minimum/optimal): 512 bytes / 512 bytes
ディスク識別子: 0x0008de53
デバイス ブート 始点 終点 ブロック Id システム
/dev/sdc1 1 7297 58613121 fd Linux raid 自動検出
コマンド (m でヘルプ): d
選択した領域 1
コマンド (m でヘルプ): p
ディスク /dev/sdc: 60.0 GB, 60022480896 バイト
ヘッド 255, セクタ 63, シリンダ 7297
Units = シリンダ数 of 16065 * 512 = 8225280 バイト
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O size (minimum/optimal): 512 bytes / 512 bytes
ディスク識別子: 0x0008de53
デバイス ブート 始点 終点 ブロック Id システム
コマンド (m でヘルプ): n
コマンドアクション
e 拡張
p 基本パーティション (1-4)
p
パーティション番号 (1-4): 1
最初 シリンダ (1-7297, default 1):
Using default value 1
Last シリンダ, +シリンダ数 or +size{K,M,G} (1-7297, default 7297):
Using default value 7297
コマンド (m でヘルプ): t
選択した領域 1
16進数コード (L コマンドでコードリスト表示): fd
領域のシステムタイプを 1 から fd (Linux raid 自動検出) に変更しました
コマンド (m でヘルプ): p
ディスク /dev/sdc: 60.0 GB, 60022480896 バイト
ヘッド 255, セクタ 63, シリンダ 7297
Units = シリンダ数 of 16065 * 512 = 8225280 バイト
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O size (minimum/optimal): 512 bytes / 512 bytes
ディスク識別子: 0x0008de53
デバイス ブート 始点 終点 ブロック Id システム
/dev/sdc1 1 7297 58613121 fd Linux raid 自動検出
コマンド (m でヘルプ): w
パーティションテーブルは変更されました！
ioctl() を呼び出してパーティションテーブルを再読込みします。
ディスクを同期しています。
raidデバイスに（仮）新ディスクを追加する
[root@localhost ~]# mdadm --add /dev/md0 /dev/sdc1
mdadm: added /dev/sdc1
[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdc1[4] sdb1[0] sdd1[3]
117159936 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/2] [U_U]
[>....................] recovery = 1.5% (918840/58579968) finish=6.2min speed=153140K/sec
unused devices: <none>
...
[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sdc1[4] sdb1[0] sdd1[3]
117159936 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
unused devices: <none>
交換完了。
この時、raidデバイスのUUIDは変わっていない。
[root@localhost ~]# mdadm --detail --scan
ARRAY /dev/md0 metadata=1.2 spares=1 name=localhost:0 UUID=f49a8674:13777e43:4f3eaade:7aeb9fe6
raidを解体
[root@localhost ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
45G 2.7G 40G 7% /
tmpfs 3.5G 0 3.5G 0% /dev/shm
/dev/sda1 477M 230M 218M 52% /boot
/dev/mapper/VolGroup-lv_home
4.3G 8.9M 4.0G 1% /home
/dev/md0 110G 60M 105G 1% /raid
[root@localhost ~]# umount /raid
[root@localhost ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
45G 2.7G 40G 7% /
tmpfs 3.5G 0 3.5G 0% /dev/shm
/dev/sda1 477M 230M 218M 52% /boot
/dev/mapper/VolGroup-lv_home
4.3G 8.9M 4.0G 1% /home
[root@localhost ~]# mdadm --misc --stop /dev/md0
mdadm: stopped /dev/md0
[root@localhost ~]# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
unused devices: <none>
[root@localhost ~]# mdadm --misc --zero-superblock /dev/sdb1 /dev/sdc1 /dev/sdd1
[おわり]