はじめに

CentOS7でソフトウエアRAID1のHDDを交換したときのメモです。この手順のとおりに実行すると失敗します(^_^; どうやって解決したかが最後に書いてあります。

構成

以下の環境でRAID1の片方がエラー出しました。

OS: CentOS7
HW：Dell PowerEdge T130
UEFI
HDD冗長化: RAID1 (SATA 1TByte x 2)

# df
ファイルシス            1K-ブロック     使用    使用可 使用% マウント位置
/dev/mapper/centos-root   419225600  8685924 410539676    3% /
devtmpfs                    4049672        0   4049672    0% /dev
tmpfs                       4065696        0   4065696    0% /dev/shm
tmpfs                       4065696     8980   4056716    1% /run
tmpfs                       4065696        0   4065696    0% /sys/fs/cgroup
/dev/md126                   505516   294928    210588   59% /boot
/dev/md125                   204516     9980    194536    5% /boot/efi

注意点として、/boot, /boot/efiもRAID1です。CentOS7のPartitionの自動設定ではこうならないと思いますが、OSインストール時に設定変更してRAID1にしています。

$ more /proc/mdstat (記憶による復元のため細微は違うかも)
Personalities : [raid1]
md125 : active raid1 sda2[0] sdb2[1]
      204736 blocks super 1.0 [2/2] [UU]
      bitmap: 0/1 pages [0KB], 65536KB chunk

md126 : active raid1 sda1[0] sdb1[1]
      511936 blocks super 1.0 [2/2] [UU]
      bitmap: 0/1 pages [0KB], 65536KB chunk

md127 : active raid1 sda3[0] sdb3[1]
      471904256 blocks super 1.2 [2/2] [UU]
      bitmap: 2/4 pages [8KB], 65536KB chunk

unused devices: <none>

上記の結果より以下の構成であることがわかります。

/boot/efiはmd125なので、sda2, sdb2のRAID1
/bootはmd126なのでsda1, sdb1のRAID1
VLMの領域はmd127です。

HDDのPartition構成は以下のとおり。容量の単位は「unit s」コマンドでセクタサイズで表示しています。これは後ほどの作業の都合です。

# /sbin/parted /dev/sda
GNU Parted 3.1
/dev/sda を使用
GNU Parted へようこそ！ コマンド一覧を見るには 'help' と入力してください。
(parted) unit s
(parted) print
モデル: ATA XXX XXXXX (scsi)
ディスク /dev/sda: 1953525168s
セクタサイズ (論理/物理): 512B/4096B
パーティションテーブル: gpt
ディスクフラグ:

番号  開始        終了         サイズ       ファイルシステム  名前  フラグ
 1    2048s       1026047s     1024000s     xfs                     raid
 2    1026048s    1435647s     409600s      fat16                   raid
 3    1435648s    945506303s   944070656s                           raid

(parted) quit

# /sbin/parted /dev/sdb
GNU Parted 3.1
/dev/sdb を使用
GNU Parted へようこそ！ コマンド一覧を見るには 'help' と入力してください。
(parted) unit s
(parted) print
モデル: ATA XXX XXXXX (scsi)
ディスク /dev/sdb: 1953525168s
セクタサイズ (論理/物理): 512B/4096B
パーティションテーブル: gpt
ディスクフラグ:

番号  開始        終了         サイズ       ファイルシステム  名前  フラグ
 1    2048s       1026047s     1024000s     xfs                     raid
 2    1026048s    1435647s     409600s      fat16                   raid
 3    1435648s    945506303s   944070656s                           raid

(parted) quit

とある日にHDDのsdaが壊れました。

smartdからの警告など。

# cat /var/log/message (抜粋)
May  6 15:01:08 www smartd[903]: Device: /dev/sda [SAT], 5 Offline uncorrectable sectors
May  6 15:01:08 www smartd[903]: Sending warning via /usr/libexec/smartmontools/smartdnotify to root ...
May  6 15:01:08 www smartd[903]: Warning via /usr/libexec/smartmontools/smartdnotify to root: successful

May  7 08:46:54 www kernel: ata1.00: exception Emask 0x0 SAct 0x80000 SErr 0x0 action 0x0
May  7 08:46:54 www kernel: ata1.00: irq_stat 0x40000008
May  7 08:46:54 www kernel: ata1.00: failed command: READ FPDMA QUEUED
May  7 08:46:54 www kernel: ata1.00: cmd 60/60:98:00:e8:15/00:00:00:00:00/40 tag 19 ncq 49152 in#012         res 51/40:4d:13:e8:15/00:00:00:00:00/40 Emask 0x409 (media error) <F>
May  7 08:46:54 www kernel: ata1.00: status: { DRDY ERR }
May  7 08:46:54 www kernel: ata1.00: error: { UNC }
May  7 08:46:54 www kernel: ata1.00: configured for UDMA/133
May  7 08:46:54 www kernel: sd 0:0:0:0: [sda] FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
May  7 08:46:54 www kernel: sd 0:0:0:0: [sda] Sense Key : Medium Error [current] [descriptor]
May  7 08:46:54 www kernel: sd 0:0:0:0: [sda] Add. Sense: Unrecovered read error - auto reallocate failed
May  7 08:46:54 www kernel: sd 0:0:0:0: [sda] CDB: Read(10) 28 00 00 15 e8 00 00 00 60 00
May  7 08:46:54 www kernel: blk_update_request: I/O error, dev sda, sector 1435667
May  7 08:46:54 www kernel: ata1: EH complete

復旧手順

新しい同一容量のHDDを用意し、USB-SATA変換下駄でサーバにつないで、Partition構成を同じにしました。

# /sbin/parted  /dev/sdX (sdXのところは環境によります。)
GNU Parted 3.1
/dev/sdX を使用
GNU Parted へようこそ！ コマンド一覧を見るには 'help' と入力してください。
(parted) print
エラー: /dev/sdX: ディスクラベルが認識できません。
モデル: ATA XXX XXXXX (scsi)
ディスク /dev/sdX: 1953525168s
セクタサイズ (論理/物理): 512B/4096B
パーティションテーブル: unknown
ディスクフラグ:
(parted) mklabel gpt   <- MEMO: GPTに変更

(parted) mkpart
パーティションの名前?  []?
ファイルシステムの種類?  [ext2]?
開始? 2048s
終了? 1026047s

(parted) mkpart
パーティションの名前?  []?
ファイルシステムの種類?  [ext2]?
開始? 1026048s
終了? 1435647s

(parted) mkpart
パーティションの名前?  []?
ファイルシステムの種類?  [ext2]?
開始? 1435648s
終了? 945506303s

(parted) mkpart
パーティションの名前?  []?
ファイルシステムの種類?  [ext2]?
開始? 945506304s
終了? 1953523215s

(parted) print
モデル: ATA XXX XXXXX (scsi)
ディスク /dev/sdX: 1953525168s
セクタサイズ (論理/物理): 512B/4096B
パーティションテーブル: gpt
ディスクフラグ:

番号  開始        終了         サイズ       ファイルシステム  名前  フラグ
 1    2048s       1026047s     1024000s     
 2    1026048s    1435647s     409600s      
 3    1435648s    945506303s   944070656s

以上でPartitionのサイズは同じになりましたが、printコマンドで表示される「ファイルシステム」と「フラグ」が違います。ファイルシステムはRAID復旧時に自動で設定されますのでフラグのところのみ復元します。

(parted) t
パーティション番号? 1
反転するフラグ? raid
(parted) t
パーティション番号? 2
反転するフラグ? raid
(parted) t
パーティション番号? 3
反転するフラグ? raid

(parted) print
モデル: ATA XXX XXXXX (scsi)
ディスク /dev/sdX: 1953525168s
セクタサイズ (論理/物理): 512B/4096B
パーティションテーブル: gpt
ディスクフラグ:

番号  開始      終了        サイズ      ファイルシステム  名前  フラグ
 1    2048s     1026047s    1024000s                            raid
 2    1026048s  1435647s    409600s                             raid
 3    1435648s  945506303s  944070656s                          raid

(parted) quit

RAIDを一部復元

再掲しますが、

/boot/efiはmd125なので、sda2, sdb2のRAID1
/bootはmd126なのでsda1, sdb1のRAID1
VLMの領域はmd127です。

/boot/efiと/bootは容量が小さいのでUSBにつないだままRAID1を復旧します。VLMの領域は大きいのでスペアとして追加をします。復旧はしません。

/boot/efi

# /sbin/mdadm --add /dev/md125 /dev/sdX2  <- スペアを追加

# /sbin/mdadm --manage /dev/md125 --fail /dev/sda2 <- sda2を強制エラーにする。

# /proc/mdadm
 -> ログを取り忘れましたが、再同期が始まっているとおもいます。

同様に

/boot

# /sbin/mdadm --add /dev/md126 /dev/sdX1
# /sbin/mdadm --manage /dev/md126 --fail /dev/sda1

LVMの領域は大きいのでsda3を強制エラーにはしません。

LVM

# /sbin/mdadm --add /dev/md127 /dev/sdX3

ファイル/proc/mdadmをみて再同期の完了を確認して

# poweroff

shutdown。

HDDを交換

ケースをあけて故障したHDDを取り出し、USBで接続していたHDDを追加します。

起動

サーバを立ち上げたら次のように表示されて

Booting From Embedded SATA Port Disk B: CentOS

続いてCentOSのGRUBのメニューが出ました。

そうかDiskA (/dev/sda)にboot managerが入ってないな。。

UEFIではどうやってboot managerを入れるんだ。。

それはさておき、 LVM(/dev/md127)のRAIDの再同期がおそらく始まっていますので、終わるまで放置してください。経過はファイル/proc/mdadmをみて確認ください。

再同期が終われば次のようになります。

# more /proc/mdstat
Personalities : [raid1]
md125 : active raid1 sdb2[1] sda2[2]
      204736 blocks super 1.0 [2/2] [UU]
      bitmap: 0/1 pages [0KB], 65536KB chunk

md126 : active raid1 sdb1[1] sda1[2]
      511936 blocks super 1.0 [2/2] [UU]
      bitmap: 0/1 pages [0KB], 65536KB chunk

md127 : active raid1 sdb3[1] sda3[2]
      471904256 blocks super 1.2 [2/2] [UU]
      bitmap: 1/4 pages [4KB], 65536KB chunk

unused devices: <none>

起動順序の変更。

ググったところ、

CentOS 7 のパーティションの分け方

設定はefibootmgrみたいです。

# efibootmgr -v (抜粋)
BootCurrent: 0003
BootOrder: 0003,0001,0002,0000
Boot0000* EFI Fixed Disk Boot Device 1  PciRoot(0x0)/Pci(0x17,0x0)/Sata(0,0,0)/HD(2,GPT,bff2f397-d1c4-4877-a987-31ec01f5XXXX,0xfa800,0x64000)
Boot0001* CentOS        HD(2,GPT,5ee0ca24-9038-4017-b73d-4ee61317XXXX,0xfa800,0x64000)/File(\EFI\centos\shim.efi)
Boot0002* Embedded NIC 1 Port 1 Partition 1     VenHw(3a191845-5f86-4e78-8fce-c4cff59fXXXX)
Boot0003* CentOS        HD(2,GPT,79b8d478-ba71-4943-92b5-f73c1680XXXX,0xfa800,0x64000)/File(\EFI\centos\shim.efi)

Boot0001とBoot0003がCentOSですが、シリアル番号を見てもどのHDDを指しているかわからない。いろいろ試したところ blkidというツールで調べてPARTUUIDというところに出てきた値がefibootmgrに表示されるシリアル番号のようです。

$ blkid |grep sda2
  ->  PARTUUIDをみる
$ blkid |grep sdb2
  ->  PARTUUIDをみる

比較してBoot0001に表示されるPARTUUIDが異なりました。これを修正すればよさそうです。

# efibootmgr -b 1 -B
  -> Boot0001を削除

# efibootmgr -c -d /dev/sda -p 2 -l '\EFI\centos\shim.efi' -L 'CentoOS'
  -> sdaのPartition 2 (/dev/sda2)を指定．

コマンド「efibootmgr -v」確認するとBoot0001に上記の新しいPARTUUIDの指定が挿入されました。

再起動したところ

Booting From Embedded SATA Port Disk A: CentOS

と表示され、無事Disk Aから起動しました(^_^)

再起動後の「efibootmgr -v」の出力です。

# efibootmgr -v (抜粋)
BootCurrent: 0001
BootOrder: 0001,0003,0002
Boot0001* CentoOS       HD(2,GPT,bff2f397-d1c4-4877-a987-31ec01f5XXXX,0xfa800,0x64000)/File(\EFI\centos\shim.efi)
Boot0002* Embedded NIC 1 Port 1 Partition 1     VenHw(3a191845-5f86-4e78-8fce-c4cff59fXXXX)
Boot0003* CentOS        HD(2,GPT,79b8d478-ba71-4943-92b5-f73c1680XXXX,0xfa800,0x64000)/File(\EFI\centos\shim.efi)

以上です。