RAIDを停止する

RAID1 な領域は、以下のように degraded mode に移行。

# mdadm --manage /dev/md0 --fail /dev/sda2
# mdadm --manage /dev/md2 --fail /dev/sda4

RAID0 のスワップ用領域については、完全に停止。

# swapoff
# mdadm --stop /dev/md1

復旧作業で必要になるので、ハードディスクを交換する前にパーティション情報を取り出しておく。

# fdisk -l /dev/sda
Disk /dev/sda: 1.8 TiB, 2000398934016 bytes, 3907029168 sectors
Disk model: ST2000DM006-2DM1
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0xf1df28a1

Device     Boot     Start        End    Sectors   Size Id Type
/dev/sda1  *         2048    1050623    1048576   512M  6 FAT16
/dev/sda2         1050624  501051391  500000768 238.4G fd Linux raid autodetect
/dev/sda3       501051392  751050751  249999360 119.2G fd Linux raid autodetect
/dev/sda4       751050752 3907029167 3155978416   1.5T fd Linux raid autodetect

原因をまだ調査できていないが、2019年12月の故障交換の際、2018年7月に設定したはずの冗長化が無効になっていた。再起動する前に、efibootmgr コマンドを実行して、冗長化が有効になっていることを確認しておくべき。

起動用パーティションを復旧する

最初¹に、ディスク²を交換。

当然ながら、起動用ディスクを交換してしまったので、起動できない。なので、インストーラの rescue mode を利用する。まず、Debian 公式サイトから、ネットワークインストール用 iso イメージをダウンロード。インストール用 USB メモリを用意。

# cp debian-9.1.0-amd64-netinst.iso /dev/sdb

次に、インストール用 USB メモリを使って起動し、advanced options から rescue mode で起動を選ぶ。適当にキーマップなどを選択した後で、まずシェルを起動し、partition を作成する。

# fdisk /dev/sda

今回の場合は、RAID1 の相棒となるのが /dev/sdb なので、/dev/sdb のパーティション構成を見ながら、まったく同じに切る。

次に、/dev/sda1 を起動用パーティションとして復旧する。まず、ファイルシステムを作成し、適切な場所に mount した上で、grub-install を呼び出す。

# mkfs.vfat /dev/sda1
# mount -t vfat /dev/sda1 /boot/efi
# grub-install --efi-directory /boot/efi --bootloader-id debian

RAIDを復旧する

シェルから抜けて rescue mode の menu に戻る。そこで「Detect disks」を選択し、さらに「Ansemble RAIDs」を選ぶ。すると、片系が停止したままの状態ではあるけれども、RAID が動き出す。その状態で、まず RAID を復旧する。

# mdadm --manage /dev/md0 --add /dev/sda2
# mdadm --manage /dev/md2 --add /dev/sda4

進行状況は /proc/mdstat を見れば分かる。

先の「Ansemble RAIDs」した状態で、root partition（今回の場合は /dev/md0 ）を指定して、root partition 配下で shell を起動する。

起動用パーティションを冗長化する

今回、起動用パーティションが冗長化されていなかったので、インストール用 USB メモリを用意するなどの手間がかかった。これを機会にきちんと冗長化しておくことにする。

/dev/sda1 上に起動用パーティションを復旧した時と、手順はほぼ同じ。マウントポイントのディレクトリ名称と、grub-install のインストール先ディレクトリ名のみ異なる。

# mkfs.vfat /dev/sdb1
# mkdir /boot/efi_sub
# mount -t vfat /dev/sdb1 /boot/efi_sub
# grub-install --efi-directory=/boot/efi_sub --bootloader-id="debian (sub)"

正しく冗長化されていれば、以下のように efibootmgr コマンドの結果に2つのエントリが現れるはず。

# efibootmgr
BootCurrent: 000A
Timeout: 0 seconds
BootOrder: 000A,0000,0009,0001,0002,0003,0004,0005,0006,0007,0008
Boot0000* debian
(中略)
Boot000A* debian (sub)

今回のトラブルでは、/etc/fstab に /boot/efi に関するエントリが存在しなかったため、判断を誤って回り道をした。そのため、これも修正しておく。まず、以下のコマンドで UUID を調査。

# blkid|grep /dev/sda1
# blkid|grep /dev/sdb1

以下のエントリを /etc/fstab に追加。

/etc/fstab

UUID=ABCD-ABCD	/boot/efi       vfat	umask=0077	0	1
UUID=ABCD-ABCD	/boot/efi_sub	vfat	umask=0077	0	1

スワップ用パーティションを復旧する

従来は RAID0 な領域を作成してから、その領域を swap として使っていた。しかし、これは迂遠な設定であり、単に複数のパーティションを swap として指定し、優先度を等しくしておけば良いらしい。

まず、スワップ用にパーティションを初期化する。

# mkswap -L SWAP0 /dev/sda3
# mkswap -L SWAP1 /dev/sdb3

次に、/etc/fstab のスワップ用パーティションの設定を書き換える。

/etc/fstab

LABEL=SWAP0     none    swap    defaults,pri=0  0       0
LABEL=SWAP1     none    swap    defaults,pri=0  0       0

最後に、スワップを有効化する。

# swapon -a

/proc/swaps の内容を調べて、2つのパーティションが有効化されており、かつ、2つのパーティションの優先度が等しいことを確認しておく。

# cat /proc/swaps 
Filename        Type            Size            Used    Priority
/dev/sda3       partition       124999676       0       0
/dev/sdb3       partition       124999676       0       0

復旧用メモ

以下は、筆者の環境の復旧用メモ。ハードディスクが故障するとパーティションテーブルすら取り出せなくなることがあったので、パーティションテーブルの情報だけは正常時にメモっておく方が良いと言われていました。そこまで酷い故障は、筆者の観測範囲では、最近数年間は遭遇したことはないのですが、一応念のために。

# fdisk -l /dev/sda|grep ^/
/dev/sda1        2048    1050623    1048576   512M EFI System
/dev/sda2     1050624 1001050111  999999488 476.9G Linux RAID
/dev/sda3  1001050112 1251049471  249999360 119.2G Linux swap
/dev/sda4  1251049472 7814035455 6562985984   3.1T Linux RAID
# fdisk -l /dev/sdb|grep ^/
/dev/sdb1        2048    1050623    1048576   512M EFI System
/dev/sdb2     1050624 1001050111  999999488 476.9G Linux RAID
/dev/sdb3  1001050112 1251049471  249999360 119.2G Linux swap
/dev/sdb4  1251049472 7814035455 6562985984   3.1T Linux RAID
# fdisk -l /dev/sdc|grep ^/
/dev/sdc1   2048 7814035455 7814033408  3.7T Linux RAID
# fdisk -l /dev/sdd|grep ^/
/dev/sdd1   2048 7814035455 7814033408  3.7T Linux RAID

（2020年7月31日追記）以前のマシンでは、上記の手順で普通にブートパーティションが冗長化できたのだが、新しいマシンでは冗長化したパーティションからは自動的にブートできず、以下のような grub のプロンプトが表示されるだけだった。

grub>

この場合、/boot/efi/efi/debian/grub.cfg などに記載されている内容を手動で入力すれば起動できる。筆者の環境の場合は root は (md0) として grub から見えていたので、以下のように grub コマンドを実行すると起動できた。

grub> configfile (md0)/boot/grub/grub.cfg

復旧が完了した時点から振り返ってみると、ディスクを交換するためにシャットダウンする前に、起動用パーティションを冗長化する操作を行なっておくべきでした。今回、部品が届いてから復旧するまでの所要時間は28時間（実際に作業した時間は6時間ほど）でしたが、この段階できちんと冗長化していれば、復旧所要時間4時間（実作業時間2時間）で復旧できただろうと思います。 ↩
物理的に一番上に設置されていたディスクが /dev/sda だろうと思って作業していたら、実は /dev/sdd だったので、しばらく悩みましたが。 ↩