はじめに

　数値計算の研究のためには、シミュレーションデータを保存するためのハードディスク容量が必要です。実問題ではレイノルズ数が大きく、数値解析に必要なメッシュ数は１辺あたりに$Re^{3/4}$倍で増えます。空間３方向と時間方向を考えるので、ざっくりというと$Re^3$~$Re^4$くらいのスケールでデータが増えます（時間方向の見積もりは諸説あり）。流れの速さを2倍にすると、10~20倍くらいのデータ量になります。最新の乱流の超高精度数値シミュレーションのデータは、簡単に言うと, 4K動画のスローモーションを4K個保存するくらいの容量が必要です！乱流などの数値計算を利用した研究のボトルネックはハードディスク容量といっても過言ではありません。

　最近のハードディスクは安く大容量のものが手に入ります。詳しくは --> 息を吹き返すHDD

　この記事では、ZFSのファイルシステムを自分で構築する方法を紹介します。今回は、NAS用の8TBを5台をつなげて、ZFSファイルシステムRAIDZを構築します。デスクトップコンピュータがすでにあれば、15万円くらいの投資です。RAID5と同様に１台冗長性をもたせますので、実容量はだいたい, 8TB $\times $(5-1)台 $\times$ 0.9 $\approx$ 28TBくらいです。正確な計算はこちら。

ベンダーに頼んでNASを購入すると、同じくらいの容量で50-60万円でしょうか（2021年７月）。構築の手間と、壊れたときの手間を考えると、こちらの方が良いでしょう。突然の停電などで、ファイルシステムが壊れるリスクはZFSの方が低いらしいです。

　RAIDZはハードディスクの１つが壊れてもHDを交換すれば復旧可能なはずです。が、復旧できた経験はありません。壊れても大丈夫な規模で、貴重なデータは別のところにバックアップがあるというスタンスでやります。

リスクを下げるには、新品のNAS用のハードディスクを使ってください。私のものは３年稼働しています。NAS用でない中古HDで作ったRAIDzは１年でだめになりました。バックアップや復旧も考えた上でご利用ください。

手元に余っている古いHDで練習すると良いでしょう。同じ容量のHDをご使用ください。ソフトウェアRAIDなので、ホストコンピュータのメモリも多く積んでおくと良いです。

ハードディスクを取り付けます

　使用するのは普通のタワー型のPCケースです。研究室に眠っている古いPCで良いですがメモリは増設しておくと良いです。
配線はPC内部の空気の流れを妨げないようにきれいに。ハードディスクはやけどするくらい熱くなります。時々、ファンやフィルターの相似をしましょう。ケース前面のファンも必要でしょう．

ハード・ディスクのバーコードに赤線が入っているものがZFS用の５台です。

　取り付けた後のチェックです。

2TB以上のハードディスクのパーティション管理にはGPTを使います。

# All disk (more than 2TB) should be GPT managed disks. 
$sudo parted -l

で確認します。

[1] IDでハードディスクを識別します。

$ls -l /dev/disk/by-id

/dev/disk/by-id/ata-WDC_WD40EZRX-22SPEB0_WD-WCC4E3NA1C21 (sda)
/dev/disk/by-id/ata-WDC_WD40EZRZ-22GXCB0_WD-WCC7K2RL4289 (sdb)
/dev/disk/by-id/ata-WDC_WD40EZRX-22SPEB0_WD-WCC4E5JVYPF2 (sdc)
/dev/disk/by-id/ata-WDC_WD40EZRZ-22GXCB0_WD-WCC7K4PNK7LD (sdd)
/dev/disk/by-id/ata-WDC_WD40EZRZ-22GXCB0_WD-WCC7K4PNKAT6 (sde)

[2] ZFSモジュールの読み込み

$sudo /sbin/modprobe zfs

[3] RAIDZストレージプールの作成

$sudo zpool create tank raidz /dev/disk/by-id/ata-WDC_WD40EZRX-22SPEB0_WD-WCC4E3NA1C21 /dev/disk/by-id/ata-WDC_WD40EZRZ-22GXCB0_WD-WCC7K2RL4289 /dev/disk/by-id/ata-WDC_WD40EZRX-22SPEB0_WD-WCC4E5JVYPF2 /dev/disk/by-id/ata-WDC_WD40EZRZ-22GXCB0_WD-WCC7K4PNK7LD ata-WDC_WD40EZRZ-22GXCB0_WD-WCC7K4PNKAT6

create を使ってRaidzを構成すると、中のデータは全部消えます。

[4] データスペースの作成

$sudo zfs create tank/data

[5] NFSで共有

サーバーPC側の設定

$sudo zfs set sharenfs=on tank

$sudo vi /etc/exports

/tank/data [IP addr]/24(rw,async,no_root_squash)

$sudo exportfs -avr

クライアントPCからNFSマウント

$showmount -e [IP address]

$sudo mount -t nfs [IP addr]:/tank/data /mnt/($mount_point)

NFS用に各WSのユーザーIDを一致させる必要があります。

ユーザーIDの確認

$id user_name

ユーザーIDの変更

$usermod -u 15001 user_name
$groupmod -g 15001 user_name
$chown -R user_name: /home/user_name 
$chown -R user_name: /tank/data/user_name

PCの再起動後に ZFS ファイルシステムを再度マウントする

# recalling ZFS tank

$sudo zpool list

で探して、見つからなければ、

$sudo zpool import
pool: tank
id: 10275846496795298111
state: ONLINE
action: The pool can be imported using its name or numeric identifier.
config:

tank ONLINE
ata-WDC_WD20EADS-00R6B0_WD-WCAVY2884985 ONLINE
ata-WDC_WD20EZRX-00DC0B0_WD-WCC300262352 ONLINE
ata-WDC_WD20EZRX-00DC0B0_WD-WCC300319982 ONLINE

pool名 tankが見つかりましたので、以下のようにインポートすればOK.

$sudo zpool import tank

障害発生時

RAIDZはハードディスクの１つが壊れてもHDを交換すれば復旧可能なはずです。
マニュアルを見ながら暇なときにやれば良いです。

$ sudo zpool import    
pool: tank     
id: 10784953625292869930  
state: DEGRADED 
status: One or more devices contain corrupted data. 
action: The pool can be imported despite missing or damaged devices.  The fault tolerance of the pool may be compromised if imported.   
see: http://zfsonlinux.org/msg/ZFS-8000-4J config:
    tank      DEGRADED      raidz1-0                                    
DEGRADED      ata-WDC_WD40EZRX-22SPEB0_WD-WCC4E3NA1C21  
ONLINE        ata-WDC_WD40EZRZ-22GXCB0_WD-WCC7K2RL4289  
ONLINE        ata-WDC_WD40EZRX-22SPEB0_WD-WCC4E5JVYPF2  
ONLINE        ata-WDC_WD40EZRZ-22GXCB0_WD-WCC7K4PNK7LD  
ONLINE        ata-WDC_WD40EZRZ-22GXCB0_WD-WCC7K4PNKAT6  
ONLINE        ata-WDC_WD40EZRZ-22GXCB0_WD-WCC7K4PNKKLH

とかが出ても、落ち着いて対応。
　至急、バックアップを取るように周知してください。
壊れるまで使えますが、再起動するとマウントできなくなるかも。

バックアップ

　勉強中。というか、まるごとスナップショットを取るくらいなら、ちゃんとしたNASかファイルサーバーを購入してください。壊れるのが前提の一時的な高負荷の処理用です。壊れる前に必死にデータ処理を走らせます。重要なデータはこまめにバックアップを取ります。バックアップ先はより信頼性の高いファイルサーバーもしくは、紙媒体、つまり、ジャーナル論文です。