ZFS(Linux)のセットアップ手順

#セットアップ
##インストール(Ubuntu 20.04)

sudo apt install -y zfsutils-linux

##パーティションテーブルと必要に応じてパーティションの準備
###ドライブ一覧確認

ls /dev/disk/by-id

###ドライブごと（パーティションテーブルごと）zpoolに割り当てる場合
パーティションテーブルをGPTで作ります。台数分実行します。パーティションは作りません。zpoolを作成するときに自動的に作られます。

# HDD全体が論理消去されるため注意
dev=/dev/disk/by-id/xxx && # ドライブを指定
sudo sgdisk -Z -o $dev

  # -Z 既存のGPTとMBRを消去
  # -o GPT（GUIDパーティションテーブル）を作成

###パーティションをzpoolに割り当てる場合
ドライブごとのとき同様にパーティションテーブルをGPTで作った後、以下のようにZFS用のパーティションを作ります。台数分実行します。

dev=/dev/disk/by-id/xxx && # ドライブを指定
sudo sgdisk -a 8 -n 1:40: -t 1:bf01 $dev

  # -a 8 4Kセクターに合わせる (4096/512=8)
  # -n 1:40: 第1パーティションを作成（40セクターから）
  # -t 1:bf01 第1パーティションのタイプを設定（通常のext4なら8300）

sudo sgdisk -p $dev && # GPTを確認
sudo sgdisk -i 1 $dev # 第1パーティションを確認

パーティションテーブルとパーティションを一気に作成する場合は次のとおりです。

# HDD全体が論理消去されるため注意
dev=/dev/disk/by-id/xxx && # ドライブを指定
sudo sgdisk -Z -o -a 8 -n 1:40: -t 1:bf01 $dev

##zpoolに指定するIDの確認
###PARTUUIDで指定する場合
パーティションのUUIDを使います。ドライブごとzpoolに割り当てる場合には使えません。ランダムな文字列で分かりにくいですが、ドライブの接続方法が変わっても不変のため安定性があります。

array1=() &&
for partuuid in $(find /dev/disk/by-partuuid -type l); do
    dev=$(readlink -f "${partuuid}")
    id2=""
    for id in $(find /dev/disk/by-id -type l); do
        dev2=$(readlink -f "${id}")
        if test $dev = $dev2
        then
            id2="${id2} ${id}"
        fi
    done
    array1=("${array1[@]}" "${dev} ${partuuid}${id2}")
done&&
orig_ifs=$IFS; IFS=$'\n' &&
array2=($(echo "${array1[*]}" | sort)) &&
echo "${array2[*]}" &&
IFS=$orig_ifs

丸ごとコピーアンドペーストして実行してください。

###by-idで指定する場合
ドライブのシリアル番号を使います。個別のパーティションにも-part1、-part2とIDが振られるため、ドライブごとzpoolに割り当てる場合にも、パーティションをzpoolに割り当てる場合にも使えます。ドライブとの対応関係は分かりやすいですが、RAIDカードやUSB外付けボックスによって変わる可能性があります。

ls /dev/disk/by-id

##zpoolを作成
/data/にマウントするが、canmount=offでそのマウントポイント自体はマウントから除外し、tankのひとつ下に作るファイルシステムから利用する設定（用途別に割り当て容量を制限する目論見）。

TANK=tankname &&
sudo mkdir -p /data &&
sudo zpool create -o ashift=12 -m /data/$TANK $TANK <raidz|mirror> /dev/disk/<id> /dev/disk/<id> &&
    # -o ashift=12でAFT対応。FreeBSDと違い自動判定してくれないため注意。
    # HDD1台のときはraidzを無指定にすること。複数台のときに無指定にするとストライピングになるため注意。
    # zpool createの直後に-fを付ける必要があるかもしれないが、慎重に付けること。
sudo zfs set compression=lz4 $TANK && # lz4による圧縮は高速なため有効化
sudo zfs set atime=off $TANK && # いちいち書き込みが必要になるわりにメリットが薄い最終アクセス時刻記録を無効化
sudo zfs set canmount=off $TANK && # 親ファイルシステムはマウントしない
sudo zfs set snapdir=visible $TANK && # スナップショットが.zfsディレクトリから見えるように

sudo zfs set acltype=posixacl $TANK && # ACLを有効化
sudo zfs set xattr=sa $TANK && # ACLに必要？

# 一括版
sudo mkdir -p /data &&
sudo zpool create -o ashift=12 -O compression=lz4 -O atime=off -O snapdir=visible -O canmount=off -O acltype=posixacl -O xattr=sa <tankname> <raidz|mirror> /dev/disk/<id> /dev/disk/<id>
sudo zfs set mountpoint=/data/<tankname> <tankname>

##zfsを作成
tankのひとつ下にファイルシステムを作る。

sudo zfs create <tankname>/<fsname>
sudo zfs set quota=1T <tankname>/<fsname> #割り当て容量を制限できる

##状況確認

zpool status #zpoolの確認
zfs list #zfsの確認
zfs list -t filesystem,snapshot,volume #同上（スナップショットを含む）

zpool get all #zpoolプロパティーの確認
zpool get all <tankname> #同上（特定のzpool）
zfs get all #zfsプロパティーの確認
zfs get all <tankname>/<fsname> #同上（特定のzfs）

zfs get compressratio #圧縮率の確認
zfs list -t snapshot -o name,creation #スナップショットの作成日時を確認

##削除（やり直したいとき）

sudo zfs destroy <tankname>/<fsname>
sudo zpool destroy <tankname>

#ファイル周り
##所有者とパーミッションを変更

path='/data/<tankname>/<fsname>'
sudo find $path -type d -name .zfs -prune -exec chown user:group {} + &&
sudo find $path -type d -name .zfs -prune -or -type d -exec chmod 770 {} + &&
sudo find $path -type d -name .zfs -prune -or -type f -exec chmod 660 {} +

スナップショットは読み取り専用で変更できないため、触りにいかないよう除外しています。

##ファイルをコピー後ハッシュをチェック
ZFS固有のものではありませんが、ついでに書いておきます。
###ハッシュを取得

#Windows上のMobaXterm
cd /drives/c/Users/suzuki/Documents &&
find . -type f -exec md5sum {} \; > ./Documents.md5sum

#Linux
cd /data/tank/suzuki/Documents &&
find . -type f -exec md5sum {} \; > ./Documents.md5sum

###テキストを整形してdiffを取る
正規表現置き換えでs/^([^ ]+) (.+)$/\2 \1/としてハッシュとファイル名をひっくり返します（ファイル名が先になるように）。その後、行をソートして、diffを取ります。

#チューニング・障害対応
##ARC（メモリキャッシュ）の設定
FreeNASではZFSを扱うとき8GBのメモリーを搭載していることを条件にしているようです。そのためここでは8GBからシステム用に1GB引いた7GBに設定しています。

###状況確認

cat /proc/spl/kstat/zfs/arcstats #pがARCの使用量、c_maxが上限

###上限設定

echo 7516192768 > /sys/module/zfs/parameters/zfs_arc_max #ARCの上限を7GBに設定

###上限設定（永続化）
再起動しても上限設定が続くようにするには/etc/modprobe.d/zfs.confに下記の行を書き込みます。

echo 'options zfs zfs_arc_max=7516192768' > /etc/modprobe.d/zfs.conf

###自動トリムをオンにする（デフォルトはオフ）
SSDでは基本的にオンにすべきです。Western DigitalのDM-SMRドライブはHDDながらトリムがサポートされていますが、データ損失の問題を軽減するために自動トリムはオフにすることが推奨されています。 Update: WD Red SMR Drive Compatibility with ZFS | TrueNAS Community

sudo zpool set autotrim=on <tankname>

###ドライブによるトリムのサポート有無やトリムの実行状況を確認する

zpool status -t

##zpool statusで一部のHDDがUNAVAILになったとき
ドライブ自体が/devから確認できるなら、下記で復旧できる場合があります。

sudo zpool online <tankname> /dev/disk/by-partuuid/<id>

##cronで異常を通知
/etc/cron.hourly/zpool_statusに下記の内容でファイルを作成します。異常の際、標準出力に現状を出力します。標準出力があればメールが飛ぶようにcronを設定しておいてください。

#!/bin/bash
status=$(zpool status -x 2>&1)
if [ 'all pools are healthy' != "$status" -a 'no pools available' != "$status" ]; then
    echo $status
fi

ファイルを作成したら実行属性を付けます。

chmod u=rwx,g=rx,o=rx /etc/cron.hourly/zpool_status