（2019/05/04 追記ここから）
この物理マシンは、HDDを換装してインストールし直しました。
俺様サーバー構築記 - ZFS の上に Arch Linux をインストール;やり直し@物理マシン(BIOS)を参照して下さい。
（2019/05/04 追記ここまで）

前回「俺様サーバー構築記 - ZFSをarchisoに埋め込む@物理マシン(BIOS)」の続きです。そこで作ったZFS埋め込みarchisoを使用して、物理マシンにArchLinuxをインストールします。

俺様サーバー構築に関する能書きは「俺様サーバー構築記 - 基本方針」を参照。

インストールの準備

ZFS関連ツールを埋め込んだarchisoを焼き付けたUSBメモリをマシンに挿して電源を入れます。起動すると、自動的にrootでログインしてプロンプトが表示されます。

キーボード

# loadkeys jp106

コンソールフォント

コンソールフォントはそのまま変更しません。日本語が表示されればそれなりに便利そうだけども、当面は必要無いと判断。

起動モードの確認

BIOSだという事はわかっていますが念の為。

# ls /sys/firmware/efi/efivars
ls: cannot access '/sys/firmware/efi/efivars': No such file or directory

パーティション

一応HDDを確認しておきます。archisoを作ったりUSBメモリを挿したりしているので、少々わかりにくい表示になります。

# ls /dev/sd*
/dev/sda  /dev/sda1  /dev/sda2  /dev/sdb  /dev/sdc  /dev/sdc1  /dev/sdc2

lsblkコマンドを使うと、多少整理されて見えます。

# lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop     7:0    0 573.2M  1 loop /run/archiso/sfs/airootfs
sda      8:0    0 298.1G  0 disk
├─sda1   8:1    0   512M  0 part
└─sda2   8:2    0 297.6G  0 part
sdb      8:16   0 298.1G  0 disk
sdc      8:32   1   7.3G  0 disk
├─sdc1   8:33   1   686M  0 part /run/archiso/bootmnt
└─sdc2   8:34   1    64M  0 part
sr0     11:0    1  1024M  0 rom

/dev/sdc とその眷属（/dev/sdc1 /dev/sdc2）は、起動する時に使用したUSBメモリです。mountコマンドの結果にそれが表れます。

# mount | grep /dev/sd
/dev/sdc1 on /run/archiso/bootmnt type iso9660 (ro,relatime,nojoliet,check=s,map=n,blocksize=2048)

/dev/disk/by-id を見ると、ファイル名（＝デバイスID）からもう少し情報を得られる可能性があります。どのようなデバイスなのかによって命名されるらしいので。BIOS画面などから得たHDDの商品名などと突き合わせればハッキリするでしょう。

# ls -l /dev/disk/by-id
total 0
lrwxrwxrwx 1 root root  9 Jan 13 11:56 ata-ST3320620AS_9QF4W7SD -> ../../sda
lrwxrwxrwx 1 root root 10 Jan 13 11:56 ata-ST3320620AS_9QF4W7SD-part1 -> ../../sda1
lrwxrwxrwx 1 root root 10 Jan 13 11:56 ata-ST3320620AS_9QF4W7SD-part2 -> ../../sda2
lrwxrwxrwx 1 root root  9 Jan 13 11:56 ata-TSSTcorp_DVD+_-RW_TS-H653F -> ../../sr0
lrwxrwxrwx 1 root root  9 Jan 13 11:56 ata-WDC_WD3200AAKS-00B3A0_WD-WCAT14603857 -> ../../sdb
lrwxrwxrwx 1 root root  9 Jan 13 11:56 usb-058f_6387_17082208002200-0:0 -> ../../sdc
lrwxrwxrwx 1 root root 10 Jan 13 11:56 usb-058f_6387_17082208002200-0:0-part1 -> ../../sdc1
lrwxrwxrwx 1 root root 10 Jan 13 11:56 usb-058f_6387_17082208002200-0:0-part2 -> ../../sdc2
lrwxrwxrwx 1 root root  9 Jan 13 11:56 wwn-0x50014ee156ab43c7 -> ../../sdb

最後のwwn-何とかいうデバイス名の正体が不明ですが… 今回は関係無いので放置！

という訳で /dev/sda と /dev/sdb がHDDです。ちなみに /dev/sr0 は、デバイスIDからわかる通りDVDドライブです。

デバイスを確認した所で、HDDにパーティションを切ります。今回の用途の場合、最低でもbootパーティションを分ける必要があります。

前回書いた通り、デバイス丸ごとbtrfsしていた関係で、パーティショニングに先立って wipefs コマンドを実行します。

スワップ領域についてはパーティショニング - ArchWiki の [パーティションの大きさはどうすればいいですか？] に下記のような記述があります。

大容量のメモリ（1024MB 以上）を積んでいるときは、スワップパーティションは小さく、または作らなくてもかまわないでしょう。2GB 以上の物理 RAM を持っているなら、スワップパーティションがないほうが一般的に良いパフォーマンスを発揮すると思われます。

これを信じてスワップパーティションは作りません。

コマンドは sfdisk を利用します。

作業対象は、2台あるHDD両方です。

# wipefs -a /dev/sda /dev/sdb
/dev/sda: 2 bytes were erased at offset 0x000001fe (dos): 55 aa
/dev/sdb: 8 bytes were erased at offset 0x00010040 (btrfs): 5f 42 48 52 66 53 5f 4d
/dev/sda: calling ioctl to re-read partition table: Success
# cat >/tmp/partitions.txt <<___
\`heredoc> ,512M
\`heredoc> ,
\`heredoc>___
# cat /tmp/partitions.txt | sfdisk /dev/sda
Checking that no-one is using this disk right now ... OK
〈以下、長いので省略〉
# cat /tmp/partitions.txt | sfdisk /dev/sdb
Checking that no-one is using this disk right now ... OK
〈以下、長いので省略〉

Bootフラグは、ブートローダのインストール時に立ててくれるので、ここでは省略します。

パーティションのフォーマット

ブートパーティションはFAT32。

# mkfs.fat -F32 /dev/sda1
mkfs.fat 4.1 (2017-01-24)
# mkfs.fat -F32 /dev/sdb1
mkfs.fat 4.1 (2017-01-24)

そしてルートパーティション。いよいよ ZFS です。
参考文献：3 ディスクのフォーマット - ZFS に Arch Linux をインストール - ArchWiki

まず、ZFS モジュールがロードされていることを確認。
下記コマンドで、結果が何も表示されなければ成功です。わかりにくい…

# modprobe zfs

どうしても画面に反応が欲しいなら wc -l で出力行数を数えましょう。
0 だけが表示されれば成功です。問題があれば、エラーメッセージも表示される筈です。

# modprobe zfs | wc -l
0

zpool を作成します。
このzpoolの名前なんですが、ArchWikiにはzpoolと書いてあります。コマンド名と同じというのも混乱の元ですし、そもそもOracle製のマニュアルに書いてある実行例ではtankなんですよね。FreeNASもtankです。
という訳で、ArchWikiとは違いますがここではtankと名付けます。

そしてもう1点。
デバイスの指定にはidを使え、とArchWikiに書かれています。しかしデバイス名からidを取得するコマンドが無い。SCSI関係のコマンドで取得できるようですが。
ls -l /dev/disk/by-id を見ればわかるんですが、シンボリックリンク先が相対パスになっているのがまた残念。

特に今回は複数台のHDDでミラーリングしようと考えました。そうすると一行野郎でまとめるのは少々無理があります。出来ないとは言いませんが、無理をするより分かり易さを優先して、下記のように実行します。

まあ、目で見れば済む話ですが。ここまで面倒臭いコマンドを実行する理由は、いずれこれをスクリプトにまとめたいからです。その為の布石なのでした。

# cd /dev/disk/by-id
# for p in /dev/sda2 /dev/sdb2; do ls ata-* | while read d; do if [ "$(readlink -f $d)" = "$p" ]; then echo "/dev/disk/by-id/$d"; fi; done; done >/tmp/devices.txt
# cat /tmp/devices.txt
/dev/disk/by-id/ata-ST3320620AS_9QF4W7SD-part2
/dev/disk/by-id/ata-WDC_WD3200AAKS-00B3A0_WD-WCAT14603857-part2
# cat /tmp/devices.txt | xargs -t zpool create -f tank mirror
zpool create -f tank mirror /dev/disk/by-id/ata-ST3320620AS_9QF4W7SD-part2 /dev/disk/by-id/ata-WDC_WD3200AAKS-00B3A0_WD-WCAT14603857-part2
# zpool status
  pool: tank
 state: ONLINE
  scan: none requested
config:

        NAME                                                 STATE    READ WRITE CKSUM
        tank                                                 ONLINE      0     0     0
          mirror-0                                           ONLINE      0     0     0
            ata-ST3320620AS_9QF4W7SD-part2                   ONLINE      0     0     0
            ata-WDC_WD3200AAKS-00B3A0_WD-WCAT14603857-part2  ONLINE      0     0     0

errors: No known data errors

最後のエラー「No known data errors」は「既知のエラーは何も無い」という意味です。だったら「Success」とか「ok」とか表示してくれればいいのに…

また、今回はサブファイルシステムを作りません。/home や /var を個別のデータセットに分けるとか、やってみたいんですけどね。ローカル環境ではそこまでしなくてもいいかな、と。
ちなみにシステムディレクトリ（/home とか /var とか /usr とか）の為にデータセットを作成した場合には、色々と細かい設定があるようです。上述の参考文献に色々書いてありますので、必要ならば参照して下さい。

ルートファイルシステムに bootfs プロパティを設定します。

# zpool set bootfs=tank tank

プール tank をエクスポートして、インポートし直します。理由が良くわからないんですが、やれって書いてあるので。

# zpool export tank
# zpool import -d /dev/disk/by-id -R /mnt tank

ここで、マウントポイントの /mnt を確認します。/mnt の場合と /mnt/tank になっている場合があるようです。どうして2通りの結果になるのか、理由がわかりませんが。

# mount | grep tank
tank on /mnt/tank type zfs (rw,xattr,noacl)

今回は /mnt/tank でした。もし /mnt の場合は、以下の操作手順において /mnt/tank の個所を /mnt に読み替えて下さい。

最後に、新しいシステムに zpool.cache ファイルをコピーします。そしてイヤらしい事に、 /etc/zfs/zpool.cache は存在するんですが中身がありません。最初はこれに気付かなくてエライ目に遭いました。

# ls -l /etc/zfs/zpool.cache
-rw-r--r-- 1 root root 0 Jan 14 03:38 /etc/zfs/zpool.cache
# zpool set cachefile=/etc/zfs/zpool.cache tank
# ls -l /etc/zfs/zpool.cache
-rw-r--r-- 1 root root 1872 Jan 14 03:40 /etc/zfs/zpool.cache
# cp --parents /etc/zfs/zpool.cache /mnt/tank

bootパーティションのマウント

# mkdir /mnt/tank/boot
# mount /dev/sda1 /mnt/tank/boot

インターネットへの接続

ネットワーク環境が確立しているかどうか、外部へのpingによって確認します。

# ping -c2 archlinux.jp
PING archlinux.jp (160.16.119.98) 56(84) bytes of data.
64 bytes from tk2-235-27344.vs.sakura.ne.jp (160.16.119.98): icmp_seq=1 ttl=54 time=8.56 ms
64 bytes from tk2-235-27344.vs.sakura.ne.jp (160.16.119.98): icmp_seq=2 ttl=54 time=9.47 ms

--- archlinux.jp ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 2ms
rtt min/avg/max/mdev = 8.562/9.015/9.469/0.463 ms

システムクロックの更新

ntpサーバは自分で設定したい。日本なら ntp.nict.jp が鉄板です。特殊事情が無ければこの一択。システム推奨なんか知りませ～ん。

# cd /etc/systemd
# sed -i -e"s/^#NTP=.*$/NTP=ntp.nict.jp/" timesyncd.conf
# timedatectl set-ntp true
# timedatectl status
               Local time: Mon 2019-01-14 03:43:19 UTC
           Universal time: Mon 2019-01-14 03:43:19 UTC
                 RTC time: Mon 2019-01-14 03:43:19
                Time zone: UTC (UTC, +0000)
System clock synchronized: yes
              NTP service: active
          RTC in local TZ: no
# systemctl status systemd-timesyncd
  systemd-timesyncd.service - Network Time Synchronization
   Loaded: loaded (/usr/lib/systemd/system/systemd-timesyncd.service; enabled; vendor preset: enabled
   Active: active (running) since Mon 2019-01-14 03:43:14 UTC; 57s ago
     Docs: man:systemd-timesyncd.service(8)
 Main PID: 3316 (systemd-timesyn)
   Status: "Synchronized to time server 133.243.238.163:123 (ntp.nict.jp)."
    Tasks: 2 (limit: 4915)
   CGroup: /system.slice/systemd-timesyncd.service
           └─1458 /usr/lib/systemd/systemd-timesyncd

Jan 14 03:43:14 archiso systemd[1]: Starting Network Time Synchronization...
Jan 14 03:43:14 archiso systemd[1]: Started Network Time Synchronization.
Jan 14 03:43:15 archiso systemd-timesyncd[1458]: Synchronized to time server 133.243.238.244:123 (ntp.nict.jp).

インストール

ミラーの選択

日本ならJapanをリスト先頭に持ってきましょう。っていうか、Japanだけ抜き出しました。下手に編集などするよりもコマンドが簡単なので。

# cd /etc/pacman.d
# sed -i -ne"/^#.*Japan$/,+1 p" mirrorlist
# cat mirrorlist
## Japan
Server = http://ftp.jaist.ac.jp/pub/Linux/ArchLinux/$repo/os/$arch
## Japan
Server = http://mirrors.cat.net/archlinux/$repo/os/$arch
## Japan
Server = http://ftp.tsukuba.wide.ad.jp/Linux/archlinux/$repo/os/$arch

ベースシステムのインストール

BIOSブートに必要なパッケージも同時に落としてきます。ブートローダは、今回は syslinux を使ってみます。詳細は後述。

今時は、CPUのデバッグ用パッチもOSが面倒を見るらしい。その為のパッケージ intel-ucode も落としておきます。

ZFS関連パッケージも落とします。

とりあえず現時点で必要最小限のパッケージはこれだけ。他に必要なパッケージは、必要に迫られた時に追加する事にします。

# pacstrap /mnt/tank base intel-ucode linux-headers spl-dkms zfs-dkms syslinux
〈表示省略〉

システムの設定

fstab

# genfstab -U -p /mnt/tank >>/mnt/tank/etc/fstab
# cat /mnt/tank/etc/fstab
# Static information about the filesystems.
# See fstab(5) for details.

# <file system> <dir> <type> <options> <dump> <pass>
# tank
tank                    /               zfs           rw,xattr,noacl  0 0

# /dev/sda1
UUID=DABA-C6CB          /boot           vfat           rw,relatime,fmask=0022,dmask=0022,codepage=437,iocharset=iso8859-1,shortname=mixed,utf8,errors=remount-ro        0 2

hostid

zfsインストールに当たってはhostidが必要らしいです。ここで設定しておきましょう。
参考文献：最初に起動した後 - ZFS に Arch Linux をインストール - ArchWiki
ここに「/etc/hostid に hostid を書き出してから initramfs イメージを再生成する方法もあります」と書かれているので、その為の仕込みをします。

# ls /mnt/tank/etc/hostid
ls: cannot access '/mnt/tank/etc/hostid': No such file or directory
# hostid >/mnt/tank/etc/hostid

chroot、タイムゾーン

# arch-chroot /mnt/tank
# ln -fs /usr/share/zoneinfo/Japan /etc/localtime
# hwclock --systohc --utc

ロケール

# sed -i -e"s/^#\(ja_JP\)/\1/" /etc/locale.gen
# locale-gen
Generating locales...
  ja_JP.EUC-JP... done
  ja_JP.UTF-8... done
Generation complete.
# echo LANG=C >/etc/locale.conf
# echo KEYMAP=jp106 >/etc/vconsole.conf

日本語フォントが入っていない場合は LANG=C にしておきましょう。文字化けが非常に鬱陶しい事になります。

ホストネーム

マシンに名前を付けます。こういうのはセンスが出ますよね。なんて思うのは私だけ？

# echo 〈ホスト名〉 >/etc/hostname

Initramfs

zfs対応の為に /etc/mkinitcpio.conf を修正します。
もしも /usr のデータセットを別に作成した場合は zfs フックの後に usr フックが必要らしい。今回は作っていないので不要。
また、ext3 や ext4 のファイルシステムを使用する場合は、末尾に fsck フックを入れます。今回は zfs だけなので不要。

# sed -i -e"s/^HOOKS=.*$/HOOKS=(base udev autodetect modconf block keyboard zfs filesystems)/" /etc/mkinitcpio.conf

initramfsを再生成。

# mkinitcpio -p linux
〈表示省略〉
但し、途中で警告が出た:
==> WARNING: Possibly missing firmware for module: wd719x
==> WARNING: Possibly missing firmware for module: aic94xx
良くわからないが、ひとまず無視

　Rootパスワード

# passwd
New password: 〈root用パスワード〉
Retype new password: 〈root用パスワード〉
passwd: password updated successfully

ブートローダー

今回は syslinux を使いたい。いえ特別な理由は無いんですけど、GRUB はデカいという噂を時折耳にしますので。小さい事は良い事です。

参考文献：
- 1.2.1 自動インストール - 1.2 インストール - 1 BIOS 環境 - Syslinux - ArchWiki

# syslinux-install_update -i -a -m
Syslinux BIOS install successful
/usr/bin/syslinux-install_update: line 117: warning: command substitution: ignored null byte in input
Boot Flag Set - /dev/sda1
Installed MBR (/usr/lib/syslinux/bios/mbr.bin) to /dev/sda
# sfdisk -l /dev/sda
Disk /dev/sda: 298.1 GiB, 320072933376 bytes, 625142448 sectors
Disk model: ST3320620AS
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x5164dd3e

Device     Boot    Start       End   Sectors   Size Id Type
/dev/sda1  *        2048   1050623   1048576   512M 83 Linux
/dev/sda2        1050624 625142447 624091824 297.6G 83 Linux

syslinux の設定ファイルを弄ります。
なぜか /dev/sda3 をrootにしようとしてるので直したり、Intelのマイクロコードのアップデートを有効にしたり。

# cd /boot/syslinux
# cp syslinux.cfg syslinux.cfg.org
# vi syslinux.cfg
# diff -U3 syslinux.cfg{.org,}
--- syslinux.cfg.org    2019-01-14 14:06:28.000000000 +0900
+++ syslinux.cfg        2019-01-14 14:09:50.000000000 +0900
@@ -51,13 +51,15 @@
 LABEL arch
     MENU LABEL Arch Linux
     LINUX ../vmlinuz-linux
-    APPEND root=/dev/sda3 rw
+    APPEND zfs=tank rw
+    INITRD ../intel-ucode.img
     INITRD ../initramfs-linux.img

 LABEL archfallback
     MENU LABEL Arch Linux Fallback
     LINUX ../vmlinuz-linux
-    APPEND root=/dev/sda3 rw
+    APPEND zfs=tank rw
+    INITRD ../intel-ucode.img
     INITRD ../initramfs-linux-fallback.img

 #LABEL windows

これを /dev/sdb1 の方にも実施。

# cd /
# cp -pr /boot /tmp
# umount /boot
# mount /dev/sdb1 /boot
# cp -pr /tmp/boot/. /boot
# ls /boot
initramfs-linux-fallback.img  initramfs-linux.img  intel-ucode.img  syslinux  vmlinuz-linux
# syslinux-install_update -a -m
/usr/bin/syslinux-install_update: line 117: warning: command substitution: ignored null byte in input
Boot Flag Set - /dev/sdb1
Installed MBR (/usr/lib/syslinux/bios/mbr.bin) to /dev/sdb
# sfdisk -l /dev/sdb
Disk /dev/sda: 298.1 GiB, 320072933376 bytes, 625142448 sectors
Disk model: WDC WD3200AAKS-0
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xa3cc179b

Device     Boot    Start       End   Sectors   Size Id Type
/dev/sdb1  *        2048   1050623   1048576   512M 83 Linux
/dev/sdb2        1050624 625142447 624091824 297.6G 83 Linux

ネットワーク

NICのデバイス名についてですが。
systemdを使用すると、デバイス名を固定してくれるようです。

参考文献：CentOS 7のネットワーク名「enp1s0」という文字列の謎に迫る

従って面倒な設定は省きます。
とすると、やる事はDHCPクライアントの設定だけになります。

# cat >/etc/systemd/network/all.network <<-___
> [Match]
> Name=*
>
> [Network]
> DHCP=ipv4
> ___

ネットワークの有効化

# systemctl enable systemd-networkd
Created symlink /etc/systemd/system/dbus-org.freedesktop.network1.service → /usr/lib/systemd/system/systemd-networkd.service.
Created symlink /etc/systemd/system/multi-user.target.wants/systemd-networkd.service → /usr/lib/systemd/system/systemd-networkd.service.
Created symlink /etc/systemd/system/sockets.target.wants/systemd-networkd.socket → /usr/lib/systemd/system/systemd-networkd.socket.
Created symlink /etc/systemd/system/network-online.target.wants/systemd-networkd-wait-online.service → /usr/lib/systemd/system/systemd-networkd-wait-online.service.

なお /mnt/tank/etc/resolv.conf は arch-chroot によって /etc/resolv.conf に置き換えられているようです。そのため exit してから設定しないと、設定前の何も無い状態に書き戻されてしまいます。インストール手順としてちょっと歪な気がしますが、arch-chrootをexitした後にresolv.confを修正します。

# exit
exit
arch-chroot /mnt/tank  15.08s user 12.79s system 0% cpu 2:03.21.39 total
# cp --parents /etc/resolv.conf /mnt/tank
# vi /mnt/tank/etc/resolv.conf
〈必要に応じて修正〉

再起動

仮想マシンをシャットダウン。

# umount /mnt/tank/boot
# zfs umount -a
# zpool export tank
# shutdown -h now

そして、インストールメディアであるUSBメモリを外した後に電源を入れます。

最初に起動した後

ここまで問題が無ければ、再起動すると最初に syslinux のメニュー画面が表示されます。デフォルトの設定ですと5秒で自動的に先へ進みます。

rootログイン

rootユーザーでログインします。パスワードは先ほどpasswdコマンドで設定した通り。


Arch Linux 4.20.0-arch1-1-ARCH (tty1)

〈ホスト名〉 login: root
Password: 〈root用パスワード〉

ZFS の設定

# systemctl enable zfs.target
Created symlink /etc/systemd/system/multi-user.target.wants/zfs.target -> /usr/lib/systemd/system/zfs.target.
# zpool set cachefile=/etc/zfs/zpool.cache tank

最後の cachefile の設定は、自動でマウントさせたいプールごとに実行する必要があるとの事。今回は tank のみです。

念の為に shutdown -h now→電源入れ直して、再起動を確認できればOK。
も一つ念を入れて、再起動・ログイン後に ZFS を確認：

# mount | grep zfs
tank on / type zfs (rw,relatime,xattr,noacl)

やったね

俺様サーバー構築記 - ZFS の上に Arch Linux をインストール@デスクトップパソコン(BIOS)

インストールの準備

キーボード

コンソールフォント

起動モードの確認

パーティション

パーティションのフォーマット

bootパーティションのマウント

インターネットへの接続

システムクロックの更新

インストール

ミラーの選択

ベースシステムのインストール

システムの設定

fstab

hostid

chroot、タイムゾーン

ロケール

ホストネーム

Initramfs

Rootパスワード

ブートローダー

ネットワーク

再起動

最初に起動した後

rootログイン

ZFS の設定

　Rootパスワード