はじめに

いきなりタイトル詐欺のお知らせですが、DockerのvolumuをQNAPのISCSIへお引越しと記載している物の、正確にはサーバ上に新たにローカルディスクをくっつけて、そことQNAPのISCSIをRAID1させて、DockerのVolumeデータはそちらにお引越しとなります。
ちなみになんでこんな回りくどい構成にしているかというと、ただの浪漫です。

環境

環境はESXi上に構築しているUbuntuの最新版24.04のLTSを使用しています。

バージョン情報

コマンド

root@vm-omsrv01:~# cat /etc/os-release
PRETTY_NAME="Ubuntu 24.04 LTS"
NAME="Ubuntu"
VERSION_ID="24.04"
VERSION="24.04 LTS (Noble Numbat)"
VERSION_CODENAME=noble
ID=ubuntu
ID_LIKE=debian
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
UBUNTU_CODENAME=noble
LOGO=ubuntu-logo

肝心のディスクは枯渇の前兆が見え始めたので、早速対応していきます。

コマンド

root@vm-omsrv01:~# df -h /
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        49G   34G   13G  74% /

予め必要なパッケージのインストールをしておいてください。

コマンド

apt -y install parted mdadm

1.QNAP上でISCSIの作成

まずはQNAPの管理コンソールに管理者権限でログインし、「iSCSI & ファイバーチャネル」というアプリを立ち上げます。

セットアップウィザードが立ち上がるので、次へをクリックします。

続いてISCSIの名前を付ける項目です。後々の作業でサーバから確認するのでわかりやすい名前に変えておいた方がよいでしょう。

パスワード設定はここでは無しとしています。
必要な方は設定してください。

インターフェースについては、任意のものを使用してください。

内容に問題なければ適用をクリックしてください。

続いてストレージサイズの割り当てになります。

必要なサイズを割り当ててください。ここでは100GBとしています。

内容に問題なければ完了をクリックします。

5分ほど経つと作成が完了します。
以上がQNAPのNAS上からISCSIを作成する方法でした。

2.サーバに新しいディスクの追加作業

続いて、サーバにISCSIと同様に新しいディスクを100GB追加しました。

コマンド

root@vm-omsrv01:~# fdisk -l /dev/sdb
ディスク /dev/sdb: 100 GiB, 107374182400 バイト, 209715200 セクタ
Disk model: Virtual disk
単位: セクタ (1 * 512 = 512 バイト)
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

早速ディスクのフォーマット作業を行っていきます。
まずはローカルに追加したディスクのフォーマットを行ってきます。
今回100GB追加しましたが、興味本位で半分の50GBのみ割り当てを行っていきます。

コマンド

root@vm-omsrv01:~# parted --script /dev/sdb "mklabel gpt"
root@vm-omsrv01:~# parted --script /dev/sdb "mkpart primary 0GB 50GB"
root@vm-omsrv01:~# parted --script /dev/sdb "set 1 raid on"
root@vm-omsrv01:~# fdisk -l /dev/sdb*
ディスク /dev/sdb: 100 GiB, 107374182400 バイト, 209715200 セクタ
Disk model: Virtual disk
単位: セクタ (1 * 512 = 512 バイト)
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
ディスクラベルのタイプ: gpt
ディスク識別子: 849D01CD-8E18-4CFA-8709-0C6F9FB2B72C

デバイス   開始位置 最後から   セクタ サイズ タイプ
/dev/sdb1      2048 97656831 97654784  46.6G Linux RAID


ディスク /dev/sdb1: 46.57 GiB, 49999249408 バイト, 97654784 セクタ
単位: セクタ (1 * 512 = 512 バイト)
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

続いてISCSIのディスクも作業していきます。
フォーマット系のコマンドはローカルディスクの時と同じですが、ISCSIの認識作業もあるのでまずはそちらから実施していきます。

コマンド

root@vm-omsrv01:~# # ターゲットを検出
root@vm-omsrv01:~# iscsiadm -m discovery -t sendtargets -p 192.168.179.15 | grep 192.168.179.15
192.168.179.15:3260,1 omsrv-vol
root@vm-omsrv01:~#
root@vm-omsrv01:~# # 対象のISCSIへログイン
root@vm-omsrv01:~# iscsiadm -m node -T omsrv-vol -p 192.168.179.15 --login
Logging in to [iface: default, target: omsrv-vol, portal: 192.168.179.15,3260]
Login to [iface: default, target: omsrv-vol, portal: 192.168.179.15,3260] successful.
root@vm-omsrv01:~#
root@vm-omsrv01:~# # ログイン確認
root@vm-omsrv01:~# iscsiadm -m session -o show
tcp: [1] 192.168.179.15:3260,1 omsrv-vol (non-flash)
root@vm-omsrv01:~#
root@vm-omsrv01:~# # 対象ISCSIへの自動起動設定確認(事前)
root@vm-omsrv01:~# iscsiadm -m node -T omsrv-vol -o show | grep node.startup
node.startup = manual
node.startup = manual
node.startup = manual
root@vm-omsrv01:~#
root@vm-omsrv01:~# # 対象ISCSIへの自動起動設定の反映
root@vm-omsrv01:~# iscsiadm -m node -T omsrv-vol -o update -n node.startup -v automatic
root@vm-omsrv01:~#
root@vm-omsrv01:~# # 対象ISCSIへの自動起動設定確認(事後)
root@vm-omsrv01:~# iscsiadm -m node -T omsrv-vol -o show | grep node.startup
node.startup = automatic
node.startup = automatic
node.startup = automatic

続いてディスクのフォーマットをしていきます。

コマンド

root@vm-omsrv01:~# parted --script /dev/sdc "mklabel gpt"
root@vm-omsrv01:~# parted --script /dev/sdc "mkpart primary 0GB 50GB"
root@vm-omsrv01:~# parted --script /dev/sdc "set 1 raid on"
root@vm-omsrv01:~# fdisk -l /dev/sdc*
ディスク /dev/sdc: 100 GiB, 107374182400 バイト, 209715200 セクタ
Disk model: iSCSI Storage
単位: セクタ (1 * 512 = 512 バイト)
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O サイズ (最小 / 推奨): 512 バイト / 8388608 バイト
ディスクラベルのタイプ: gpt
ディスク識別子: E00E3A9A-FFED-483F-B5EE-41806108716D

デバイス   開始位置 最後から   セクタ サイズ タイプ
/dev/sdc1     16384 97648639 97632256  46.6G Linux RAID


ディスク /dev/sdc1: 46.55 GiB, 49987715072 バイト, 97632256 セクタ
単位: セクタ (1 * 512 = 512 バイト)
セクタサイズ (論理 / 物理): 512 バイト / 512 バイト
I/O サイズ (最小 / 推奨): 512 バイト / 8388608 バイト

「/proc/partitions」を確認して、デバイスが認識されているか見てみます。

コマンド

# Linuxシステムで現在認識されているすべてのディスクデバイスとそのパーティションを表示
root@vm-omsrv01:~# cat /proc/partitions | egrep "major|sd[bc]"
major minor  #blocks  name
   8       16  104857600 sdb
   8       17   48827392 sdb1
   8       32  104857600 sdc
   8       33   48816128 sdc1

3.RAID1の構築

2本のディスクが出来ましたので、早速RAID1の構築をしていきます。
「sdb1」と「sdc1」のデバイスを使用して「md0」というraid1を作っていきます。
「cat /proc/mdstat」を実行した際に、syncが完了していれば構築完了のようです。

コマンド

root@vm-omsrv01:~# mdadm --create /dev/md0 --level=raid1 --raid-devices=2 /dev/sdb1 /dev/sdc1
mdadm: Note: this array has metadata at the start and
    may not be suitable as a boot device.  If you plan to
    store '/boot' on this device please ensure that
    your boot-loader understands md/v1.x metadata, or use
    --metadata=0.90
Continue creating array? y
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md0 started.
root@vm-omsrv01:~#
root@vm-omsrv01:~# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdc1[1] sdb1[0]
      48782336 blocks super 1.2 [2/2] [UU]
      [>....................]  resync =  2.0% (985472/48782336) finish=11.3min speed=70390K/sec

unused devices: <none>
root@vm-omsrv01:~#
root@vm-omsrv01:~# cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 sdc1[1] sdb1[0]
      48782336 blocks super 1.2 [2/2] [UU]

unused devices: <none>

ディスクの同期が完了したら、早速フォーマットしてOSにマウントしましょう。今回はext4でフォーマットしていきます。

コマンド

root@vm-omsrv01:~# mkfs.ext4 /dev/md0
mke2fs 1.47.0 (5-Feb-2023)
Creating filesystem with 12195584 4k blocks and 3049648 inodes
Filesystem UUID: ea2b8a20-c34e-41b8-8263-cb819b601dd8
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424

Allocating group tables: done
Writing inode tables: done
Creating journal (65536 blocks): done
Writing superblocks and filesystem accounting information: done
root@vm-omsrv01:~#
root@vm-omsrv01:~# mount /dev/md0 /mnt/docker_volume
root@vm-omsrv01:~#
root@vm-omsrv01:~# df -h /mnt/docker_volume
Filesystem      Size  Used Avail Use% Mounted on
/dev/md0         46G   24K   44G   1% /mnt/docker_volume

手動でマウントできることを確認したら、fstabに記載し自動マウントさせるようにしましょう。

コマンド

root@vm-omsrv01:~# umount /mnt/docker_volume
root@vm-omsrv01:~# df -h /mnt/docker_volume
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda2        49G   34G   13G  74% /
root@vm-omsrv01:~#
root@vm-omsrv01:~# blkid | grep md
/dev/md0: UUID="ea2b8a20-c34e-41b8-8263-cb819b601dd8" BLOCK_SIZE="4096" TYPE="ext4"
root@vm-omsrv01:~#
root@vm-omsrv01:~# echo "/dev/disk/by-uuid/ea2b8a20-c34e-41b8-8263-cb819b601dd8 /mnt/docker_volume  ext4 defaults 0 0" >> /etc/fstab
root@vm-omsrv01:~# systemctl daemon-reload
root@vm-omsrv01:~# mount -a
root@vm-omsrv01:~# df -h /mnt/docker_volume
Filesystem      Size  Used Avail Use% Mounted on
/dev/md0         46G   24K   44G   1% /mnt/docker_volume

4.DockerのVolume領域の引っ越し

新しいraidの領域もできたので、早速DockerのVolume領域のデータを移行しましょう。
まずはDocker関連のサービスを停止します。

コマンド

root@vm-omsrv01:~# systemctl stop docker
root@vm-omsrv01:~# systemctl stop docker.socket

rsyncで同期させる前の状態を確認します。

コマンド

root@vm-omsrv01:/# ls -l /var/lib/docker /mnt/docker_volume
/mnt/docker_volume:
合計 16
drwx------ 2 root root 16384  8月 24 01:24 lost+found

/var/lib/docker:
合計 60
drwx--x--x   5 root root  4096  8月  2 16:11 buildkit
drwx--x---  13 root root  4096  8月 23 23:05 containers
-rw-------   1 root root    36  8月  2 15:46 engine-id
drwx------   3 root root  4096  8月  2 15:46 image
drwxr-x---   3 root root  4096  8月  2 15:46 network
drwx--x--- 171 root root 20480  8月 23 23:05 overlay2
drwx------   4 root root  4096  8月  2 15:46 plugins
drwx------   2 root root  4096  8月 23 13:44 runtimes
drwx------   5 root root  4096  8月 23 13:45 swarm
drwx------   2 root root  4096  8月 23 13:45 tmp
drwx-----x  11 root root  4096  8月 23 13:44 volumes

rsyncで同期させていきます。標準出力で大量にファイル名が出るので注意してください。

コマンド

root@vm-omsrv01:~# rsync -ahv /var/lib/docker/ /mnt/docker_volume/
xxx/
xxx/_data/
xxx/_data/config

sent 18.80G bytes  received 7.01M bytes  15.26M bytes/sec
total size is 18.77G  speedup is 1.00

事後の状態を見るときちんと同期されていそうです。

コマンド

root@vm-omsrv01:~# ls -l /var/lib/docker /mnt/docker_volume
/mnt/docker_volume:
合計 76
drwx--x--x   5 root root  4096  8月  2 16:11 buildkit
drwx--x---  13 root root  4096  8月 23 23:05 containers
-rw-------   1 root root    36  8月  2 15:46 engine-id
drwx------   3 root root  4096  8月  2 15:46 image
drwx------   2 root root 16384  8月 24 01:24 lost+found
drwxr-x---   3 root root  4096  8月  2 15:46 network
drwx--x--- 171 root root 20480  8月 23 23:05 overlay2
drwx------   4 root root  4096  8月  2 15:46 plugins
drwx------   2 root root  4096  8月 23 13:44 runtimes
drwx------   5 root root  4096  8月 23 13:45 swarm
drwx------   2 root root  4096  8月 23 13:45 tmp
drwx-----x  11 root root  4096  8月 23 13:44 volumes

/var/lib/docker:
合計 60
drwx--x--x   5 root root  4096  8月  2 16:11 buildkit
drwx--x---  13 root root  4096  8月 23 23:05 containers
-rw-------   1 root root    36  8月  2 15:46 engine-id
drwx------   3 root root  4096  8月  2 15:46 image
drwxr-x---   3 root root  4096  8月  2 15:46 network
drwx--x--- 171 root root 20480  8月 23 23:05 overlay2
drwx------   4 root root  4096  8月  2 15:46 plugins
drwx------   2 root root  4096  8月 23 13:44 runtimes
drwx------   5 root root  4096  8月 23 13:45 swarm
drwx------   2 root root  4096  8月 23 13:45 tmp
drwx-----x  11 root root  4096  8月 23 13:44 volumes

最後にDockerのデータ領域のデフォルトの向き先を変更するため、「/etc/docker/daemon.json」を修正します。

コマンド

root@vm-omsrv01:~# cat /etc/docker/daemon.json
{
+  "data-root": "/mnt/docker_volume"
}

コマンド

root@vm-omsrv01:~# systemctl start docker.socket
root@vm-omsrv01:~# systemctl start docker.service
root@vm-omsrv01:~# systemctl status docker
● docker.service - Docker Application Container Engine
     Loaded: loaded (/usr/lib/systemd/system/docker.service; enabled; preset: enabled)
    Drop-In: /etc/systemd/system/docker.service.d
             mqoverride.conf
     Active: active (running) since Sat 2024-08-24 01:57:55 JST; 23s ago
TriggeredBy: ● docker.socket
       Docs: https://docs.docker.com
   Main PID: 136453 (dockerd)
      Tasks: 9
     Memory: 26.9M (peak: 27.2M)
        CPU: 241ms
     CGroup: /system.slice/docker.service
             mq136453 /usr/bin/dockerd

lsやdocker psで確認してみると、新しい向き先の領域のファイルが更新され、dockerのプロセスも無事以前の状態を引き継いで起動したようです！

コマンド

root@vm-omsrv01:~# ls -l /var/lib/docker /mnt/docker_volume
/mnt/docker_volume:
合計 76
drwx--x--x   5 root root  4096  8月  2 16:11 buildkit
drwx--x---  13 root root  4096  8月 23 23:05 containers
-rw-------   1 root root    36  8月  2 15:46 engine-id
drwx------   3 root root  4096  8月  2 15:46 image
drwx------   2 root root 16384  8月 24 01:24 lost+found
drwxr-x---   3 root root  4096  8月  2 15:46 network
drwx--x--- 171 root root 20480  8月 24 10:50 overlay2
drwx------   4 root root  4096  8月  2 15:46 plugins
drwx------   2 root root  4096  8月 24 10:50 runtimes
drwx------   5 root root  4096  8月 24 10:50 swarm
drwx------   2 root root  4096  8月 24 10:50 tmp
drwx-----x  11 root root  4096  8月 24 10:50 volumes

/var/lib/docker:
合計 60
drwx--x--x   5 root root  4096  8月  2 16:11 buildkit
drwx--x---  13 root root  4096  8月 23 23:05 containers
-rw-------   1 root root    36  8月  2 15:46 engine-id
drwx------   3 root root  4096  8月  2 15:46 image
drwxr-x---   3 root root  4096  8月  2 15:46 network
drwx--x--- 171 root root 20480  8月 23 23:05 overlay2
drwx------   4 root root  4096  8月  2 15:46 plugins
drwx------   2 root root  4096  8月 23 13:44 runtimes
drwx------   5 root root  4096  8月 23 13:45 swarm
drwx------   2 root root  4096  8月 23 13:45 tmp
drwx-----x  11 root root  4096  8月 23 13:44 volumes
root@vm-omsrv01:~#
root@vm-omsrv01:~# docker ps
CONTAINER ID   IMAGE                                COMMAND                   CREATED        STATUS                             PORTS                                                                                                                   NAMES
9d5cb5642f7c   openvpn-openvpn-udp                  "/usr/local/bin/set-…"   18 hours ago   Up 10 seconds                      0.0.0.0:1194->1194/udp, :::1194->1194/udp                                                                               openvpn-udp
8eeaf130261b   jc21/nginx-proxy-manager:latest      "/init"                   20 hours ago   Up 13 seconds                      0.0.0.0:80-81->80-81/tcp, :::80-81->80-81/tcp, 0.0.0.0:443->443/tcp, :::443->443/tcp                                    nginx-proxy
f3cb3a49c05c   jc21/mariadb-aria:latest             "/scripts/run.sh"         20 hours ago   Up 10 seconds                      3306/tcp                                                                                                                nginx-proxy-database
bc531f0aa2cd   gitlab/gitlab-ce:latest              "/assets/wrapper"         20 hours ago   Up 10 seconds (health: starting)   0.0.0.0:2422->22/tcp, :::2422->22/tcp, 0.0.0.0:9080->80/tcp, :::9080->80/tcp, 0.0.0.0:9443->443/tcp, :::9443->443/tcp   gitlab-web-1
ea222ed93033   4km3/dnsmasq                         "/usr/sbin/dnsmasq -k"    20 hours ago   Up 9 seconds                       0.0.0.0:53->53/tcp, 0.0.0.0:53->53/udp, :::53->53/tcp, :::53->53/udp                                                    dnsmasq-dnsmasq-1
134c3389c1bf   kindest/node:v1.29.0                 "/usr/local/bin/entr…"   2 weeks ago    Up 10 seconds                      127.0.0.1:37429->6443/tcp                                                                                               kind-control-plane

最後に

今回実施してみたのは結構試験的な所もあり、恐らくNASのHDDや1000ASE-Tが後々ボトルネックになりそうな気もしているので、完全SSD化や2.5GBASE-Tなどのハードウェアの補強も必要だと感じる今日この頃でした。
早く冬のボーナス欲しい…。

参考サイト

・RAID 1 を構成する
https://www.server-world.info/query?os=Ubuntu_24.04&p=raid1

・iSCSI イニシエーターの設定
https://www.server-world.info/query?os=Ubuntu_24.04&p=iscsi&f=3