はじめに

3台のUbuntu22.04で、Cephのクラスタを構築して、NFSでクライアントのUbuntu22.04からマウントしてRead/Writeのパフォーマンスを計測してみたいな。。。

基本的なCephクラスタの構築と、NFSでのマウントをしてみたメモ

前提

Ubuntu22.04 x 3 でクラスタを構築
- 192.168.120.141 ct1
- 192.168.120.142 ct2
- 192.168.120.143 ct3
Ubuntu22.04 のクライアントで、NFS経由でマウント
- 192.168.120.144 ct4
NFSマウントしたディスクのパフォーマンスを計測

手順

Cephのクラスタ構築

以下の手順はすべてのクラスタノードで行います

hostsファイルの設定

クラスタのメンバーをhostsファイルに登録します

192.168.120.141 ct1
192.168.120.142 ct2
192.168.120.143 ct3
192.168.120.144 ct4

Cephのインストール

sudo apt update
sudo apt install -y cephadm

sshdの設定

Ubuntuではデフォルトの設定ではrootによるログインはできないようになっているので許可します。
PermitRootLogin yesの記述を、/etc/ssh/sshd_configに追記します。
その後、sudo systemctl restart sshd で設定を読み込ませます。

#PermitRootLogin prohibit-password
PermitRootLogin yes

クラスタのブートストラップ

以下の手順は、adminノードとなる、ct1 で行います。

$ sudo cephadm bootstrap --mon-ip 192.168.120.141
Verifying podman|docker is present...
Verifying lvm2 is present...
Verifying time synchronization is in place...
Unit systemd-timesyncd.service is enabled and running
Repeating the final host check...
docker (/usr/bin/docker) is present
systemctl is present
lvcreate is present
Unit systemd-timesyncd.service is enabled and running
Host looks OK
  :
  :
Ceph Dashboard is now available at:

    URL: https://ct1:8443/
    User: admin
  :
  :
Bootstrap complete.

ブートストラップが完了したので、Cephのステータスを確認します。設定が完了していないので、HEALTH_WARNが表示されますが、続けます。

$ sudo cephadm shell -- ceph status
Inferring fsid 27cba866-476b-11ef-8d08-757740329b50
Inferring config /var/lib/ceph/27cba866-476b-11ef-8d08-757740329b50/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
  cluster:
    id:     27cba866-476b-11ef-8d08-757740329b50
    health: HEALTH_WARN
            OSD count 0 < osd_pool_default_size 3

  services:
    mon: 1 daemons, quorum ct1 (age 3m)
    mgr: ct1.kkgdsb(active, since 28s)
    osd: 0 osds: 0 up, 0 in

  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

ブートストラップで表示されていたURLへUser/Passwordでログインできることも確認します。

OSDで利用できるデバイスの確認を行います

$ sudo cephadm shell -- ceph orch device ls
Inferring fsid 27cba866-476b-11ef-8d08-757740329b50
Inferring config /var/lib/ceph/27cba866-476b-11ef-8d08-757740329b50/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
HOST  PATH      TYPE  DEVICE ID                   SIZE  AVAILABLE  REFRESHED  REJECT REASONS  
ct1   /dev/sdb  hdd   QEMU_HARDDISK_drive-scsi1  10.0G  Yes        64s ago

/dev/sdb が利用可能なので追加します。

$ sudo cephadm shell -- ceph orch daemon add osd ct1:/dev/sdb
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
Created osd(s) 0 on host 'ct1'

追加された内容を確認します。

$ sudo cephadm shell -- ceph osd tree
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
ID  CLASS  WEIGHT   TYPE NAME      STATUS  REWEIGHT  PRI-AFF
-1         0.00980  root default                            
-3         0.00980      host ct1                            
 0    hdd  0.00980          osd.0      up   1.00000  1.00000

クラスタへのホストの追加

/etc/ceph/ceph.pub の内容を、各ホストのrootユーザの .ssh/authorized_keys に追加します。
ct1 でブートストラップを行ったので、すでにrootユーザの .ssh/authorized_keys には追加されています。ct2, ct3 で追加を行います。

その後、以下の手順をct1で行います。

ct2 をクラスタへ追加します。

$ sudo cephadm shell -- ceph orch host add ct2 192.168.120.142
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
Added host 'ct2' with addr '192.168.120.142'

ct3 をクラスタへ追加します。

$ sudo cephadm shell -- ceph orch host add ct3 192.168.120.143
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
Added host 'ct3' with addr '192.168.120.143'

追加されたホストを確認します。

$ sudo cephadm shell -- ceph orch host ls
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
HOST  ADDR             LABELS  STATUS  
ct1   192.168.120.141  _admin          
ct2   192.168.120.142                  
ct3   192.168.120.143                  
3 hosts in cluster

ct1 と同様に、ct2とct3で、OSDの追加を行います。クラスタの設定が完了しているので、ct2とct3のOSDはct1から追加可能です。

$ sudo cephadm shell -- ceph orch device ls
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
HOST  PATH      TYPE  DEVICE ID                   SIZE  AVAILABLE  REFRESHED  REJECT REASONS                                                           
ct1   /dev/sdb  hdd   QEMU_HARDDISK_drive-scsi1  10.0G  No         2m ago     Has a FileSystem, Insufficient space (<10 extents) on vgs, LVM detected  
ct3   /dev/sdb  hdd   QEMU_HARDDISK_drive-scsi1  10.0G  Yes        22s ago
$ sudo cephadm shell -- ceph orch daemon add osd ct3:/dev/sdb
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
Created osd(s) 1 on host 'ct3'
  :
  :
$ sudo cephadm shell -- ceph orch daemon add osd ct3:/dev/sdb
  :
  :
$ sudo cephadm shell -- ceph orch device ls
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
HOST  PATH      TYPE  DEVICE ID                   SIZE  AVAILABLE  REFRESHED  REJECT REASONS                                                           
ct1   /dev/sdb  hdd   QEMU_HARDDISK_drive-scsi1  10.0G  No         9m ago     Has a FileSystem, Insufficient space (<10 extents) on vgs, LVM detected  
ct2   /dev/sdb  hdd   QEMU_HARDDISK_drive-scsi1  10.0G  No         13s ago    Has a FileSystem, Insufficient space (<10 extents) on vgs, LVM detected  
ct3   /dev/sdb  hdd   QEMU_HARDDISK_drive-scsi1  10.0G  No         6m ago     Has a FileSystem, Insufficient space (<10 extents) on vgs, LVM detected
$ sudo cephadm shell -- ceph osd tree
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
ID  CLASS  WEIGHT   TYPE NAME      STATUS  REWEIGHT  PRI-AFF
-1         0.02939  root default                            
-3         0.00980      host ct1                            
 0    hdd  0.00980          osd.0      up   1.00000  1.00000
-7         0.00980      host ct2                            
 2    hdd  0.00980          osd.2      up   1.00000  1.00000
-5         0.00980      host ct3                            
 1    hdd  0.00980          osd.1      up   1.00000  1.00000

ステータスで、問題がないことを確認します。

$ sudo cephadm shell -- ceph status
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC

quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
  cluster:
    id:     dea53f62-4774-11ef-9306-31f86fedd53e
    health: HEALTH_OK
  services:
    mon: 3 daemons, quorum ct1,ct2,ct3 (age 2m)
    mgr: ct1.xnsnuz(active, since 59m), standbys: ct2.edmzbz
    osd: 3 osds: 3 up (since 94s), 3 in (since 116s)
  data:
    pools:   1 pools, 1 pgs
    objects: 2 objects, 577 KiB
    usage:   873 MiB used, 29 GiB / 30 GiB avail
    pgs:     1 active+clean

CephFSの作成

CephFSを作成して、ステータスを確認します。

$ sudo cephadm shell -- ceph fs volume create ctcephfs
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
$ sudo cephadm shell -- ceph fs status
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
ctcephfs - 0 clients
========
RANK  STATE           MDS             ACTIVITY     DNS    INOS   DIRS   CAPS  
 0    active  ctcephfs.ct3.imtgwz  Reqs:    0 /s    10     13     12      0   
        POOL            TYPE     USED  AVAIL  
cephfs.ctcephfs.meta  metadata  96.0k  9432M  
cephfs.ctcephfs.data    data       0   9432M  
    STANDBY MDS      
ctcephfs.ct2.jxafvw  
MDS version: ceph version 17.2.7 (b12291d110049b2f35e32e0de30d70e9a4c060d2) quincy (stable)

NFS-Ganeshaの設定

CephにNFS経由でアクセスする場合、nfs-ganeshaを利用します。以下の手順は ct1 で行います。

NFS-Ganeshaのインストール

$ sudo apt install nfs-ganesha nfs-ganesha-ceph

シークレットキーの取得

$ sudo cephadm shell -- ceph auth get-key client.admin
Inferring fsid dea53f62-4774-11ef-9306-31f86fedd53e
Inferring config /var/lib/ceph/dea53f62-4774-11ef-9306-31f86fedd53e/mon.ct1/config
Using ceph image with id 'ff4519c9e0a2' and tag 'v17' created on 2024-05-21 16:09:44 +0000 UTC
quay.io/ceph/ceph@sha256:d26c11e20773704382946e34f0d3d2c0b8bb0b7b37d9017faa9dc11a0196c7d9
*************** secret ****************

NFS-Ganeshaの設定ファイルを編集

/etc/ganesha/ganesha.conf

EXPORT
{
    Export_ID=1;  # 識別子。必要に応じて変更
    Path = "/";  # エクスポートするCephFSのパス。通常は"/"
    Pseudo = "/cephfs";  # NFSクライアントがマウントするパス。この例では"/cephfs"
    Access_Type = RW;  # 読み書き可能な設定
    Squash = No_Root_Squash;  # Root権限のSquash設定。必要に応じて変更
    Attr_Expiration_Time = 0;  # 属性のキャッシュ時間。0はキャッシュしない設定
    FSAL {
        Name = CEPH;  # CephFSを使用するためのFSALモジュール
        User_Id = "admin";  # CephクラスターにアクセスするユーザーID。管理者のユーザー名に変更
        Secret_Access_Key = "*************** secret ****************";  # Cephユーザーのシークレットキー。対応するシークレットキーに変更。ceph auth get-keyで取得。
        Ceph_Cluster = "ceph";  # Cephクラスター名。通常は"ceph"
    }
    CLIENT {
        Clients = *;  # クライアントのIPアドレスまたはネットワーク。例: "192.168.1.0/24"。すべてのクライアントにアクセスを許可する場合は"*"
        Access_Type = RW;  # クライアントのアクセス権。読み書き可能な設定
    }
}

NFS-Ganeshaの再起動

設定を反映させるため、サービスを再起動します。

sudo systemctl restart nfs-ganesha

マウントリストの確認

NFSが公開されているか確認します。

$ showmount -e localhost
Export list for localhost:
/ *

クライアントからのNFSマウント

以下の手順はクライアントである、ct4 上で行います。

NFSクライアントのインストール

$ sudo apt update
$ sudo apt install nfs-common

NFS共有のマウント

NFS-Ganeshaが動作しているサーバーのIPアドレスを使用して、NFS共有をマウントします。

マウントディレクトリの作成

sudo mkdir -p /mnt/cephfs

マウント

$ sudo mount -t nfs 192.168.120.141:/cephfs /mnt/cephfs

確認

$ df -h
Filesystem                         Size  Used Avail Use% Mounted on
tmpfs                               96M  1.1M   95M   2% /run
/dev/mapper/ubuntu--vg-ubuntu--lv   38G  4.9G   32G  14% /
  :
  :
192.168.120.141:/cephfs            9.3G     0  9.3G   0% /mnt

CephFSをNFSマウントしたパフォーマンス

作業ディレクトリを作成

$ sudo mkdir -p /mnt/cephfs/ptest
$ cd /mnt/cephfs/ptest

パフォーマンスの計測

dd で、1GBを書き込みしてみます。この環境では45.8MB/sぐらいでているようです。

$ sudo dd if=/dev/zero of=/mnt/cephfs/ptest/test.dat bs=10M count=100 status=progress
1048576000 bytes (1.0 GB, 1000 MiB) copied, 22 s, 48.5 MB/s
100+0 records in
100+0 records out
1048576000 bytes (1.0 GB, 1000 MiB) copied, 22.8911 s, 45.8 MB/s

f3 で、3GBを書き込みして、読込してみます。この環境では、Write 36.14MB/s、Read 104.51MB/s ぐらいでているようです。

$ sudo f3write . --end-at=3
F3 write 8.0
Copyright (C) 2010 Digirati Internet LTDA.
This is free software; see the source for copying conditions.

Free space: 9.20 GB
Creating file 1.h2w ... OK!                         
Creating file 2.h2w ... OK!                         
Creating file 3.h2w ... OK!                        
Free space: 6.37 GB
Average writing speed: 36.14 MB/s
dev@ubuntu04:/mnt/cephfs/ptest$ sudo f3read .
F3 read 8.0
Copyright (C) 2010 Digirati Internet LTDA.
This is free software; see the source for copying conditions.

                  SECTORS      ok/corrupted/changed/overwritten
Validating file 1.h2w ... 2097152/        0/      0/      0
Validating file 2.h2w ... 2097152/        0/      0/      0
Validating file 3.h2w ... 2097152/        0/      0/      0

  Data OK: 3.00 GB (6291456 sectors)
Data LOST: 0.00 Byte (0 sectors)
           Corrupted: 0.00 Byte (0 sectors)
    Slightly changed: 0.00 Byte (0 sectors)
         Overwritten: 0.00 Byte (0 sectors)
Average reading speed: 104.51 MB/s

さいごに

かんたんでしたね

参考リンク