さっそくやってみます。

vFilOの準備と確認

IPアドレスの確認

まずはvFilO側の確認。
Cluster floating IPs: [192.168.4.200/24, 10.10.107.200/21]
この行のIPでマウントします。2個目のアドレスはマネジメントなので使いません。

admin@anvil3.datacore.jp> cluster-view
ID:                                        （削除）
Name:                                      CLUSTER3
State:                                     High Availability
IP:                                        10.10.107.200/21
Cluster floating IPs:                      [192.168.4.200/24, 10.10.107.200/21]
Portal floating IPs:                       [192.168.5.200/24]
Since:                                     2019-12-04 08:27:26 UTC
Timezone:                                  Asia/Tokyo
VVOL support:                              true
EULA accepted date:                        2019-12-04 08:29:26 UTC
Online activation support:                 true
License expiration date:                   2020-01-03 08:27:26 UTC
NAS volume capacity:                       [Total: 959.7GB, Used: 6.8GB, Free: 952.9GB]
Share space (quota):                       [Total: 1TB, Used: 0B, Free: 1TB]
Data directors:
                         [Object type: DATA_SPHERE, Node name: anvil4.datacore.jp, Role: SECONDARY, Oper state: UP, Admin state: UP]
                         [Object type: DATA_SPHERE, Node name: anvil3.datacore.jp, Role: PRIMARY, Oper state: UP, Admin state: UP]

admin@anvil3.datacore.jp>

今回の構成とノード一覧

ちなみに今回のクラスターはAnvilのメタデータはVNMeを、DSXのデータは生SSDをパスするーでアタッチしています。
ネットワークインターフェイスは全てSR-IOVで25Gb NICのVFを直接見せています。vSwitchは通していません。

admin@anvil3.datacore.jp> node-list
total 6
Name:                    anvil4.datacore.jp
Type:                    Product
Internal ID:             1073741829
ID:                      f0b912a2-4a39-5a6a-98e3-57fd9b371664
HW state:                OK
Node state:              MANAGED
Node mode:               ONLINE
Management IP:           10.10.107.204/21
SW version:              4.2.1-41

Name:                    anvil3.datacore.jp
Type:                    Product
Internal ID:             1073741832
ID:                      be9d4b3a-3db8-5231-abda-f551a9481425
HW state:                OK
Node state:              MANAGED
Node mode:               ONLINE
Management IP:           10.10.107.203/21
SW version:              4.2.1-41

Name:                    dsx1-1.datacore.jp
Type:                    Product
Internal ID:             1073741836
ID:                      eb6da562-672f-5a0e-a2aa-7793bfad5ce4
HW state:                OK
Node state:              MANAGED
Node mode:               ONLINE
Management IP:           10.10.107.211/21
SW version:              4.2.1-41

Name:                    dsx2-1.datacore.jp
Type:                    Product
Internal ID:             1073741840
ID:                      b460f7e9-19b5-5d2f-b9e7-765d60468438
HW state:                OK
Node state:              MANAGED
Node mode:               ONLINE
Management IP:           10.10.107.221/21
SW version:              4.2.1-41

Name:                    dsx1-2.datacore.jp
Type:                    Product
Internal ID:             1073741845
ID:                      04ef7678-a610-52ff-8fda-873c5cbfc4ab
HW state:                OK
Node state:              MANAGED
Node mode:               ONLINE
Management IP:           10.10.107.212/21
SW version:              4.2.1-41

Name:                    dsx2-2.datacore.jp
Type:                    Product
Internal ID:             1073741861
ID:                      035fead9-9f57-5be7-9de9-48db15f81990
HW state:                OK
Node state:              MANAGED
Node mode:               ONLINE
Management IP:           10.10.107.222/21
SW version:              4.2.1-41

Shareの確認

GUIで適当に作ります。今回はshare1にしました。

確認コマンド

admin@anvil3.datacore.jp> share-list --name share1
ID:                         9eb6084e-98d1-4995-a2c1-1d1385476f76
Name:                       share1
Internal ID:                2
State:                      PUBLISHED
Path:                       /share1
All applied objectives:
                         [ID: be321c5e-0edd-4e4d-8fff-2406daa87c52, Internal ID: 536870912, Name: keep-online]
                         [ID: 3b0e981f-6f21-4b5a-80fa-d7f94681bb9c, Internal ID: 536870914, Name: optimize-for-capacity]
                         [ID: d45d8170-44ae-4b99-8b85-e935d9f3fcc6, Internal ID: 536870915, Name: delegate-on-open]
                         [ID: bc945b58-e3d7-4cac-9f29-0387a6dde0bc, Internal ID: 536870916, Name: layout-get-on-open]
                         [ID: 5d30faed-b46a-4a0a-9db3-b2c3a3734be9, Internal ID: 536870918, Name: durability-1-nine]
                         [ID: 0b0e149d-3bf2-46dc-b2f6-5dc767f1ec38, Internal ID: 536870922, Name: availability-1-nine]
                         [ID: 0e685071-2730-4cda-96dc-705edb321bf7, Internal ID: 536870919, Name: durability-3-nines]
Active objectives:
                         [ID: 3b0e981f-6f21-4b5a-80fa-d7f94681bb9c, Internal ID: 536870914, Name: optimize-for-capacity]
                         [ID: d45d8170-44ae-4b99-8b85-e935d9f3fcc6, Internal ID: 536870915, Name: delegate-on-open]
Size:                       1TB
Warn when size crosses:     90%
Size limit state:           NORMAL
Export options:
                         [Subnet: *, Access permissions: RW, Root-squash: false]
Participant ID:             0
Replication participants:
                         ID:                                  00bba667-737a-47de-a715-dbe2072dc3b8
                         Participant share internal ID:       2
                         Participant site name:               CLUSTER3
                         Participant site management address: 10.10.107.200
                         Participant site data address:       192.168.4.200
                         Participant ID:                      0

admin@anvil3.datacore.jp>

NFSクライアントの準備

適当に好きなLinuxをインストールします。
今回はCentOS7を使いました。

# cat /etc/redhat-release
CentOS Linux release 7.6.1810 (Core

ドライバ更新
# yum install /tmp/kmod-qlgc-fastlinq-8.42.9.0-1.rhel7u7.x86_64.rpm
（略）
# nmcli
ens192: 接続済み to ens192
        "QLogic FastLinQ QL45000"
        ethernet (qede), 00:0C:29:13:59:0C, hw, ポート 000e1ed3db68, mtu 1500
        inet4 192.168.4.101/24
        route4 192.168.4.0/24
        inet6 fe80::97f3:ab5c:4725:2edc/64
        route6 fe80::/64
        route6 ff00::/8
#
# yum install nfs-utils
（略）
# mount -t nfs -o v4.2 192.168.4.200:/share1 /mnt
#
# mount
（略）
192.168.4.200:/share1 on /mnt type nfs4 (rw,relatime,vers=4.2,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.4.101,local_lock=none,addr=192.168.4.200)
#
# df -h
ファイルシス            サイズ  使用  残り 使用% マウント位置
192.168.4.200:/share1     932G     0  932G    0% /mnt
# lsmod | grep nfs_layout_flexfiles
nfs_layout_flexfiles    43542  1
nfsv4                 583218  2 nfs_layout_flexfiles
nfs                   261876  4 nfsv3,nfsv4,nfs_layout_flexfiles
sunrpc                354099  19 nfs,rpcsec_gss_krb5,auth_rpcgss,lockd,nfsv3,nfsv4,nfs_layout_flexfiles,nfs_acl

早速のぞいてみます。

# ls /mnt
# ls /mnt/.snapshot/
current
# ls /mnt/.snapshot/current/
# ls /mnt/.collections/
all                  live           open                   silent-access
assimilation-failed  misaligned     permanent-data-loss    snapshot
backup               not-selected   replication-collision  undelete
do-not-move          not-selected2  scan                   volatile
durable              offline        selected
errored              online         selected2

ファイルは何もありませんが、NFSだといろいろと見れますね。
工夫して使ってみて下さい。

書き込みを試してみます。

# vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536

# ulimit -n
65536
# cd /tmp
# echo {1..1000} | tee testfile{0..65535}

約4KBのファイルが約6万個作られます。

~~次回に続く。~~

参考文献

http://akishin.hatenablog.jp/entry/20130213/1360711554
https://qiita.com/kainos/items/5d8c47e64b5b06a60d0e
https://access.redhat.com/documentation/ja-jp/red_hat_enterprise_linux/7/html/storage_administration_guide/nfs-pnfs