背景

NFS（Network File System）はネットワークを介してファイルシステムにアクセスするためのプロトコルです。NFSを使用する際、NFSサーバのパフォーマンスと実際のディスクI/Oのパフォーマンスがどの程度一致するかを理解するために、NFSv3の操作数（nfsstatの値）とディスクI/O操作数（iostatの値）の相関関係を検証してみました。

検証環境

NFSサーバ
- OS: RHEL 9
- 構成: 1台のHDDを使用
- ホスト名: nfssv
- IPアドレス: 192.168.11.48
- NFS export用ディレクトリ: /srv/nfs
NFSクライアント
- OS: RHEL 9
- ホスト名: nfscl
- IPアドレス: 192.168.11.49
- NFSサーバマウントポイント: /mnt/nfs

設定手順

NFSサーバの設定

1.NFSサーバのインストール

sudo yum install -y nfs-utils

[root@nfssv ~]# yum install -y nfs-utils
サブスクリプション管理リポジトリーを更新しています。
メタデータの期限切れの最終確認: 1:54:05 前の 2024年07月13日 01時58分43秒 に実施 しました。
依存関係が解決しました。
================================================================================
 パッケージ      Arch    バージョン        リポジトリー                   サイズ
================================================================================
インストール:
 nfs-utils       x86_64  1:2.5.4-25.el9    rhel-9-for-x86_64-baseos-rpms  463 k
依存関係のインストール:
 gssproxy        x86_64  0.8.4-6.el9       rhel-9-for-x86_64-baseos-rpms  114 k
 keyutils        x86_64  1.6.3-1.el9       rhel-9-for-x86_64-baseos-rpms   78 k
 libev           x86_64  4.33-5.el9        rhel-9-for-x86_64-baseos-rpms   56 k
 libnfsidmap     x86_64  1:2.5.4-25.el9    rhel-9-for-x86_64-baseos-rpms   66 k
 libverto-libev  x86_64  0.3.2-3.el9       rhel-9-for-x86_64-baseos-rpms   15 k
 rpcbind         x86_64  1.2.6-7.el9       rhel-9-for-x86_64-baseos-rpms   62 k
 sssd-nfs-idmap  x86_64  2.9.4-6.el9_4     rhel-9-for-x86_64-baseos-rpms   46 k

トランザクションの概要
================================================================================
インストール  8 パッケージ

ダウンロードサイズの合計: 899 k
インストール後のサイズ: 2.1 M
パッケージのダウンロード:
(1/8): keyutils-1.6.3-1.el9.x86_64.rpm          197 kB/s |  78 kB     00:00
(2/8): libverto-libev-0.3.2-3.el9.x86_64.rpm     27 kB/s |  15 kB     00:00
(3/8): libev-4.33-5.el9.x86_64.rpm               98 kB/s |  56 kB     00:00
(4/8): gssproxy-0.8.4-6.el9.x86_64.rpm          506 kB/s | 114 kB     00:00
(5/8): libnfsidmap-2.5.4-25.el9.x86_64.rpm      260 kB/s |  66 kB     00:00
(6/8): nfs-utils-2.5.4-25.el9.x86_64.rpm        1.5 MB/s | 463 kB     00:00
(7/8): rpcbind-1.2.6-7.el9.x86_64.rpm           196 kB/s |  62 kB     00:00
(8/8): sssd-nfs-idmap-2.9.4-6.el9_4.x86_64.rpm  209 kB/s |  46 kB     00:00
--------------------------------------------------------------------------------
合計                                            871 kB/s | 899 kB     00:01
トランザクションを確認しています
トランザクションの確認に成功しました。
トランザクションをテストしています
トランザクションのテストに成功しました。
トランザクションを実行しています
  準備中           :                                                        1/1
  インストール中   : libnfsidmap-1:2.5.4-25.el9.x86_64                      1/8
  scriptletの実行中: rpcbind-1.2.6-7.el9.x86_64                             2/8
  インストール中   : rpcbind-1.2.6-7.el9.x86_64                             2/8
  scriptletの実行中: rpcbind-1.2.6-7.el9.x86_64                             2/8
Created symlink /etc/systemd/system/multi-user.target.wants/rpcbind.service → /usr/lib/systemd/system/rpcbind.service.
Created symlink /etc/systemd/system/sockets.target.wants/rpcbind.socket → /usr/lib/systemd/system/rpcbind.socket.

  インストール中   : keyutils-1.6.3-1.el9.x86_64                            3/8
  インストール中   : libev-4.33-5.el9.x86_64                                4/8
  インストール中   : libverto-libev-0.3.2-3.el9.x86_64                      5/8
  インストール中   : gssproxy-0.8.4-6.el9.x86_64                            6/8
  scriptletの実行中: gssproxy-0.8.4-6.el9.x86_64                            6/8
  scriptletの実行中: nfs-utils-1:2.5.4-25.el9.x86_64                        7/8
  インストール中   : nfs-utils-1:2.5.4-25.el9.x86_64                        7/8
  scriptletの実行中: nfs-utils-1:2.5.4-25.el9.x86_64                        7/8
  インストール中   : sssd-nfs-idmap-2.9.4-6.el9_4.x86_64                    8/8
  scriptletの実行中: sssd-nfs-idmap-2.9.4-6.el9_4.x86_64                    8/8
  検証中           : libev-4.33-5.el9.x86_64                                1/8
  検証中           : libverto-libev-0.3.2-3.el9.x86_64                      2/8
  検証中           : keyutils-1.6.3-1.el9.x86_64                            3/8
  検証中           : gssproxy-0.8.4-6.el9.x86_64                            4/8
  検証中           : libnfsidmap-1:2.5.4-25.el9.x86_64                      5/8
  検証中           : nfs-utils-1:2.5.4-25.el9.x86_64                        6/8
  検証中           : rpcbind-1.2.6-7.el9.x86_64                             7/8
  検証中           : sssd-nfs-idmap-2.9.4-6.el9_4.x86_64                    8/8
インストール済みの製品が更新されています。

インストール済み:
  gssproxy-0.8.4-6.el9.x86_64           keyutils-1.6.3-1.el9.x86_64
  libev-4.33-5.el9.x86_64               libnfsidmap-1:2.5.4-25.el9.x86_64
  libverto-libev-0.3.2-3.el9.x86_64     nfs-utils-1:2.5.4-25.el9.x86_64
  rpcbind-1.2.6-7.el9.x86_64            sssd-nfs-idmap-2.9.4-6.el9_4.x86_64

完了しました!

2.iostatとnfsstatのインストール

sudo yum install -y sysstat

[root@nfssv nfs]# sudo yum install -y sysstat
サブスクリプション管理リポジトリーを更新しています。
メタデータの期限切れの最終確認: 2:04:04 前の 2024年07月13日 01時58分43秒 に実施 しました。
依存関係が解決しました。
================================================================================
 パッケージ      Arch   バージョン       リポジトリー                     サイズ
================================================================================
インストール:
 sysstat         x86_64 12.5.4-7.el9     rhel-9-for-x86_64-appstream-rpms 485 k
依存関係のインストール:
 lm_sensors-libs x86_64 3.6.0-10.el9     rhel-9-for-x86_64-appstream-rpms  44 k
 pcp-conf        x86_64 6.2.0-2.el9_4    rhel-9-for-x86_64-appstream-rpms  32 k
 pcp-libs        x86_64 6.2.0-2.el9_4    rhel-9-for-x86_64-appstream-rpms 637 k

トランザクションの概要
================================================================================
インストール  4 パッケージ

ダウンロードサイズの合計: 1.2 M
インストール後のサイズ: 3.2 M
パッケージのダウンロード:
(1/4): pcp-conf-6.2.0-2.el9_4.x86_64.rpm        112 kB/s |  32 kB     00:00
(2/4): sysstat-12.5.4-7.el9.x86_64.rpm          1.4 MB/s | 485 kB     00:00
(3/4): lm_sensors-libs-3.6.0-10.el9.x86_64.rpm  113 kB/s |  44 kB     00:00
(4/4): pcp-libs-6.2.0-2.el9_4.x86_64.rpm        2.4 MB/s | 637 kB     00:00
--------------------------------------------------------------------------------
合計                                            2.2 MB/s | 1.2 MB     00:00
トランザクションを確認しています
トランザクションの確認に成功しました。
トランザクションをテストしています
トランザクションのテストに成功しました。
トランザクションを実行しています
  準備中           :                                                        1/1
  インストール中   : pcp-conf-6.2.0-2.el9_4.x86_64                          1/4
  インストール中   : pcp-libs-6.2.0-2.el9_4.x86_64                          2/4
  インストール中   : lm_sensors-libs-3.6.0-10.el9.x86_64                    3/4
  インストール中   : sysstat-12.5.4-7.el9.x86_64                            4/4
  scriptletの実行中: sysstat-12.5.4-7.el9.x86_64                            4/4
Created symlink /etc/systemd/system/multi-user.target.wants/sysstat.service → /usr/lib/systemd/system/sysstat.service.
Created symlink /etc/systemd/system/sysstat.service.wants/sysstat-collect.timer → /usr/lib/systemd/system/sysstat-collect.timer.
Created symlink /etc/systemd/system/sysstat.service.wants/sysstat-summary.timer → /usr/lib/systemd/system/sysstat-summary.timer.

  検証中           : lm_sensors-libs-3.6.0-10.el9.x86_64                    1/4
  検証中           : sysstat-12.5.4-7.el9.x86_64                            2/4
  検証中           : pcp-conf-6.2.0-2.el9_4.x86_64                          3/4
  検証中           : pcp-libs-6.2.0-2.el9_4.x86_64                          4/4
インストール済みの製品が更新されています。

インストール済み:
  lm_sensors-libs-3.6.0-10.el9.x86_64       pcp-conf-6.2.0-2.el9_4.x86_64
  pcp-libs-6.2.0-2.el9_4.x86_64             sysstat-12.5.4-7.el9.x86_64

完了しました!

3.共有ディレクトリの作成と権限設定

sudo mkdir -p /srv/nfs
sudo chown nobody:nobody /srv/nfs
sudo chmod 755 /srv/nfs

4.エクスポート設定

sudo vi /etc/exports

以下の行を追加：

/srv/nfs *(rw,sync,no_root_squash,no_subtree_check)

[root@nfssv etc]# pwd
/etc
[root@nfssv etc]# cat exports
/srv/nfs *(rw,sync,no_root_squash,no_subtree_check)

5.NFSサーバの起動と有効化

sudo systemctl enable nfs-server
sudo systemctl start nfs-server

[root@nfssv etc]# sudo systemctl enable nfs-server
Created symlink /etc/systemd/system/multi-user.target.wants/nfs-server.service  → /usr/lib/systemd/system/nfs-server.service.
[root@nfssv etc]# sudo systemctl start nfs-server
[root@nfssv etc]# sudo systemctl status nfs-server
● nfs-server.service - NFS server and services
     Loaded: loaded (/usr/lib/systemd/system/nfs-server.service; enabled; prese>
    Drop-In: /run/systemd/generator/nfs-server.service.d
             mqorder-with-mounts.conf
     Active: active (exited) since Sat 2024-07-13 03:56:30 JST; 5s ago
       Docs: man:rpc.nfsd(8)
             man:exportfs(8)
    Process: 33946 ExecStartPre=/usr/sbin/exportfs -r (code=exited, status=0/SU>
    Process: 33947 ExecStart=/usr/sbin/rpc.nfsd (code=exited, status=0/SUCCESS)
    Process: 33967 ExecStart=/bin/sh -c if systemctl -q is-active gssproxy; the>
   Main PID: 33967 (code=exited, status=0/SUCCESS)
        CPU: 14ms

 7月 13 03:56:30 nfssv systemd[1]: Starting NFS server and s>
 7月 13 03:56:30 nfssv systemd[1]: Finished NFS server and s>

6.NFSバージョンの設定

NFSv3を使用するため、/etc/sysconfig/nfsに以下の行を追加：

RPCNFSDARGS="-N 4 -N 4.1"

[root@nfssv sysconfig]# pwd
/etc/sysconfig
[root@nfssv sysconfig]# cat nfs
RPCNFSDARGS="-N 4 -N 4.1"

これにより、NFSv3のみを使用するように設定します。

7.ファイアウォールの設定

sudo firewall-cmd --permanent --add-service=nfs
sudo firewall-cmd --permanent --add-service=rpc-bind
sudo firewall-cmd --permanent --add-service=mountd
sudo firewall-cmd --reload

[root@nfssv sysconfig]# sudo firewall-cmd --permanent --add-service=nfs
success
[root@nfssv sysconfig]# sudo firewall-cmd --permanent --add-service=rpc-bind
success
[root@nfssv sysconfig]# sudo firewall-cmd --permanent --add-service=mountd
success
[root@nfssv sysconfig]# sudo firewall-cmd --reload
success

NFSクライアントの設定

1.NFSクライアントのインストール

sudo yum install -y nfs-utils

[root@nfscl ~]# sudo yum install -y nfs-utils
サブスクリプション管理リポジトリーを更新しています。
メタデータの期限切れの最終確認: 1:59:56 前の 2024年07月13日 01時58分43秒 に実施 しました。
依存関係が解決しました。
================================================================================
 パッケージ      Arch    バージョン        リポジトリー                   サイズ
================================================================================
インストール:
 nfs-utils       x86_64  1:2.5.4-25.el9    rhel-9-for-x86_64-baseos-rpms  463 k
依存関係のインストール:
 gssproxy        x86_64  0.8.4-6.el9       rhel-9-for-x86_64-baseos-rpms  114 k
 keyutils        x86_64  1.6.3-1.el9       rhel-9-for-x86_64-baseos-rpms   78 k
 libev           x86_64  4.33-5.el9        rhel-9-for-x86_64-baseos-rpms   56 k
 libnfsidmap     x86_64  1:2.5.4-25.el9    rhel-9-for-x86_64-baseos-rpms   66 k
 libverto-libev  x86_64  0.3.2-3.el9       rhel-9-for-x86_64-baseos-rpms   15 k
 rpcbind         x86_64  1.2.6-7.el9       rhel-9-for-x86_64-baseos-rpms   62 k
 sssd-nfs-idmap  x86_64  2.9.4-6.el9_4     rhel-9-for-x86_64-baseos-rpms   46 k

トランザクションの概要
================================================================================
インストール  8 パッケージ

ダウンロードサイズの合計: 899 k
インストール後のサイズ: 2.1 M
パッケージのダウンロード:
(1/8): libverto-libev-0.3.2-3.el9.x86_64.rpm     47 kB/s |  15 kB     00:00
(2/8): keyutils-1.6.3-1.el9.x86_64.rpm          232 kB/s |  78 kB     00:00
(3/8): libev-4.33-5.el9.x86_64.rpm              164 kB/s |  56 kB     00:00
(4/8): gssproxy-0.8.4-6.el9.x86_64.rpm          408 kB/s | 114 kB     00:00
(5/8): libnfsidmap-2.5.4-25.el9.x86_64.rpm      219 kB/s |  66 kB     00:00
(6/8): sssd-nfs-idmap-2.9.4-6.el9_4.x86_64.rpm  217 kB/s |  46 kB     00:00
(7/8): nfs-utils-2.5.4-25.el9.x86_64.rpm        874 kB/s | 463 kB     00:00
(8/8): rpcbind-1.2.6-7.el9.x86_64.rpm           189 kB/s |  62 kB     00:00
--------------------------------------------------------------------------------
合計                                            965 kB/s | 899 kB     00:00
トランザクションを確認しています
トランザクションの確認に成功しました。
トランザクションをテストしています
トランザクションのテストに成功しました。
トランザクションを実行しています
  準備中           :                                                        1/1
  インストール中   : libnfsidmap-1:2.5.4-25.el9.x86_64                      1/8
  scriptletの実行中: rpcbind-1.2.6-7.el9.x86_64                             2/8
  インストール中   : rpcbind-1.2.6-7.el9.x86_64                             2/8
  scriptletの実行中: rpcbind-1.2.6-7.el9.x86_64                             2/8
Created symlink /etc/systemd/system/multi-user.target.wants/rpcbind.service → /usr/lib/systemd/system/rpcbind.service.
Created symlink /etc/systemd/system/sockets.target.wants/rpcbind.socket → /usr/lib/systemd/system/rpcbind.socket.

  インストール中   : keyutils-1.6.3-1.el9.x86_64                            3/8
  インストール中   : libev-4.33-5.el9.x86_64                                4/8
  インストール中   : libverto-libev-0.3.2-3.el9.x86_64                      5/8
  インストール中   : gssproxy-0.8.4-6.el9.x86_64                            6/8
  scriptletの実行中: gssproxy-0.8.4-6.el9.x86_64                            6/8
  scriptletの実行中: nfs-utils-1:2.5.4-25.el9.x86_64                        7/8
  インストール中   : nfs-utils-1:2.5.4-25.el9.x86_64                        7/8
  scriptletの実行中: nfs-utils-1:2.5.4-25.el9.x86_64                        7/8
  インストール中   : sssd-nfs-idmap-2.9.4-6.el9_4.x86_64                    8/8
  scriptletの実行中: sssd-nfs-idmap-2.9.4-6.el9_4.x86_64                    8/8
  検証中           : libev-4.33-5.el9.x86_64                                1/8
  検証中           : libverto-libev-0.3.2-3.el9.x86_64                      2/8
  検証中           : keyutils-1.6.3-1.el9.x86_64                            3/8
  検証中           : gssproxy-0.8.4-6.el9.x86_64                            4/8
  検証中           : libnfsidmap-1:2.5.4-25.el9.x86_64                      5/8
  検証中           : nfs-utils-1:2.5.4-25.el9.x86_64                        6/8
  検証中           : rpcbind-1.2.6-7.el9.x86_64                             7/8
  検証中           : sssd-nfs-idmap-2.9.4-6.el9_4.x86_64                    8/8
インストール済みの製品が更新されています。

インストール済み:
  gssproxy-0.8.4-6.el9.x86_64           keyutils-1.6.3-1.el9.x86_64
  libev-4.33-5.el9.x86_64               libnfsidmap-1:2.5.4-25.el9.x86_64
  libverto-libev-0.3.2-3.el9.x86_64     nfs-utils-1:2.5.4-25.el9.x86_64
  rpcbind-1.2.6-7.el9.x86_64            sssd-nfs-idmap-2.9.4-6.el9_4.x86_64

完了しました!

2.iostatとnfsstatのインストール

sudo yum install -y sysstat

[root@nfscl ~]# sudo yum install -y sysstat
サブスクリプション管理リポジトリーを更新しています。
メタデータの期限切れの最終確認: 2:04:32 前の 2024年07月13日 01時58分43秒 に実施 しました。
依存関係が解決しました。
================================================================================
 パッケージ      Arch   バージョン       リポジトリー                     サイズ
================================================================================
インストール:
 sysstat         x86_64 12.5.4-7.el9     rhel-9-for-x86_64-appstream-rpms 485 k
依存関係のインストール:
 lm_sensors-libs x86_64 3.6.0-10.el9     rhel-9-for-x86_64-appstream-rpms  44 k
 pcp-conf        x86_64 6.2.0-2.el9_4    rhel-9-for-x86_64-appstream-rpms  32 k
 pcp-libs        x86_64 6.2.0-2.el9_4    rhel-9-for-x86_64-appstream-rpms 637 k

トランザクションの概要
================================================================================
インストール  4 パッケージ

ダウンロードサイズの合計: 1.2 M
インストール後のサイズ: 3.2 M
パッケージのダウンロード:
(1/4): lm_sensors-libs-3.6.0-10.el9.x86_64.rpm  155 kB/s |  44 kB     00:00
(2/4): pcp-conf-6.2.0-2.el9_4.x86_64.rpm         98 kB/s |  32 kB     00:00
(3/4): sysstat-12.5.4-7.el9.x86_64.rpm          1.4 MB/s | 485 kB     00:00
(4/4): pcp-libs-6.2.0-2.el9_4.x86_64.rpm        2.6 MB/s | 637 kB     00:00
--------------------------------------------------------------------------------
合計                                            2.3 MB/s | 1.2 MB     00:00
トランザクションを確認しています
トランザクションの確認に成功しました。
トランザクションをテストしています
トランザクションのテストに成功しました。
トランザクションを実行しています
  準備中           :                                                        1/1
  インストール中   : pcp-conf-6.2.0-2.el9_4.x86_64                          1/4
  インストール中   : pcp-libs-6.2.0-2.el9_4.x86_64                          2/4
  インストール中   : lm_sensors-libs-3.6.0-10.el9.x86_64                    3/4
  インストール中   : sysstat-12.5.4-7.el9.x86_64                            4/4
  scriptletの実行中: sysstat-12.5.4-7.el9.x86_64                            4/4
Created symlink /etc/systemd/system/multi-user.target.wants/sysstat.service → /usr/lib/systemd/system/sysstat.service.
Created symlink /etc/systemd/system/sysstat.service.wants/sysstat-collect.timer → /usr/lib/systemd/system/sysstat-collect.timer.
Created symlink /etc/systemd/system/sysstat.service.wants/sysstat-summary.timer → /usr/lib/systemd/system/sysstat-summary.timer.

  検証中           : lm_sensors-libs-3.6.0-10.el9.x86_64                    1/4
  検証中           : sysstat-12.5.4-7.el9.x86_64                            2/4
  検証中           : pcp-conf-6.2.0-2.el9_4.x86_64                          3/4
  検証中           : pcp-libs-6.2.0-2.el9_4.x86_64                          4/4
インストール済みの製品が更新されています。

インストール済み:
  lm_sensors-libs-3.6.0-10.el9.x86_64       pcp-conf-6.2.0-2.el9_4.x86_64
  pcp-libs-6.2.0-2.el9_4.x86_64             sysstat-12.5.4-7.el9.x86_64

完了しました!

3.マウントポイントの作成

sudo mkdir -p /mnt/nfs

[root@nfscl ~]# sudo mkdir -p /mnt/nfs

4.NFSサーバの共有ディレクトリをマウント

sudo mount -t nfs -o vers=3 <NFSサーバのIPアドレス>:/srv/nfs /mnt/nfs

[root@nfscl ~]# sudo mount -t nfs -o vers=3 192.168.11.48:/srv/nfs /mnt/nfs
Created symlink /run/systemd/system/remote-fs.target.wants/rpc-statd.service → /usr/lib/systemd/system/rpc-statd.service.

試験1: 20GBのファイル1個

1.試験用のデータセットの準備

NFSサーバ上の共有ディレクトリに試験用のデータを用意します。

cd /srv/nfs
dd if=/dev/zero of=testfile bs=1M count=1000

[root@nfssv nfs]# dd if=/dev/zero of=testfile3 bs=1M count=20000
20000+0 レコード入力
20000+0 レコード出力
20971520000 bytes (21 GB, 20 GiB) copied, 13.7196 s, 1.5 GB/s

2.iostatとnfsstatの統計情報収集

NFSサーバ上でiostatを実行し、統計情報を収集します。

iostat -dx 5 > iostat_output.txt

NFSクライアント上でnfsstatを実行し、試験前の統計情報を収集します。

nfsstat -c > nfsstat_output_pre.txt

[root@nfscl work]# nfsstat -c > nfsstat_output_pre.txt
[root@nfscl work]# cat nfsstat_output_pre.txt
Client rpc stats:
calls      retrans    authrefrsh
6          0          6

Client nfs v3:
null             getattr          setattr          lookup           access
1        16%     2        33%     0         0%     0         0%     0         0%
readlink         read             write            create           mkdir
0         0%     0         0%     0         0%     0         0%     0         0%
symlink          mknod            remove           rmdir            rename
0         0%     0         0%     0         0%     0         0%     0         0%
link             readdir          readdirplus      fsstat           fsinfo
0         0%     0         0%     0         0%     0         0%     2        33%
pathconf         commit
1        16%     0         0%

3.tarによる試験

NFSクライアント上でtarによるデータコピー試験を実施します。

[root@nfscl ~]# (cd /mnt/nfs; tar cvfp - testfile) | (cd /root/work; tar xvfp -)
testfile
testfile

4.iostatとnfsstatの統計情報収集

NFSサーバ上で実行中のiostatを停止します。
NFSクライアント上でnfsstatを実行し、試験後の統計情報を収集します。

nfsstat -c > nfsstat_output_post.txt

試験2: 10MBのファイル2000個・1000個のディレクトリ

1.試験用のデータセットの準備

NFSサーバ上の共有ディレクトリに試験用のデータを用意します。

[root@nfssv work]# cat create_dir.sh
#!/bin/bash

# ベースディレクトリの作成
BASE_DIR="/srv/nfs"
mkdir -p "${BASE_DIR}"

# ディレクトリ構成とファイルの作成
for i in $(seq 1 10); do
    for j in $(seq 1 10); do
        for k in $(seq 1 1); do
            DIR="${BASE_DIR}/dir_${i}/subdir_${j}/subsubdir_${k}"
            mkdir -p "${DIR}"

            for l in $(seq 1 20); do
                FILE="${DIR}/file_${i}_${j}_${k}_${l}.dat"
                dd if=/dev/zero of=${FILE} bs=1M count=10
            done
        done
    done
done

echo "ディレクトリ構成およびファイルの作成が完了しました。"
[root@nfssv work]# sh create_dir.sh
10+0 レコード入力
10+0 レコード出力
10485760 bytes (10 MB, 10 MiB) copied, 0.00475464 s, 2.2 GB/s
省略
ディレクトリ構成およびファイルの作成が完了しました。

2.iostatとnfsstatの統計情報収集

NFSサーバ上でiostatを実行し、統計情報を収集します。この試験後まで実行したままとします。

iostat -dx 5 > iostat_output.txt

NFSクライアント上でnfsstatを実行し、試験前の統計情報を収集します。

nfsstat -c > nfsstat_output_pre.txt

3.tarによる試験

NFSクライアント上でtarによるデータコピー試験を実施します。

[root@nfscl work]# (cd /mnt/nfs; tar cvfp - *) | (cd /root/work; tar xvfp -)
dir_1/
dir_1/subdir_1/
dir_1/subdir_1/subsubdir_1/
dir_1/subdir_1/subsubdir_1/file_1_1_1_1.dat
dir_1/
dir_1/subdir_1/
dir_1/subdir_1/subsubdir_1/
dir_1/subdir_1/subsubdir_1/file_1_1_1_1.dat
dir_1/subdir_1/subsubdir_1/file_1_1_1_2.dat
省略

4.iostatとnfsstatの統計情報収集

NFSサーバ上で実行中のiostatを停止します。
NFSクライアント上でnfsstatを実行し、試験後の統計情報を収集します。

nfsstat -c > nfsstat_output_post.txt

結果の解析

1.iostatの解析

iostatの出力からIOPSを計算するには、iostatコマンドの出力の各列の意味を理解する必要があります。iostat -dx`の出力は以下のような列から構成されます：

Device: デバイス名
rrqm/s: リード要求のマージされた回数
wrqm/s: ライト要求のマージされた回数
r/s: 1秒あたりのリード要求数
w/s: 1秒あたりのライト要求数
rsec/s: 1秒あたりのリードセクタ数
wsec/s: 1秒あたりのライトセクタ数
avgrq-sz: 平均要求サイズ
avgqu-sz: 平均キューサイズ
await: I/O操作の平均待ち時間（ミリ秒）
svctm: I/O操作の平均サービス時間（ミリ秒）
%util: デバイス使用率（%）

iostatの先頭行には、以下の内容が出力されています。

Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz     f/s f_await  aqu-sz  %util

iostat_output.txt`を確認し、試験中のIOPSを計算します。

grep 'sda' iostat_output.txt | awk '{print $1, $2, $3, $4, $5, $6, $7, $8}'

試験1の場合

[root@nfssv work]grep 'sda' iostat_output.txt | awk '{print $1, $2, $3, $4, $5, $6, $7, $8}'}'
sda 9.97 332.35 0.01 0.08 0.18 33.34 19.73
sda 104.00 13276.80 0.00 0.00 0.39 127.66 0.00
sda 2634.20 337177.60 0.00 0.00 0.53 128.00 1.00
sda 2643.00 337651.20 0.00 0.00 0.56 127.75 2.80
sda 2721.20 348288.00 0.00 0.00 0.55 127.99 0.00
sda 2708.00 346624.00 0.00 0.00 0.57 128.00 0.00
sda 2697.20 345124.00 1.20 0.04 0.57 127.96 0.20
sda 2828.20 362009.60 0.00 0.00 0.53 128.00 0.20
sda 2761.80 353510.40 0.00 0.00 0.54 128.00 0.60
sda 2794.80 357708.80 0.00 0.00 0.52 127.99 0.00
sda 2734.00 349977.60 0.00 0.00 0.51 128.01 0.20
sda 2823.20 361344.00 0.00 0.00 0.51 127.99 0.00
sda 2706.00 346368.00 0.00 0.00 0.55 128.00 0.20
sda 1851.40 236935.20 0.00 0.00 0.54 127.98 0.00

IOPSはリード要求数(r/s)とライト要求数(w/s)の合計です。
iostatは5秒毎の平均値となるため、合計IOPSは170561.00となります。

104.00 + 2635.20 + 2645.80 + 2721.20 + 2708.00 + 2697.40 + 2828.40 + 2762.40 + 2794.80 + 2734.20 + 2823.20 + 2706.20 + 1851.40 = 34112.20
34112.20 * 5 = 170561.00

試験2の場合

[root@nfssv work]grep 'sda' iostat_output.txt | awk '{print $1, $2, $3, $4, $5, $6, $7, $8}'}
sda 17.74 2111.33 0.00 0.01 0.52 119.04 4.97
sda 2486.40 311296.00 0.00 0.00 0.55 125.20 1.20
sda 2418.40 302662.40 0.00 0.00 0.56 125.15 8.80
sda 2458.00 307504.00 0.00 0.00 0.57 125.10 1.40
sda 2669.60 333891.20 0.00 0.00 0.55 125.07 0.00
sda 2723.00 340774.40 0.00 0.00 0.53 125.15 0.00
sda 2704.40 338211.20 0.00 0.00 0.55 125.06 0.00
sda 2730.20 341494.40 0.00 0.00 0.53 125.08 1.80
sda 2753.80 344524.80 0.00 0.00 0.53 125.11 0.00
sda 2683.00 335712.00 0.00 0.00 0.54 125.13 0.00
sda 2705.20 338519.20 0.00 0.00 0.53 125.14 0.20
sda 2688.00 336153.60 0.00 0.00 0.54 125.06 0.00
sda 2765.40 345962.40 0.00 0.00 0.52 125.10 0.20

IOPSはリード要求数(r/s)とライト要求数(w/s)の合計です。
iostatは5秒毎の平均値となるため、合計IOPSは171108.55となります。

22.71 + 0.00 + 0.00 + 0.00 + 0.00 + 2487.60 + 2427.20 + 2459.40 + 2669.60 + 2723.00 + 2704.40 + 2732.00 + 2753.80 + 2683.00 + 2705.40 + 2688.00 + 2765.60 = 34221.71
34221.71 * 5 = 171108.55

nfsstatの解析

nfsstat_output.txtを確認し、試験中のNFS操作数を計算します。
nfsstatの結果は増加カウンタのため、試験前後の各項目の値の差分を取ることでリクエスト数が得られます。

試験1の場合

[root@nfscl work]# cat nfsstat_output_pre.txt
Client rpc stats:
calls      retrans    authrefrsh
26993      0          26994

Client nfs v3:
null             getattr          setattr          lookup           access
1         0%     12        0%     0         0%     2         0%     5         0%
readlink         read             write            create           mkdir
0         0%     26970    99%     0         0%     0         0%     0         0%
symlink          mknod            remove           rmdir            rename
0         0%     0         0%     0         0%     0         0%     0         0%
link             readdir          readdirplus      fsstat           fsinfo
0         0%     0         0%     0         0%     0         0%     2         0%
pathconf         commit
1         0%     0         0%

[root@nfscl work]# cat nfsstat_output_post.txt
Client rpc stats:
calls      retrans    authrefrsh
204299     0          204301

Client nfs v3:
null             getattr          setattr          lookup           access
1         0%     14        0%     0         0%     3         0%     7         0%
readlink         read             write            create           mkdir
0         0%     204271   99%     0         0%     0         0%     0         0%
symlink          mknod            remove           rmdir            rename
0         0%     0         0%     0         0%     0         0%     0         0%
link             readdir          readdirplus      fsstat           fsinfo
0         0%     0         0%     0         0%     0         0%     2         0%
pathconf         commit
1         0%     0         0%

readが 204271 - 26970 = 177301増加していることが分かります。

試験2の場合

[root@nfscl work]# cat nfsstat_output_pre.txt
Client rpc stats:
calls      retrans    authrefrsh
6          0          6

Client nfs v3:
null             getattr          setattr          lookup           access      
1        16%     2        33%     0         0%     0         0%     0         0%
readlink         read             write            create           mkdir       
0         0%     0         0%     0         0%     0         0%     0         0%
symlink          mknod            remove           rmdir            rename      
0         0%     0         0%     0         0%     0         0%     0         0%
link             readdir          readdirplus      fsstat           fsinfo      
0         0%     0         0%     0         0%     0         0%     2        33%
pathconf         commit
1        16%     0         0%

[root@nfscl work]# cat nfsstat_output_post.txt
Client rpc stats:
calls      retrans    authrefrsh
196218     0          196216

Client nfs v3:
null             getattr          setattr          lookup           access      
1         0%     2298      1%     0         0%     2         0%     2211      1%
readlink         read             write            create           mkdir       
0         0%     191492   97%     0         0%     0         0%     0         0%
symlink          mknod            remove           rmdir            rename      
0         0%     0         0%     0         0%     0         0%     0         0%
link             readdir          readdirplus      fsstat           fsinfo      
0         0%     0         0%     211       0%     0         0%     2         0%
pathconf         commit
1         0%     0         0%

readが191492 - 0 = 191492増加していることが分かります。

まとめと考察

まとめ

試験1の場合、合計IOPSが170561.00の場合に、NFSv3のreadリクエスト数は177301増加していることが分かりました。つまり、IOPSとnfsstatのreadリクエスト数はほぼ同程度発生していることになります。

試験2の場合、合計IOPSが171108.55の場合に、NFSv3のreadリクエスト数は191492増加していることが分かりました。つまり、IOPSの1.2倍程度nfsstatのreadリクエスト数が発生していることになります。

考察

現時点でのデータに基づいて、IOPSとnfsstatのreadリクエスト数がほぼ同じであることが確認されたため、今回のシチュエーションにおいてはこれらの値がほぼ同じと判断しても良いでしょう。しかし、以下の点に注意が必要です。

・他のワークロードや環境設定で同じ結果が得られるとは限りません。異なるワークロードや設定で追加のテストを行い、一貫性を確認することが重要です。
・キャッシュの影響やNFSオーバーヘッドを考慮し、NFSとディスクI/Oのパフォーマンスを定期的にモニタリングし、必要に応じて調整を行うことが推奨されます。