Oracle Cloud Infrastructure (OCI) Compute BM.Standard.E5 で超高パフォーマンス・ボリューム(UHP)のストレージを使用して I/Oスループットが 100Gbpsでることを前回確認しました。
今回このコンピュートを２つ用意して NFSサーバー/クライアントをインストールおよび構成して fio で NFS I/Oスループット測定してみてみます。
■ 構成図
■ NFS Server設定
● NFS Serverインストール
nfs-utils パッケージは、カーネル NFS (ネットワーク ファイル システム) サーバーおよび関連ツール用のデーモンを提供し、従来の Linux NFS サーバーよりも優れたパフォーマンスを提供します。
1) Install nfs-utils
サーバー・インスタンスに接続し、NFSユーティリティーパッケージをインストール
[root@bm-e5-server ~]# dnf install nfs-utils
Last metadata expiration check: 1 day, 15:21:37 ago on Tue 03 Sep 2024 01:24:20 PM GMT.
Package nfs-utils-1:2.5.4-25.0.2.el9.x86_64 is already installed.
Dependencies resolved.
Nothing to do.
Complete!
2) confファイル設定
nfsd のスレッド数を増加させます (デフォルトは 8)
性能の向上のために、NFS サーバーを設定する際には、必ず NFS スレッドを設定します。スレッド 1 つは、NFS 要求を 1 つ処理することができます。スレッドプールを大きくすることにより、サーバーは複数の NFS 要求を並行して処理することができます。プロセッサ数とネットワーク数に従って、このデフォルト値を大きくします。
[root@bm-e5-server ~]#vi /etc/nfs.conf
[nfsd]
threads=160
3) 設定反映
[root@bm-e5-server ~]# systemctl daemon-reload
[root@bm-e5-server ~]# systemctl restart nfs-mountd
3) 設定反映確認
[root@bm-e5-server ~]# ps -ef | grep nfs
root 5368 1 0 Sep19 ? 00:00:00 /usr/sbin/nfsdcld
root 8308 8292 0 Sep19 ? 00:00:00 /usr/bin/python3 /var/lib/pcp/pmdas/nfsclient/pmdanfsclient.python
root 240391 2 0 11:08 ? 00:00:00 [nfsd]
root 240392 2 0 11:08 ? 00:00:00 [nfsd]
root 240393 2 0 11:08 ? 00:00:00 [nfsd]
root 240394 2 0 11:08 ? 00:00:00 [nfsd]
root 240395 2 0 11:08 ? 00:00:00 [nfsd]
root 240396 2 0 11:08 ? 00:00:00 [nfsd]
root 240397 2 0 11:08 ? 00:00:00 [nfsd]
root 240398 2 0 11:08 ? 00:00:00 [nfsd]
root 240399 2 0 11:08 ? 00:00:00 [nfsd]
root 240400 2 0 11:08 ? 00:00:00 [nfsd]
root 240401 2 0 11:08 ? 00:00:00 [nfsd]
root 240402 2 0 11:08 ? 00:00:00 [nfsd]
root 240403 2 0 11:08 ? 00:00:00 [nfsd]
root 240404 2 0 11:08 ? 00:00:00 [nfsd]
root 240405 2 0 11:08 ? 00:00:00 [nfsd]
root 240406 2 0 11:08 ? 00:00:00 [nfsd]
root 240407 2 0 11:08 ? 00:00:00 [nfsd]
root 240408 2 0 11:08 ? 00:00:00 [nfsd]
root 240409 2 0 11:08 ? 00:00:00 [nfsd]
root 240410 2 0 11:08 ? 00:00:00 [nfsd]
root 240411 2 0 11:08 ? 00:00:00 [nfsd]
root 240412 2 0 11:08 ? 00:00:00 [nfsd]
root 240413 2 0 11:08 ? 00:00:00 [nfsd]
root 240414 2 0 11:08 ? 00:00:00 [nfsd]
root 240415 2 0 11:08 ? 00:00:00 [nfsd]
root 240416 2 0 11:08 ? 00:00:00 [nfsd]
root 240417 2 0 11:08 ? 00:00:00 [nfsd]
root 240418 2 0 11:08 ? 00:00:00 [nfsd]
root 240419 2 0 11:08 ? 00:00:00 [nfsd]
root 240420 2 0 11:08 ? 00:00:00 [nfsd]
root 240421 2 0 11:08 ? 00:00:00 [nfsd]
root 240422 2 0 11:08 ? 00:00:00 [nfsd]
root 240423 2 0 11:08 ? 00:00:00 [nfsd]
root 240424 2 0 11:08 ? 00:00:00 [nfsd]
root 240425 2 0 11:08 ? 00:00:00 [nfsd]
root 240426 2 0 11:08 ? 00:00:00 [nfsd]
root 240427 2 0 11:08 ? 00:00:00 [nfsd]
root 240428 2 0 11:08 ? 00:00:00 [nfsd]
root 240429 2 0 11:08 ? 00:00:00 [nfsd]
root 240430 2 0 11:08 ? 00:00:00 [nfsd]
root 240431 2 0 11:08 ? 00:00:00 [nfsd]
root 240432 2 0 11:08 ? 00:00:00 [nfsd]
root 240433 2 0 11:08 ? 00:00:00 [nfsd]
root 240434 2 0 11:08 ? 00:00:00 [nfsd]
root 240435 2 0 11:08 ? 00:00:00 [nfsd]
root 240436 2 0 11:08 ? 00:00:00 [nfsd]
root 240437 2 0 11:08 ? 00:00:00 [nfsd]
root 240438 2 0 11:08 ? 00:00:00 [nfsd]
root 240439 2 0 11:08 ? 00:00:00 [nfsd]
root 240440 2 0 11:08 ? 00:00:00 [nfsd]
root 240441 2 0 11:08 ? 00:00:00 [nfsd]
root 240442 2 0 11:08 ? 00:00:00 [nfsd]
root 240443 2 0 11:08 ? 00:00:00 [nfsd]
root 240444 2 0 11:08 ? 00:00:00 [nfsd]
root 240445 2 0 11:08 ? 00:00:00 [nfsd]
root 240446 2 0 11:08 ? 00:00:00 [nfsd]
root 240447 2 0 11:08 ? 00:00:00 [nfsd]
root 240448 2 0 11:08 ? 00:00:00 [nfsd]
root 240449 2 0 11:08 ? 00:00:00 [nfsd]
root 240450 2 0 11:08 ? 00:00:00 [nfsd]
root 240451 2 0 11:08 ? 00:00:00 [nfsd]
root 240452 2 0 11:08 ? 00:00:00 [nfsd]
root 240453 2 0 11:08 ? 00:00:00 [nfsd]
root 240454 2 0 11:08 ? 00:00:00 [nfsd]
root 240455 2 0 11:08 ? 00:00:00 [nfsd]
root 240456 2 0 11:08 ? 00:00:00 [nfsd]
root 240457 2 0 11:08 ? 00:00:00 [nfsd]
root 240458 2 0 11:08 ? 00:00:00 [nfsd]
root 240459 2 0 11:08 ? 00:00:00 [nfsd]
root 240460 2 0 11:08 ? 00:00:00 [nfsd]
root 240461 2 0 11:08 ? 00:00:00 [nfsd]
root 240462 2 0 11:08 ? 00:00:00 [nfsd]
root 240463 2 0 11:08 ? 00:00:00 [nfsd]
root 240464 2 0 11:08 ? 00:00:00 [nfsd]
root 240465 2 0 11:08 ? 00:00:00 [nfsd]
root 240466 2 0 11:08 ? 00:00:00 [nfsd]
root 240467 2 0 11:08 ? 00:00:00 [nfsd]
root 240468 2 0 11:08 ? 00:00:00 [nfsd]
root 240469 2 0 11:08 ? 00:00:00 [nfsd]
root 240470 2 0 11:08 ? 00:00:00 [nfsd]
root 240471 2 0 11:08 ? 00:00:00 [nfsd]
root 240472 2 0 11:08 ? 00:00:00 [nfsd]
root 240473 2 0 11:08 ? 00:00:00 [nfsd]
root 240474 2 0 11:08 ? 00:00:00 [nfsd]
root 240475 2 0 11:08 ? 00:00:00 [nfsd]
root 240476 2 0 11:08 ? 00:00:00 [nfsd]
root 240477 2 0 11:08 ? 00:00:00 [nfsd]
root 240478 2 0 11:08 ? 00:00:00 [nfsd]
root 240479 2 0 11:08 ? 00:00:00 [nfsd]
root 240480 2 0 11:08 ? 00:00:00 [nfsd]
root 240481 2 0 11:08 ? 00:00:00 [nfsd]
root 240482 2 0 11:08 ? 00:00:00 [nfsd]
root 240483 2 0 11:08 ? 00:00:00 [nfsd]
root 240484 2 0 11:08 ? 00:00:00 [nfsd]
root 240485 2 0 11:08 ? 00:00:00 [nfsd]
root 240486 2 0 11:08 ? 00:00:00 [nfsd]
root 240487 2 0 11:08 ? 00:00:00 [nfsd]
root 240488 2 0 11:08 ? 00:00:00 [nfsd]
root 240489 2 0 11:08 ? 00:00:00 [nfsd]
root 240490 2 0 11:08 ? 00:00:00 [nfsd]
root 240491 2 0 11:08 ? 00:00:00 [nfsd]
root 240492 2 0 11:08 ? 00:00:00 [nfsd]
root 240493 2 0 11:08 ? 00:00:00 [nfsd]
root 240494 2 0 11:08 ? 00:00:00 [nfsd]
root 240495 2 0 11:08 ? 00:00:00 [nfsd]
root 240496 2 0 11:08 ? 00:00:00 [nfsd]
root 240497 2 0 11:08 ? 00:00:00 [nfsd]
root 240498 2 0 11:08 ? 00:00:00 [nfsd]
root 240499 2 0 11:08 ? 00:00:00 [nfsd]
root 240500 2 0 11:08 ? 00:00:00 [nfsd]
root 240501 2 0 11:08 ? 00:00:00 [nfsd]
root 240502 2 0 11:08 ? 00:00:00 [nfsd]
root 240503 2 0 11:08 ? 00:00:00 [nfsd]
root 240504 2 0 11:08 ? 00:00:00 [nfsd]
root 240505 2 0 11:08 ? 00:00:00 [nfsd]
root 240506 2 0 11:08 ? 00:00:00 [nfsd]
root 240507 2 0 11:08 ? 00:00:00 [nfsd]
root 240508 2 0 11:08 ? 00:00:00 [nfsd]
root 240509 2 0 11:08 ? 00:00:00 [nfsd]
root 240510 2 0 11:08 ? 00:00:00 [nfsd]
root 240511 2 0 11:08 ? 00:00:00 [nfsd]
root 240512 2 0 11:08 ? 00:00:00 [nfsd]
root 240513 2 0 11:08 ? 00:00:00 [nfsd]
root 240514 2 0 11:08 ? 00:00:00 [nfsd]
root 240515 2 0 11:08 ? 00:00:00 [nfsd]
root 240516 2 0 11:08 ? 00:00:00 [nfsd]
root 240517 2 0 11:08 ? 00:00:00 [nfsd]
root 240518 2 0 11:08 ? 00:00:00 [nfsd]
root 240519 2 0 11:08 ? 00:00:00 [nfsd]
root 240520 2 0 11:08 ? 00:00:00 [nfsd]
root 240521 2 0 11:08 ? 00:00:00 [nfsd]
root 240522 2 0 11:08 ? 00:00:00 [nfsd]
root 240523 2 0 11:08 ? 00:00:00 [nfsd]
root 240524 2 0 11:08 ? 00:00:00 [nfsd]
root 240525 2 0 11:08 ? 00:00:00 [nfsd]
root 240526 2 0 11:08 ? 00:00:00 [nfsd]
root 240527 2 0 11:08 ? 00:00:00 [nfsd]
root 240528 2 0 11:08 ? 00:00:00 [nfsd]
root 240529 2 0 11:08 ? 00:00:00 [nfsd]
root 240530 2 0 11:08 ? 00:00:00 [nfsd]
root 240531 2 0 11:08 ? 00:00:00 [nfsd]
root 240532 2 0 11:08 ? 00:00:00 [nfsd]
root 240533 2 0 11:08 ? 00:00:00 [nfsd]
root 240534 2 0 11:08 ? 00:00:00 [nfsd]
root 240535 2 0 11:08 ? 00:00:00 [nfsd]
root 240536 2 0 11:08 ? 00:00:00 [nfsd]
root 240537 2 0 11:08 ? 00:00:00 [nfsd]
root 240538 2 0 11:08 ? 00:00:00 [nfsd]
root 240539 2 0 11:08 ? 00:00:00 [nfsd]
root 240540 2 0 11:08 ? 00:00:00 [nfsd]
root 240541 2 0 11:08 ? 00:00:00 [nfsd]
root 240542 2 0 11:08 ? 00:00:00 [nfsd]
root 240543 2 0 11:08 ? 00:00:00 [nfsd]
root 240544 2 0 11:08 ? 00:00:00 [nfsd]
root 240545 2 0 11:08 ? 00:00:00 [nfsd]
root 240546 2 0 11:08 ? 00:00:00 [nfsd]
root 240547 2 0 11:08 ? 00:00:00 [nfsd]
root 240548 2 0 11:08 ? 00:00:00 [nfsd]
root 240549 2 0 11:08 ? 00:00:00 [nfsd]
root 240550 2 0 11:08 ? 00:00:00 [nfsd]
root 240561 237828 0 11:08 pts/0 00:00:00 grep --color=auto nfs
● NFS共有ディレクトリ作成
1) Directory作成と権限設定
ここでは、NFS共有ディレクトリを/u01/oracle/oradata/nfsとして設定します。
ファイルの権限は、簡単にするために chmod -R 777を使用して、すべてのユーザーに対してローカル・ファイル権限を読取り/書込み/実行に設定します。これにより、クライアント・ユーザーのUID/GUIDがサーバーと一致せず、サーバーのnobodyアカウントがデフォルトで設定される、この演習での追加のNFS共有オプションの必要性が最小限になります。
[root@bm-e5-server ~] mkdir /u01/oracle/oradata/nfs
[root@bm-e5-server ~] chmod 2770 /u01/oracle/oradata/nfs
[root@bm-e5-server ~] chgrp opc /u01/oracle/oradata/nfs
[root@bm-e5-server ~] ls -la mkdir /u01/oracle/oradata/nfs
total 0
drwxrws---. 2 root opc 6 Sep 5 04:49 .
drwxr-xr-x. 4 root root 31 Sep 5 04:49 ..
2) export point追加
/etc/exportsで共有を定義します。
[root@bm-e5-server ~] vi /etc/exports
[root@bm-e5-server ~] cat /etc/exports
/u01/oracle/oradata/nfs *(rw,no_root_squash)
3) 設定反映と確認
[root@bm-e5-server ~] exportfs -ar
[root@bm-e5-server ~] exportfs -v
/u01/oracle/oradata/nfs
<world>(sync,wdelay,hide,no_subtree_check,sec=sys,rw,secure,no_root_squash,no_all_squash)
● NFS server起動
1) nfs-serverステータス確認
[root@bm-e5-server ~]# systemctl status nfs-server
● nfs-server.service - NFS server and services
Loaded: loaded (/usr/lib/systemd/system/nfs-server.service; disabled; vendor preset: disabled)
Active: inactive (dead)
**2) nfs-server起動**
[root@bm-e5-server ~]# systemctl start nfs-server.service
**3) nfs-server起動ステータス確認**
[root@bm-e5-server ~]# systemctl status nfs-server
● nfs-server.service - NFS server and services
Loaded: loaded (/usr/lib/systemd/system/nfs-server.service; disabled; vendor preset: disabled)
Active: active (exited) since Thu 2024-09-05 05:03:12 GMT; 5s ago
Process: 10259 ExecStart=/bin/sh -c if systemctl -q is-active gssproxy; then systemctl reload gssproxy ; fi (>
Process: 10243 ExecStart=/usr/sbin/rpc.nfsd (code=exited, status=0/SUCCESS)
Process: 10240 ExecStartPre=/usr/sbin/exportfs -r (code=exited, status=0/SUCCESS)
Main PID: 10259 (code=exited, status=0/SUCCESS)
Sep 05 05:03:12 vm-optimized3 systemd[1]: Starting NFS server and services...
Sep 05 05:03:12 vm-optimized3 systemd[1]: Started NFS server and services.
4) nfs-server起動ステータス確認
showmountコマンドは、NFSサーバーを使用して使用可能な共有を表示
[root@bm-e5-server ~]# showmount -e
Export list for bm-e5:
/u01/oracle/oradata/nfs *
● NFS server自動起動設定
[root@bm-e5-server ~]# systemctl enable --now nfs-server
Created symlink /etc/systemd/system/multi-user.target.wants/nfs-server.service → /usr/lib/systemd/system/nfs-server.service.
[root@bm-e5-server ~]# systemctl is-enabled nfs-server
enabled
● Firewalld設定
NFSトラフィックを許可するようにファイアウォールを設定
[root@bm-e5-server ~] firewall-cmd --permanent --add-service nfs
success
[root@bm-e5-server ~] firewall-cmd --reload
success
[root@bm-e5-server ~]# firewall-cmd --list-all | grep nfs
services: dhcpv6-client nfs ssh vnc-server
■ NFS Client 設定
クライアント・インスタンスに接続し、NFSユーティリティーパッケージをインストール
⚫︎ nfs-utilsインストール
1) Install the nfs-utils package:
[root@bm-e5-client ~]# dnf install nfs-utils
Ksplice for Oracle Linux 8 (x86_64) 46 MB/s | 8.6 MB 00:00
MySQL 8.0 for Oracle Linux 8 (x86_64) 67 MB/s | 4.0 MB 00:00
MySQL 8.0 Tools Community for Oracle Linux 8 (x86_64) 19 MB/s | 805 kB 00:00
MySQL 8.0 Connectors Community for Oracle Linux 8 (x86_64) 906 kB/s | 34 kB 00:00
Oracle Software for OCI users on Oracle Linux 8 (x86_64) 75 MB/s | 151 MB 00:02
Oracle Linux 8 BaseOS Latest (x86_64) 185 MB/s | 79 MB 00:00
Oracle Linux 8 Application Stream (x86_64) 177 MB/s | 63 MB 00:00
Oracle Linux 8 Addons (x86_64) 140 MB/s | 19 MB 00:00
Latest Unbreakable Enterprise Kernel Release 7 for Oracle Linux 8 (x86_64) 169 MB/s | 41 MB 00:00
Package nfs-utils-1:2.3.3-59.0.1.el8.x86_64 is already installed.
Dependencies resolved.
Nothing to do.
Complete!
⚫︎ NFS共有ディレクトリ・マウント
BM.E5シェイプの 100Gbps読取りスループットを最大限に活用するために、Linuxカーネルバージョン5.3以降から使用できる nconnect=16 マウントオプションを使用します。
nconnect を使用すると、より少ないクライアント マシンを使用して大規模にパフォーマンスを向上させ、総保有コスト (TCO) を削減できます。 Nconnect は、単一または複数のクライアントを使用して、1 つまたは複数の NIC で複数の TCP チャネルを使用することで、パフォーマンスを向上させます。
1) NFSマウント
[root@bm-e5-client ~]# mount -t nfs -o rw,nconnect=16 10.10.0.22:/u01/oracle/oradata/nfs /mnt/nfs
2) NFSマウント確認
[root@bm-e5-client ~]# mount | grep 10.10.0.22
10.10.0.22:/u01/oracle/oradata/nfs on /mnt/nfs type nfs4 (rw,relatime,vers=4.2,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,nconnect=16,timeo=600,retrans=2,sec=sys,clientaddr=10.10.0.23,local_lock=none,addr=10.10.0.22)
3) NFSマウント・ディレクトリ確認
[root@bm-e5-client ~]# df -hT | grep nfs
10.10.0.22:/u01/oracle/oradata/nfs nfs4 15T 4.9T 9.8T 34% /mnt/nfs
4) NFSマウント・プロセス確認
nconnect=16 マウントオプションでプロセスが16個起動していることを確認
[root@bm-e5-client ~]# netstat -an |grep 2049
tcp 0 0 10.10.0.23:928 10.10.0.22:2049 ESTABLISHED
tcp 0 0 10.10.0.23:915 10.10.0.22:2049 ESTABLISHED
tcp 0 0 10.10.0.23:762 10.10.0.22:2049 ESTABLISHED
tcp 0 0 10.10.0.23:974 10.10.0.22:2049 TIME_WAIT
tcp 0 0 10.10.0.23:963 10.10.0.22:2049 ESTABLISHED
tcp 0 0 10.10.0.23:926 10.10.0.22:2049 ESTABLISHED
tcp 0 0 10.10.0.23:1007 10.10.0.22:2049 ESTABLISHED
tcp 0 0 10.10.0.23:861 10.10.0.22:2049 ESTABLISHED
tcp 0 0 10.10.0.23:745 10.10.0.22:2049 ESTABLISHED
tcp 0 0 10.10.0.23:777 10.10.0.22:2049 ESTABLISHED
tcp 0 0 10.10.0.23:958 10.10.0.22:2049 ESTABLISHED
tcp 0 0 10.10.0.23:933 10.10.0.22:2049 ESTABLISHED
tcp 0 0 10.10.0.23:673 10.10.0.22:2049 ESTABLISHED
■ FIOコマンド使用して スループット・パフォーマンス・テスト
Linuxベース・インスタンスでブロック・ボリューム・パフォーマンス・テストを行うためのサンプルFIOコマンドを参照して FIOコマンドで IOPSとスループットのパフォーマンス・テストをします。
テストするには、次のFIOサンプル・コマンドを使用します。コマンドを直接実行することも、コマンドを使用してジョブ・ファイルを作成してからそのジョブ・ファイルを実行することもできます。
● 順次読取りのテスト
・順次読取りのテスト実行
データベース・ワークロードなど、順次アクセス・パターンを利用できるワークロードに対しては、順次読取りをテストすることにより、このパターンのパフォーマンスを確認できます。
順次読取りをテストするには、次のコマンドを実行します。
初回実行時は、NFS Server 側にキャッシュが無い状態なので純粋な測定値が出ます。
2回目以降は、NFS Server 側にキャッシュされより高速な測定値が出ます。
- 1回目(Non Cache)
[root@bm-e5-client ~]# fio --name=read_throughput --directory=/mnt/nfs --size=10g --rw=read --bs=1m --numjobs=200 --iodepth=64 --ioengine=libaio --time_based --runtime=120 --direct=1 --group_reporting --eta-newline=1 --readonly
read_throughput: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64
...
fio-3.19
Starting 200 processes
Jobs: 200 (f=200): [R(200)][2.5%][r=3865MiB/s][r=3865 IOPS][eta 01m:58s]
Jobs: 200 (f=200): [R(200)][3.3%][r=3936MiB/s][r=3936 IOPS][eta 01m:57s]
Jobs: 200 (f=200): [R(200)][4.1%][r=3904MiB/s][r=3904 IOPS][eta 01m:56s]
Jobs: 200 (f=200): [R(200)][5.0%][r=3911MiB/s][r=3911 IOPS][eta 01m:55s]
Jobs: 200 (f=200): [R(200)][5.8%][r=3936MiB/s][r=3936 IOPS][eta 01m:54s]
Jobs: 200 (f=200): [R(200)][6.6%][r=3901MiB/s][r=3901 IOPS][eta 01m:53s]
Jobs: 200 (f=200): [R(200)][7.4%][r=3897MiB/s][r=3897 IOPS][eta 01m:52s]
Jobs: 200 (f=200): [R(200)][8.3%][r=3904MiB/s][r=3904 IOPS][eta 01m:51s]
Jobs: 200 (f=200): [R(200)][9.1%][r=3892MiB/s][r=3892 IOPS][eta 01m:50s]
Jobs: 200 (f=200): [R(200)][9.9%][r=3878MiB/s][r=3878 IOPS][eta 01m:49s]
Jobs: 200 (f=200): [R(200)][10.7%][r=3926MiB/s][r=3926 IOPS][eta 01m:48s]
Jobs: 200 (f=200): [R(200)][11.6%][r=3923MiB/s][r=3923 IOPS][eta 01m:47s]
Jobs: 200 (f=200): [R(200)][12.4%][r=3956MiB/s][r=3956 IOPS][eta 01m:46s]
Jobs: 200 (f=200): [R(200)][13.2%][r=3976MiB/s][r=3976 IOPS][eta 01m:45s]
Jobs: 200 (f=200): [R(200)][14.0%][r=3977MiB/s][r=3977 IOPS][eta 01m:44s]
Jobs: 200 (f=200): [R(200)][14.9%][r=3907MiB/s][r=3907 IOPS][eta 01m:43s]
Jobs: 200 (f=200): [R(200)][15.7%][r=3962MiB/s][r=3962 IOPS][eta 01m:42s]
Jobs: 200 (f=200): [R(200)][16.5%][r=3914MiB/s][r=3914 IOPS][eta 01m:41s]
Jobs: 200 (f=200): [R(200)][17.4%][r=3960MiB/s][r=3960 IOPS][eta 01m:40s]
Jobs: 200 (f=200): [R(200)][18.2%][r=3919MiB/s][r=3919 IOPS][eta 01m:39s]
Jobs: 200 (f=200): [R(200)][19.0%][r=3818MiB/s][r=3818 IOPS][eta 01m:38s]
Jobs: 200 (f=200): [R(200)][19.8%][r=3612MiB/s][r=3612 IOPS][eta 01m:37s]
Jobs: 200 (f=200): [R(200)][20.7%][r=3626MiB/s][r=3626 IOPS][eta 01m:36s]
Jobs: 200 (f=200): [R(200)][21.5%][r=3814MiB/s][r=3814 IOPS][eta 01m:35s]
Jobs: 200 (f=200): [R(200)][22.3%][r=3951MiB/s][r=3951 IOPS][eta 01m:34s]
Jobs: 200 (f=200): [R(200)][23.1%][r=3953MiB/s][r=3953 IOPS][eta 01m:33s]
Jobs: 200 (f=200): [R(200)][24.0%][r=3935MiB/s][r=3935 IOPS][eta 01m:32s]
Jobs: 200 (f=200): [R(200)][24.8%][r=3555MiB/s][r=3555 IOPS][eta 01m:31s]
Jobs: 200 (f=200): [R(200)][25.6%][r=2416MiB/s][r=2415 IOPS][eta 01m:30s]
Jobs: 200 (f=200): [R(200)][26.4%][r=2423MiB/s][r=2422 IOPS][eta 01m:29s]
Jobs: 200 (f=200): [R(200)][27.3%][r=2917MiB/s][r=2917 IOPS][eta 01m:28s]
Jobs: 200 (f=200): [R(200)][28.1%][r=3591MiB/s][r=3591 IOPS][eta 01m:27s]
Jobs: 200 (f=200): [R(200)][28.9%][r=3352MiB/s][r=3351 IOPS][eta 01m:26s]
Jobs: 200 (f=200): [R(200)][29.8%][r=3296MiB/s][r=3295 IOPS][eta 01m:25s]
Jobs: 200 (f=200): [R(200)][30.6%][r=3585MiB/s][r=3585 IOPS][eta 01m:24s]
Jobs: 200 (f=200): [R(200)][31.4%][r=3560MiB/s][r=3560 IOPS][eta 01m:23s]
Jobs: 200 (f=200): [R(200)][32.2%][r=3606MiB/s][r=3606 IOPS][eta 01m:22s]
Jobs: 200 (f=200): [R(200)][33.1%][r=3566MiB/s][r=3566 IOPS][eta 01m:21s]
Jobs: 200 (f=200): [R(200)][33.9%][r=3608MiB/s][r=3608 IOPS][eta 01m:20s]
Jobs: 200 (f=200): [R(200)][34.7%][r=3565MiB/s][r=3565 IOPS][eta 01m:19s]
Jobs: 200 (f=200): [R(200)][35.5%][r=3591MiB/s][r=3591 IOPS][eta 01m:18s]
Jobs: 200 (f=200): [R(200)][36.4%][r=3606MiB/s][r=3606 IOPS][eta 01m:17s]
Jobs: 200 (f=200): [R(200)][37.2%][r=3537MiB/s][r=3537 IOPS][eta 01m:16s]
Jobs: 200 (f=200): [R(200)][38.0%][r=3604MiB/s][r=3604 IOPS][eta 01m:15s]
Jobs: 200 (f=200): [R(200)][38.8%][r=3594MiB/s][r=3594 IOPS][eta 01m:14s]
Jobs: 200 (f=200): [R(200)][39.7%][r=3579MiB/s][r=3579 IOPS][eta 01m:13s]
Jobs: 200 (f=200): [R(200)][40.5%][r=3109MiB/s][r=3108 IOPS][eta 01m:12s]
Jobs: 200 (f=200): [R(200)][41.3%][r=3248MiB/s][r=3247 IOPS][eta 01m:11s]
Jobs: 200 (f=200): [R(200)][42.1%][r=3552MiB/s][r=3552 IOPS][eta 01m:10s]
Jobs: 200 (f=200): [R(200)][43.0%][r=3575MiB/s][r=3575 IOPS][eta 01m:09s]
Jobs: 200 (f=200): [R(200)][43.8%][r=3494MiB/s][r=3493 IOPS][eta 01m:08s]
Jobs: 200 (f=200): [R(200)][44.6%][r=3527MiB/s][r=3527 IOPS][eta 01m:07s]
Jobs: 200 (f=200): [R(200)][45.5%][r=3541MiB/s][r=3541 IOPS][eta 01m:06s]
Jobs: 200 (f=200): [R(200)][46.3%][r=1665MiB/s][r=1665 IOPS][eta 01m:05s]
Jobs: 200 (f=200): [R(200)][47.1%][r=230MiB/s][r=229 IOPS][eta 01m:04s]
Jobs: 200 (f=200): [R(200)][47.9%][r=3384MiB/s][r=3383 IOPS][eta 01m:03s]
Jobs: 200 (f=200): [R(200)][48.8%][r=3618MiB/s][r=3618 IOPS][eta 01m:02s]
Jobs: 200 (f=200): [R(200)][49.6%][r=3638MiB/s][r=3638 IOPS][eta 01m:01s]
Jobs: 200 (f=200): [R(200)][50.4%][r=3504MiB/s][r=3504 IOPS][eta 01m:00s]
Jobs: 200 (f=200): [R(200)][51.2%][r=3630MiB/s][r=3630 IOPS][eta 00m:59s]
Jobs: 200 (f=200): [R(200)][52.1%][r=3617MiB/s][r=3617 IOPS][eta 00m:58s]
Jobs: 200 (f=200): [R(200)][52.9%][r=3581MiB/s][r=3581 IOPS][eta 00m:57s]
Jobs: 200 (f=200): [R(200)][53.7%][r=2881MiB/s][r=2881 IOPS][eta 00m:56s]
Jobs: 200 (f=200): [R(200)][54.5%][r=3061MiB/s][r=3060 IOPS][eta 00m:55s]
Jobs: 200 (f=200): [R(200)][55.4%][r=3482MiB/s][r=3481 IOPS][eta 00m:54s]
Jobs: 200 (f=200): [R(200)][56.2%][r=2346MiB/s][r=2345 IOPS][eta 00m:53s]
Jobs: 200 (f=200): [R(200)][57.0%][eta 00m:52s]
Jobs: 200 (f=200): [R(200)][57.9%][r=2981MiB/s][r=2981 IOPS][eta 00m:51s]
Jobs: 200 (f=200): [R(200)][58.7%][r=3894MiB/s][r=3894 IOPS][eta 00m:50s]
Jobs: 200 (f=200): [R(200)][59.5%][r=4049MiB/s][r=4048 IOPS][eta 00m:49s]
Jobs: 200 (f=200): [R(200)][60.3%][r=4108MiB/s][r=4107 IOPS][eta 00m:48s]
Jobs: 200 (f=200): [R(200)][61.2%][r=4092MiB/s][r=4091 IOPS][eta 00m:47s]
Jobs: 200 (f=200): [R(200)][62.0%][r=4029MiB/s][r=4028 IOPS][eta 00m:46s]
Jobs: 200 (f=200): [R(200)][62.8%][r=4045MiB/s][r=4044 IOPS][eta 00m:45s]
Jobs: 200 (f=200): [R(200)][63.6%][r=4157MiB/s][r=4156 IOPS][eta 00m:44s]
Jobs: 200 (f=200): [R(200)][64.5%][r=4095MiB/s][r=4094 IOPS][eta 00m:43s]
Jobs: 200 (f=200): [R(200)][65.3%][r=4034MiB/s][r=4033 IOPS][eta 00m:42s]
Jobs: 200 (f=200): [R(200)][66.1%][r=4110MiB/s][r=4109 IOPS][eta 00m:41s]
Jobs: 200 (f=200): [R(200)][66.9%][r=4076MiB/s][r=4075 IOPS][eta 00m:40s]
Jobs: 200 (f=200): [R(200)][67.8%][r=4119MiB/s][r=4118 IOPS][eta 00m:39s]
Jobs: 200 (f=200): [R(200)][68.6%][r=4050MiB/s][r=4049 IOPS][eta 00m:38s]
Jobs: 200 (f=200): [R(200)][69.4%][r=4088MiB/s][r=4087 IOPS][eta 00m:37s]
Jobs: 200 (f=200): [R(200)][70.2%][r=4080MiB/s][r=4079 IOPS][eta 00m:36s]
Jobs: 200 (f=200): [R(200)][71.1%][r=3953MiB/s][r=3953 IOPS][eta 00m:35s]
Jobs: 200 (f=200): [R(200)][71.9%][r=4073MiB/s][r=4072 IOPS][eta 00m:34s]
Jobs: 200 (f=200): [R(200)][72.7%][r=4075MiB/s][r=4074 IOPS][eta 00m:33s]
Jobs: 200 (f=200): [R(200)][73.6%][r=4096MiB/s][r=4095 IOPS][eta 00m:32s]
Jobs: 200 (f=200): [R(200)][74.4%][r=4042MiB/s][r=4041 IOPS][eta 00m:31s]
Jobs: 200 (f=200): [R(200)][75.2%][r=4076MiB/s][r=4075 IOPS][eta 00m:30s]
Jobs: 200 (f=200): [R(200)][76.0%][r=4041MiB/s][r=4040 IOPS][eta 00m:29s]
Jobs: 200 (f=200): [R(200)][76.9%][r=4013MiB/s][r=4012 IOPS][eta 00m:28s]
Jobs: 200 (f=200): [R(200)][77.7%][r=4035MiB/s][r=4034 IOPS][eta 00m:27s]
Jobs: 200 (f=200): [R(200)][78.5%][r=4041MiB/s][r=4040 IOPS][eta 00m:26s]
Jobs: 200 (f=200): [R(200)][79.3%][r=4098MiB/s][r=4097 IOPS][eta 00m:25s]
Jobs: 200 (f=200): [R(200)][80.2%][r=4069MiB/s][r=4068 IOPS][eta 00m:24s]
Jobs: 200 (f=200): [R(200)][81.0%][r=3989MiB/s][r=3989 IOPS][eta 00m:23s]
Jobs: 200 (f=200): [R(200)][81.8%][r=4029MiB/s][r=4028 IOPS][eta 00m:22s]
Jobs: 200 (f=200): [R(200)][82.6%][r=4028MiB/s][r=4027 IOPS][eta 00m:21s]
Jobs: 200 (f=200): [R(200)][83.5%][r=4061MiB/s][r=4060 IOPS][eta 00m:20s]
Jobs: 200 (f=200): [R(200)][84.3%][r=4003MiB/s][r=4002 IOPS][eta 00m:19s]
Jobs: 200 (f=200): [R(200)][85.1%][r=4073MiB/s][r=4072 IOPS][eta 00m:18s]
Jobs: 200 (f=200): [R(200)][86.0%][r=4014MiB/s][r=4013 IOPS][eta 00m:17s]
Jobs: 200 (f=200): [R(200)][86.8%][r=4037MiB/s][r=4036 IOPS][eta 00m:16s]
Jobs: 200 (f=200): [R(200)][87.6%][r=4058MiB/s][r=4057 IOPS][eta 00m:15s]
Jobs: 200 (f=200): [R(200)][88.4%][r=4029MiB/s][r=4028 IOPS][eta 00m:14s]
Jobs: 200 (f=200): [R(200)][89.3%][r=3958MiB/s][r=3958 IOPS][eta 00m:13s]
Jobs: 200 (f=200): [R(200)][90.1%][r=3971MiB/s][r=3971 IOPS][eta 00m:12s]
Jobs: 200 (f=200): [R(200)][90.9%][r=4063MiB/s][r=4062 IOPS][eta 00m:11s]
Jobs: 200 (f=200): [R(200)][91.7%][r=4115MiB/s][r=4114 IOPS][eta 00m:10s]
Jobs: 200 (f=200): [R(200)][92.6%][r=4101MiB/s][r=4100 IOPS][eta 00m:09s]
Jobs: 200 (f=200): [R(200)][93.4%][r=4036MiB/s][r=4035 IOPS][eta 00m:08s]
Jobs: 200 (f=200): [R(200)][94.2%][r=4103MiB/s][r=4102 IOPS][eta 00m:07s]
Jobs: 200 (f=200): [R(200)][95.0%][r=4050MiB/s][r=4049 IOPS][eta 00m:06s]
Jobs: 200 (f=200): [R(200)][95.9%][r=4003MiB/s][r=4002 IOPS][eta 00m:05s]
Jobs: 200 (f=200): [R(200)][96.7%][r=4091MiB/s][r=4090 IOPS][eta 00m:04s]
Jobs: 200 (f=200): [R(200)][97.5%][r=4046MiB/s][r=4045 IOPS][eta 00m:03s]
Jobs: 200 (f=200): [R(200)][98.3%][r=4023MiB/s][r=4022 IOPS][eta 00m:02s]
Jobs: 200 (f=200): [R(200)][99.2%][r=3998MiB/s][r=3998 IOPS][eta 00m:01s]
Jobs: 200 (f=200): [R(200)][100.0%][r=4003MiB/s][r=4002 IOPS][eta 00m:00s]
Jobs: 200 (f=200): [R(200)][21.9%][r=368MiB/s][r=367 IOPS][eta 07m:15s]
Jobs: 200 (f=200): [R(200)][21.9%][eta 07m:19s]
Jobs: 200 (f=200): [R(200)][21.9%][eta 07m:22s]
read_throughput: (groupi d=0, jobs=200): err= 0: pid=20850: Thu Oct 3 03:35:56 2024
read: IOPS=3716, BW=3717MiB/s (3897MB/s)(447GiB/123238msec)
slat (usec): min=57, max=4841, avg=96.10, stdev=115.38
clat (msec): min=11, max=6336, avg=3440.54, stdev=646.42
lat (msec): min=12, max=6336, avg=3440.64, stdev=646.39
clat percentiles (msec):
| 1.00th=[ 1217], 5.00th=[ 3138], 10.00th=[ 3138], 20.00th=[ 3138],
| 30.00th=[ 3171], 40.00th=[ 3171], 50.00th=[ 3239], 60.00th=[ 3272],
| 70.00th=[ 3574], 80.00th=[ 3608], 90.00th=[ 4111], 95.00th=[ 5067],
| 99.00th=[ 5470], 99.50th=[ 5805], 99.90th=[ 6208], 99.95th=[ 6275],
| 99.99th=[ 6342]
bw ( MiB/s): min= 668, max= 4407, per=100.00%, avg=3774.29, stdev= 2.40, samples=47200
iops : min= 668, max= 4406, avg=3773.25, stdev= 2.41, samples=47200
lat (msec) : 20=0.01%, 50=0.01%, 100=0.05%, 250=0.13%, 500=0.21%
lat (msec) : 750=0.20%, 1000=0.20%, 2000=0.87%, >=2000=98.33%
cpu : usr=0.01%, sys=0.19%, ctx=463699, majf=3, minf=111527
IO depths : 1=0.1%, 2=0.1%, 4=0.2%, 8=0.3%, 16=0.7%, 32=1.4%, >=64=97.2%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
issued rwts: total=458065,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=64
Run status group 0 (all jobs):
READ: bw=3717MiB/s (3897MB/s), 3717MiB/s-3717MiB/s (3897MB/s-3897MB/s), io=447GiB (480GB), run=123238-123238msec
- 2回目(Cached)
[root@bm-e5-client ~]# fio --name=read_throughput --directory=/mnt/nfs --size=10g --rw=read --bs=1m --numjobs=200 --iodepth=64 --ioengine=libaio --time_based --runtime=120 --direct=1 --group_reporting --eta-newline=1 --readonly
read_throughput: (g=0): rw=read, bs=(R) 1024KiB-1024KiB, (W) 1024KiB-1024KiB, (T) 1024KiB-1024KiB, ioengine=libaio, iodepth=64
...
fio-3.19
Starting 200 processes
Jobs: 200 (f=200): [R(200)][2.5%][r=9812MiB/s][r=9812 IOPS][eta 01m:58s]
Jobs: 200 (f=200): [R(200)][3.3%][r=9331MiB/s][r=9330 IOPS][eta 01m:57s]
Jobs: 200 (f=200): [R(200)][4.1%][r=8910MiB/s][r=8910 IOPS][eta 01m:56s]
Jobs: 200 (f=200): [R(200)][5.0%][r=8847MiB/s][r=8847 IOPS][eta 01m:55s]
Jobs: 200 (f=200): [R(200)][5.8%][r=8886MiB/s][r=8886 IOPS][eta 01m:54s]
Jobs: 200 (f=200): [R(200)][6.6%][r=8685MiB/s][r=8685 IOPS][eta 01m:53s]
Jobs: 200 (f=200): [R(200)][7.4%][r=8678MiB/s][r=8678 IOPS][eta 01m:52s]
Jobs: 200 (f=200): [R(200)][8.3%][r=8537MiB/s][r=8537 IOPS][eta 01m:51s]
Jobs: 200 (f=200): [R(200)][9.1%][r=8812MiB/s][r=8812 IOPS][eta 01m:50s]
Jobs: 200 (f=200): [R(200)][9.9%][r=8861MiB/s][r=8861 IOPS][eta 01m:49s]
Jobs: 200 (f=200): [R(200)][10.7%][r=9.84GiB/s][r=10.1k IOPS][eta 01m:48s]
Jobs: 200 (f=200): [R(200)][11.6%][r=11.5GiB/s][r=11.8k IOPS][eta 01m:47s]
Jobs: 200 (f=200): [R(200)][12.4%][r=11.5GiB/s][r=11.7k IOPS][eta 01m:46s]
Jobs: 200 (f=200): [R(200)][13.2%][r=11.5GiB/s][r=11.8k IOPS][eta 01m:45s]
Jobs: 200 (f=200): [R(200)][14.0%][r=11.5GiB/s][r=11.8k IOPS][eta 01m:44s]
Jobs: 200 (f=200): [R(200)][14.9%][r=10.6GiB/s][r=10.9k IOPS][eta 01m:43s]
Jobs: 200 (f=200): [R(200)][15.7%][r=8702MiB/s][r=8702 IOPS][eta 01m:42s]
Jobs: 200 (f=200): [R(200)][16.5%][r=8996MiB/s][r=8996 IOPS][eta 01m:41s]
Jobs: 200 (f=200): [R(200)][17.4%][r=8858MiB/s][r=8858 IOPS][eta 01m:40s]
Jobs: 200 (f=200): [R(200)][18.2%][r=8579MiB/s][r=8579 IOPS][eta 01m:39s]
Jobs: 200 (f=200): [R(200)][19.0%][r=8696MiB/s][r=8696 IOPS][eta 01m:38s]
Jobs: 200 (f=200): [R(200)][19.8%][r=8481MiB/s][r=8480 IOPS][eta 01m:37s]
Jobs: 200 (f=200): [R(200)][20.7%][r=8504MiB/s][r=8504 IOPS][eta 01m:36s]
Jobs: 200 (f=200): [R(200)][21.5%][r=8520MiB/s][r=8520 IOPS][eta 01m:35s]
Jobs: 200 (f=200): [R(200)][22.3%][r=8446MiB/s][r=8445 IOPS][eta 01m:34s]
Jobs: 200 (f=200): [R(200)][23.1%][r=8445MiB/s][r=8444 IOPS][eta 01m:33s]
Jobs: 200 (f=200): [R(200)][24.0%][r=8557MiB/s][r=8557 IOPS][eta 01m:32s]
Jobs: 200 (f=200): [R(200)][24.8%][r=8497MiB/s][r=8496 IOPS][eta 01m:31s]
Jobs: 200 (f=200): [R(200)][25.6%][r=8499MiB/s][r=8498 IOPS][eta 01m:30s]
Jobs: 200 (f=200): [R(200)][26.4%][r=8673MiB/s][r=8673 IOPS][eta 01m:29s]
Jobs: 200 (f=200): [R(200)][27.3%][r=8532MiB/s][r=8532 IOPS][eta 01m:28s]
Jobs: 200 (f=200): [R(200)][28.1%][r=8487MiB/s][r=8486 IOPS][eta 01m:27s]
Jobs: 200 (f=200): [R(200)][28.9%][r=8602MiB/s][r=8602 IOPS][eta 01m:26s]
Jobs: 200 (f=200): [R(200)][29.8%][r=8637MiB/s][r=8637 IOPS][eta 01m:25s]
Jobs: 200 (f=200): [R(200)][30.6%][r=8526MiB/s][r=8526 IOPS][eta 01m:24s]
Jobs: 200 (f=200): [R(200)][31.4%][r=8461MiB/s][r=8460 IOPS][eta 01m:23s]
Jobs: 200 (f=200): [R(200)][32.2%][r=8408MiB/s][r=8407 IOPS][eta 01m:22s]
Jobs: 200 (f=200): [R(200)][33.1%][r=8524MiB/s][r=8524 IOPS][eta 01m:21s]
Jobs: 200 (f=200): [R(200)][33.9%][r=8488MiB/s][r=8487 IOPS][eta 01m:20s]
Jobs: 200 (f=200): [R(200)][34.7%][r=8439MiB/s][r=8438 IOPS][eta 01m:19s]
Jobs: 200 (f=200): [R(200)][35.5%][r=8506MiB/s][r=8506 IOPS][eta 01m:18s]
Jobs: 200 (f=200): [R(200)][36.4%][r=8701MiB/s][r=8701 IOPS][eta 01m:17s]
Jobs: 200 (f=200): [R(200)][37.2%][r=8447MiB/s][r=8446 IOPS][eta 01m:16s]
Jobs: 200 (f=200): [R(200)][38.0%][r=8573MiB/s][r=8573 IOPS][eta 01m:15s]
Jobs: 200 (f=200): [R(200)][38.8%][r=8636MiB/s][r=8636 IOPS][eta 01m:14s]
Jobs: 200 (f=200): [R(200)][39.7%][r=8573MiB/s][r=8573 IOPS][eta 01m:13s]
Jobs: 200 (f=200): [R(200)][40.5%][r=8479MiB/s][r=8478 IOPS][eta 01m:12s]
Jobs: 200 (f=200): [R(200)][41.3%][r=8507MiB/s][r=8507 IOPS][eta 01m:11s]
Jobs: 200 (f=200): [R(200)][42.1%][r=8530MiB/s][r=8530 IOPS][eta 01m:10s]
Jobs: 200 (f=200): [R(200)][43.0%][r=8497MiB/s][r=8496 IOPS][eta 01m:09s]
Jobs: 200 (f=200): [R(200)][43.8%][r=5696MiB/s][r=5696 IOPS][eta 01m:08s]
Jobs: 200 (f=200): [R(200)][44.6%][r=3953MiB/s][r=3953 IOPS][eta 01m:07s]
Jobs: 200 (f=200): [R(200)][45.5%][r=3960MiB/s][r=3960 IOPS][eta 01m:06s]
Jobs: 200 (f=200): [R(200)][46.3%][r=4006MiB/s][r=4005 IOPS][eta 01m:05s]
Jobs: 200 (f=200): [R(200)][47.1%][r=4114MiB/s][r=4113 IOPS][eta 01m:04s]
Jobs: 200 (f=200): [R(200)][47.9%][r=4058MiB/s][r=4057 IOPS][eta 01m:03s]
Jobs: 200 (f=200): [R(200)][48.8%][r=4012MiB/s][r=4011 IOPS][eta 01m:02s]
Jobs: 200 (f=200): [R(200)][49.6%][r=4039MiB/s][r=4038 IOPS][eta 01m:01s]
Jobs: 200 (f=200): [R(200)][50.4%][r=3993MiB/s][r=3993 IOPS][eta 01m:00s]
Jobs: 200 (f=200): [R(200)][51.2%][r=3947MiB/s][r=3947 IOPS][eta 00m:59s]
Jobs: 200 (f=200): [R(200)][52.1%][r=4006MiB/s][r=4005 IOPS][eta 00m:58s]
Jobs: 200 (f=200): [R(200)][52.9%][r=3988MiB/s][r=3988 IOPS][eta 00m:57s]
Jobs: 200 (f=200): [R(200)][53.7%][r=4084MiB/s][r=4083 IOPS][eta 00m:56s]
Jobs: 200 (f=200): [R(200)][54.5%][r=4009MiB/s][r=4008 IOPS][eta 00m:55s]
Jobs: 200 (f=200): [R(200)][55.4%][r=3961MiB/s][r=3961 IOPS][eta 00m:54s]
Jobs: 200 (f=200): [R(200)][56.2%][r=4026MiB/s][r=4025 IOPS][eta 00m:53s]
Jobs: 200 (f=200): [R(200)][57.0%][r=3735MiB/s][r=3735 IOPS][eta 00m:52s]
Jobs: 200 (f=200): [R(200)][57.9%][r=3333MiB/s][r=3332 IOPS][eta 00m:51s]
Jobs: 200 (f=200): [R(200)][58.7%][r=4024MiB/s][r=4023 IOPS][eta 00m:50s]
Jobs: 200 (f=200): [R(200)][59.5%][r=4041MiB/s][r=4040 IOPS][eta 00m:49s]
Jobs: 200 (f=200): [R(200)][60.3%][r=4026MiB/s][r=4025 IOPS][eta 00m:48s]
Jobs: 200 (f=200): [R(200)][61.2%][r=4015MiB/s][r=4014 IOPS][eta 00m:47s]
Jobs: 200 (f=200): [R(200)][62.0%][r=4017MiB/s][r=4016 IOPS][eta 00m:46s]
Jobs: 200 (f=200): [R(200)][62.8%][r=3971MiB/s][r=3971 IOPS][eta 00m:45s]
Jobs: 200 (f=200): [R(200)][63.6%][r=3980MiB/s][r=3980 IOPS][eta 00m:44s]
Jobs: 200 (f=200): [R(200)][64.5%][r=3948MiB/s][r=3948 IOPS][eta 00m:43s]
Jobs: 200 (f=200): [R(200)][65.3%][r=3967MiB/s][r=3967 IOPS][eta 00m:42s]
Jobs: 200 (f=200): [R(200)][66.1%][r=4021MiB/s][r=4020 IOPS][eta 00m:41s]
Jobs: 200 (f=200): [R(200)][66.9%][r=4003MiB/s][r=4002 IOPS][eta 00m:40s]
Jobs: 200 (f=200): [R(200)][67.8%][r=3996MiB/s][r=3996 IOPS][eta 00m:39s]
Jobs: 200 (f=200): [R(200)][68.6%][r=3942MiB/s][r=3942 IOPS][eta 00m:38s]
Jobs: 200 (f=200): [R(200)][69.4%][r=3974MiB/s][r=3974 IOPS][eta 00m:37s]
Jobs: 200 (f=200): [R(200)][70.2%][r=3970MiB/s][r=3970 IOPS][eta 00m:36s]
Jobs: 200 (f=200): [R(200)][71.1%][r=3925MiB/s][r=3925 IOPS][eta 00m:35s]
Jobs: 200 (f=200): [R(200)][71.9%][r=4006MiB/s][r=4005 IOPS][eta 00m:34s]
Jobs: 200 (f=200): [R(200)][72.7%][r=3959MiB/s][r=3959 IOPS][eta 00m:33s]
Jobs: 200 (f=200): [R(200)][73.6%][r=3986MiB/s][r=3986 IOPS][eta 00m:32s]
Jobs: 200 (f=200): [R(200)][74.4%][r=3962MiB/s][r=3962 IOPS][eta 00m:31s]
Jobs: 200 (f=200): [R(200)][75.2%][r=3945MiB/s][r=3945 IOPS][eta 00m:30s]
Jobs: 200 (f=200): [R(200)][76.0%][r=4031MiB/s][r=4030 IOPS][eta 00m:29s]
Jobs: 200 (f=200): [R(200)][76.9%][r=3988MiB/s][r=3988 IOPS][eta 00m:28s]
Jobs: 200 (f=200): [R(200)][77.7%][r=3948MiB/s][r=3948 IOPS][eta 00m:27s]
Jobs: 200 (f=200): [R(200)][78.5%][r=3971MiB/s][r=3971 IOPS][eta 00m:26s]
Jobs: 200 (f=200): [R(200)][79.3%][r=3954MiB/s][r=3954 IOPS][eta 00m:25s]
Jobs: 200 (f=200): [R(200)][80.2%][r=3992MiB/s][r=3992 IOPS][eta 00m:24s]
Jobs: 200 (f=200): [R(200)][81.0%][r=3932MiB/s][r=3932 IOPS][eta 00m:23s]
Jobs: 200 (f=200): [R(200)][81.8%][r=3922MiB/s][r=3922 IOPS][eta 00m:22s]
Jobs: 200 (f=200): [R(200)][82.6%][r=4005MiB/s][r=4004 IOPS][eta 00m:21s]
Jobs: 200 (f=200): [R(200)][83.5%][r=3997MiB/s][r=3997 IOPS][eta 00m:20s]
Jobs: 200 (f=200): [R(200)][84.3%][r=3142MiB/s][r=3141 IOPS][eta 00m:19s]
Jobs: 200 (f=200): [R(200)][85.1%][r=4120MiB/s][r=4119 IOPS][eta 00m:18s]
Jobs: 200 (f=200): [R(200)][86.0%][r=4105MiB/s][r=4104 IOPS][eta 00m:17s]
Jobs: 200 (f=200): [R(200)][86.8%][r=4156MiB/s][r=4155 IOPS][eta 00m:16s]
Jobs: 200 (f=200): [R(200)][87.6%][r=4019MiB/s][r=4018 IOPS][eta 00m:15s]
Jobs: 200 (f=200): [R(200)][88.4%][r=3906MiB/s][r=3906 IOPS][eta 00m:14s]
Jobs: 200 (f=200): [R(200)][89.3%][r=4001MiB/s][r=4000 IOPS][eta 00m:13s]
Jobs: 200 (f=200): [R(200)][90.1%][r=3981MiB/s][r=3981 IOPS][eta 00m:12s]
Jobs: 200 (f=200): [R(200)][90.9%][r=4015MiB/s][r=4014 IOPS][eta 00m:11s]
Jobs: 200 (f=200): [R(200)][91.7%][r=3999MiB/s][r=3999 IOPS][eta 00m:10s]
Jobs: 200 (f=200): [R(200)][92.6%][r=3928MiB/s][r=3928 IOPS][eta 00m:09s]
Jobs: 200 (f=200): [R(200)][93.4%][r=3950MiB/s][r=3950 IOPS][eta 00m:08s]
Jobs: 200 (f=200): [R(200)][94.2%][r=4084MiB/s][r=4083 IOPS][eta 00m:07s]
Jobs: 200 (f=200): [R(200)][95.0%][r=4083MiB/s][r=4082 IOPS][eta 00m:06s]
Jobs: 200 (f=200): [R(200)][95.9%][r=4167MiB/s][r=4166 IOPS][eta 00m:05s]
Jobs: 200 (f=200): [R(200)][96.7%][r=4150MiB/s][r=4149 IOPS][eta 00m:04s]
Jobs: 200 (f=200): [R(200)][97.5%][r=4147MiB/s][r=4146 IOPS][eta 00m:03s]
Jobs: 200 (f=200): [R(200)][98.3%][r=4156MiB/s][r=4155 IOPS][eta 00m:02s]
Jobs: 200 (f=200): [R(200)][99.2%][r=4125MiB/s][r=4124 IOPS][eta 00m:01s]
Jobs: 200 (f=200): [R(200)][100.0%][r=4085MiB/s][r=4084 IOPS][eta 00m:00s]
Jobs: 200 (f=200): [R(200)][36.0%][r=373MiB/s][r=372 IOPS][eta 03m:37s]
Jobs: 200 (f=200): [R(200)][36.0%][eta 03m:39s]
Jobs: 200 (f=200): [R(200)][35.9%][eta 03m:41s]
read_throughput: (groupid=0, jobs=200): err= 0: pid=22470: Thu Oct 3 03:39:36 2024
read: IOPS=6047, BW=6048MiB/s (6341MB/s)(727GiB/123171msec)
slat (usec): min=57, max=5578, avg=92.76, stdev=77.14
clat (msec): min=14, max=6191, avg=2114.64, stdev=940.39
lat (msec): min=14, max=6191, avg=2114.73, stdev=940.38
clat percentiles (msec):
| 1.00th=[ 885], 5.00th=[ 1083], 10.00th=[ 1301], 20.00th=[ 1452],
| 30.00th=[ 1485], 40.00th=[ 1502], 50.00th=[ 1502], 60.00th=[ 1519],
| 70.00th=[ 3171], 80.00th=[ 3205], 90.00th=[ 3239], 95.00th=[ 3306],
| 99.00th=[ 4396], 99.50th=[ 5336], 99.90th=[ 6007], 99.95th=[ 6141],
| 99.99th=[ 6208]
bw ( MiB/s): min= 2802, max=12002, per=100.00%, avg=6100.72, stdev=12.73, samples=48000
iops : min= 2802, max=12002, avg=6099.31, stdev=12.73, samples=48000
lat (msec) : 20=0.01%, 50=0.01%, 100=0.06%, 250=0.17%, 500=0.30%
lat (msec) : 750=0.29%, 1000=0.34%, 2000=60.84%, >=2000=37.99%
cpu : usr=0.02%, sys=0.29%, ctx=751629, majf=8, minf=111556
IO depths : 1=0.1%, 2=0.1%, 4=0.1%, 8=0.2%, 16=0.4%, 32=0.9%, >=64=98.3%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.1%, >=64=0.0%
issued rwts: total=744894,0,0,0 short=0,0,0,0 dropped=0,0,0,0
latency : target=0, window=0, percentile=100.00%, depth=64
Run status group 0 (all jobs):
READ: bw=6048MiB/s (6341MB/s), 6048MiB/s-6048MiB/s (6341MB/s-6341MB/s), io=727GiB (781GB), run=123171-123171msec
・順次読取りのテスト結果
- 1回目の NFS Server で Cache されてない状態のスループット・パフォーマンスは、次の bw 行を見ると、max= 4407 (MiB/s) = 36.9686 Gbps であることを確認できます。
bw行
bw ( MiB/s): min= 668, max= 4407, per=100.00%, avg=3774.29, stdev= 2.40, samples=47200
- 2回目の NFS Server で Cache された、スループット・パフォーマンスは、次の bw 行を見ると、max= 12002 (MiB/s) = 100.68 Gbps であることを確認できます。
bw行
bw ( MiB/s): min= 2802, max=12002, per=100.00%, avg=6100.72, stdev=12.73, samples=48000
■ 参考
・ Oracle LinuxでのNFSサーバーの作成
・ Sample FIO Commands for Block Volume Performance Tests on Linux-based Instances
・ fio - Flexible I/O tester
・ Package nfs-utils
・ nconnectを使用してNFSのパフォーマンスを簡単に向上させる
・ NFS スレッド数の設定