ESXiサーバのHDD性能を測定してみた #VMware_ESXi

初投稿です。
ツッコミや追加測定したほうがいい事項あればコメントください

背景

自作サーバを構築したので、VMWare ESXiホストにして、VMをファイルサーバとして使いたい。
仮想ディスクではオーバーヘッドが大きくなってしまうが、rawディスクとしてゲストOSにマウントすれば行けるんじゃないだろうか？

ということで、

(1) HDDを直接マウント
(2) ESXi上の仮想マシン・仮想ディスク
(3) ESXi上の仮想マシン・HDDをrawディスクマウント

のそれぞれでディスク性能を比較してみる。
あと、趣旨とは関係ないのだが初めてM.2インタフェースのSSDを買っちゃったのでついでに性能を図ってみている。

環境

ハード

マザーボード: GIGABYTE GA-H270-HD3
CPU : Intel Core i5 7600T
メモリ: DDR4 32GB
SSD(OS用): Samsung 960 EVO M.2
HDD(データ用) : TOSHIBA DT01ACA300 3000GB

ソフト

ゲストOS・直接マウント用OS:CentOS 7.3 Minimal
ESXi : VMWare ESXi 6.0 Update 2
fio : fio-2.17

方法

fioを使う。
使い方は以下URLを参考にした。
http://ossfan.net/setup/linux-24.html

手順

(1)HDD直接マウント

１. CentOSをインストール

[root@localhost ~]# cat /etc/redhat-release 
CentOS Linux release 7.3.1611 (Core)

２. パーティション作成

[root@localhost ~]# parted
GNU Parted 3.1
/dev/sda を使用
GNU Parted へようこそ！ コマンド一覧を見るには 'help' と入力してください。
(parted) select /dev/sda
/dev/sda を使用
(parted) mkpart
パーティションの名前?  []? test
ファイルシステムの種類?  [ext2]? xfs 
開始? 0G
終了? 3000G
(parted) quit                                                             
通知: 必要であれば /etc/fstab を更新するのを忘れないようにしてください。

３. XFSでフォーマット。

あまり考えずにCentOS7から標準になったXFSを選択した。ひょっとして速度的にはext4の方が良かったりするんだろうか？

[root@localhost ~]# df -Th
ファイルシス        タイプ   サイズ  使用  残り 使用% マウント位置
/dev/mapper/cl-root xfs         50G  3.1G   47G    7% /
devtmpfs            devtmpfs    16G     0   16G    0% /dev
tmpfs               tmpfs       16G     0   16G    0% /dev/shm
tmpfs               tmpfs       16G   17M   16G    1% /run
tmpfs               tmpfs       16G     0   16G    0% /sys/fs/cgroup
/dev/nvme0n1p1      xfs       1014M  170M  845M   17% /boot
tmpfs               tmpfs      3.2G     0  3.2G    0% /run/user/0
/dev/sda1           xfs        2.8T   33M  2.8T    1% /mnt

４．以下のfioコマンドを実行。
以下を参考に作成。
http://qiita.com/toshihirock/items/fa4d310115e6921ab0ac

ファイルサーバ想定なのでベースサイズは32MBに設定。
32MBでも少ない？

(☆)

# シーケンシャルリード
fio -filename=/mnt/test2g -direct=1 -rw=read -bs=32m -size=2G -numjobs=16 -runtime=10 -group_reporting -name=file1 -output=seqread.txt

# シーケンシャルライト
fio -filename=/mnt/test2g -direct=1 -rw=write -bs=32m -size=2G -numjobs=16 -runtime=10 -group_reporting -name=file1 -output=seqwrite.txt

# ランダムリード＆ライト
fio -filename=/mnt/test2g -direct=1 -rw=randrw -bs=32m -size=2G -numjobs=16 -runtime=10 -group_reporting -name=file1 -output=randrw.txt

５．結果は以下の通り。

HDD直接マウント

type	IOPS	スループット(MB/s)	実行時間(ms)
seqread	11	380	10980
seqwrite	6	231	11314
randread	2	96.4	12533
randwrite	2	69.8	12510

SSD直接マウント

type	IOPS	スループット(MB/s)	実行時間(ms)
seqread	36	1234	10281
seqwrite	46	1577	10320
randread	26	874	10294
randwrite	26	903	10294

（２）ESXi上の仮想マシン・仮想ディスク

６．サーバにESXiをインストールする。
７．VMを作成し、CentOSをインストールする。
７．HDDをデータストアに追加する。
８．新規仮想ディスクを作成し、CentOSにマウントする。
９．４．と同じコマンドで測定。
１０．結果は以下の通り。

HDD仮想ディスク

type	IOPS	スループット(MB/s)	実行時間(ms)
seqread	11	386	11034
seqwrite	6	206	12233
randread	2	77.9	12932
randwrite	1	62.3	12932

SSD仮想ディスク

type	IOPS	スループット(MB/s)	実行時間(ms)
seqread	28	967	10509
seqwrite	47	1587	10297
randread	21	715	10276
randwrite	23	774	10276

（３）ESXi上の仮想マシン・HDDをrawディスクマウント

１１．７．で追加したデータストアを削除。
１２．HDDをRawディスクとしてマウントする。
以下、参考。
http://blog.hitsujin.jp/entry/2014/06/08/161357

ESXiサーバにSSH接続して（SSHのサービスはデフォルトでは止まっているのでClient Hostで立ち上げる）以下コマンドを実行。

[root@localhost:~] vmkfstools -z /vmfs/devices/disks/t10.ATA_____TOSHIBA_DT01ACA300_________________________________57
8BL1XAS "/vmfs/volumes/datastore1/test2/rawhdd.vmdk"

VMのプロパティから、既存の仮想ディスクの追加操作をして、↑で追加したファイルを選択する。

こんな感じになる。

１３．４．と同じコマンドで測定。

１４．結果は以下の通り。

HDDrawマウント

type	IOPS	スループット(MB/s)	実行時間(ms)
seqread	12	422	10817
seqwrite	8	275	11590
randread	3	112	12012
randwrite	2	75.5	12012

SSDrawマウントは出来ないのでありません。

まとめ

ひとまず、期待通りrawマウントによる性能劣化はなさそう。
仮想ディスクだと10%程度スループットが低くなる。
管理の上でも仮想ディスクを選択するメリットは（少なくともご自宅用の範囲では）ないのでは？
SSD速い。キャッシュとして使って高速なファイルサーバとして構築できたりしないだろうか。

実施中のCPU・メモリ等ログもとってあるのでもうちょい考察して更新します。