オンプレ仮想基盤を構築する際に、分散ストレージ（Csph）を採用することでコストメリットが出ると思い込んでいたのですが、あれ？と思うことがあったので比較してみました。
想定機器、部品は
サーバ：HP DL360
参考：https://h50146.www5.hpe.com/directplus_ent/library/pdfs_servers/dl360gen11.pdf
・FC HBA：32Gb 2port ファイバーチャネル ホスト バス アダプター：493,000 円
・10GbE：Broadcom BCM57416 Ethernet 10Gb 2-port BASE-T Adapter for HPE：105,000 円
・SSD：HPE 1.92TB SATA 6G Read Intensive SFF BC Multi Vendor SSD：216,000 円
ストレージ：HP MSA2060
参考：https://h50146.www5.hpe.com/directplus_ent/library/pdfs_storage/msa_gen6.pdf
・FCストレージ：MSA 2060 16Gb FC 2.5 型 ストレージ (2U)：2,350,000 円
・iSCSIストレージ：MSA 2060 10GBASE-T iSCSI 2.5 型 ストレージ (2U)：2,550,000 円
・HDD：MSA 1.8TB 12G SAS 10krpm 2.5 型 M2 Enterprise ハードディスクドライブ：200,000 円
・SSD：MSA 1.92TB 12G SAS 2.5 型 Read Intensive (RI) M2 ソリッドステートドライブ：474,000 円
Ceph用10GbE SW：HPE Networking Instant On 1960
参考：https://www.idaten.ne.jp/portal/page/out/mss/hpe/aruba_instant_on_switches.html
・HPE Networking Instant On 1960 12XGT 4SFP+ Switch：237,000 円
3ノード想定なのでFCスイッチはなし
Ceph・FC・iSCSIそれぞれで以下の構成で計算しています。
・Ceph構成：サーバごとに2Port 10Gb NICを1枚搭載、10GbE SWを2台
・FC構成：サーバごとに2Port FC HBAを1枚搭載、MSA2060 FCを1台、RAID5/10の2パターン
、スペアディスク1本
・iSCSI構成：サーバごとに2Port 10Gb NICを1枚搭載、MSA2060 iSCSIを1台、RAID5/10の2パターン
、スペアディスク1本
ディスク容量ごとのコストを表にまとめたものが以下です。
（容量目安は1.8TBディスク基準で、Ceph構成では1.92TBディスクになるのですこし増えます）
この表では、容量次第ですがCeph構成でのコストメリットはかなりありそう。
それでも、10TB超えたところから構成次第で共有ストレージの方が安くなりますね。
Cephの場合データが3多重で保持されるため、容量が大きくなるにつれて共有ストレージにコストが追い付いていきますが、3ノードであればCephの方が安くなることが多そうです。
ちなみに、Ceph構成での10GbE SWをCisco製にすると、おそらくC9200が候補になると思いますが、価格が跳ね上がります。
参考：https://www.it-ex.com/products/maker/cisco/catalyst9200.html
C9200-24PXG-E：1,314,900 円
C9200を採用した場合のコスト比較は以下のようになりました。
HDD利用であれば共有ストレージの方が安価になるパターンが多く、SSD利用であってもRAID5なら価格差がかなり縮まりますね。
これが5ノード以上になると、共有ストレージ構成ではFCスイッチ（HPのものだと1台1,429,000円）や10GbE SWが必要になるため、共有ストレージ構成の方がコスト面で不利になりそうです。
とはいえ、ここまでの話は全てHP製品の標準価格での比較のため、製品や値引き等で変わってきますので、あくまで目安ということで。
大した結論はありませんが、容量が増えるほど共有ストレージの方が有利になっていき10TBあたりが目安になりそうなこと、10GbE SWにCisco製品を採用する場合はCephのコストメリットがあまりなさそうなこと、が確認できました。