インフラ勉強会の検証基盤にNutanix CEを導入しようとしてトラブった話

結論

紆余曲折あったけれど、HW構成が悪かった。最終的にはこんなパフォーマンスのコンテナ検証環境が出来た。
教訓：ちゃんとドキュメントを読もう。

なお、ホスト故障にもフェイルオーバで対応するし、自動バックアップ機能もある、リモートサイトへのレプリケーションもできる、ライブマイグレーションもできる、マネージドのファイルサービスも存在する検証環境。

背景

インフラ勉強会では勉強会のイベント管理にWordPressを用いている。当該環境は仮想マシンベースとなっているが、筆者の脳内では
「インフラ勉強会のインフラって仮想マシン使ってるんだってー？」
「もうコンテナ技術が主流なのに時代遅れだよねー！」
という言葉が飛び交っていたので、インフラ勉強会にコンテナ技術の検証基盤を導入することとした。

そもそもなんで仮想マシンを使ってたの？

結論を言うと筆者の知識が乏しかったから。
インフラ勉強会が発足したのは2017年12月23日、インフラ勉強会のWikiが稼働したのは2日後の2017年12月25日である。

インフラ勉強会の勢いを阻害しないために、極力早く環境を構築しようと考えていた。
当時の筆者はDockerを一切触れたことが無かったため、当たり前の様に仮想マシンを用いて構築した。
つまり筆者が生み出した技術的負債である。

検討

コンテナオーケストレーション製品の候補としてはKubernetes、Docker Swarm、OpenShiftなどの製品名が出ていた。
様々なプロダクトを並行で検証できるように、これらのホストを物理サーバに直接インストールするのではなく仮想マシン上にインストールすることとし、ハイパーバイザ層には(筆者の独断で)Nutanix CEを採用した。
Nutanix CEはコミュニティメンバーであれば無償で使用できるハイパーバイザであり、製品版のNutanixにはKarbonというManagedでKubernetesを提供する機能も存在する。
現最新バージョンのNutanix CEにはKarbonはリリースされていないが、リリースされた後には
「インフラ勉強会の次期インフラとしてKubernetesを採用した場合には、Karbonを用いてKubernetesを容易に管理できるだろう・・」
という淡い期待もある。

構築

ドハマリした。
適当なサーバを用意したが、Diskの組み合わせに問題があった。
用意したHWは以下の通りである。

種別	型番
サーバ筐体	PRIMERGY　RX1330 M3
CPU	E3-1230v6
Memory	SMD4-E64G48M-24R-Q
Disk(Hot Tier)	Samsung SSD 960 EVO 500GB
Disk(Cold Tier)	Samsung SSD 960 EVO 1TB
Boot Disk	適当なUSBフラッシュメモリ
NIC	X550-T2

CVMのインストールが失敗する

Nutanix CEをインストールする時の流れは以下の通りだ。
1. Nutanix CEのイメージをUSBフラッシュメモリに書き込み、AHVを起動する
2. installユーザでログインし、初期設定を行う
3. 初期設定の内容を基にCVMがインストールされる

3の処理内でAHVからCVMへの通信が発生する動作となっているが、用意したハードウェア構成ではタイムアウトしCVMのインストールに失敗した。

原因はDisk構成。Hot TierとCold TierにNVMeのDiskを使用したこと

筆者の宗教上、Disk IO待ちで検証が滞るという状況は禁忌であるため、少しでもDisk性能を高めるためにNVMe SSDを採用した。
でも以下に書いてあった。
RECOMMENDED COMMUNITY EDITION HARDWARE

NVMe-based drives are not supported

Nutanix では、主にキャッシュ用途で使用するHot Tier用のDiskと、データのストア領域として使用するCold Tier用のDiskを必要とする。
用意したハードウェアでは、Hot TierおよびCold TierにNVMeを採用していた。
Hot Tierのみの構成であればNVMeをサポートするとの情報があったため、以下のようにハードウェアを変更して対処した。

種別	型番
Disk(Hot Tier)	Samsung SSD 960 EVO 500GB
Disk(Cold Tier)	SanDisk SDSSDH3 1TB

結果、すんなり動いた。

まとめ

• ドキュメントちゃんと読もう
• Nutanix早くて楽だよ使おう