インフラ勉強会の検証基盤にNutanix CEを導入しようとしてトラブった話
結論
紆余曲折あったけれど、HW構成が悪かった。最終的にはこんなパフォーマンスのコンテナ検証環境が出来た。
教訓:ちゃんとドキュメントを読もう。
なお、ホスト故障にもフェイルオーバで対応するし、自動バックアップ機能もある、リモートサイトへのレプリケーションもできる、ライブマイグレーションもできる、マネージドのファイルサービスも存在する検証環境。
背景
インフラ勉強会では勉強会のイベント管理にWordPressを用いている。当該環境は仮想マシンベースとなっているが、筆者の脳内では
「インフラ勉強会のインフラって仮想マシン使ってるんだってー?」
「もうコンテナ技術が主流なのに時代遅れだよねー!」
という言葉が飛び交っていたので、インフラ勉強会にコンテナ技術の検証基盤を導入することとした。
そもそもなんで仮想マシンを使ってたの?
結論を言うと筆者の知識が乏しかったから。
インフラ勉強会が発足したのは2017年12月23日、インフラ勉強会のWikiが稼働したのは2日後の2017年12月25日である。
インフラ勉強会の勢いを阻害しないために、極力早く環境を構築しようと考えていた。
当時の筆者はDockerを一切触れたことが無かったため、当たり前の様に仮想マシンを用いて構築した。
つまり筆者が生み出した技術的負債である。
検討
コンテナオーケストレーション製品の候補としてはKubernetes、Docker Swarm、OpenShiftなどの製品名が出ていた。
様々なプロダクトを並行で検証できるように、これらのホストを物理サーバに直接インストールするのではなく仮想マシン上にインストールすることとし、ハイパーバイザ層には(筆者の独断で)Nutanix CEを採用した。
Nutanix CEはコミュニティメンバーであれば無償で使用できるハイパーバイザであり、製品版のNutanixにはKarbonというManagedでKubernetesを提供する機能も存在する。
現最新バージョンのNutanix CEにはKarbonはリリースされていないが、リリースされた後には
「インフラ勉強会の次期インフラとしてKubernetesを採用した場合には、Karbonを用いてKubernetesを容易に管理できるだろう・・」
という淡い期待もある。
構築
ドハマリした。
適当なサーバを用意したが、Diskの組み合わせに問題があった。
用意したHWは以下の通りである。
種別 | 型番 |
---|---|
サーバ筐体 | PRIMERGY RX1330 M3 |
CPU | E3-1230v6 |
Memory | SMD4-E64G48M-24R-Q |
Disk(Hot Tier) | Samsung SSD 960 EVO 500GB |
Disk(Cold Tier) | Samsung SSD 960 EVO 1TB |
Boot Disk | 適当なUSBフラッシュメモリ |
NIC | X550-T2 |
CVMのインストールが失敗する
Nutanix CEをインストールする時の流れは以下の通りだ。
1. Nutanix CEのイメージをUSBフラッシュメモリに書き込み、AHVを起動する
2. installユーザでログインし、初期設定を行う
3. 初期設定の内容を基にCVMがインストールされる
3の処理内でAHVからCVMへの通信が発生する動作となっているが、用意したハードウェア構成ではタイムアウトしCVMのインストールに失敗した。
原因はDisk構成。Hot TierとCold TierにNVMeのDiskを使用したこと
筆者の宗教上、Disk IO待ちで検証が滞るという状況は禁忌であるため、少しでもDisk性能を高めるためにNVMe SSDを採用した。
でも以下に書いてあった。
RECOMMENDED COMMUNITY EDITION HARDWARE
NVMe-based drives are not supported
Nutanix では、主にキャッシュ用途で使用するHot Tier用のDiskと、データのストア領域として使用するCold Tier用のDiskを必要とする。
用意したハードウェアでは、Hot TierおよびCold TierにNVMeを採用していた。
Hot Tierのみの構成であればNVMeをサポートするとの情報があったため、以下のようにハードウェアを変更して対処した。
種別 | 型番 |
---|---|
Disk(Hot Tier) | Samsung SSD 960 EVO 500GB |
Disk(Cold Tier) | SanDisk SDSSDH3 1TB |
結果、すんなり動いた。
まとめ
- ドキュメントちゃんと読もう
- Nutanix早くて楽だよ使おう