Amazon EVSを稼働させてみる
はじめに
本記事は、AWS上で稼働するVMware環境である、Amazon EVS（Elastic VMware Service）稼働させたときのメモです。
Amazon EVSは、AWS上にVCF5.2ベースのSDDCが稼働する形で提供される、パートナー（またはユーザー）マネージドのサービスとなります。
こちらは、メモベースです。今後実際のデプロイの画面なども含めて、アウトプット作成予定ですが、取り急ぎ忘れないうちにメモということで・・・。
本人のキャッチアップ用とメモです。
まともなアウトプットは今後にご期待くださいm(__)m
Amazon EVSの特徴
- パートナーマネージド（ユーザマネージド）
administrator@vsphere.localや、rootユーザが利用可能です。 - ライセンスはBYOLライセンス
Broadcom社から自身で購入したライセンスをBYOLで持ち込む必要があります。 -
administrator@vsphere.localやrootユーザが利用できる。
フル権限が利用可能です。ESXやvCenterにSSHでrootアカウントでログインすることも可能です。 - 最小構成はi4i.metal x 4 ホスト構成です。現時点では他のインスタンスは選択できません。VMware Cloud on AWSのように1ホストで動かせたらお客様向けのデモとかやれるのにとか思います。
- デプロイ時間はおおむね３時間です。14時にボタンポチしてして17時ぐらいに焼きあがる感じです。
i4i.metalが4ホストなので、オンデマンドで動かすと湯水のように”＄”が溶けます。
実際に動かしているときは44.75$/hourでした。（us-west-2)
基本的に稼働させるときは3年のRIを組む前提でお考えください・・。
Amazon EVSを動かすときに準備するもの
Amazon EVSをセットアップするためのドキュメントがまとまっています。
詳細は本家ドキュメントを読んでいただければと思いますが、軽くメモとして作っています。
https://docs.aws.amazon.com/evs/latest/userguide/setting-up.html
- AWSサポートプランビジネスサポート以上の契約が必要です。
- Quotaの解除が必要i4i.metalを4ホスト動かすためのクオータ増加が必要です。
- VPCサイズ
Amazon EVSはサービスサブネットの他に、VLANが10個作成されます。インターネットアクセスに必要なNATインスタンスなどの配置も必要なため、大き目のサブネットが必要です。（私は/19でVPCを作成しすべてのサブネットを/24で作る構成で動かしています。）
なお、NSXのOverlayで作成するSubnetはVPCのアドレスを考慮する必要はありません。（完全に別でよい） - Transit Gatewayが必須
オンプレミスからOverlayのサブネットにアクセスするために、Transit Gatewayが必須となります。後述するRoute ServerからBGPの経路はTGWに伝搬しないため、OverlayのSubnetはStaticでの記入が必要です。 - Route Serverが必要
NSX-TがBGPで経路交換をする必要があるため、Route Serverによる経路交換が必要となります。エンドポイントも２つ作成する必要があります。（地味に値段が効きますがEVS利用時は値引きが入るようです） - DNSのセットアップが必須
EVSは名前解決（正引き/逆引き）が必須です。正引きと逆引きを用意して、正逆の名前を合わせておく必要があります。セットアップ時にIPを指定せず、FQDNで設定するため、あらかじめレコードの登録も必要です。加えて、DHCPオプションセットで、DNSとDomain SuffixとNTPの指定を行っておく必要があります。なお正引きと逆引きができるのであれば問題ないので、BindとかNSDで作っても動くとは思います。（試してません） - VCFライセンス
i4i.metalの場合、最低256coreのVCFライセンスが必要です。
SiteID、VCFソリューションキー（ESXのライセンス）、VSANのライセンス（110TB以上）がデプロイ時に入力が必要です。
ソリューションキーを誤ってvCenterのキーを入れるとインストール後半で失敗します。（実際やった） - HCX-Cloudのアプライアンス
Amazon EVSはHCXが標準でデプロイされません。 SDDCセットアップ後にHCXを手動でデプロイする必要があります。
OVFファイルはBroadcomのSupport Siteからダウンロードが必要です。VMware Cloud on AWSのようにボタンポチで入らないし、Network ProfileもCompute Profileも自力で作る必要があります。
あったほうが便利なもの
実際にデプロイ時にあったほうが便利だったものをまとめます
- 作業用PC（Windows）
Amazon EVSデプロイ後の初期導入作業用に利用。
オンプレミスからだと、DNSの条件付きForwarderやいろいろ変更しないとアクセスができないため、作業用PCを1台作っておくと便利です。とくに日本からオレゴンで動いているEVSにISOやOVFを転送するのは本当に大変・・・。 - ISOやアプライアンスを送るためのS3バケット（デプロイ先（今回はオレゴン）に置くのが望ましい）
HCX-ConnectorのOVAやOSを入れるためのISOなどを送り込むためのバケットを作っておき、vCneterから署名付きURLでコンテンツライブラリにインポートします。もちろんコンテンツライブラリをS3に作っておくのも手ですが、作成自体に手間がかかるので、手軽に使うならS3に置いてインポートの方が楽だと思います。なおHCXのConnectorもダウンロードしておいたほうが、あとあと楽になります。（Connectorはオンプレ用です）
必要なスキルセットとかもろもろ。
とりあえず1回デプロイして、数日動かしてみてわかったことをメモで残します。
- VMware Cloud on AWSをやったことあります。ではちょっと難しい。（本人の所管）
少なからず、VCFの知識やNSX-Tは触れないと難しいです。vSphere8ベースなので、VLCMなどの知識も必要となります。 - ネットワークのスキルも必要（必須）
BGP Route ServerやNSXのUplink SubnetでBGPを接続したりするなど、ネットワークのスキルセットも必要です。普通に使う分には、NSXのBGPはRoute ServerとだけPeer張るだけですが、IPSecなどで外とつなぐなどの使い方を考えるとBGPの考え方もわかっておいたほうがいいかと思います。特にHCXセットアップ時が必要です。 - NSXのオペレーション
OverlayのサブネットはNSXの管理画面で作成を行います。T0-RouterやT1-RouterはEVSのセットアップ時に作成されますが、Subnetの作成やHCXのデプロイはユーザ側で必要なため、最低限NSXを触れるようになっておかないと手が出せません。またNAT-Gateway経由でインターネットに抜けることはできますが、NAT-GatewayからみればNSXのOverlayは見えないサブネットとなってしまうため、T0-RouterでNATしてEVSのVLANのアドレスで抜けさせる必要があります。このあたりVMware Cloud on AWSでは考慮が不要（考えなくてよかった）がEVSではセルフマネージド故に考えないといけません。
今回評価したこと
金曜日の夕方にDeployして、土日を使って日曜日の夕方ぐらいまで動かしています。
実施した内容はとりあえず以下です。
- Amazon EVSデプロイ（us-west-2）
- オンプレミスの通信テスト（Internet-VPNで接続）
- Overlayセグメントの作成、オンプレミスからもルーティング
- HCX-Cloudのデプロイ
- HCX-NEのHA構成作成
- HCX-NEでL2延伸（Internet-VPN経由）
- HCX vMotionで仮想マシンの移行（日本→オレゴン）
- 逆方向のマイグレ（上記の仮想マシンを無停止で移行）
- バージョンアップ途中（SDDC Manager）
- Amazon EVS削除
画面キャプチャーもろもろ
- DNS関連（正引き）
- DNS関連（逆引き）
- vCenter(Oregon-EVS)
- HCX-Connector（ServiceMesh）
- HCX-Cloud（Compute Profile）
今後の予定について
- 1stデプロイは本人のキャッチアップとデプロイの感覚を得るためだったので、細かいナレッジとかはまとめていません。動かすにはそれなりの費用になるので、短期集中で動かしていろいろ評価したものをアウトプット作っていければと思います。今回はオレゴン（us-west-2）で動かしたので、遅延もひどかったですが、もうちょっとナレッジがたまったら東京でも動かしていきます。（たぶん）
- あまり多くの人が興味ある（利用する）サービスではありませんが、引き続きおつきあいください。最後までありがとうございました。