本記事はJapan AWS AmbassadorsのAdvent Calenderの記事です。
いろいろ書きたい事はあってまとめ始めてたんですが、やはりテクニカルな記事にしました。
Ambassadors 3年目、そろそろ引退かなーと思いつつ、メインで取り扱うVMware Cloud on AWSの記事にしたいと思います。
はじめに
VMware Cloud on AWSの利用者とインテグレータお皆さんが待ちに待った記事です！。
VMware Cloud on AWSのSDDC Version 1.24が、VMware Exploer 2023 Tokyoの直後にリリースされました。
Release Noteはこちら（日本語で表示されない場合は英語版を参照ください）
VMware Cloud on AWSを取り扱う私達にとっては久々の大型のUpdateです。今回とりあげた外部ストレージ（FSx for NetApp ONTAP)のVPC Peering接続もですが、NFSのThrouput向上のためのvmkernelのJumbo Frame対応やVSANの新アーキテクチャーであるVSAN ESA含まれています。
本記事は、既存SDDCにも活用が可能なVMware Cloud on AWSのFSx for NetApp ONTAPと接続する時の大アップデートであるSDDCとFSx用VPCのVPC Peering接続についてまとめていきます。
適用前と適用後の接続方法について
-
VMware Cloud on AWSで従来のストレージ接続の方法は？
VMware Cloud on AWSがサポートされる外部ストレージは、FSx for NetApp ONTAPとVMware FlexStorageの2種類です。先発はFSx for NetApp ONTAPのため、FSxに絞って書くと、Transit Gateway（VMware ManagedのTGW）を経由で接続を行っていました。最大のネックはTGWのアタッチとトランザクションにコストが発生することです。データストアのトランザクションは事前に通信量が読めません・・・。（実際、自分で数万溶かした） -
SDDC1.20まで接続方法のTransit Gatewayで接続している構成イメージはこちら
-
SDDC1.24から利用できるVPC PeeringでSDDCとFSxのVPCを接続しているイメージはこちら
なお、仮想マシンからFSxをCIFSやNFSやiscsiで利用する場合と、Multi-AZでFSxを構成している場合は従来通りVTGWでの接続が必要となります。VMが動くセグメントはNSX-TのCGW(T1-R)の配下のため、VPC Peeringでは2HOPをこえるためRoutingできません。新規でデプロイするなら、FSxを用途毎に分けた方が楽に構成できます。VMからみるFSxはENIで接続されたVPCに設置した方が、ENI経由となるためメリットがあります。
SDDC VPC Peeringの実践
こちらの記事はエンジニアさん向けのナレッジの共有を目的としております。
机上ではなく実環境で検証を行っておりますが、本番での利用の場合は必ず実環境にあわせて、フィジビリティーの確認をお願いします。
既存環境で、VTGWでFSx for NetApp ONTAPを接続した状態で切り換える場合は、より慎重な切替シナリオの検討が必要です。
VPC PeeringはAWSの2HOPルールにより、NSX-Tのセグメント（ユーザVM）からのアクセスはできません。
今回のテストは新規SDDC＋新規FSx for NetApp ONTAPでの構成のため、その辺りの考慮は記載していません。
検証の内容とか条件はこちら
- 今回は新規のSDDC（us-west-2）をSDDC 1.24でデプロイしています。（11/15）
- SPP環境ではなく、MSP環境となります。
- Direct Connectはつないでいません。HCXとVPNはInternet経由です。
- 1ホスト構成です。
- 新規で作ったSDDCのためワークロード（ユーザVM）なども動いていません。
手順とかまとめ
1. SDDCのデプロイ
- 通常の手順でSDDCをデプロイしています。管理サブネットも標準値/23で作成。
- i3.metalのオンデマンドを1ホスト構成です。
- ENIが接続するVPCは/21で作成し、/26のENI Subnetを作成しています。
- コストを抑えるため、us-west-2です。東京ではないのでご注意ください。
2. FSx for NetAppのデプロイ
-
SDDCと同様us-west-2で作成しています。
-
VPCのサイズは/22です。
-
TGWがつながるためのSubnetとFSxが動くためのSubnetは別に構成しています。
-
FSx専用のSubnetです。VPN-GWはありますが、Internet-GWはありません。
-
NetAppのクラウドサービスである、BlueXPでデプロイも設定も行っています。（BlueXP縛り）
Blue XPを活用すると、FSx for NetApp ONTAPの操作がGUIである程度できるようになるので非常におすすめ。 -
BlueXPの利用イメージはこちら。（大阪のFSx for NetApp ONTAPも対応済み）
3. VMwareへのオーダー
-
2023/11/19時点では、VMwareさんの営業担当やカスタマーサクセスマネージャー様への依頼が必要となります。Support Requestから依頼ではありません。（一応SR側にも確認しました）
-
テスト環境はMSP環境のため、MSP担当さま経由で依頼を行っています。（ご支援ありがとうございます）
-
必要な情報は以下の通りです。
組織ID（org-id）
SDDC ID（sddc-id）
PeeringするAWSのアカウントID
PeeringするVPC（FSxが動く）VPC-ID -
VMwareさんへ依頼後の流れ
MSP環境のためMSPのPBM経由で依頼を行っています（メール）
依頼時にリードタイムを聞いたところ、確信はできないが数日程度
翌日にVPC Peeringのリクエストが来ました → すぐ承認（AWSコンソール）
Agree後にVMwareさんへ連携を行いました → USへ連絡していただいた模様（メール）
翌日にVPC peering完了のメールが届きました。（メール） -
Peeringの画面はこちら（マスク多すぎて意味がわからんかも・・）
-
届いたメールの抜粋はこちら
4. VPC側のセットアップ
- VPC Peeringは完了しているので、RouteTableを変更します。
Routeに追加するのは、SDDC管理サブネット（/23）のみです。 - FSxのACLを変更します。（必要があれば）
5. SDDC側から外部データストアのマウント
-
Cloud Service Consoleから外部データストアをマウントします。
-
VTGW接続の時と内容は変わりません。
-
vCenterのストレージ画面でこのように見えます。（fsx01）
おまけ
SDDC 1.20とSDDC 1.24でvmkernelのJumboframeの差異はこちらです。1.24はがJumbframe有効なっており
NFSスループットが改善される見込みです。
- SDDC 1.20のvmkernel(vmk0)
- SDDC 1.24のvmkernel(vmk0)
参考リンク
- VMwareさんのサポートよりご案内いただきました。
Introducing VPC Peering for External Storage
https://blogs.vmware.com/cloud/2023/08/22/introducing-vpc-peering-for-external-storage/
Feature Brief: VPC Peering
https://vmc.techzone.vmware.com/resource/feature-brief-vpc-peering#section7
最後に・・・
- VMwareさんのSupport Requestに問い合わせしたところ、上記の参考情報が案内されました。
VMwareさんのサポートのみなさんには、いつも丁寧にサポートをいただいています。ありがとうございます。 - 今回はSDDC1.24（新規）でテストを行いましたが、SDDC 1.20 から利用可能とのことです。
メールによる申請だと数日かかっちゃうのがネックですが、今後UIに統合されるのを期待したいです。 - 最後までありがとうございました。