はじめに
2022年9月末のVMware Cloud on AWSのアップデート（SDDC Version 1.20）で、待望のFSx for Netapp ONTAPを利用した外部データストアが利用できるようになりました。そのほかにもアップデートは盛りだくさんですが・・・。
i3.metalベースのSDDCはディスク枯渇でホストを増やすパターンになるので、非常にうれしいですね。
環境準備もろもろに少し時間がかかってしましましたが、早速構成を組んでみました。
なかなか、個人で動かすのは難しいですが、興味があるかたぜひご覧くださいませ。
参考リンクはこちら。（VMwareさんの英語版のリリースノートです）
https://docs.vmware.com/en/VMware-Cloud-on-AWS/services/rn/vmware-cloud-on-aws-release-notes/index.html#whats-new-september-20-2022--sddc-version-120
ご注意
読み返すとDeepDiveです（汗）
Webinerでしゃべると評価が低いパターンですね・・。（レベル設定が難しい・・・）
2022/10/26 構成を見直しました。
構成案はこちら
ちゃんと図を書かないと分かりづらいのでまとめてみました。絵心は相変わらずないです・・。
- SDDCは右上です。内部の構成図は非公開なので想定で書いています。
- ラボなのでNDAはありません。ご安心ください（汗）
- 何パターンか作ってみましたが、これが一番運用も含めて楽そうです。（TGWのPeeringが多いのでお金はかかるけど）
- FSxはユニファイドで使う前提です。別のSVMでCIFSを上げるとそのままルーティングも行けるような構成にしてます。
- SD-WAN（VeloCloud）とつながっていますが社内の設備とは一切関係ありません（これもラボです。そのうちこっち側も記事書きます・・・）
- FSxデフォルトだとNFSのACLがザルなので制御は考えましょう。（今回は割愛。後で追加します。）
ネットワークの考え方
アドレス周りは理解しやすいように細かく書いておきます。
AWS VPC(Linked)：172.27.0.0/21
Native：172.27.0.0-172.27.6.0/24（/24想定ですが好きにcidrでOK）
ENI用：172.27.7.0/26
TGW用：適当に採番（AZ毎にSubnetを作る）
VMC用：172.27.8.0/21
SDDC用Management：172.27.8.0/23
SDDC用Workload Segment：172.27.10.0-172.27.15.0（Workloadのアドレスは何でも利用可能ですが、
オンプレミスにBGPで流れていくので注意。
FSx用：172.27.16.0/21
TGW用：適当に採番（AZ毎にSubnetを作る）
FSX用：適当に採番（AZ毎にSubnetを作る）
FSX(Virtual IP)：198.19.255.0/24（特殊アドレス）
普通のPrivate IPも設定可能です。ただしVPCのアドレスレンジ外の設定が必要です。
目立つアドレス（198.19.255.0/24）なので説明のしやすさも考慮してこちらで設定。
ルーティングの構成はこんな感じです。
絵はもう少し綺麗にまとめようかと思います・・・。（すいません絵が小さいです）
Transit Gatewayは、VMware Managed（VTGW）とユーザ側のTGWをPeeringして接続を行います。
Peeringの起点はSDDC側から、Cloud Service Consoleから設定します。
SDDC - VTGW - TGW - VPC(SDDC Linked)
SDDC - VTGW - TGW - VPC(FSX)
SDDC Linkedは接続しなくてもデータストアは利用可能です。
接続したのは、Netapp社のCloudサービスと連携するためですね（別用途）
SDDC LinkedのVPCのルーティングはこちら（一部マスキングしてます）
FSXのVPCのルーティングはこちら
Transit Gatewayは、アタッチメント毎にルートテーブルを分けました。
あとから変更することを考慮してます。（この辺は好みとか思想がでますね・・・）
Transit Gatewayのルートテーブルはこんな感じで。
SDDC Linkd VPC Attachment
FSX VPC Attachment
VTGW Attachment
SDDC Linkd VPCにFSx for Netappはおけるか？
結論からいうと動きました。
ただしTGWは必須になるので意味がないのと、実運用で組んでしまうと事故るリスクがあります。
一応書いておくと、以下で実現は可能。
・FSX用のセグメントをルートテーブルを独立させて動かす。
・SDDC向けのManagement/WorkloadをTGWに向ける
・VTGW側でFSXのVIPとNative Subnetの設定を入れる。
これで動かすこと自体は可能です。運用入ってから設定ミスるとデータストアが切れるので注意が必要。
Native AWS側は以上です。FSXのセットアップは過去の記事をご参照くださいませ。
ここからはVTGWの設定です。
-
SDDC Groupを作成します。
-
External TGWでリンクを作成します。
VTGW側のルーティングはここで記入します。
VTGWのルーティングの確認も可能です。
3．Firewallの設定も忘れないように。。
ちなみに、VTGWが接続されると、SDDC Groupという形で表示されます。
”Connected”をクリックすると、ルートも確認可能です。
ESX->外部は設定がデフォルトで入っていますが、FSXのSVMなどからPINGなどを設定する場合はFWの設定が必要です。（VeeamのPolicyが見えてますね・・・）
- FSXのSVM（Storage Virtual Machine）からPINGをうってみる。
SVMのアドレスはこんな感じです。
まずはvsadminのパスワードを設定
Volumeは300GBで作成済みです。
SSHでログインします。
OntapのCLIなので癖があります。Command Referenceなどを参照ください。
PINGだけならこんな感じです。
本日はここまで
次回はSDDCにNFSのデータストアをマウントして実際に使ってみます。
少しだけ予告編です。
2022/10/26 Updateしました。
変更点は以下となります。
Before
SDDC - VTGW - TGW - VPC(FSX)
SDDCのVTGWとNativeのTGWをリンクした状態でRoutingしていました。
After
SDDC - VTGW - VPC(FSX)
SDDCのVTGWからFSXのVPCに接続しました。
構成図Updateしています。
Routingの構成もUpdateしました。
オンプレミスや他のVPCからFSxを利用することを考慮して、TGWは残しています。
ちなみに、同じルートをTGWとVPCのPeeringには入れれなかったので、
Longest Matchを組み合わせて、NFSを稼働させながら切り換えましたが、問題がなかったことを追記しておきます・・・。