vMotion(Live Migration)/Cold Migrationで利用されるネットワーク

以下の記事に詳細が載っているので、ここではそのまとめだけを列挙したいと思う。

• https://blogs.vmware.com/vsphere/2019/12/hot-and-cold-migrations-which-network-is-used.html
• https://knowledge.broadcom.com/external/article/320657/vmotion.html
• https://knowledge.broadcom.com/external/article?legacyId=59232
• https://knowledge.broadcom.com/external/article/394773/a-provisioning-network-is-not-configured.html

まとめ

• cold migration:

  • 移行対象のVMが、移行期間中にpower-offになっていること。
  • Intel <-> AMD のようにCPUのアーキテクチャーが変わっても良い。
  • Power-off状態のVMやcloneやsnapshotはcold dataであり、vMotionネットワークを使わない。もしProvisioningネットワークが構成されていたらそれを優先的に利用し、もしProvisioningネットワークが構成されていない場合はManagementネットワークを利用する。

• hot migration(vMotion):

  • 移行対象のVMが、移行期間中にpower-onになっていること。一般的にはVMがアプリケーションが利用可能になっている状態。
  • vMotionは、hot dataとcold dataの２種類のデータを転送する必要がある。
  • vMotionネットワークが構成されていた場合は、移行中に変更が発生するメモリ状態やデバイス状態やchild delta disksなどのHot dataの移行にはそれを利用する。
  • しかし、snapshotやnon-child delta disksやvmx logsはcold dataであるため、vMotionネットワークは利用しない。これらの移行についてはProvisioningネットワークが構成されていたらそれを優先的に利用し、もしProvisioningネットワークが構成されていない場合はManagementネットワークを利用する。

こちらのKB59232にも同様の記載がある。

vMotion データ フローおよびネットワークの要件
vMotion は、コールド データと ホット データの 2 種類のデータを転送します。コールド データは、vMotion の実行中に変更されない仮想マシンのデータを意味します。仮想マシンのスナップショット、子以外のほとんどの差分ディスク、vmx ログなどが含まれます。ホット データは、vMotion 中に変更される仮想マシン データを意味します。メモリの状態、デバイスの状態、および子のほとんどの差分ディスクなどが含まれます。

コールド データ転送用の VMKernel ポート
いずれかの VMKernel ポートがプロビジョニング トラフィック用に構成されている場合は、プロビジョニング netstack を設定するか、特定のポートでプロビジョニング トラフィックを有効にすると、コールド データがこのポートを経由するようになります。プロビジョニング トラフィック用に構成されている vmkernel ポートがない場合、コールド データは管理 vmkernel ポートを経由します。

ホット データ転送用の VMKernel ポート
いずれかの VMKernel ポートが vMotion トラフィック用に構成されている場合は、vMotion netstack を設定するか、特定のポートで vMotion トラフィックを有効にすると、ホット データがこのポートを経由するようになります。vMotion を実行するには、一部の vmkernel ポートを vMotion トラフィック用に構成する必要があります。

（参考）

IBM CloudのVCSでは、以下のようにProvisioningネットワークは構成されていないので、Cold DataはManagementネットワークを利用する。Gateway ApplianceなどでStorage VLAN(NFS/vSAN/vMotionアクセス用途）は保護せずに、Management VLANのみを保護しているケースは多く見られるが、この際でもvMotion実施時にSnapshotなどはGateway Applianceを経由する可能性がある。ましてや、Cold migrationもGateway Applianceを経由する可能性があるということである。

vMotion Networkに加えて、Provisioning Networkを構成する方が良いと思われる。特に、v8以降では、従来のNFC(Network File Copy)プロトコル（仮想マシンのファイルをホスト間で転送するためのVMware独自のプロトコルを、データ転送ではなく制御チャネルとして利用し、vMotionプロトコルでCold dataを転送できるようになったので、より高速になったらしい。

https://knowledge.broadcom.com/external/article/394773/a-provisioning-network-is-not-configured.html
With vSphere 8 a feature called UDT (Universal Data Transport) was introduced. In a nutshell, UDT combines the best of the NFC and vSphere vMotion protocols. It enhances cold migration by using NFC as a control channel but offloads the data transfer to vSphere vMotion protocol. The transfer of files using the vMotion protocol is usually by magnitudes faster than the classic NFC, which is single-threaded.

To start using UDT, all we need to do is activate the provisioning service on the existing vmkernel interface that is configured for vSphere vMotion. After implementing this change, the warning will no longer appear during migration.