はじめに

SoftLayer上にVMware ESXiをインストールしたベアメタルを立てて、社内のVMware環境からvMotionで行き来させてみたい、というのは、よくある話だと思います。
それに加え、vMotionの手順はわかっているのだが、SoftLayer上で動かす時の注意点を知りたいという話もよく聞くので、いくつかTipsを紹介できればと思います。

vMotion 要件

一般的な準備の中でどのように進めれば良いか見ていきます。

VMkernel ポートグループの設定

まずは各ホストで、vMotion 用に VMkernel ポートグループを構成します。
以下の選択肢があります。

1. vmk0 の vMotion トラフィックを ON にする

こちらはvMotion時にNW帯域が逼迫するため、VMwareによると非推奨となっています。試す分にはこれでも問題ないかと思います。
「ホスト」->「管理」->「ネットワーク」->「VMkernel アダプタ」から設定できます。

2. 新規VLAN上にvmk1を新規に作成する

事前にSoftLayerでVLANのオーダー・準備が必要です。
（参考：【VMware@SoftLayer】ネットワーク準備編)
デフォルトで与えられるVLANが「タグなしVLAN（Native VLAN）」であるのに対して、追加オーダーしてトランクしたVLANは「タグありVLAN」であることに注意する必要があります。
タグつきのトラフィックをトランクポートを通じて流すためには、タグありVLAN上でポートグループを作成するときに、VLAN IDを入力する必要があります。（タグなしVLAN（Native VLAN）のトラフィックに対しては、VLAN IDは「0」となります。）

その後、VMkernel ポートグループの追加は、「ホスト」->「管理」->「ネットワーク」->「VMkernel アダプタ」->「ネットワークの追加」から設定できます。
この設定が未完了の場合は、以下のようなエラーが出ます。

TCP/IP スタックの設定

こちらを利用すること管理トラフィックのゲートウェイとは異なるデフォルトゲートウェイを使用して、トラフィックを隔離できます。また、通常の管理トラフィックを受け持つ vmk0 とは別にルーティングテーブルを持つことができます。
ESXi ホストの vMotion TCP/IP スタックへの vMotion トラフィックの配置

SoftLayerでは、Portable Private IPを使って、割り当てます。

「ホスト」->「管理」->「ネットワーク」->「TCP/IP 構成」->「TCP/IP スタック構成の編集」から設定できます。

ジャンボフレーム

下記のベストプラクティスにも記載があるように、パフォーマンス改善にジャンボフレームを使用します。

vSphere vMotion のネットワークのベストプラクティス
最高の vMotion パフォーマンスを得るには、ジャンボフレームを使用します。
物理 NIC、物理スイッチ、および仮想スイッチを含む vMotion パスにあるすべてのネットワークデバイスでジャンボフレームが有効になっていることを確認します。

SoftLayerのベアメタルはジャンボフレームに対応しているので、SoftLayer内のESXiベアメタルホスト間のvMotionであれば、恩恵にあずかることができます。

「ホスト」->「管理」->「ネットワーク」->「VMkernel アダプタ」->「設定の編集」->「NIC 設定」から設定できます。
ここでMTUを9000に設定します。

疎通確認

ホストにsshログイン後、ESXiコマンドにて確認します。
（参考：vmkping コマンドを使用した VMkernel ネットワーク接続のテスト (2033190) | VMware KB）

VMkernel アダプタの確認

#ホスト1
[root@ibmesx01:~] esxcfg-vmknic -l
Interface  Port Group/DVPort/Opaque Network        IP Family IP Address                              Netmask         Broadcast       MAC Address       MTU     TSO MSS   Enabled Type                NetStack            
vmk0       7                                       IPv4      10.xxx.xx.xxx                           255.255.255.192 10.xxx.xx.xxx   00:25:90:fa:9c:62 9000    65535     true    STATIC              defaultTcpipStack   
vmk4       vmservice-vmknic-pg                     IPv4      169.254.1.1                             255.255.255.0   169.254.1.255   00:50:56:6d:b1:1c 1500    65535     true    STATIC              defaultTcpipStack   
vmk2       106                                     IPv4      10.xxx.xxx.xxx                          255.255.255.192 10.xxx.xxx.xxx  00:50:56:63:b1:c8 9000    65535     true    STATIC              vxlan               
vmk3       87                                      IPv4      10.333.333.333                          255.255.255.192 10.xxx.xxx.xxx  00:50:56:64:15:80 9000    65535     true    STATIC              vmotion 

#ホスト2
[root@ibmesx02:~] esxcfg-vmknic -l
Interface  Port Group/DVPort/Opaque Network        IP Family IP Address                              Netmask         Broadcast       MAC Address       MTU     TSO MSS   Enabled Type                NetStack            
vmk0       6                                       IPv4      10.yyy.yy.yyy                           255.255.255.192 10.yyy.yy.yyy   00:25:90:fa:a6:be 9000    65535     true    STATIC              defaultTcpipStack   
vmk3       vmservice-vmknic-pg                     IPv4      169.254.1.1                             255.255.255.0   169.254.1.255   00:50:56:6a:86:81 9000    65535     true    STATIC              defaultTcpipStack   
vmk2       108                                     IPv4      10.yyy.yyy.yyy                          255.255.255.192 10.yyy.yyy.yyy  00:50:56:6a:a1:06 9000    65535     true    STATIC              vxlan               
vmk1       85                                      IPv4      10.111.111.111                          255.255.255.192 10.yyy.yyy.yyy  00:50:56:61:a2:ca 9000    65535     true    STATIC              vmotion

VMkernelアダプタ同士のping 送信の応答を確認します。

ホスト1からホスト2

[root@ibmesx01:~] vmkping ++netstack=vmotion 10.111.111.111
PING 10.111.111.111 (10.111.111.111): 56 data bytes
64 bytes from 10.111.111.111: icmp_seq=0 ttl=64 time=0.237 ms
64 bytes from 10.111.111.111: icmp_seq=1 ttl=64 time=0.222 ms
64 bytes from 10.111.111.111: icmp_seq=2 ttl=64 time=0.212 ms

--- 10.111.111.111 ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 0.212/0.224/0.237 ms

[root@ibmesx01:~] vmkping ++netstack=vmotion 10.111.111.111 -d -s 8972
PING 10.111.111.111 (10.111.111.111): 8972 data bytes
8980 bytes from 10.111.111.111: icmp_seq=0 ttl=64 time=0.334 ms
8980 bytes from 10.111.111.111: icmp_seq=1 ttl=64 time=0.365 ms
8980 bytes from 10.111.111.111: icmp_seq=2 ttl=64 time=0.378 ms

--- 10.111.111.111 ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 0.334/0.359/0.378 ms

ホスト2からホスト1

[root@ibmesx02:~] vmkping ++netstack=vmotion 10.333.333.333
PING 10.333.333.333 (10.333.333.333): 56 data bytes
64 bytes from 10.333.333.333: icmp_seq=0 ttl=64 time=0.217 ms
64 bytes from 10.333.333.333: icmp_seq=1 ttl=64 time=0.211 ms
64 bytes from 10.333.333.333: icmp_seq=2 ttl=64 time=0.222 ms

--- 10.333.333.333 ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 0.211/0.217/0.222 ms

[root@ibmesx02:~] vmkping ++netstack=vmotion 10.333.333.333 -d -s 8972
PING 10.333.333.333 (10.333.333.333): 8972 data bytes
8980 bytes from 10.333.333.333: icmp_seq=0 ttl=64 time=0.301 ms
8980 bytes from 10.333.333.333: icmp_seq=1 ttl=64 time=0.344 ms
8980 bytes from 10.333.333.333: icmp_seq=2 ttl=64 time=0.315 ms

--- 10.333.333.333 ping statistics ---
3 packets transmitted, 3 packets received, 0% packet loss
round-trip min/avg/max = 0.301/0.320/0.344 ms

CPU互換性に関する注意

実際にvMotionを行う際に、CPU互換性のチェックが入るところがあります。
そこでAES-NIの設定のON/OFFが異なるホストの場合は、チェックでエラーとなります。

vMotion/EVC incompatibility issues due to AES/PCLMULQDQ (1034926) | VMware KB

SoftLayerのベアメタルは、デフォルトでAES-NIが有効化されているはずですが、OFFとなっていた場合は設定の統一が必要です。
ただ、SoftLayerベアメタルのBIOSにはパスワードがかけられており、ユーザーはアクセスできません。
AES-NI設定を確認したい場合は、チケットで聞くことになりますが、その際に再起動をともなうため、ホストを事前にメンテナンスモードにするなど、ご注意ください。
設定確認とともに、設定変更もお願いすると、変更された状態で起動します。

再起動せずにBIOSの設定を確認したい場合は、このリンクの手順にしたがってください。
ShinobiLayer: SoftLayerのSupermicroのBIOS設定をテキスト形式で取得する方法 - Qiita

複数NIC

また、vMotionに複数NICを使用したい場合は、以下が参考になります。
vSphere における複数 NIC の vMotion (2014840) | VMware KB

Cross-vCenter vMotion の要件

2つのvCenterがあるかたまりに対して、以下の要件になります。

双方でvCenter 6.0以降 (vCenter5.5ではESXi6.0はサポート外)
双方で同一バージョンのみ本機能をサポート
両方ESXiが6.0以降 (6.0からの新機能です)
vSphere Enterprise plusライセンスが必要
vCenter同士が拡張リンクモードで同一のSSOドメイン（必須ではありません）
- 拡張リンクモードの場合、GUIが利用可能
- 拡張リンクモードでない場合、CLIで実行可能

参考

vMotionに必要なライセンス
vSphere with Operations Management 6 および vSphere 6 のエディション