Direct Link Connect 2.0 で IBM Cloud(X86:VPC) と IBM i、異なるサービスの IBM i 間を接続する

Shinobu Yasuda @testnin2 さんの下記の記事の後追いです。
でも自分でやってみないとわからないし、IBM i での設定例もあってもいいでしょう。

IBM Cloud: Direct Link Connect 2.0によるIBM Cloud(X86:VPC)とPower Systems Virtual Serverの接続方法

VPC-IBM i だけでなく、異なるサービス間の IBM i の接続も確信します。後者に意味があるか不明ですが...

Direct Link Connect のオーダー

まず、ポータルから Direct Link Connect をオーダーします。

左側ナビゲーション・メニューから「相互接続性」を選びます。

現れたのは「Interconnectivity」です。こちらは日本語になっていませんね。
「Direct Link」を選びます。

「Direct Link の注文」をクリックします。

この画面は「IBM Cloud: Direct Link Connect 2.0によるIBM Cloud(X86:VPC)とPower Systems Virtual Serverの接続方法」にはありませんでした。

Direct Link Connect のオーダーのため「Direct Link Connect」を選びます。

名前、リソース・グループ、請求処理を指定します。

今回は、東京04 の PowerVSと接続したいと思います。

「IBM Cloud: Direct Link Connect 2.0によるIBM Cloud(X86:VPC)とPower Systems Virtual Serverの接続方法」にならい、アジア・パシフィックの「APAC」、「Tokyo」「すべて」他サイトに PowerVS のある「Tokyo 4」「グローバル」を選びます。

最後の「グローバル」の指定で無料で、PowerVS から他のRegionに接続することも可能になるそうです。

プロバイダーは「IBM POWER VS」、速度は選択肢の中で最速の「5 Gbps」を選択します。

BGP と接続は「接続ガイド：日本語」では、こうなっています。

BGP と接続

ポート - 複数の Direct Link 接続がある場合は、接続ごとに別のポートを選択する必要があります。そうでない場合は、接続数が最も少ないポートを選択できます。

BGP ピアリング・サブネット (BGP peering subnet) - Power Systems Virtual Server で範囲 169.254.0.0/16 から IP アドレスを自動選択する場合は、「IP の自動選択 (Auto-select IP)」を選択します。あるいは、既存の接続との競合を回避するために特定の範囲のアドレスを手動で入力します。

BGP ASN - Direct Link Connect のロケーションの BGP ASN 番号として 64999 を入力する必要があります。ただし、表 3 に示しているように別の ASN 番号が必要な場合は別です。例えば、WDC04 ロケーションの BGP ASN の番号は 64995 です。

Yauda さんの「IBM Cloud: Direct Link Connect 2.0によるIBM Cloud(X86:VPC)とPower Systems Virtual Serverの接続方法」には、このような記載があります。

[追記]BGP peering subnetは今回は、Auto-select IPを選択して、169.254.0.0/16から自動選択するようにしたが、Manual-select IPを選択して明示的にRFC1918のprivate networkのsubnetから選択した方が、そのsubnetにもpingが打てるようになって問題判別が容易になるため望ましいかもしれない。今回は、自動選択される169.254.0.0/16はリンクローカルアドレスであり、そのsubnetにはPowerVSやIBM Cloud(x86)のサーバーからは通信はできない。

IP の手動選択を選んでみます。

プライベート・ネットワークがリストとして選択可能です。CIDR のサブネットは /29・30・31 の必要があります。

このように選択しました。

ポートは、複数接続でもなく、数もどれも 0 なので一番上、IP は、192.168.0.0/16 から /29 で払い出し、ASN は「64999 を入力する必要があります」なので、64999 です。
東京 04は「表 3. 特定の場所の BGP ASN 番号」の対象ではありません。

接続は、後からでも設定可能とのことですので、そのままにします。

PowerVS との Direct Link はリージョン事に一つ目は無料との情報がありました。確かに $0.00 が表示されています。

「作成」します。

作成されました。

PowerVS へのプライベート・ネットワークの接続

PowerVS から Direct Link Connect への接続はプライベート・ネットワーク経由になります。
IBM i にプライベート・ネットワークの接続して利用可能にします。

私は東京 04 に、二つのPowerVS サービスを利用しています。
各々で、このようなサブネットのプライベート・ネットワークを用意しました。

サービス名	CIDR	VLAN ID
TOK04	192.168.1.0/24	235
TOK04-B	192.168.2.0/24	257

これらのネットワークを PowerVS IBM i から利用できるようにしておきます。
IBM i からサブネット・サブネットを利用する手順はこちらをご覧ください。
CASE での依頼が必要ですので、忘れずに実施します。

PowerVS IBM i 日記(19): プライベート・ネットワークで接続した IBM i 間で Power HA の地域的ミラーを構成する

CASE で Direct Link と PowerVS の接続を依頼

作成された Direct Link の詳細情報はこのようになります。
この情報をもとに、CASE で接続を依頼します。

この情報を CASE に記載すれば接続してくれるようです。

ただし、CASE は英語です。いったん、ブラウザーの設定を英語表示にします。

この内容を下記のように Power Systems Virtual Server に題するCASE を起票しました。

Power VS: Direct Link Connect 2.0 request

We ordered Direct Link Connect from IBM Cloud portal and its provisioning has finished.
The detail information is as follows. Please proceed at Power VS side to establish Direct Link Connect. Thanks.

Date created: Fri, Dec 18, 2020, 12:26:36 GMT+9
Resource group: Default
Provider: IBM POWER VS
Routing: Global
Speed: 5 Gbps
Billing: Metered
User CIDR: 192.168.255.1/30
IBM CIDR: 192.168.255.2/30
BGP ASN: 64999
IBM ASN: 13884
Port: SL-TOK04-POWERIAASLITE-1-1-(ASR1)
Location: Tokyo 4
Service key: XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX
BGP status: Idle
VLAN: 3914

接続対象の PowerVS は CASE のリソースとして指定してみます。

CASE を起票したのが「12:44:49」、接続したとの返信が来たのが同日の「21:33:00」でした。

Hello,

BGP is up and running from power side.

itok04-asr1-b01#sh ip bgp vpnv4 vrf IBM23 summary
Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd
10.12.253.166 4 64997 4 5 7102 0 0 00:00:06 0
192.168.255.2 4 13884 21 22 7102 0 0 00:08:33 1

Let us know if you have any powervs private subnets to be advertised over the DL.

Thanks.

CASE のリソースとして指定して PowerVS のサービスを指定しましたが、伝わらなかったようです。
接続してほしい VLAN を CASE に記載します。最初から書けば良かったですね。

Could you add these VLAN to this DL?

ServiceName:CIDR:VLAN ID
TOK04:192.168.1.0/24:235
TOK04-B:192.168.2.0/24:257

返信がありました。

Hi Yasuhiro,

Vlan 257 is advertised in this DL as requested. Please verify and confirm.
But Vlan 235 is configured on L2 Connection. If you want to advertise Vlan 235 in this DL, we need to remove from L2. it requires down time. Please confirm if you are ok with down time.

itok04-asr1-b01# sh ip bgp vpnv4 vrf IBM23 nei 192.168.255.2 adv

 Network          Next Hop            Metric LocPrf Weight Path

Route Distinguisher: 100:23 (default for vrf IBM23)
*> 192.168.2.0 10.12.253.166 0 0 64997 64998 ?

Total number of prefixes 1

Thanks,
Imdadullah KJ

「VLAN 237 は接続した。VLAN 235 が L2 接続なので、Direct Connect に接続するならネットワークの切断が起こるけど、いい時を教えて」と返ってきました。
「OK」と返します

Hi , I am OK for Vlan 235 down. So could you advertise Vlan 235 in this DL ?

両方を接続してくれました。

Hi Yasuhiro,

We have advertised Vlan 235 also in DL. Please verify and confirm.

itok04-asr1-b01#sh ip bgp vpnv4 vrf IBM23 nei 192.168.255.2 adv

 Network          Next Hop            Metric LocPrf Weight Path

Route Distinguisher: 100:23 (default for vrf IBM23)
*> 192.168.1.0 10.12.253.166 0 0 64997 64998 ?
*> 192.168.2.0 10.12.253.166 0 0 64997 64998 ?

Total number of prefixes 2

Thanks
Imdadullah

VPCネットワークの接続

東京にVPC環境を用意しました。

このような IP 設定になっています。

IP 範囲	ロケーション
10.2440.0/18	東京 1
10.244.64.0/18	東京 2
10.244.128.0/18	東京 3

Direct Link に接続します。

IBM i での経路の指定

今回の環境には、ふたつの PowerVS サービスがあります。
そのため、IBM i に追加する経路は VPC 用の経路ともう一つの PowerVS 用の経路の二つになります。

サービス TOK04 の 192.168.1.11 の IP を持つ IBM i を例に構成します。

CFGTCP の「1. TCP/IP インターフェースの処理」は下記のように設定済みです。
「192.168.186.67」が、IBM Cloud によって自動設定されたパブリック・ネットワーク用の IP、「192.168.1.11」が自分で設定したプライベート・ネットワーク用の IPです。

接続した VPC は 3 つをまとめると 10.244.0.0/16 に収まるネットワークです。このネットワークへの接続に自分のプライベートVLANのゲートウェイ 192.168.1.1 を経由するように指定します。

さらに、192.168.2.0/24 のプライベート・サブネットへの接続も同様の自分のプライベートVLANのゲートウェイ 192.168.1.1 を経由するように指定します。

ADDTCPRTE RTEDEST('10.244.0.0') SUBNETMASK('255.255.0.0') NEXTHOP('192.168.1.1') 
ADDTCPRTE RTEDEST('192.168.2.0') SUBNETMASK('255.255.255.0') NEXTHOP('192.168.1.1')

設定されました。

サービス TOK04 の 192.168.1.0/24 の IP を持つ IBM i にも同様の経路を追加します。

サービス TOK04-B の 192.168.2.0/24 の IP を持つ IBM i の場合は、このような経路になります。

ADDTCPRTE RTEDEST('10.244.0.0') SUBNETMASK('255.255.0.0') NEXTHOP('192.168.2.1') 
ADDTCPRTE RTEDEST('192.168.1.0') SUBNETMASK('255.255.255.0') NEXTHOP('192.168.2.1')

経路の設定が終わったら、異なる PowerVS のサービス間で疎通ができるか確認しましょう。

サービス TOK04 からサービス TOK04-B のプライベート・ネットワークのゲートウェイに接続してみます。

PING RMTSYS('192.168.2.1')

接続できました。

サービス TOK04-B の'192.168.2.11' の IBM i に接続してみます。

PING RMTSYS('192.168.2.11')

接続できています。

異なる PowerVS サービス上の IBM i どうして接続ができることが確認できました。

VPC からの接続確認

Direct Link に接続した VPC にWindows サーバーを用意しました。
VPC 側の機器には BGP により経路設定がされるので、手動での指定は不要です。

PowerVSのサブネットのゲートウェイや、IBM i の IP に対して ping を実行します。

PING 192.168.1.1
PING 192.168.1.11
PING 192.168.2.1
PING 192.168.2.11

接続が確認できました。

VPC からの ACS での接続

VPC 上の Windows に Java と ACS を導入しました。

ACS としての接続確認も問題ありません。

5250 で接続することもできました。

BGP ピアリング・サブネットへの PING

Yasuda さんの「IBM Cloud: Direct Link Connect 2.0によるIBM Cloud(X86:VPC)とPower Systems Virtual Serverの接続方法」の記事にこうあったので、今回は手動で選択しました。

[追記]BGP peering subnetは今回は、Auto-select IPを選択して、169.254.0.0/16から自動選択するようにしたが、Manual-select IPを選択して明示的にRFC1918のprivate networkのsubnetから選択した方が、そのsubnetにもpingが打てるようになって問題判別が容易になるため望ましいかもしれない。

ただし、ping を打っても応答はありませんでした。

ping 192.168.255.1
ping 192.168.255.2

当日記のIndexはこちらです。

許可の無い転載を禁じます。
この記事は筆者の個人的な責任で無保証で提供しています。
当記事に関してIBMやビジネスパートナーに問い合わせることは、固くお断りします。

PowerVS IBM i 日記(32): Direct Link Connect 2.0 で IBM Cloud(X86:VPC) と IBM i、異なるサービスの IBM i 間を接続する