PowerVSのDAL10でPower Edge Router（PER）が利用可能になったので試してみる

はじめに

Power Virtual Server(PowerVS)のDAL10(Dallas 10)で、Power Edge Router（PER）というコンポーネントが利用可能になりました。
https://cloud.ibm.com/docs/power-iaas?topic=power-iaas-per

PERの登場により、PowerVSのネットワーク周りが大きく変わります。PERへの対応によってどのような変化があるかを整理しました。

	PER非対応のPowerVS	PER対応のPowerVS
x86(VPC, Classic)との接続	Cloud Connection（実体はDirect Link 2.0）を作成。	Transit GatewayにPowerVSを接続。PERが有効になった環境ではCloud Connectionを作る必要は無い（メニューから選択できなくなっている）。
IBM CloudのIaaS endpoint（161.26.0.0/16）へのアクセス	直接はアクセスできない。対応しているサービスについてはVPE、そうでないサービスについてはreverse proxy等で中継してやる必要がある。	直接アクセス可能（Transit Gatewayに接続していなくてもアクセス可能）
IBM CloudのPaaS endpoint（166.8.0.0/14）へのアクセス	直接はアクセスできない。対応しているサービスについてはVPE、そうでないサービスについてはreverse proxy等で中継してやる必要がある。	【2024/8 追記】直接アクセス可能（Transit Gatewayに接続していなくてもアクセス可能）
Transit Gatewayへの接続方式	PowerVSから延びているCloud Connection(DL2.0)を選択し、"Direct Link"タイプとして接続	"Power Systems Virtual Server"タイプとして接続
オンプレミスからPowerVSへのアクセス	x86環境(VPC, Classic)に配置したサーバーでのNATや、Classicに配置したVRAでのGREトンネリングを行う	オンプレミス <-> DL2.0 <-> Transit Gateway <-> PowerVS の通信が可能
PowerVS同士の通信	Transit Gateway経由で可能	Transit Gateway経由で可能

DAL10にWorkspace作成

DAL10にWorkspaceを作成します。作成時にupgraded networking環境であることが表示されます。

PERが有効になったWorkspaceには、NetworkのメニューにCloud ConnectionsやVPN connectionsのメニューがありません。

IaaS endpointsへの接続

サブネットの作成やAIXのオーダーはこれまでと同様です。
AIXにログインします。

IaaS endpoints（161.26.0.0/16）に直接アクセスできます。

LPARにExternal IPを付けている場合、デフォルトゲートウェイがパブリック側GWを向いているので、161.26.0.0/16についてプライベート側GWに行くよう静的経路を設定します。

DNS

IBM CloudのDNS（161.26.0.10, 161.26.0.11）を直接参照できます。

DNS

# cat /etc/resolv.conf
nameserver 127.0.0.1
nameserver 161.26.0.10
nameserver 161.26.0.11
search power-iaas.cloud.ibm.com
# nslookup www.yahoo.co.jp
Server:         161.26.0.10
Address:        161.26.0.10#53

Non-authoritative answer:
www.yahoo.co.jp canonical name = edge12.g.yimg.jp.
Name:   edge12.g.yimg.jp
Address: 183.79.217.124

# 

NTP

time.adn.networklayer.com（161.26.0.6）を直接参照できます。

/etc/ntp.confに下記2行を追記

server time.adn.networklayer.com
slewalways yes

NTP確認

# ntpq -p -n
     remote           refid      st t when poll reach   delay   offset    disp
==============================================================================
*161.26.0.6      172.17.65.16     2 u  932 1024  377    53.77   -0.054    0.08
# 

ICOS

ここ等の手順を参考にs3cmdツールのインストールや初期設定を実施します。

VPEを構成しなくてもPowerVSからICOSのDirect Endpointにアクセスできます。

# nslookup s3.direct.jp-osa.cloud-object-storage.appdomain.cloud
Server:         161.26.0.10
Address:        161.26.0.10#53

Non-authoritative answer:
Name:   s3.direct.jp-osa.cloud-object-storage.appdomain.cloud
Address: 161.26.0.47

# 
# s3cmd ls
2021-11-08 15:04  s3://bucket-osa-20211109
2021-11-08 15:41  s3://bucket-syd-20211109
# s3cmd ls s3://bucket-osa-20211109
2022-09-12 11:54   1073741824  s3://bucket-osa-20211109/tmpfile
# 

Red Hat Subscription

サブスクライブ済みになっています。

[root@tmgw-rhel-dal10 ~]# subscription-manager list
+-------------------------------------------+
    インストール済み製品のステータス
+-------------------------------------------+
製品名:           Red Hat Enterprise Linux for Power, little endian
製品 ID:          279
バージョン:       8.6
アーキテクチャー: ppc64le
状態:             サブスクライブ済み
状態の詳細:       
開始:             2023年01月01日
終了:             2024年01月16日

製品名:           Red Hat Enterprise Linux Server (for IBM Power LE) - Update Services for SAP Solutions
製品 ID:          382
バージョン:       8.6
アーキテクチャー: ppc64le
状態:             サブスクライブ済み
状態の詳細:       
開始:             2023年01月01日
終了:             2024年01月16日

製品名:           Red Hat Ansible Engine
製品 ID:          408
バージョン:       2.9
アーキテクチャー: ppc64le
状態:             サブスクライブ済み
状態の詳細:       
開始:             2023年01月01日
終了:             2024年01月16日

[root@tmgw-rhel-dal10 ~]# 

なお、Red Hatについては、プロビジョニング後のデフォルト状態で、161.26.0.0/16宛の通信がプライベート側GWに行くよう経路設定済みでした。

[root@tmgw-rhel-dal10 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.231.129 0.0.0.0         UG    100    0        0 env2
161.26.0.0      172.16.235.1    255.255.0.0     UG    101    0        0 env3

ここまではTransit Gatewayに接続しなくてもできます。
ここから、x86リソースや他拠点のPowerVSやオンプレミスと接続するために、Transit Gatewayに接続します。

Transit Gatewayへの接続

Transit GatewayでConnectionを追加する際の選択肢として、Power Systems Virtual Serverが追加されています。

2023年7月時点では、DAL10のPowerVSがこの接続方式に対応しています。

BGP reportにPower Systems Virtual Serverからの経路情報が載るようになり、同じTransit Gatewayに接続しているx86リソース（VPC, Classic）や他拠点のPowerVSと通信が可能になります。

PERの登場により、PowerVSからIBM Cloudのサービスを利用しやすくなり、また、オンプレミスからも接続しやすくなりました。日本での提供開始が望まれる新機能と思います。

以上