目的
IBM Cloud Satelliteで構築したRed Hat OpenShift on IBM Cloud（ROKS）クラスタは、通常はそのままインターネットからアクセスすることができません。なぜなら、各ノードのIPはプライベートアドレスになるためです。
ROKSのコンソールからこのクラスタに割り当てられたIngressサブドメインを確認します。
名前解決すると、各ノードのIPであることがわかります。
$ dig +short roks-satellite-tok-********81bb6d6d7afea007d1a8cafd-0000.upi.containers.appdomain.cloud
10.244.2.30
10.244.66.26
10.244.130.23
よって、このIngressサブドメインはROKSとプライベートIPで通信可能なネットワーク内で使用することが想定されており、インターネットからの利用には使えません。
ノードのIPをパブリックIPにすればこの制限はなくなりますが、通常はそのようなことはしないと思います。
そのため、クラスタをインターネットから利用するためには、別途ロードバランサーなどを用意する必要があります。
ロードバランサーはクラスタがあるインフラストラクチャー側で用意することが一般的と思いますが、オンプレミスや他社クラウドの場合はそちらの環境やサービスメニューに依存します。そこで今回は、Satellite Linkを使って、IBM Cloud経由でROKSクラスタのアプリを公開してみます。
環境
手順
アプリ
テスト用のアプリをデプロイします。
$ oc new-project qiita 2>/dev/null || oc project qiita
$ oc new-app --docker-image ibmcom/hello
$ oc expose svc/hello
$ oc get route hello
NAME HOST/PORT PATH SERVICES PORT TERMINATION WILDCARD
hello hello-qiita.roks-satellite-tok-********81bb6d6d7afea007d1a8cafd-0000.upi.containers.appdomain.cloud hello 8080-tcp None
このときのURLはプライベートIPなので、インターネットからはアクセスできません。
$ dig +short hello-qiita.roks-satellite-tok-********81bb6d6d7afea007d1a8cafd-0000.upi.containers.appdomain.cloud
roks-satellite-tok-********81bb6d6d7afea007d1a8cafd-0000.upi.containers.appdomain.cloud.
10.244.2.30
10.244.66.26
10.244.130.23
Satellite Linkエンドポイント
エンドポイントの作成を選択します。
Satelliteロケーションを選択して次へ。
エンドポイント名と宛先FQDN、ポートを指定します。
ここの通信はTLSは使いません。すでにトンネリングされているからです。HTTPまたはTCPにします。
エンドポイントを作成します。
エンドポイントのアドレスを確認します。
このときのアドレスを解決します。
$ dig +short c-04.private.jp-tok.link.satellite.cloud.ibm.com
satellite-link.jp-tok.serviceendpoint.cloud.ibm.com.
166.9.40.11
166.9.42.86
166.9.44.79
これらのアドレスがIBM Cloud側のアドレスです。このアドレスにアクセスするとROKSまで到達できます。ただ、これらのアドレスはまだIBM Cloud内部のアドレスですので、インターネットからはアクセスできません。
VPC Load Balancer
エンドポイントアドレスにインターネットからアクセスするためにロードバランサーを立てます。
ここからはCLIで操作します。コンソールではバックエンドプールのメンバーに任意のIPアドレスを指定できないためです。
ロードバランサーのIDを確認します。
$ ibmcloud is lbs
ID 名前 ファミリー サブネット パブリックです プロビジョン状況 作動状況 リソース・グループ
r022-2d2e3d06-97d5-480b-be80-d009aaf2be14 lb-satellite-tok Application subnet-roks-public-tok1, subnet-roks-public-tok2 true active online teruz
バックエンドプールを作成します。
$ ibmcloud is lb-pc pool-satelite-tok-80 r022-2d2e3d06-97d5-480b-be80-d009aaf2be14 round_robin http 2 1 1 tcp
ID r022-ec767e54-5f73-4780-983b-16d96b851e45
名前 pool-satelite-tok-80
プロトコル http
アルゴリズム round_robin
インスタンス・グループ ID 名前
- -
Proxy Protocol disabled
ヘルス・モニター タイプ ポート ヘルス・モニター URL 遅延 再試行回数 タイムアウト
tcp - 2 1 1
セッション・パーシスタンス タイプ Cookie 名
- -
メンバー
プロビジョン状況 active
作成済み 2021-09-26T12:43:12.18+09:00
先ほどのIPをメンバーとして追加します。
$ ibmcloud is lb-pmsu r022-2d2e3d06-97d5-480b-be80-d009aaf2be14 r022-ec767e54-5f73-4780-983b-16d96b851e45 --members '[{"port": 32785, "target": {"address": "166.9.40.11"}},{"port": 32785, "target": {"address": "166.9.4
2.86"}},{"port": 32785, "target": {"address": "166.9.44.79"}}]'
ID ポート ターゲット 重み ヘルス 作成済み プロビジョン状況
r022-584ca51a-59d4-4add-85f3-023f86d1e7f1 32785 166.9.40.11 50 unknown 2021-09-26T12:44:56.551+09:00 create_pending
r022-b047a43c-66d5-4cab-b8a0-6623a7434f57 32785 166.9.42.86 50 unknown 2021-09-26T12:44:56.57+09:00 create_pending
r022-8f2768c5-e38e-4b80-a000-8161569e6658 32785 166.9.44.79 50 unknown 2021-09-26T12:44:56.585+09:00 create_pending
登録を確認します。
$ ibmcloud is lb-pms r022-2d2e3d06-97d5-480b-be80-d009aaf2be14 r022-ec767e54-5f73-4780-983b-16d96b851e45
ID ポート ターゲット 重み ヘルス 作成済み プロビジョン状況
r022-584ca51a-59d4-4add-85f3-023f86d1e7f1 32785 166.9.40.11 50 unknown 2021-09-26T12:44:56.551+09:00 active
r022-b047a43c-66d5-4cab-b8a0-6623a7434f57 32785 166.9.42.86 50 unknown 2021-09-26T12:44:56.57+09:00 active
r022-8f2768c5-e38e-4b80-a000-8161569e6658 32785 166.9.44.79 50 unknown 2021-09-26T12:44:56.585+09:00 active
ここからはわかりやすさのために再度コンソールで作業します。フロントエンドリスナータブで作成を選択します。
今回はプロトコルでHTTPを選択し、先ほど作成したバックエンドプールを選択します。
作成されたことを確認します。
概要タブを確認します。正常性の状態がOK（緑）になっていることを確認します。
ルートの作成
現時点でロードバランサー経由でROKSまで到達可能になっています。しかしブラウザからアクセスすすとApplication is not availableになります。これは、このときのURLに対応したルートが存在しないためです。
ルートを作成します。先ほどSatellite Linkを作成した際に通信を平文にしたので、ルートもHTTPで作成します。
$ oc expose svc/hello --name hello-link --hostname ********-jp-tok.lb.appdomain.cloud
$ oc get route hello-link
NAME HOST/PORT PATH SERVICES PORT TERMINATION WILDCARD
hello-link *******-jp-tok.lb.appdomain.cloud hello 8080-tcp None
ブラウザをリロードします。
考慮点
- エンドポイントIPがもし将来変わるとロードバランサーから通信はできなくなります
- 今回はHTTPSなしでやりましたが、実運用を考えるとHTTPSを検討ください
- 今回はLBとRouteが1:1になっていますが、LBのFQDNをDNSでCNAME指定することで、複数のFQDNと対応するRouteを定義すれば、複数のアプリを1つのLBで公開可能です