はじめに
Red Hat OpenShift on IBM Cloudでは、コンテナレジストリとしてIBM Cloud Container Registryを使用するケースが多いと思います。ただ、Container Registryを使用できないケースでは、OpenShift内でデフォルトでセットアップされているOpenShift Container Registry（OCR）を使用することになります。
OCRは内部からのアクセスが可能であるものの、例えばローカルの端末でビルドしたイメージをpushするといったような外部からのアクセスができない状態になっています。
この記事では、OCRに外部からアクセス（push）できるように設定し、さらに、クラスター内でOCRからイメージをpullできるように設定する手順を紹介します。この記事の内容は、基本的に「IBM Cloudドキュメント：内部レジストリーのためのセキュアな外部経路のセットアップ」に基づいています。
前提環境
・Red Hat OpenShift on IBM Cloud (OpenShiftバージョン：4.10.22_1528）
・OpenShiftクラスターに対して、IBM Cloud IAMの「マネージャ」サービス役割を保持していること
内部レジストリに外部からpushできるようにする
openshift-image-registry プロジェクトに、image-registryサービスが存在することを確認します。
❯ oc get svc -n openshift-image-registry
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
image-registry ClusterIP xxx.xxx.xx.xxx <none> 5000/TCP 6h33m
image-registry-operator ClusterIP None <none> 60000/TCP 6h50m
image-registryサービスに対して、暗号化されたrouteを作成します。ここではreencrypt（クライアント - route間で暗号化を一旦終端し、再度暗号化してroute - 内部レジストリ間もセキュアにする）を指定してrouteを作成します。
❯ oc create route reencrypt --service=image-registry -n openshift-image-registry
route.route.openshift.io/image-registry created
作成されたrouteに割り当てられたホスト名、ポートを確認します。
❯ oc get route image-registry -n openshift-image-registry
NAME HOST/PORT PATH SERVICES PORT TERMINATION WILDCARD
image-registry image-registry-openshift-image-registry.xxxxx.jp-tok.containers.appdomain.cloud image-registry 5000-tcp reencrypt None
作成したrouteをoc editで編集し、ロードバランスの方式をsourceに変更します。これにより、同じIPアドレスからのアクセスは同じPodに到達するようになります。
oc edit route image-registry -n openshift-image-registry
編集箇所は（コメントを含めて）10行目あたりで、metadata.annotationsにhaproxy.router.openshift.io/balance: sourceの行を追加して保存します。
# Please edit the object below. Lines beginning with a '#' will be ignored,
# and an empty file will abort the edit. If an error occurs while saving this file will be
# reopened with the relevant failures.
#
apiVersion: route.openshift.io/v1
kind: Route
metadata:
annotations:
openshift.io/host.generated: "true"
haproxy.router.openshift.io/balance: source # 左記の内容を追加する
以上により外部から内部レジストリにアクセスできるようになったので、docker loginによりログインします。ホスト名・ポートは、上記のrouteで確認したホスト名・ポートを使用します。ユーザ名、パスワードは、OpenShiftへのログインユーザ、パスワードを使用します。
❯ docker login -u $(oc whoami) -p $(oc whoami -t) image-registry-openshift-image-registry.xxxxxxxxxxx.jp-tok.containers.appdomain.cloud
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
Login Succeeded
ここでは、イメージをpushし、デプロイして稼働させるためのサンプルプロジェクトをsampleという名前で作成します。
❯ oc new-project sample
Now using project "sample" on server "https://c115-e.jp-tok.containers.cloud.ibm.com:30645".
You can add applications to this project with the 'new-app' command. For example, try:
oc new-app rails-postgresql-example
to build a new example application in Ruby. Or use kubectl to deploy a simple Kubernetes application:
kubectl create deployment hello-node --image=k8s.gcr.io/e2e-test-images/agnhost:2.33 -- /agnhost serve-hostname
pushするイメージとしてnginxを使用します（--platformオプションは、ローカル端末がM1 Mac(arm64)のために付けています。amd64のCPUの場合は不要です）。
❯ docker pull --platform linux/x86_64 nginx:latest
latest: Pulling from library/nginx
Digest: sha256:ecc068890de55a75f1a32cc8063e79f90f0b043d70c5fcf28f1713395a4b3d49
Status: Image is up to date for nginx:latest
docker.io/library/nginx:latest
OCRにpushするための準備として、docker tagコマンドでタグを付けます。ホスト名の部分は作成したrouteで確認したホスト名です。ホスト名に続けて、/<プロジェクト名>（この例ではsample）/nginx:latest を指定します。
❯ docker tag nginx:latest image-registry-openshift-image-registry.xxxxxxx.jp-tok.containers.appdomain.cloud/sample/nginx:latest
タグを付けたイメージをpushします。
❯ docker push image-registry-openshift-image-registry.xxxxxxx.jp-tok.containers.appdomain.cloud/sample/nginx:latest
The push refers to repository [image-registry-openshift-image-registry.xxxxxxx.jp-tok.containers.appdomain.cloud/sample/nginx]
b539cf60d7bb: Pushed
bdc7a32279cc: Pushed
f91d0987b144: Pushed
3a89c8160a43: Pushed
e3257a399753: Pushed
92a4e8a3140f: Pushed
latest: digest: sha256:f26fbadb0acab4a21ecb4e337a326907e61fbec36c9a9b52e725669d99ed1261 size: 1570
イメージをpushすると、sampleプロジェクトにImageStreamが作成されるため、それを確認します。
❯ oc get imagestream
NAME IMAGE REPOSITORY TAGS UPDATED
nginx image-registry.openshift-image-registry.svc:5000/sample/nginx latest 29 seconds ago
クラスターが内部レジストリからイメージをpullできるようにする
次に、pushしたイメージをpullできるように設定します。
現在のプロジェクトが先ほど作成したsampleであることを確認します。
❯ oc project
Using project "sample" on server "https://c115-e.jp-tok.containers.cloud.ibm.com:xxxxx".
defaultサービスアカウントの詳細を表示し、Image pull secretsで指定されているSecretを確認します。
❯ oc describe sa default
Name: default
Namespace: sample
Labels: <none>
Annotations: <none>
Image pull secrets: default-dockercfg-zzjd4
Mountable secrets: default-token-bqklv
default-dockercfg-zzjd4
Tokens: default-token-bqklv
default-token-wx8n9
Events: <none>
上記で確認したSecretをYAML形式で出力し、.dockercfgの値を確認します。
❯ oc get secret default-dockercfg-zzjd4 -o yaml
apiVersion: v1
data:
.dockercfg:xxxxx
.dockercfgの値はBase64でエンコードされているため、それをデコードします（echoコマンドに渡しているのが.dockercfgの値です）。デコードすることで、イメージをpullするために必要なusername、passwordを得ることができます。
echo "<ey...=>" | base64 -D
{"172.xx.xxx.xxx:5000":{"username":"serviceaccount","password":"ey......
上記で取得した「routeのホスト名」、「username」、「password」の値を用いて、内部レジストリ用の新たなImage Pull Secretを作成します。ここではinternal-registryという名前のSecretを作成します。各オプションではそれぞれ以下を指定します。
-
--docker-server： routeのホスト名＋:5000（ポート番号） -
--docker-username： 上記のusernameの値 -
--docker-password： 上記のpasswordの値 -
--docker-email： 適当なメールアドレス（例：a@b.c）
oc create secret image-registry internal-registry --namespace sample --docker-server image-registry-openshift-image-registry.xxxxxxx.jp-tok.containers.appdomain.cloud:5000 --docker-username serviceaccount --docker-password <eyJ...> --docker-email a@b.c
defaultサービスアカウントに、上記で作成したImage Pull Secretを追加します。
❯ oc patch -n sample serviceaccount/default --type='json' -p='[{"op":"add","path":"/imagePullSecrets/-","value":{"name":"internal-registry"}}]'
serviceaccount/default patched
nginxのイメージでは、ポート80を使用するためにroot権限が必要になります。しかし、OpenShiftはセキュリティ上の理由からコンテナで設定されているユーザではなく、ランダムなUIDで実行するため、ポート80が使用できません。それを回避するため、anyuidSCCをdefaultサービスアカウントに付与し、コンテナで設定したユーザでの実行を許可します。
❯ oc adm policy add-scc-to-user anyuid -z default
clusterrole.rbac.authorization.k8s.io/system:openshift:scc:anyuid added: "default"
nginxコンテナのデプロイ
それではnginxコンテナをデプロイしてみます。
OpenShiftのWebコンソールにアクセスし、「Developer」パースペクティブを選択し、「追加」→「コンテナイメージ」をクリックします。
「内部レジストリーからのイメージストリームタグ」を選択し、プロジェクト、イメージストリーム、タグに、それぞれ「sample」、「nginx」、「latest」を指定します。
画面を下にスクロールし、他の項目はデフォルト値のままで「作成」ボタンをクリックします。
しばらくするとデプロイが完了するので、「トポロジー」のアイコンの右上部分をクリックします。
nginxのWelcomページが表示されることを確認します。
