問題提起

vSphere for k8sの目玉機能としてvCenterからEmbedded Harborをつくることができるという点です。
こんな感じでvCenterからHarborをいじれるようになります。

基本的には、これをそのまま使えばいいのですが、一つ問題があり、 TKC(Tanzu Kubernetes Guest Cluster)からは利用できないという点です。
理由がHarborのSSL証明書がTKC側で登録がされておらず、使えない状態のためです。

海外のブログで直しかたが紹介されていますが、異様に煩雑な手順となっており、気軽に試せそうにないです。

この記事では、上の改良版として

Step 2.をKubernetesの仕組みで自動化
Step 3.の手順を汎用化
Step 4.も改良
日本語化
したものとなっています。

注意事項

この手段はサポートされた手段ではないです。
また、Privileged Podsの仕組みを使っているので、セキュリティ上よろしくない手段です。
よく理解した上、自己責任でお願いします。

手順

1. TKCのKubeconfigを生成する

まずTKCのkubeconfigをダウンロードするのですが、手順はここにあるものを使います。

最後のtkg-cluster-kubeconfig-adminをKUBECONFIG関数などにエクスポートします。

export KUBECONFIG=/enter_dir/tkg-cluster-kubeconfig-admin

kubectl get nodesなどして、問題ないか確認します。

2. HarborのRoot証明書をSecretとして登録

次に、Root証明書をゲットします。

[ Cluster ] > [ Configure ] > [ Namespaces ] > [ Image Registry ]にあるのでそれをダウンロードします。

これを./root-certificate.txtなどに保管してkubernetes側に登録します。

kubectl create ns harbor-setup
kubectl create secret generic harbor-registry --from-file=./root-certificate.txt -n harbor-setup

3. TKCノードの証明書を更新するシェルスクリプト(ConfigMap)の用意

以下のシェルスクリプトを作成します。
これによってホストOSの証明書を更新するシェルスクリプトを実行します。

名前はharbor-setup.shとしてください。


# !/bin/bash
set -x

NSENTER="/usr/bin/nsenter -t 1 -m -u -n -i --"

HEAD=`cat /tmp/harbor-cert | head -2 | sed 1d`
${NSENTER} grep -q ${HEAD} /etc/pki/tls/certs/ca-bundle.crt || {

  ${NSENTER} cp /etc/pki/tls/certs/ca-bundle.crt /tmp/
  cat /tmp/harbor-cert  >> /host/ca-bundle.crt

  ${NSENTER} cp /tmp/ca-bundle.crt /etc/pki/tls/certs/ca-bundle.crt
  ${NSENTER} systemctl -a | grep -q docker.service && { 
    ${NSENTER} systemctl restart docker.service
    ${NSENTER} systemctl status docker.service
  }
  ${NSENTER} systemctl -a | grep -q containerd.service && { 
    ${NSENTER} systemctl restart containerd.service
    ${NSENTER} systemctl status containerd.service
  }
}
while true; do
 sleep 3600
done

そしてそれをConfigMapとして登録します。

kubectl create configmap harbor-setup-bash --from-file=harbor-setup.sh -n harbor-setup

4. Daemonsetを作成する。

harbor-setupネームスペースで、privileged podの作成を許可します。

kubectl create rolebinding  harbor-setup --namespace=harbor-setup --clusterrole=psp:vmware-system-privileged --group=system:serviceaccounts

以下を実行します。


kubectl create -n harbor-setup -f - <<EOF
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: harbor-setup
spec:
  selector:
    matchLabels:
      job: harbor-setup
  template:
    metadata:
      labels:
        job: harbor-setup
    spec:
      hostPID: true
      containers:
      - image: alpine
        name: harbor-setup
        command: ["sh", "/tmp/harbor-setup.sh"]
        securityContext:
          privileged: true
        volumeMounts:
        - name:  harbor-setup
          mountPath: /tmp/harbor-setup.sh
          subPath: harbor-setup.sh
          readOnly: true
        - name:  harbor-cert
          mountPath: /tmp/harbor-cert
          subPath: root-certificate.txt
          readOnly: true
        - name: host-mount
          mountPath: /host
      volumes:
      - name: harbor-setup
        configMap:
          name: harbor-setup-bash
      - name: harbor-cert
        secret:
          secretName: harbor-registry
      - name: host-mount
        hostPath:
          path: /tmp/
EOF

kubectl get ds -n harbor-setupでWorkerNode数分起動している確認します。

NAME           DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
harbor-setup   3         3         3       3            3           <none>          11s

なお、このデーモンセットはprivilegedで走らせているため非常に危険なPodです。
1分以上したら以下のコマンドでけしてあげてください

kubectl delete ds harbor-setup -n harbor-setup

手順としては以上です。

検証

HarborにあるこのイメージをTKCからダウンロードできるか試します。

1. ImagePullSecretをNamespaceごとに生成

面倒ですが、Harborの認証情報はNamespaceごとに作らないといけないです。
検証用のNamespaceを作ります。

kubectl create ns pulltest

そして、認証情報を登録します。

kubectl create -n pulltest secret docker-registry regsecret --docker-server=10.195.35.38 --docker-username=XXXXXXX --docker-password='XXXXXX'

XXXX には正しい情報をいれてください。
そして、それをdefaultサービスアカウントにパッチします。

kubectl patch sa default -n pulltest -p '"imagePullSecrets": [{"name": "regsecret" }]'

これで準備完了です。

2. 検証する

これでイメージを走らせてみます。

kubectl create deployment -n pulltest --image=10.195.35.38/common/nginx test

走っていることを確認します。

kubectl get po -n pulltest
NAME                   READY   STATUS    RESTARTS   AGE
test-ccf848d49-p42kc   1/1     Running   0          30s

ちゃんとイメージがPullされたことを確認します。

OKですね。成功です。

まとめ

TKCでHarborをつかうのも簡単にできます。