はじめに
OCIのContainer Engine for Kubernetes (OKE)において、Secretを安全に管理するためのツールとしてExternal Secret Operatorの設定方法を確認します。
External Secret Operatorは、外部プロバイダーに保存された情報からKubernetesのSecretを作成するためのCRDです。
OCIの場合は、Vaultサービスを使用します。
使用したクラスタです。
$ kubectl get node
NAME STATUS ROLES AGE VERSION
10.0.10.75 Ready node 39h v1.23.4
設定方法
以下を参考にしました。
キーとシークレットの作成
Vaultにキーとシークレットを作成します。Vaultはあらかじめ作成済みです。
なお、OCI Vaultのシークレットはカタカナ、KubernetesリソースのSecretはアルファベットで記載します。
OCIコンソール画面で以下のようにキーを作成します。
作成したキーを指定して、シークレットを以下のように作成します。
External Secret Operatorのデプロイ
以下を参考にHelmを使用してデプロイします。
$ helm repo add external-secrets https://charts.external-secrets.io
"external-secrets" has been added to your repositories
$ helm repo list
NAME URL
external-secrets https://charts.external-secrets.io
$ helm install external-secrets \
> external-secrets/external-secrets \
> -n external-secrets \
> --create-namespace
NAME: external-secrets
LAST DEPLOYED: Tue May 31 07:27:26 2022
NAMESPACE: external-secrets
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
external-secrets has been deployed successfully!
In order to begin using ExternalSecrets, you will need to set up a SecretStore
or ClusterSecretStore resource (for example, by creating a 'vault' SecretStore).
More information on the different types of SecretStores and how to configure them
can be found in our Github: https://github.com/external-secrets/external-secrets
デプロイされたリソースを確認します。
$ kubectl get all -n external-secrets
NAME READY STATUS RESTARTS AGE
pod/external-secrets-7bc8757d6-7wb2r 1/1 Running 0 2m27s
pod/external-secrets-cert-controller-55754f89fb-mqrxb 1/1 Running 0 2m27s
pod/external-secrets-webhook-67965bb887-rpvtw 1/1 Running 0 2m27s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/external-secrets-webhook ClusterIP 10.96.204.196 <none> 443/TCP 2m27s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/external-secrets 1/1 1 1 2m28s
deployment.apps/external-secrets-cert-controller 1/1 1 1 2m28s
deployment.apps/external-secrets-webhook 1/1 1 1 2m28s
NAME DESIRED CURRENT READY AGE
replicaset.apps/external-secrets-7bc8757d6 1 1 1 2m28s
replicaset.apps/external-secrets-cert-controller-55754f89fb 1 1 1 2m28s
replicaset.apps/external-secrets-webhook-67965bb887 1 1 1 2m28s
ポリシーの作成
External Secret Operatorはインスタンスプリンシパルを使用して認証しますので、動的グループに以下のポリシーを設定します。
KubernetesのServiceAccountでも認証できるようですが、未確認です。
Secretの作成
VaultにAPIアクセスするために、APIキーの秘密キーとフィンガープリントを取得し、Secretを作成します。
以下のコンソール画面で秘密キーをダウンロードします。
APIキーのフィンガープリントをメモします。
以下のマニフェストファイルを作成して、Secretを作成します。
oracle-secret.yaml
apiVersion: v1
kind: Secret
metadata:
name: oracle-secret
labels:
type: oracle
type: Opaque
stringData:
privateKey: |-
-----BEGIN PRIVATE KEY-----
MIIEvQIBADANBgkqhkiG9w0BAQEFAASCBKcwggSjAgEAAoIBAQDR/ahwU01vyJZH
#### insert you PEM certificate ####
-----END PRIVATE KEY-----
fingerprint: 03:06:00:00:00:00:00:00:00:00:00:00:00:00:00:00
$ kubectl apply -f oracle-secret.yaml
secret/oracle-secret created
$ kubectl describe secret oracle-secret
Name: oracle-secret
Namespace: default
Labels: type=oracle
Annotations: <none>
Type: Opaque
Data
====
fingerprint: 47 bytes
privateKey: 1703 bytes
Secret Storeの作成
外部プロバイダーに認証するためのSecret Storeを作成します。
authSecretStore.yaml
apiVersion: external-secrets.io/v1beta1
kind: SecretStore
metadata:
name: secretstore-auth
spec:
provider:
oracle:
vault: ocid1.vault.oc1.uk-london-1.xxxxxxxxxxxxxxxxxxxxx # vault OCID
region: uk-london-1 # vault region
auth:
user: ocid1.user.oc1..xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx # user OCID
tenancy: ocid1.tenancy.oc1..xxxxxxxxxxxxxxxxxxxxxxxxxxx # tenancy OCID
secretRef:
privatekey:
name: oracle-secret
key: privateKey
fingerprint:
name: oracle-secret
key: fingerprint
$ kubectl apply -f authSecretStore.yaml
secretstore.external-secrets.io/secretstore-auth created
$ kubectl get ss
NAME AGE STATUS
secretstore-auth 22s Valid
External Secretの作成
Secretを作成するためのExternal Secretを作成します。
externalSecret.yaml
apiVersion: external-secrets.io/v1beta1
kind: ExternalSecret
metadata:
name: ocisecret
namespace: default
spec:
refreshInterval: 0.03m # 外部プロバイダーに対してSecretを更新する頻度
secretStoreRef:
kind: SecretStore
name: secretstore-auth # Secret Store名
target:
name: k8s-secret # External Secretによって作成されるSecret名
creationPolicy: Owner
data:
- secretKey: oci-secret # secretのKey-Valueの「Key」
remoteRef:
key: oke-secret01 # OCI Vaultのシークレット名
$ kubectl apply -f externalSecret.yaml
externalsecret.external-secrets.io/ocisecret created
$ kubectl get es
NAME STORE REFRESH INTERVAL STATUS
ocisecret example-instance-principal 0.03m SecretSynced
External SecretによってSecretが作成されています。
$ kubectl get secret
NAME TYPE DATA AGE
default-token-zftfg kubernetes.io/service-account-token 3 23h
k8s-secret Opaque 1 77s
oracle-secret Opaque 2 5m28s
$ kubectl describe secret k8s-secret
Name: k8s-secret
Namespace: default
Labels: <none>
Annotations: reconcile.external-secrets.io/data-hash: 8b6c7979477db7cffa9a66740dc10ca4
Type: Opaque
Data
====
oci-secret: 8 bytes
Secretの値をデコードして確認します。
$ kubectl get secret k8s-secret -o jsonpath='{.data.oci-secret}'| base64 -d
aabbccdd
OCI Vaultのコンソール画面でシークレットの値を更新します。
再度、Secretの値をデコードして確認します。
$ kubectl get secret k8s-secret -o jsonpath='{.data.oci-secret}'| base64 -d
xxyyzz
Vaultのシークレットに合わせてSecretの値が更新されていることが確認できます。