はじめに
GitOpsツールとしてArgoCDを使用して、OKE（Oracle Container Engine for Kubernetes）のGitOps環境を構築します。
アーキテクチャ
このようなアーキテクチャです。
検証なのでOKEクラスタは、1ノードで構成しています。
$ kubectl get node
NAME STATUS ROLES AGE VERSION
10.0.10.211 Ready node 98s v1.24.1
別途クライアント用として、Virtual Machineを1つ用意しています。
OSはOracle Linuxです。
$ cat /etc/oracle-release
Oracle Linux Server release 8.6
参考資料
基本的にこちらの本の通りで構築できました。以降の手順もこの本の通りで一部OKEに合わせて変更したところがあります。
CI環境構築
リポジトリ作成
GithubにCodeリポジトリとConfigリポジトリを作成します。
サンプルアプリの作成
クライアントマシンのcode/app配下にサンプルアプリを配置します。
今回は参考資料のアプリそのままなので、中身は割愛します。
$ ls -l code/app/
total 8
-rw-rw-r--. 1 opc opc 219 Sep 24 01:36 Dockerfile
-rw-rw-r--. 1 opc opc 261 Sep 24 01:36 main.go
CodeリポジトリへのPush
git remoteコマンド時に使用するトークンは、予めGithubで作成しておきます。
$ cd code
$ git init
hint: Using 'master' as the name for the initial branch. This default branch name
hint: is subject to change. To configure the initial branch name to use in all
hint: of your new repositories, which will suppress this warning, call:
hint:
hint: git config --global init.defaultBranch <name>
hint:
hint: Names commonly chosen instead of 'master' are 'main', 'trunk' and
hint: 'development'. The just-created branch can be renamed via this command:
hint:
hint: git branch -m <name>
Initialized empty Git repository in /home/opc/gitops/code/.git/
$ git config --global user.email kosuke.machida@oracle.com
$ git config --global user.name kosukemachida-ora
$ git add .
$ git commit -m "first commit"
[master (root-commit) 424c005] first commit
2 files changed, 25 insertions(+)
create mode 100644 app/Dockerfile
create mode 100644 app/main.go
$ git branch -M main
$ git remote add origin https://ghp_your-token@github.com/kosukemachida-ora/code.git
$ git push -u origin main
Enumerating objects: 5, done.
Counting objects: 100% (5/5), done.
Delta compression using up to 2 threads
Compressing objects: 100% (4/4), done.
Writing objects: 100% (5/5), 672 bytes | 672.00 KiB/s, done.
Total 5 (delta 0), reused 0 (delta 0), pack-reused 0
To https://github.com/kosukemachida-ora/code.git
* [new branch] main -> main
Branch 'main' set up to track remote branch 'main' from 'origin'.
Configの作成
マニフェストファイルを作成して、ConfigリポジトリにPushします。
マニフェストファイル作成
$ cd ../config/
$ helm create gitops-helm
Creating gitops-helm
$ rm -rf gitops-helm/templates/*
gitops-helm/templates配下にマニフェストファイルを作成します。
$ ls -l gitops-helm/templates/
total 8
-rw-rw-r--. 1 opc opc 439 Sep 24 01:44 gitops-deployment.yaml
-rw-rw-r--. 1 opc opc 455 Sep 24 01:46 gitops-service.yaml
gitops-deployment.yamlは参考資料そのままですが、gitops-service.yamlは以下のようにしました。
Oracle Cloudのフレキシブルロードバランサーをデプロイするように、annotationsを追加しています。
gitops-service.yaml
apiVersion: v1
kind: Service
metadata:
name: gitops-service
annotations:
service.beta.kubernetes.io/oci-load-balancer-shape: "flexible"
service.beta.kubernetes.io/oci-load-balancer-shape-flex-min: "10"
service.beta.kubernetes.io/oci-load-balancer-shape-flex-max: "50"
spec:
type: {{ .Values.service_type }}
ports:
- name: {{ .Chart.Name }}
protocol: TCP
port: 80
targetPort: 8080
selector:
app: {{ .Values.label }}
values.yamlファイルを編集します。今回は参考資料の記述そのままです。
$ ls -l gitops-helm
total 8
drwxr-xr-x. 2 opc opc 6 Sep 24 01:41 charts
-rw-r--r--. 1 opc opc 1147 Sep 24 01:41 Chart.yaml
drwxr-xr-x. 2 opc opc 63 Sep 24 01:46 templates
-rw-rw-r--. 1 opc opc 228 Sep 24 01:49 values.yaml
ConfigリポジトリにPushします。
$ git init
hint: Using 'master' as the name for the initial branch. This default branch name
hint: is subject to change. To configure the initial branch name to use in all
hint: of your new repositories, which will suppress this warning, call:
hint:
hint: git config --global init.defaultBranch <name>
hint:
hint: Names commonly chosen instead of 'master' are 'main', 'trunk' and
hint: 'development'. The just-created branch can be renamed via this command:
hint:
hint: git branch -m <name>
Initialized empty Git repository in /home/opc/gitops/config/.git/
$ git add .
$ git commit -m "first commit"
[master (root-commit) 07f3f2a] first commit
5 files changed, 96 insertions(+)
create mode 100644 gitops-helm/.helmignore
create mode 100644 gitops-helm/Chart.yaml
create mode 100644 gitops-helm/templates/gitops-deployment.yaml
create mode 100644 gitops-helm/templates/gitops-service.yaml
create mode 100644 gitops-helm/values.yaml
$ git branch -M main
$ git remote add origin https://ghp_your-token@github.com/kosukemachida-ora/config.git
$ git push -u origin main
Enumerating objects: 9, done.
Counting objects: 100% (9/9), done.
Delta compression using up to 2 threads
Compressing objects: 100% (8/8), done.
Writing objects: 100% (9/9), 1.83 KiB | 1.83 MiB/s, done.
Total 9 (delta 0), reused 0 (delta 0), pack-reused 0
To https://github.com/kosukemachida-ora/config.git
* [new branch] main -> main
Branch 'main' set up to track remote branch 'main' from 'origin'.
Github Actionsの設定
codeリポジトリ -> Actions -> Or skip this and set up a workflow yourself をクリック
Start commit -> Commit new file をクリック
ローカルリポジトリとの同期
Pullして同期します。
$ cd ../code/
$ git pull
remote: Enumerating objects: 6, done.
remote: Counting objects: 100% (6/6), done.
remote: Compressing objects: 100% (3/3), done.
remote: Total 5 (delta 0), reused 0 (delta 0), pack-reused 0
Unpacking objects: 100% (5/5), 1.28 KiB | 1.28 MiB/s, done.
From https://github.com/kosukemachida-ora/code
f8360f4..a939c5f main -> origin/main
Updating f8360f4..a939c5f
Fast-forward
.github/workflows/main.yml | 36 ++++++++++++++++++++++++++++++++++++
1 file changed, 36 insertions(+)
create mode 100644 .github/workflows/main.yml
リポジトリのSecret登録
Settings -> Secrets -> Actionsをクリック
New repository secretを選択して環境に合わせて5つのSecretを登録します。
なお、GH_PASSWORDはGithubのパスワードではなく、git remoteコマンドで使用しているトークンを設定します。
Personal access tokenの取得と登録
ここでは既に作成済みのGithubActionsのトークンを再利用します。
Regenerate tokenをクリック
表示されたトークンを別途コピーしておきます。
Secretに登録します。
workflowの設定
Pullしたmain.ymlをこれまで設定してきた内容に合わせて修正します。
$ ls -l .github/workflows
total 4
-rw-rw-r--. 1 opc opc 2627 Sep 24 02:01 main.yml
main.yml
name: GitHub Actions CI
on:
push:
branches: [ main ]
jobs:
build:
name: GitOps Workflow
runs-on: ubuntu-latest
steps:
- name: Checkout code
uses: actions/checkout@v2
# イメージビルド
- name: Build an image from Dockerfile
run: |
# Dockerビルド
DOCKER_BUILDKIT=1 docker image build . -f app/Dockerfile --tag ${{ secrets.DOCKER_USERNAME }}/gitops-go-app:${{ github.run_number }}
# Trivyによるイメージスキャン
- name: Run Trivy vulnerability scanner
uses: aquasecurity/trivy-action@master
with:
image-ref: '${{ secrets.DOCKER_USERNAME }}/gitops-go-app:${{ github.run_number }}'
format: 'table'
exit-code: '1'
ignore-unfixed: true
severity: 'CRITICAL,HIGH'
# コンテナイメージをDocker Hubにプッシュ
- name: Push image to Docker Hub
run: |
# Docker Hub ログイン
docker login docker.io --username ${{ secrets.DOCKER_USERNAME }} --password ${{ secrets.DOCKER_PASSWORD }}
# イメージプッシュ
docker image push ${{ secrets.DOCKER_USERNAME }}/gitops-go-app:${{ github.run_number }}
# values.yamlの更新、新規ブランチ作成、プッシュ、プルリクエスト
- name: Update values.yaml & Pull Request to Config Repository
run: |
# GitHubログイン
echo -e "machine github.com\nlogin ${{ secrets.GH_USERNAME }}\npassword ${{ secrets.GH_PASSWORD }}" > ~/.netrc
# 「config」リポジトリからクローン
git clone https://github.com/${{ secrets.GH_USERNAME }}/config.git
# values.yamlファイルの更新処理
cd config/gitops-helm
git config --global user.email "${{ secrets.EMAIL }}"
git config --global user.name "${{ secrets.GH_USERNAME }}"
# 新規ブランチ作成
git branch feature/${{ github.run_number }}
git checkout feature/${{ github.run_number }}
# values.yamlのタグ番号を更新
sed -i 's/tag: [0-9]*/tag: ${{ github.run_number }}/g' values.yaml
# プッシュ処理
git add values.yaml
git commit -m "Update tag ${{ github.run_number }}"
git push origin feature/${{ github.run_number }}
# プルリクエスト処理
echo ${{ secrets.PERSONAL_ACCESS_TOKEN }} > token.txt
gh auth login --with-token < token.txt
gh pr create --title "Update Tag ${{ github.run_number }}" --body "Please Merge !!"
Pushします。
$ git add .
$ git commit -m "create main.yml"
[main 418a8a3] create main.yml
1 file changed, 62 insertions(+), 36 deletions(-)
rewrite .github/workflows/main.yml (92%)
$ git branch -M main
$ git push -u origin main
Enumerating objects: 9, done.
Counting objects: 100% (9/9), done.
Delta compression using up to 2 threads
Compressing objects: 100% (3/3), done.
Writing objects: 100% (5/5), 1.40 KiB | 1.40 MiB/s, done.
Total 5 (delta 0), reused 0 (delta 0), pack-reused 0
To https://github.com/kosukemachida-ora/code.git
6bb932d..418a8a3 main -> main
Branch 'main' set up to track remote branch 'main' from 'origin'.
CIの実行
GithubActionsを確認すると、ワークフローが実行されています。
create main.ymlをクリックすると、ワークフローの詳細が確認できます。
Docker Hubにビルドしたコンテナイメージが格納されています。
ConfigリポジトリにPull Requestがあるので、マージします。
CD環境構築
ArgoCDのインストール
Helmでインストールするために、Argo CDのリポジトリを追加します。
$ helm repo add argo https://argoproj.github.io/argo-helm
"argo" has been added to your repositories
$ helm repo update
Hang tight while we grab the latest from your chart repositories...
...Successfully got an update from the "argo" chart repository
Update Complete. ?Happy Helming!?
$ helm search repo argocd
NAME CHART VERSION APP VERSION DESCRIPTION
argo/argocd-applicationset 1.12.1 v0.4.1 A Helm chart for installing ArgoCD ApplicationSet
argo/argocd-apps 0.0.1 A Helm chart for managing additional Argo CD Ap...
argo/argocd-image-updater 0.8.0 v0.12.0 A Helm chart for Argo CD Image Updater, a tool ...
argo/argocd-notifications 1.8.1 v1.2.1 A Helm chart for ArgoCD notifications, an add-o...
argo/argo-cd 3.35.4 v2.2.5 A Helm chart for ArgoCD, a declarative, GitOps ...
KubernetesクラスタにNamespaceを作成します。
$ kubectl create ns argocd
namespace/argocd created
インストールします。
$ helm install argo-cd -n argocd argo/argo-cd --version 3.6.4
manifest_sorter.go:192: info: skipping unknown hook: "crd-install"
manifest_sorter.go:192: info: skipping unknown hook: "crd-install"
NAME: argo-cd
LAST DEPLOYED: Sat Sep 24 02:19:34 2022
NAMESPACE: argocd
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
In order to access the server UI you have the following options:
1. kubectl port-forward service/argo-cd-argocd-server -n argocd 8080:443
and then open the browser on http://localhost:8080 and accept the certificate
2. enable ingress in the values file `server.ingress.enabled` and either
- Add the annotation for ssl passthrough: https://github.com/argoproj/argo-cd/blob/master/docs/operator-manual/ingress.md#option-1-ssl-passthrough
- Add the `--insecure` flag to `server.extraArgs` in the values file and terminate SSL at your ingress: https://github.com/argoproj/argo-cd/blob/master/docs/operator-manual/ingress.md#option-2-multiple-ingress-objects-and-hosts
After reaching the UI the first time you can login with username: admin and the random password generated during the installation. You can find the password by running:
kubectl -n argocd get secret argocd-initial-admin-secret -o jsonpath="{.data.password}" | base64 -d
(You should delete the initial secret afterwards as suggested by the Getting Started Guide: https://github.com/argoproj/argo-cd/blob/master/docs/getting_started.md#4-login-using-the-cli)
確認します。
$ kubectl -n argocd get all
NAME READY STATUS RESTARTS AGE
pod/argo-cd-argocd-application-controller-bc5dd54c5-mll54 0/1 Running 0 86s
pod/argo-cd-argocd-dex-server-7c86d574b8-xjsqf 1/1 Running 0 86s
pod/argo-cd-argocd-redis-568dbf6d9d-mqdpk 1/1 Running 0 86s
pod/argo-cd-argocd-repo-server-58f85d449-7h2f7 0/1 Running 0 86s
pod/argo-cd-argocd-server-64dd8cfb77-qtb4w 0/1 Running 0 86s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/argo-cd-argocd-application-controller ClusterIP 10.96.139.60 <none> 8082/TCP 88s
service/argo-cd-argocd-dex-server ClusterIP 10.96.102.61 <none> 5556/TCP,5557/TCP 88s
service/argo-cd-argocd-redis ClusterIP 10.96.95.232 <none> 6379/TCP 88s
service/argo-cd-argocd-repo-server ClusterIP 10.96.45.128 <none> 8081/TCP 88s
service/argo-cd-argocd-server ClusterIP 10.96.44.118 <none> 80/TCP,443/TCP 88s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/argo-cd-argocd-application-controller 0/1 1 0 87s
deployment.apps/argo-cd-argocd-dex-server 1/1 1 1 87s
deployment.apps/argo-cd-argocd-redis 1/1 1 1 87s
deployment.apps/argo-cd-argocd-repo-server 0/1 1 0 87s
deployment.apps/argo-cd-argocd-server 0/1 1 0 87s
NAME DESIRED CURRENT READY AGE
replicaset.apps/argo-cd-argocd-application-controller-bc5dd54c5 1 1 0 88s
replicaset.apps/argo-cd-argocd-dex-server-7c86d574b8 1 1 1 88s
replicaset.apps/argo-cd-argocd-redis-568dbf6d9d 1 1 1 88s
replicaset.apps/argo-cd-argocd-repo-server-58f85d449 1 1 0 88s
replicaset.apps/argo-cd-argocd-server-64dd8cfb77 1 1 0 88s
GUIへのアクセス設定
argo-cd-argocd-serverをClusterIPからLoadBalancerに変更して、外部からアクセスできるようにします。
kubectl patchコマンドで変更すると、Oracle Cloudでは非推奨の固定シェイプのロードバランサ―がプロビジョニングされるので、以下のようにyamlファイルにはき出してから変更して、kubectl replaceコマンドで入れ替えます。
NodePortでもいいかなと思いましたが、Kubernetesクラスタをプライベートサブネットにプロビジョニングしているので、インターネット越しにアクセスできないため、LoadBalancerにします。
$ kubectl get svc argo-cd-argocd-server -n argocd -o yaml > ~/argo-lb.yaml
argo-lb.yaml
apiVersion: v1
kind: Service
metadata:
annotations:
meta.helm.sh/release-name: argo-cd
meta.helm.sh/release-namespace: argocd
service.beta.kubernetes.io/oci-load-balancer-shape: "flexible" #追記
service.beta.kubernetes.io/oci-load-balancer-shape-flex-min: "10" #追記
service.beta.kubernetes.io/oci-load-balancer-shape-flex-max: "50" #追記
creationTimestamp: "2022-09-24T12:36:02Z"
labels:
app.kubernetes.io/component: server
app.kubernetes.io/instance: argo-cd
app.kubernetes.io/managed-by: Helm
app.kubernetes.io/name: argocd-server
app.kubernetes.io/part-of: argocd
helm.sh/chart: argo-cd-3.6.4
name: argo-cd-argocd-server
namespace: argocd
resourceVersion: "2676"
uid: d0f218bc-8452-4096-80a7-8ec10a8c2db8
spec:
clusterIP: 10.96.44.118
clusterIPs:
- 10.96.44.118
internalTrafficPolicy: Cluster
ipFamilies:
- IPv4
ipFamilyPolicy: SingleStack
ports:
- name: http
port: 80
protocol: TCP
targetPort: server
- name: https
port: 443
protocol: TCP
targetPort: server
selector:
app.kubernetes.io/instance: argo-cd
app.kubernetes.io/name: argocd-server
sessionAffinity: None
type: LoadBalancer #変更
status:
loadBalancer: {}
$ kubectl replace -f ~/argo-lb.yaml
service/argo-cd-argocd-server replaced
$ kubectl -n argocd get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
argo-cd-argocd-application-controller ClusterIP 10.96.139.60 <none> 8082/TCP 4m43s
argo-cd-argocd-dex-server ClusterIP 10.96.102.61 <none> 5556/TCP,5557/TCP 4m43s
argo-cd-argocd-redis ClusterIP 10.96.95.232 <none> 6379/TCP 4m43s
argo-cd-argocd-repo-server ClusterIP 10.96.45.128 <none> 8081/TCP 4m43s
argo-cd-argocd-server LoadBalancer 10.96.44.118 132.226.xx.xx 80:32580/TCP,443:30710/TCP 4m43s
OCIのコンソールでもロードバランサーがプロビジョニングされていることを確認できます。
Argo CD Clientのインストール
$ sudo curl -sSL -o /usr/local/bin/argocd https://github.com/argoproj/argo-cd/releases/latest/download/argocd-linux-amd64
$ sudo chmod +x /usr/local/bin/argocd
初期パスワードはKubernetesのSecretにあるので、デコードして確認します。
確認した初期パスワードを指定してログインします。ログイン先はLoadBalancerのEXTERNAL-IPです。
$ kubectl -n argocd get secret argocd-initial-admin-secret -o jsonpath="{.data.password}" | base64 -d
EXxaxxxxxxxxxx
$ argocd --insecure login 132.226.xxx.xxx --username admin
Password:
'admin:login' logged in successfully
Context '132.226.xxx.xxx' updated
パスワードをわかりやすいものに変更します。
$ argocd account update-password --account admin
*** Enter password of currently logged in user (admin):
*** Enter new password for user admin:
*** Confirm new password for user admin:
Password updated
Context '132.226.xxx.xxx' updated
Argo CDの設定
ブラウザから http:// にアクセスしてログインします。
+NEW APPをクリックします。
このように設定して、CREATEをクリックします。
続き
続き
CDの実行
設定が終わるとCDが実行されてます。
Statusをクリックすると、デプロイ状況が確認できます。
分かりやすい画面ですね。
Kubernetesクラスタ上でもデプロイされていることを確認します。
$ kubectl get all
NAME READY STATUS RESTARTS AGE
pod/gitops-deployment-57ffc86b49-mjpnq 1/1 Running 0 3m2s
pod/gitops-deployment-57ffc86b49-r9kgl 1/1 Running 0 3m2s
pod/gitops-deployment-57ffc86b49-vjs75 1/1 Running 0 3m3s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/gitops-service LoadBalancer 10.96.243.159 130.162.xxx.xx 80:30389/TCP 3m3s
service/kubernetes ClusterIP 10.96.0.1 <none> 443/TCP,12250/TCP 42m
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/gitops-deployment 3/3 3 3 3m4s
NAME DESIRED CURRENT READY AGE
replicaset.apps/gitops-deployment-57ffc86b49 3 3 3 3m4s
OCIのコンソール画面でもロードバランサーがプロビジョニングされていることを確認できます。
設定した通り、フレキシブルシェイプでプロビジョニングされています。
アプリケーションにアクセスできることを確認します。ブラウザからもアクセスできます。
$ curl 130.162.xxx.xx
Hello GitOps!!
GitOpsの動作確認
サンプルアプリのコードを変更して、CodeリポジトリにPushします。
$ git add .
$ git commit -m "Hello ArgoCD"
[main a3dd4c1] Hello ArgoCD
1 file changed, 1 insertion(+), 1 deletion(-)
$ git branch -M main
$ git push -u origin main
Enumerating objects: 7, done.
Counting objects: 100% (7/7), done.
Delta compression using up to 2 threads
Compressing objects: 100% (4/4), done.
Writing objects: 100% (4/4), 388 bytes | 388.00 KiB/s, done.
Total 4 (delta 1), reused 0 (delta 0), pack-reused 0
remote: Resolving deltas: 100% (1/1), completed with 1 local object.
To https://github.com/kosukemachida-ora/code.git
418a8a3..a3dd4c1 main -> main
Branch 'main' set up to track remote branch 'main' from 'origin'.
CodeリポジトリにPushすると、ワークフローが実行されて、ConfigリポジトリにPull Requestがあります。
それをマージすると、Argo CDが自動でPodを更新します。
こんな感じでわかりやすく表示してくれます。
Sync Statusで詳細が確認できます。
サンプルアプリが更新されたことを確認します。
$ curl 130.162.xxx.xx
Hello ArgoCD!!