LoginSignup
14
9

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

CI/CDAdvent Calendar 2019

Day 20
@samskeyti

GitLab Runner Kubernetes Executor

Last updated at Posted at 2019-12-20

はじめに

GitLabはGitLab Runnerを組み合わせることでCI/CDを実現できます。
このGitLab CIでは.gitlab_ci.ymlでジョブを定義しますが、GitLab Runner自体がジョブを実行するのではなくGitLab Runnerで設定されたExecutorが実行します。

Executorは例えば次のものがあります。

  • Shell Executor
  • Docker Executor
  • Kubernetes Executor

今回は、Kubernetes上にデプロイしたPodがジョブを実行するKubernetes Executorに焦点を絞って説明します。

Kubernetes Executorの構成

Kubernetes ExecutorはGitLab CIでジョブ実行時にKubernetes上にPodとして立ち上がります。

GitLab CI Job Podには次の3種類のコンテナが存在します。

  • Helperコンテナ(1個)
  • Buildコンテナ(1個)
  • Serviceコンテナ(0個以上)

それぞれ説明していきます。

Helperコンテナ

主にGit操作を行うコンテナです。
プロジェクトのCI/CD設定でgit cloneとgit fetchを選択できますが、実際にこれを行うのがHelperコンテナです。

コンテナイメージはGitLab Runnerに設定します。
Gitの設定を変更したい場合は公式のイメージをベースイメージとして独自の物を作成します。

Buildコンテナ

Helperコンテナが取得したソースコードをもとに.gitlab_ci.ymlの内容のジョブを実行するのがBuildコンテナです。
.gitlab_ci.ymlで指定したイメージがBuildコンテナとなりますが、指定していない場合はGitLab Runnerに設定したイメージが使用されます。

Serviceコンテナ

ジョブ実行時にBuildコンテナがアクセスできるコンテナがServiceコンテナです。
これは0個以上デプロイされます。すなわち.gitlab_ci.ymlに定義しなければデプロイされることはありません。

Serviceコンテナには例えばMysql、Redis、dindなどが挙げられます。

ジョブ実行までの流れ

順序は次のようになります。

  1. GitLab RunnerがGitLabでジョブが発動したかを検知する。
  2. GitLab RunnerがジョブPodを作成する。
  3. ジョブPod内のHelperコンテナがGitLabからgit cloneもしくはgit fetchする。
  4. ジョブPod内のBuildコンテナが.gitlab_ci.ymlに記述されたジョブを実行する。

図ではGitLab Runnerが同一クラスタにデプロイされているものとしています。
ポーリングの時間間隔はGitLab Runnerで設定できます。

スクリーンショット 2019-12-20 22.51.26.png

Kubernetes Executorの検証

実際にJob Podをデプロイして検証します。

GitLab Runnerのデプロイ

Helmfileを使用します。
releases[].values[].runners.imageに設定するのはデフォルトのBuildコンテナのイメージです。
releases[].values[].runners.privilegedとreleases[].values[].runners.envに設定している値はdindを使用するためのものです。

GitLabをKubernetes上にデプロイしている場合、releases[].values[].gitlabUrlにService名を指定しても疎通はできますがArtifactsアップロードに失敗するので注意しないといけません。

helmfile.yaml
repositories:
- name: gitlab
  url: https://charts.gitlab.io/
releases:
- name: gitlab-runner
  namespace: dev
  chart: gitlab/gitlab-runner
  version: 0.11.0
  values:
  - image: gitlab/gitlab-runner:alpine-v12.5.0
    gitlabUrl: http://gitlab.example.com
    runnerRegistrationToken: "XXXXXXXXXX"
    rbac:
      create: true
      resources: ["pods", "pods/exec", "secrets"]
      verbs: ["get", "list", "watch", "create", "patch", "delete"]
      clusterWideAccess: false
    metrics:
      enabled: false
    runners:
      image: busybox:1.31.1
      privileged: true
      env:
        DOCKER_HOST: tcp://localhost:2375

下記コマンドでデプロイします。

$ helmfile apply

ジョブの実行

GitLab RunnerをGitLabに紐付けた後にプロジェクトに.gitlab_ci.ymlを作成します。
Podの解析のためにsleepさせてます。

.gitlab_ci.yml
image: docker:18.09.7

services:
  - docker:18.09.7-dind

build:
  stage: test
  script:
    - sleep 3600

ジョブを実行させます。

Running with gitlab-runner 12.5.0 (577f813d)
  on gitlab-runner-gitlab-runner-5cdf6fd4f6-vqrzq 3xycVVoJ
Using Kubernetes namespace: dev
Using Kubernetes executor with image docker:18.09.7 ...
Waiting for pod dev/runner-3xycvvoj-project-1-concurrent-0ngfr2 to be running, status is Pending
Running on runner-3xycvvoj-project-1-concurrent-0ngfr2 via gitlab-runner-gitlab-runner-5cdf6fd4f6-vqrzq...
Fetching changes with git depth set to 50...
Initialized empty Git repository in /builds/root/test/.git/
Created fresh repository.
From http://gitlab.moguta.ml/root/test
 * [new ref]         refs/pipelines/8 -> refs/pipelines/8
 * [new branch]      master           -> origin/master
Checking out f493d24c as master...

Skipping Git submodules setup
$ sleep 3600

Job Podの確認

Podを確認すると3つのコンテナが存在することが分かります。

$ kubectl get pod -n dev runner-3xycvvoj-project-1-concurrent-0ngfr2
runner-3xycvvoj-project-1-concurrent-0ngfr2         3/3     Running   0          5m25s

さらに中身を見ていきます。なお、GitLabのドメインはgitlab.example.comに変換していて載せています。

$ kubectl describe pod -n dev runner-3xycvvoj-project-1-concurrent-0ngfr2
...
Containers:
  build:
    Container ID:  docker://f46846ec84f6517bb63dc1f2fd466126130b3014c344690debee465f2016aadc
    Image:         docker:18.09.7
    Image ID:      docker-pullable://docker@sha256:310156c95007d6cca1417d0692786fe4da816b886a08bc7de97edf02cab4db31
    Port:          <none>
    Host Port:     <none>
    Command:
      sh
      -c
      if [ -x /usr/local/bin/bash ]; then
        exec /usr/local/bin/bash 
      elif [ -x /usr/bin/bash ]; then
        exec /usr/bin/bash 
      elif [ -x /bin/bash ]; then
        exec /bin/bash 
      elif [ -x /usr/local/bin/sh ]; then
        exec /usr/local/bin/sh 
      elif [ -x /usr/bin/sh ]; then
        exec /usr/bin/sh 
      elif [ -x /bin/sh ]; then
        exec /bin/sh 
      elif [ -x /busybox/sh ]; then
        exec /busybox/sh 
      else
        echo shell not found
        exit 1
      fi
      
      
    State:          Running
      Started:      Sat, 21 Dec 2019 01:20:45 +0900
    Ready:          True
    Restart Count:  0
    Environment:
      FF_CMD_DISABLE_DELAYED_ERROR_LEVEL_EXPANSION:  false
      FF_USE_LEGACY_BUILDS_DIR_FOR_DOCKER:           false
      FF_USE_LEGACY_VOLUMES_MOUNTING_ORDER:          false
      CI_RUNNER_SHORT_TOKEN:                         3xycVVoJ
      CI_BUILDS_DIR:                                 /builds
      CI_PROJECT_DIR:                                /builds/root/test
      CI_CONCURRENT_ID:                              0
      CI_CONCURRENT_PROJECT_ID:                      0
      CI_SERVER:                                     yes
      CI_PIPELINE_ID:                                8
      CI_PIPELINE_URL:                               http://gitlab.example.com/root/test/pipelines/8
      CI_JOB_ID:                                     9
      CI_JOB_URL:                                    http://gitlab.example.com/root/test/-/jobs/9
      CI_BUILD_ID:                                   9
      CI_REGISTRY_USER:                              gitlab-ci-token
      CI:                                            true
      GITLAB_CI:                                     true
      GITLAB_FEATURES:                               
      CI_SERVER_HOST:                                gitlab.example.com
      CI_SERVER_NAME:                                GitLab
      CI_SERVER_VERSION:                             12.5.3
      CI_SERVER_VERSION_MAJOR:                       12
      CI_SERVER_VERSION_MINOR:                       5
      CI_SERVER_VERSION_PATCH:                       3
      CI_SERVER_REVISION:                            
      CI_JOB_NAME:                                   build
      CI_JOB_STAGE:                                  test
      CI_COMMIT_SHA:                                 f493d24c574d3deee3e0284f6f413cd20b9a7e83
      CI_COMMIT_SHORT_SHA:                           f493d24c
      CI_COMMIT_BEFORE_SHA:                          4bddec9c21af3e1fcedde2a81f62eb03d9afaa2b
      CI_COMMIT_REF_NAME:                            master
      CI_COMMIT_REF_SLUG:                            master
      CI_NODE_TOTAL:                                 1
      CI_DEFAULT_BRANCH:                             master
      CI_BUILD_REF:                                  f493d24c574d3deee3e0284f6f413cd20b9a7e83
      CI_BUILD_BEFORE_SHA:                           4bddec9c21af3e1fcedde2a81f62eb03d9afaa2b
      CI_BUILD_REF_NAME:                             master
      CI_BUILD_REF_SLUG:                             master
      CI_BUILD_NAME:                                 build
      CI_BUILD_STAGE:                                test
      CI_PROJECT_ID:                                 1
      CI_PROJECT_NAME:                               test
      CI_PROJECT_TITLE:                              test
      CI_PROJECT_PATH:                               root/test
      CI_PROJECT_PATH_SLUG:                          root-test
      CI_PROJECT_NAMESPACE:                          root
      CI_PROJECT_URL:                                http://gitlab.example.com/root/test
      CI_PROJECT_VISIBILITY:                         private
      CI_PROJECT_REPOSITORY_LANGUAGES:               
      CI_PAGES_DOMAIN:                               example.com
      CI_PAGES_URL:                                  http://root.example.com/test
      CI_REGISTRY:                                   registry.example.com
      CI_REGISTRY_IMAGE:                             registry.example.com/root/test
      CI_API_V4_URL:                                 http://gitlab.example.com/api/v4
      CI_PIPELINE_IID:                               8
      CI_CONFIG_PATH:                                .gitlab-ci.yml
      CI_PIPELINE_SOURCE:                            push
      CI_COMMIT_MESSAGE:                             Update .gitlab-ci.yml
      CI_COMMIT_TITLE:                               Update .gitlab-ci.yml
      CI_COMMIT_DESCRIPTION:                         
      CI_COMMIT_REF_PROTECTED:                       true
      CI_RUNNER_ID:                                  1
      CI_RUNNER_DESCRIPTION:                         gitlab-runner-gitlab-runner-5cdf6fd4f6-vqrzq
      CI_RUNNER_TAGS:                                
      GITLAB_USER_ID:                                1
      GITLAB_USER_EMAIL:                             admin@example.com
      GITLAB_USER_LOGIN:                             root
      GITLAB_USER_NAME:                              Administrator
      CI_DISPOSABLE_ENVIRONMENT:                     true
      CI_RUNNER_VERSION:                             12.5.0
      CI_RUNNER_REVISION:                            577f813d
      CI_RUNNER_EXECUTABLE_ARCH:                     linux/amd64
    Mounts:
      /builds from repo (rw)
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-8gjvw (ro)
  helper:
    Container ID:  docker://de720b5d7dc94b57b47f8581b36ccf9ad263449ffdd69707e3a9c08c8c845dbd
    Image:         gitlab/gitlab-runner-helper:x86_64-577f813d
    Image ID:      docker-pullable://gitlab/gitlab-runner-helper@sha256:bd932463587dbd419c6f37667f7c3d63d5595ca2c5e446d81267838698828036
    Port:          <none>
    Host Port:     <none>
    Command:
      sh
      -c
      if [ -x /usr/local/bin/bash ]; then
        exec /usr/local/bin/bash 
      elif [ -x /usr/bin/bash ]; then
        exec /usr/bin/bash 
      elif [ -x /bin/bash ]; then
        exec /bin/bash 
      elif [ -x /usr/local/bin/sh ]; then
        exec /usr/local/bin/sh 
      elif [ -x /usr/bin/sh ]; then
        exec /usr/bin/sh 
      elif [ -x /bin/sh ]; then
        exec /bin/sh 
      elif [ -x /busybox/sh ]; then
        exec /busybox/sh 
      else
        echo shell not found
        exit 1
      fi
      
      
    State:          Running
      Started:      Sat, 21 Dec 2019 01:20:45 +0900
    Ready:          True
    Restart Count:  0
    Environment:
      FF_CMD_DISABLE_DELAYED_ERROR_LEVEL_EXPANSION:  false
      FF_USE_LEGACY_BUILDS_DIR_FOR_DOCKER:           false
      FF_USE_LEGACY_VOLUMES_MOUNTING_ORDER:          false
      CI_RUNNER_SHORT_TOKEN:                         3xycVVoJ
      CI_BUILDS_DIR:                                 /builds
      CI_PROJECT_DIR:                                /builds/root/test
      CI_CONCURRENT_ID:                              0
      CI_CONCURRENT_PROJECT_ID:                      0
      CI_SERVER:                                     yes
      CI_PIPELINE_ID:                                8
      CI_PIPELINE_URL:                               http://gitlab.example.com/root/test/pipelines/8
      CI_JOB_ID:                                     9
      CI_JOB_URL:                                    http://gitlab.example.com/root/test/-/jobs/9
      CI_BUILD_ID:                                   9
      CI_REGISTRY_USER:                              gitlab-ci-token
      CI:                                            true
      GITLAB_CI:                                     true
      GITLAB_FEATURES:                               
      CI_SERVER_HOST:                                gitlab.example.com
      CI_SERVER_NAME:                                GitLab
      CI_SERVER_VERSION:                             12.5.3
      CI_SERVER_VERSION_MAJOR:                       12
      CI_SERVER_VERSION_MINOR:                       5
      CI_SERVER_VERSION_PATCH:                       3
      CI_SERVER_REVISION:                            
      CI_JOB_NAME:                                   build
      CI_JOB_STAGE:                                  test
      CI_COMMIT_SHA:                                 f493d24c574d3deee3e0284f6f413cd20b9a7e83
      CI_COMMIT_SHORT_SHA:                           f493d24c
      CI_COMMIT_BEFORE_SHA:                          4bddec9c21af3e1fcedde2a81f62eb03d9afaa2b
      CI_COMMIT_REF_NAME:                            master
      CI_COMMIT_REF_SLUG:                            master
      CI_NODE_TOTAL:                                 1
      CI_DEFAULT_BRANCH:                             master
      CI_BUILD_REF:                                  f493d24c574d3deee3e0284f6f413cd20b9a7e83
      CI_BUILD_BEFORE_SHA:                           4bddec9c21af3e1fcedde2a81f62eb03d9afaa2b
      CI_BUILD_REF_NAME:                             master
      CI_BUILD_REF_SLUG:                             master
      CI_BUILD_NAME:                                 build
      CI_BUILD_STAGE:                                test
      CI_PROJECT_ID:                                 1
      CI_PROJECT_NAME:                               test
      CI_PROJECT_TITLE:                              test
      CI_PROJECT_PATH:                               root/test
      CI_PROJECT_PATH_SLUG:                          root-test
      CI_PROJECT_NAMESPACE:                          root
      CI_PROJECT_URL:                                http://gitlab.example.com/root/test
      CI_PROJECT_VISIBILITY:                         private
      CI_PROJECT_REPOSITORY_LANGUAGES:               
      CI_PAGES_DOMAIN:                               example.com
      CI_PAGES_URL:                                  http://root.example.com/test
      CI_REGISTRY:                                   registry.example.com
      CI_REGISTRY_IMAGE:                             registry.example.com/root/test
      CI_API_V4_URL:                                 http://gitlab.example.com/api/v4
      CI_PIPELINE_IID:                               8
      CI_CONFIG_PATH:                                .gitlab-ci.yml
      CI_PIPELINE_SOURCE:                            push
      CI_COMMIT_MESSAGE:                             Update .gitlab-ci.yml
      CI_COMMIT_TITLE:                               Update .gitlab-ci.yml
      CI_COMMIT_DESCRIPTION:                         
      CI_COMMIT_REF_PROTECTED:                       true
      CI_RUNNER_ID:                                  1
      CI_RUNNER_DESCRIPTION:                         gitlab-runner-gitlab-runner-5cdf6fd4f6-vqrzq
      CI_RUNNER_TAGS:                                
      GITLAB_USER_ID:                                1
      GITLAB_USER_EMAIL:                             admin@example.com
      GITLAB_USER_LOGIN:                             root
      GITLAB_USER_NAME:                              Administrator
      CI_DISPOSABLE_ENVIRONMENT:                     true
      CI_RUNNER_VERSION:                             12.5.0
      CI_RUNNER_REVISION:                            577f813d
      CI_RUNNER_EXECUTABLE_ARCH:                     linux/amd64
    Mounts:
      /builds from repo (rw)
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-8gjvw (ro)
  svc-0:
    Container ID:   docker://cad84f7dad65eb0447190ea53df5dcbe608cb6937c1bc1bf74f9edc21a42f6a6
    Image:          docker:18.09.7-dind
    Image ID:       docker-pullable://docker@sha256:a490c83561c1cef49b6fe12aba2c31f908391ec3efe4eb173225809c981e50c3
    Port:           <none>
    Host Port:      <none>
    State:          Running
      Started:      Sat, 21 Dec 2019 01:20:45 +0900
    Ready:          True
    Restart Count:  0
    Environment:
      FF_CMD_DISABLE_DELAYED_ERROR_LEVEL_EXPANSION:  false
      FF_USE_LEGACY_BUILDS_DIR_FOR_DOCKER:           false
      FF_USE_LEGACY_VOLUMES_MOUNTING_ORDER:          false
      CI_RUNNER_SHORT_TOKEN:                         3xycVVoJ
      CI_BUILDS_DIR:                                 /builds
      CI_PROJECT_DIR:                                /builds/root/test
      CI_CONCURRENT_ID:                              0
      CI_CONCURRENT_PROJECT_ID:                      0
      CI_SERVER:                                     yes
      CI_PIPELINE_ID:                                8
      CI_PIPELINE_URL:                               http://gitlab.example.com/root/test/pipelines/8
      CI_JOB_ID:                                     9
      CI_JOB_URL:                                    http://gitlab.example.com/root/test/-/jobs/9
      CI_BUILD_ID:                                   9
      CI_REGISTRY_USER:                              gitlab-ci-token
      CI:                                            true
      GITLAB_CI:                                     true
      GITLAB_FEATURES:                               
      CI_SERVER_HOST:                                gitlab.example.com
      CI_SERVER_NAME:                                GitLab
      CI_SERVER_VERSION:                             12.5.3
      CI_SERVER_VERSION_MAJOR:                       12
      CI_SERVER_VERSION_MINOR:                       5
      CI_SERVER_VERSION_PATCH:                       3
      CI_SERVER_REVISION:                            
      CI_JOB_NAME:                                   build
      CI_JOB_STAGE:                                  test
      CI_COMMIT_SHA:                                 f493d24c574d3deee3e0284f6f413cd20b9a7e83
      CI_COMMIT_SHORT_SHA:                           f493d24c
      CI_COMMIT_BEFORE_SHA:                          4bddec9c21af3e1fcedde2a81f62eb03d9afaa2b
      CI_COMMIT_REF_NAME:                            master
      CI_COMMIT_REF_SLUG:                            master
      CI_NODE_TOTAL:                                 1
      CI_DEFAULT_BRANCH:                             master
      CI_BUILD_REF:                                  f493d24c574d3deee3e0284f6f413cd20b9a7e83
      CI_BUILD_BEFORE_SHA:                           4bddec9c21af3e1fcedde2a81f62eb03d9afaa2b
      CI_BUILD_REF_NAME:                             master
      CI_BUILD_REF_SLUG:                             master
      CI_BUILD_NAME:                                 build
      CI_BUILD_STAGE:                                test
      CI_PROJECT_ID:                                 1
      CI_PROJECT_NAME:                               test
      CI_PROJECT_TITLE:                              test
      CI_PROJECT_PATH:                               root/test
      CI_PROJECT_PATH_SLUG:                          root-test
      CI_PROJECT_NAMESPACE:                          root
      CI_PROJECT_URL:                                http://gitlab.example.com/root/test
      CI_PROJECT_VISIBILITY:                         private
      CI_PROJECT_REPOSITORY_LANGUAGES:               
      CI_PAGES_DOMAIN:                               example.com
      CI_PAGES_URL:                                  http://root.example.com/test
      CI_REGISTRY:                                   registry.example.com
      CI_REGISTRY_IMAGE:                             registry.example.com/root/test
      CI_API_V4_URL:                                 http://gitlab.example.com/api/v4
      CI_PIPELINE_IID:                               8
      CI_CONFIG_PATH:                                .gitlab-ci.yml
      CI_PIPELINE_SOURCE:                            push
      CI_COMMIT_MESSAGE:                             Update .gitlab-ci.yml
      CI_COMMIT_TITLE:                               Update .gitlab-ci.yml
      CI_COMMIT_DESCRIPTION:                         
      CI_COMMIT_REF_PROTECTED:                       true
      CI_RUNNER_ID:                                  1
      CI_RUNNER_DESCRIPTION:                         gitlab-runner-gitlab-runner-5cdf6fd4f6-vqrzq
      CI_RUNNER_TAGS:                                
      GITLAB_USER_ID:                                1
      GITLAB_USER_EMAIL:                             admin@example.com
      GITLAB_USER_LOGIN:                             root
      GITLAB_USER_NAME:                              Administrator
      CI_DISPOSABLE_ENVIRONMENT:                     true
      CI_RUNNER_VERSION:                             12.5.0
      CI_RUNNER_REVISION:                            577f813d
      CI_RUNNER_EXECUTABLE_ARCH:                     linux/amd64
    Mounts:
      /builds from repo (rw)
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-8gjvw (ro)
...
Volumes:
  repo:
    Type:    EmptyDir (a temporary directory that shares a pod's lifetime)
    Medium:  
  default-token-8gjvw:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-8gjvw
    Optional:    false
...

コンテナはbuild、helper、svc-0の3つです。
PodはEmptyDirをVolumeとして利用していて、/builds以下にソースコードが配置されることが分かります。

Serviceコンテナが増えるとsvc-1、svc-2と増えていきます。
resourceのrequestsを大きめに取るとNodeのリソースが足らずにPending状態になってしまうので注意しましょう。

おわりに

GitLab RunnerのExecutorの1つであるKubernetes Executorを説明しました。
helmを使えば簡単にデプロイできるので導入コストは非常に低いと思います。
公式ドキュメントが豊富なので今後使用する人は増えていきそうです。

14
9
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
14
9

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?