Go to Qiita Advent Calendar Top
LoginSignup
17
10

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 5 years have passed since last update.

@sky0621

【k8s】Pod < ReplicaSet < Deployment

Posted at

お題

表題の関係について記載。

環境

$ cat /etc/os-release 
NAME="Ubuntu"
VERSION="17.10 (Artful Aardvark)"
　〜省略〜

$ kubectl version
Client Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.7", GitCommit:"0c38c362511b20a098d7cd855f1314dad92c2780", GitTreeState:"clean", BuildDate:"2018-08-20T10:09:03Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"9+", GitVersion:"v1.9.7-gke.6", GitCommit:"9b635efce81582e1da13b35a7aa539c0ccb32987", GitTreeState:"clean", BuildDate:"2018-08-16T21:33:47Z", GoVersion:"go1.9.3b4", Compiler:"gc", Platform:"linux/amd64"}

定義とYAMLサンプルのリンク

Pod

ポッドテンプレートは、レプリケーションコントローラ、ジョブ、およびデーモンセットなどの他のオブジェクトに含まれるポッド仕様
https://kubernetes.io/docs/concepts/workloads/pods/pod-overview/#pod-templates

ReplicaSet

ReplicaSetは、指定された数のポッドレプリカがいつでも実行されていることを保証する仕様
https://kubernetes.io/docs/concepts/workloads/controllers/replicaset/#example

Deployments

Deployment Controllerは、PodおよびReplicaSetsの宣言的な更新を提供する仕様
https://kubernetes.io/docs/concepts/workloads/controllers/deployment/#creating-a-deployment

実践

Pod

ミニマムに以下のようなYAMLを作成

★Podを作るだけなら「labels」は不要だけど、後に expose する時にラベルが必要だと怒られたので付加。

apiVersion: v1
kind: Pod
metadata:
  name: kind-pod
  labels:
    app: go
spec:
  containers:
    - name: go-webapi-for-gke-study
      image: sky0621dhub/go-webapi-for-gke-study:v0.1

反映

$ kubectl apply -f kind-pod.yaml 
pod "kind-pod" created
$
$ kubectl get pods -o wide
NAME       READY     STATUS    RESTARTS   AGE       IP            NODE
kind-pod   1/1       Running   0          53s       10.60.12.10   gke-my-cluster-1-min-default-pool-ea807978-8d2t

サービス公開

$ kubectl expose pod kind-pod --type "LoadBalancer" --port 80
service "kind-pod" exposed
$
$ kubectl get svc
NAME         TYPE           CLUSTER-IP      EXTERNAL-IP     PORT(S)        AGE
kind-pod     LoadBalancer   10.63.252.240   xx.xxx.xx.xxx   80:30598/TCP   5m

EXTERNAL-IP記載のアドレスにWebブラウザでアクセス

01.png

「kind: Pod」だけでサービス公開までは楽々いける。
じゃあ、これを複数の「Node」に適用すれば、他の「kind」を使うことはないのかと言うと、当然、そうではない。
「kind: Pod」の場合、その Pod で何かしらの障害が起きて停止ないし機能しない状態になった際に、単純にその Pod が死ぬ。
例えば、以下のように。（しばらく待っても、立ち上がってきたりはしない。）

$ kubectl get pods -o wide
NAME       READY     STATUS    RESTARTS   AGE       IP           NODE
kind-pod   1/1       Running   0          26s       10.60.14.4   gke-my-cluster-1-min-default-pool-ea807978-8d2t
$
$ kubectl delete pods kind-pod
pod "kind-pod" deleted
$
$ kubectl get pods -o wide
No resources found.

３つ作っていても、２つになる。そして何もしなければ以後、元の３つに戻ることはない。
もちろん、Pod が死んでいるのに気づけば手動で再度、Pod を適用すればいいけど、そんなことしてられない。
では、どうするかと言うと、「ReplicaSet」を使う。

ReplicaSet

PodのYAMLを内包したような作りでYAMLを作成

apiVersion: apps/v1
kind: ReplicaSet
metadata:
  name: kind-rs
  labels:
    app: go
spec:
  replicas: 3
  selector:
    matchLabels:
      app: rsgo
  template:
    metadata:
      labels:
        app: rsgo
    spec:
      containers:
        - name: go-webapi-for-gke-study
          image: sky0621dhub/go-webapi-for-gke-study:v0.1
          ports:
            - containerPort: 80

「spec/template」配下に先ほどの Pod のYAMLに書いた内容（つまり Pod の仕様）が入る。
また、常時３つの Pod が起動していることを保証するために「replicas: 3」を指定。
あと重要なのが２箇所にある「app: rsgo」の記述。
「spec/template」にラベル付けするための「spec/template/metadata/labels/app」と、
そうしてラベル付けされた Pod を管理するための指定である「spec/selector/matchLabels/app」。
https://kubernetes.io/docs/concepts/workloads/controllers/replicaset/#pod-selector
そう、
何気にバージョンは（Podの時と違って）「apps/v1」を指定。

反映

$ kubectl apply -f kind-replicaset.yaml 
replicaset.apps "kind-rs" created
$
$ kubectl get pods -o wide
NAME            READY     STATUS    RESTARTS   AGE       IP           NODE
kind-rs-57nxb   1/1       Running   0          44s       10.60.16.8   gke-my-cluster-1-min-default-pool-ea807978-hpqc
kind-rs-rt2r2   1/1       Running   0          44s       10.60.15.5   gke-my-cluster-1-min-default-pool-ea807978-ss7p
kind-rs-s5knz   1/1       Running   0          44s       10.60.14.5   gke-my-cluster-1-min-default-pool-ea807978-8d2t
$
$ kubectl get rs -o wide
NAME      DESIRED   CURRENT   READY     AGE       CONTAINERS                IMAGES                                     SELECTOR
kind-rs   3         3         3         58s       go-webapi-for-gke-study   sky0621dhub/go-webapi-for-gke-study:v0.1   app=rsgo

３つ Pod が作られてる。そして均等に Node に振り分けられている。
さて、おもむろに Pod を１つ削除してみる。

$ kubectl delete pods kind-rs-57nxb
pod "kind-rs-57nxb" deleted

でも、

$ kubectl get pods -o wide
NAME            READY     STATUS    RESTARTS   AGE       IP           NODE
kind-rs-rt2r2   1/1       Running   0          4m        10.60.15.5   gke-my-cluster-1-min-default-pool-ea807978-ss7p
kind-rs-s5knz   1/1       Running   0          4m        10.60.14.5   gke-my-cluster-1-min-default-pool-ea807978-8d2t
kind-rs-zsbfq   1/1       Running   0          6s        10.60.16.9   gke-my-cluster-1-min-default-pool-ea807978-hpqc

すぐに別の Pod（この場合は「kind-rs-zsbfq」）が立ち上がる。
これが、「kind: ReplicaSet」で Pod を作ったときの挙動。指定したレプリカ数を維持してくれる。

サービス公開

$ kubectl expose rs kind-rs --type "LoadBalancer" --port 80
service "kind-rs" exposed
$
$ kubectl get svc
NAME         TYPE           CLUSTER-IP     EXTERNAL-IP     PORT(S)        AGE
kind-rs      LoadBalancer   10.63.248.75   xx.xxx.xx.xxx   80:30290/TCP   1m

EXTERNAL-IP記載のアドレスにWebブラウザでアクセス

02.png

Pod は３つあるのだけど、どれにアクセスされたのか？

$ kubectl get pods
NAME            READY     STATUS    RESTARTS   AGE
kind-rs-rt2r2   1/1       Running   0          17m
kind-rs-s5knz   1/1       Running   0          17m
kind-rs-zsbfq   1/1       Running   0          13m

まず１つ目。　↓違った。（Webサーバ起動時のログしか出てないので）

$ kubectl logs kind-rs-rt2r2

   ____    __
  / __/___/ /  ___
 / _// __/ _ \/ _ \
/___/\__/_//_/\___/ v3.3.6
High performance, minimalist Go web framework
https://echo.labstack.com
____________________________________O/_______
                                    O\
⇨ http server started on [::]:80

次は２つ目。　↓これだった。

$ kubectl logs kind-rs-s5knz

   ____    __
  / __/___/ /  ___
 / _// __/ _ \/ _ \
/___/\__/_//_/\___/ v3.3.6
High performance, minimalist Go web framework
https://echo.labstack.com
____________________________________O/_______
                                    O\
⇨ http server started on [::]:80
{"level":"info","ts":1537972593.5397136,"caller":"go-webapi-for-gke-study/main.go:34","msg":"INFO LEVEL with severity","severity":"INFO"}
{"level":"warn","ts":1537972593.539827,"caller":"go-webapi-for-gke-study/main.go:35","msg":"WARN LEVEL with severity","severity":"WARN"}
{"level":"error","ts":1537972593.539841,"caller":"go-webapi-for-gke-study/main.go:36","msg":"ERROR LEVEL with severity","severity":"ERROR","stacktrace":"main.main.func1\n\t/go/src/github.com/sky0621/go-webapi-for-gke-study/main.go:36\ngithub.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo.(*Echo).Add.func1\n\t/go/src/github.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/echo.go:480\ngithub.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/middleware.RequestIDWithConfig.func1.1\n\t/go/src/github.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/middleware/request_id.go:57\ngithub.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/middleware.RecoverWithConfig.func1.1\n\t/go/src/github.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/middleware/recover.go:78\ngithub.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo.(*Echo).ServeHTTP\n\t/go/src/github.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/echo.go:583\nnet/http.serverHandler.ServeHTTP\n\t/usr/local/go/src/net/http/server.go:2619\nnet/http.(*conn).serve\n\t/usr/local/go/src/net/http/server.go:1801"}
{"level":"info","ts":1537972670.3378396,"caller":"go-webapi-for-gke-study/main.go:34","msg":"INFO LEVEL with severity","severity":"INFO"}
{"level":"warn","ts":1537972670.3378987,"caller":"go-webapi-for-gke-study/main.go:35","msg":"WARN LEVEL with severity","severity":"WARN"}
{"level":"error","ts":1537972670.3379054,"caller":"go-webapi-for-gke-study/main.go:36","msg":"ERROR LEVEL with severity","severity":"ERROR","stacktrace":"main.main.func1\n\t/go/src/github.com/sky0621/go-webapi-for-gke-study/main.go:36\ngithub.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo.(*Echo).Add.func1\n\t/go/src/github.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/echo.go:480\ngithub.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/middleware.RequestIDWithConfig.func1.1\n\t/go/src/github.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/middleware/request_id.go:57\ngithub.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/middleware.RecoverWithConfig.func1.1\n\t/go/src/github.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/middleware/recover.go:78\ngithub.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo.(*Echo).ServeHTTP\n\t/go/src/github.com/sky0621/go-webapi-for-gke-study/vendor/github.com/labstack/echo/echo.go:583\nnet/http.serverHandler.ServeHTTP\n\t/usr/local/go/src/net/http/server.go:2619\nnet/http.(*conn).serve\n\t/usr/local/go/src/net/http/server.go:1801"}

最後に３つ目。　↓当然、違う。

$ kubectl logs kind-rs-zsbfq

   ____    __
  / __/___/ /  ___
 / _// __/ _ \/ _ \
/___/\__/_//_/\___/ v3.3.6
High performance, minimalist Go web framework
https://echo.labstack.com
____________________________________O/_______
                                    O\
⇨ http server started on [::]:80

一応、何度かWebアクセスしてみると、他の Pod にもアクセスログが出力されていた。分散されている。
ただ、アクセスには、けっこうな偏りがあったので、ラウンドロビンというわけではなさそう。

決めた分だけ Pod の起動を維持してくれるし、これで事足りる。
じゃあ、ReplicaSetで十分だから「Deployments」は使うことないのかというと、これは新しいバージョンのアプリをデプロイする時に役に立つ。
”ローリングアップデート”というのができる。
もともと３つのPodで動いていた現行Verのアプリに対し、同じく３つのPodで動く新Verのアプリで入れ替えようとした時に、
新Verアプリ用のPodを増やしつつ、現行Verアプリ用のPodを減らしていき、最終的に入れ替える。

そして、これがk8sで推奨されているパターンらしい。

Deployment

ReplicaSetのYAMLとまったく同じ形でYAMLを作成

apiVersion: apps/v1
kind: Deployment
metadata:
  name: kind-deployment
  labels:
    app: go
spec:
  replicas: 3
  selector:
    matchLabels:
      app: rsgo
  template:
    metadata:
      labels:
        app: rsgo
    spec:
      containers:
        - name: go-webapi-for-gke-study
          image: sky0621dhub/go-webapi-for-gke-study:v0.1
          ports:
            - containerPort: 80

反映

$ kubectl apply -f kind-deployment.yaml 
deployment.apps "kind-deployment" created
$
$ kubectl get pods -o wide
NAME                              READY     STATUS    RESTARTS   AGE       IP            NODE
kind-deployment-6658cdbcd-db7lg   1/1       Running   0          28s       10.60.16.10   gke-my-cluster-1-min-default-pool-ea807978-hpqc
kind-deployment-6658cdbcd-lkdfw   1/1       Running   0          28s       10.60.14.6    gke-my-cluster-1-min-default-pool-ea807978-8d2t
kind-deployment-6658cdbcd-z4prb   1/1       Running   0          28s       10.60.15.6    gke-my-cluster-1-min-default-pool-ea807978-ss7p
$ 
$ kubectl get rs -o wide
NAME                        DESIRED   CURRENT   READY     AGE       CONTAINERS                IMAGES                                     SELECTOR
kind-deployment-6658cdbcd   3         3         3         46s       go-webapi-for-gke-study   sky0621dhub/go-webapi-for-gke-study:v0.1   app=rsgo,pod-template-hash=221478678
$
$ kubectl get deployments -o wide
NAME              DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE       CONTAINERS                IMAGES                                     SELECTOR
kind-deployment   3         3         3            3           8m        go-webapi-for-gke-study   sky0621dhub/go-webapi-for-gke-study:v0.1   app=rsgo

Podを１つ削除

$ kubectl delete pods kind-deployment-6658cdbcd-db7lg
pod "kind-deployment-6658cdbcd-db7lg" deleted

$ kubectl get pods -o wide
NAME                              READY     STATUS        RESTARTS   AGE       IP            NODE
kind-deployment-6658cdbcd-db7lg   0/1       Terminating   0          2m        10.60.16.10   gke-my-cluster-1-min-default-pool-ea807978-hpqc
kind-deployment-6658cdbcd-lkdfw   1/1       Running       0          2m        10.60.14.6    gke-my-cluster-1-min-default-pool-ea807978-8d2t
kind-deployment-6658cdbcd-mjzvb   1/1       Running       0          3s        10.60.16.11   gke-my-cluster-1-min-default-pool-ea807978-hpqc
kind-deployment-6658cdbcd-z4prb   1/1       Running       0          2m        10.60.15.6    gke-my-cluster-1-min-default-pool-ea807978-ss7p

素早く１つ新しいPod（kind-deployment-6658cdbcd-mjzvb）を立ち上げ、
削除対象のPod（kind-deployment-6658cdbcd-db7lg）は削除中（Terminating）のステータスになった。

$ kubectl get pods -o wide
NAME                              READY     STATUS    RESTARTS   AGE       IP            NODE
kind-deployment-6658cdbcd-lkdfw   1/1       Running   0          4m        10.60.14.6    gke-my-cluster-1-min-default-pool-ea807978-8d2t
kind-deployment-6658cdbcd-mjzvb   1/1       Running   0          2m        10.60.16.11   gke-my-cluster-1-min-default-pool-ea807978-hpqc
kind-deployment-6658cdbcd-z4prb   1/1       Running   0          4m        10.60.15.6    gke-my-cluster-1-min-default-pool-ea807978-ss7p

入れ替え完了。

Ver違いのイメージをPod数４でデプロイするようYAMLを書き換え

apiVersion: apps/v1
kind: Deployment
metadata:
  name: kind-deployment
  labels:
    app: go
spec:
  replicas: 4
  selector:
    matchLabels:
      app: rsgo
  template:
    metadata:
      labels:
        app: rsgo
    spec:
      containers:
        - name: go-webapi-for-gke-study
          image: sky0621dhub/go-webapi-for-gke-study:v0.2
          ports:
            - containerPort: 80

反映

◆反映前のPodの状態◆

$ kubectl get pods -o wide
NAME                              READY     STATUS    RESTARTS   AGE       IP            NODE
kind-deployment-6658cdbcd-lkdfw   1/1       Running   0          9m        10.60.14.6    gke-my-cluster-1-min-default-pool-ea807978-8d2t
kind-deployment-6658cdbcd-mjzvb   1/1       Running   0          7m        10.60.16.11   gke-my-cluster-1-min-default-pool-ea807978-hpqc
kind-deployment-6658cdbcd-z4prb   1/1       Running   0          9m        10.60.15.6    gke-my-cluster-1-min-default-pool-ea807978-ss7p
$
$ kubectl get rs -o wide
NAME                        DESIRED   CURRENT   READY     AGE       CONTAINERS                IMAGES                                     SELECTOR
kind-deployment-6658cdbcd   3         3         3         9m        go-webapi-for-gke-study   sky0621dhub/go-webapi-for-gke-study:v0.1   app=rsgo,pod-template-hash=221478678
$
$ kubectl get deployments -o wide
NAME              DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE       CONTAINERS                IMAGES                                     SELECTOR
kind-deployment   3         3         3            3           9m        go-webapi-for-gke-study   sky0621dhub/go-webapi-for-gke-study:v0.1   app=rsgo

◆では、反映◆

$ kubectl apply -f kind-deployment.yaml 
deployment.apps "kind-deployment" configured

◆入れ替えが始まる◆

$ kubectl get pods -o wide
NAME                               READY     STATUS              RESTARTS   AGE       IP            NODE
kind-deployment-6658cdbcd-dd5lq    0/1       Terminating         0          4s        <none>        gke-my-cluster-1-min-default-pool-ea807978-8d2t
kind-deployment-6658cdbcd-lkdfw    1/1       Running             0          10m       10.60.14.6    gke-my-cluster-1-min-default-pool-ea807978-8d2t
kind-deployment-6658cdbcd-mjzvb    1/1       Running             0          8m        10.60.16.11   gke-my-cluster-1-min-default-pool-ea807978-hpqc
kind-deployment-6658cdbcd-z4prb    1/1       Running             0          10m       10.60.15.6    gke-my-cluster-1-min-default-pool-ea807978-ss7p
kind-deployment-8646897b59-fzlng   0/1       ContainerCreating   0          4s        <none>        gke-my-cluster-1-min-default-pool-ea807978-hpqc
kind-deployment-8646897b59-q9qd4   0/1       ContainerCreating   0          4s        <none>        gke-my-cluster-1-min-default-pool-ea807978-ss7p
$
$ kubectl get rs -o wide
NAME                         DESIRED   CURRENT   READY     AGE       CONTAINERS                IMAGES                                     SELECTOR
kind-deployment-6658cdbcd    1         1         1         10m       go-webapi-for-gke-study   sky0621dhub/go-webapi-for-gke-study:v0.1   app=rsgo,pod-template-hash=221478678
kind-deployment-8646897b59   4         4         2         9s        go-webapi-for-gke-study   sky0621dhub/go-webapi-for-gke-study:v0.2   app=rsgo,pod-template-hash=4202453615
$
$ kubectl get deployments -o wide
NAME              DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE       CONTAINERS                IMAGES                                     SELECTOR
kind-deployment   4         4         4            4           10m       go-webapi-for-gke-study   sky0621dhub/go-webapi-for-gke-study:v0.2   app=rsgo

◆入れ替えが終わる◆

$ kubectl get pods -o wide
NAME                               READY     STATUS    RESTARTS   AGE       IP            NODE
kind-deployment-8646897b59-8whlg   1/1       Running   0          26s       10.60.15.8    gke-my-cluster-1-min-default-pool-ea807978-ss7p
kind-deployment-8646897b59-dt6hz   1/1       Running   0          28s       10.60.14.7    gke-my-cluster-1-min-default-pool-ea807978-8d2t
kind-deployment-8646897b59-fzlng   1/1       Running   0          34s       10.60.16.12   gke-my-cluster-1-min-default-pool-ea807978-hpqc
kind-deployment-8646897b59-q9qd4   1/1       Running   0          34s       10.60.15.7    gke-my-cluster-1-min-default-pool-ea807978-ss7p
$
$ kubectl get rs -o wide
NAME                         DESIRED   CURRENT   READY     AGE       CONTAINERS                IMAGES                                     SELECTOR
kind-deployment-6658cdbcd    0         0         0         10m       go-webapi-for-gke-study   sky0621dhub/go-webapi-for-gke-study:v0.1   app=rsgo,pod-template-hash=221478678
kind-deployment-8646897b59   4         4         4         47s       go-webapi-for-gke-study   sky0621dhub/go-webapi-for-gke-study:v0.2   app=rsgo,pod-template-hash=4202453615
$
$ kubectl get deployments -o wide
NAME              DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE       CONTAINERS                IMAGES                                     SELECTOR
kind-deployment   4         4         4            4           17m       go-webapi-for-gke-study   sky0621dhub/go-webapi-for-gke-study:v0.2   app=rsgo

入れ替えが終わった後、既存のReplicaSetの定義自体は消えないみたい。ただし、Pod数は０

17
10
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
17
10

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?