【KubernetesのPersistentVolume】その２- Dynamic Provisionerを使ってNFSサーバーをPodにmountする #Docker

概要

KubernetesでPersistentVolume（永続ストレージ）のDynamic Provisionerを使って、外部ストレージをコンテナにmountする。

Dynamic Provisionerを使わない方法については以下を参照。
このページを読む前に、以下の内容を理解しておいたほうがスムーズかと思われる。
【KubernetesのPersistentVolume】その１- 外部ストレージをPodにmountする

前提知識

Dynamic Provisionerとは

Dynamic Provisionerを使うことで、PersistentVolumeを動的に生成することが可能となる。
そのため、予めPersistentVolumeを作成（定義）しておく必要がない。

具体的な設定方法の話をすると、PersistentVolumeを定義せずに、PersistentVolumeClaimを定義するだけで、Volumeを生成しPodにmountすることができる。

PersistentVolumeClaimを定義
Podを定義し、PersistentVolumeClaimと関連付ける
Podを起動 -> Volumeが自動生成されmountされる

Provisionerについて

Dynamic Provisionerでmountするには、Provisionerというものを利用する。
このProvisionerはいくつかの種類があり、ストレージの種類ごと(AWS, GCPなど)にそれぞれ使い分ける。

また、デフォルトでいくつかのProvisionerが用意されている。
利用可能なPorvisionerは以下を参照。
https://kubernetes.io/docs/concepts/storage/storage-classes/#provisioner

ただし、今回利用するNFSサーバーには、デフォルトのporvisionerが用意されていない。
そこで、external provisionersというものを利用する。

external provisionersとは

external provisionersは、デフォルトで用意されていないProvisionerをカバーするもので、NFS用のものも用意されている。今回はここで用意されているnfs-clientを利用する。

external provisionersの仕組み

external provisionersの仕組みを簡単に説明すると、NFSの場合は、nfs-clientの下のnfs-client/cmd/nfs-client-provisioner/provisioner.goによって作られるDockerコンテナ(nfs-client/docker/x86_64/Dockerfile)が、NFSのmountなどをやってくれるprovisionerとして動作してくれるようである。

mountされる仕組み

Provisionerを使ったmountの仕組みを理解するのに少し時間がかかったが、以下の用であると理解した。

nfs-provisioner用のPodを作成
サービス用のPodを作成
サービス用Podがnfs-provisioner用のPodを介してNFSサーバーをmountする

ハンズオン

それでは実際に環境構築をする。

環境

CentOS 7.6
Minikube v1.1.1
Kubernetes v1.14.3

ここではMinikubeで構築した環境のPodに、NFSサーバーをmountする。
関連記事：Minikubeを使ってローカルにkubernetes環境を構築

NFSサーバーの構築

まずはmountするためのNFSサーバーを構築する。
手順については以下を参照。

CentOS7にNFSサーバーを秒で構築

nfs-utilsのインストール

クラスタのホストOS（ここではminikube）に以下をインストール。

$ sudo yum install -y rpcbind nfs-utils

nfs-provisionerの作成

external provisionersを利用して、nfs-provisionerを作成する。

StorageClass

ストレージの種類を定義する。
provisionerという箇所があるが、デフォルトで用意されているProvisionerを利用する場合は、こちらからmountするストレージに合ったProvisionerを指定する。

e.g.
- AWSの場合：provisioner: kubernetes.io/aws-ebs
- Azureの場合：provisioner: kubernetes.io/azure-file

ただし、今回の用にexternal provisionersを利用する場合は、何でも良いので適当に名前を付ける。
そして、後述のDeploymentの定義のspec.template.spec.containers.env.nameのvalueと同じ名前にして、関連付けられるようにする。

storage-class.yml

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  # persitent-volumne-claim.ymlのspec.storageClassNameと合わせる
  name: nfs
# deployment.ymlのspec.template.spec.containers.env.nameのvalueと合わせる
provisioner: lab.hoge.jp/nfs
# Volumeが削除されたときの挙動を定義
# Delete or Retain。デフォルトはDelete。
reclaimPolicy: Retain

PersistentVolumeClaim

PersistentVolumeClaimで、Podが要求するVolumeのspecを定義する。
Dynamic Provisionerを利用する場合は、Volumeは動的に生成されるため、PersistentVolumeを定義する必要はない。

参考：VolumeとPersistentVolumeとPersistentVolumeClaimの違い

persitent-volumne-claim.yml

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  # PVC(PersistentVolumeClaim)のための任意の名前を指定
  name: sample-pvc
  annotations:
    # storage-class.ymlのmetadata.nameと同じ値
    volume.kubernetes.io/storage-class: "nfs"
spec:
  # アクセス権を設定
  accessModes:
    - ReadWriteMany
  # storage-class.ymlのmetadata.nameと合わせる
  # storageClassNameを省略するとHostPathでホストOS上にmountされる
  storageClassName: nfs
  resources:
    requests:
      # 割り当てるstorageの容量
      storage: 1Gi

RBAC

RBAC(Role-based access control)とは、役割ベースのアクセス制御機能。
NFSのprovisionerに与える権限を定義する。
参考：KubernetesのRBACについて

rbac.yml

kind: ServiceAccount
apiVersion: v1
metadata:
  # pod.ymlのspec.serviceAccountNameと合わせる
  name: nfs-client-provisioner

---
# 許可する操作を定義
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["list", "watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]

---
# RoleもしくはClusterRoleを関連付けるUserAccountもしくはServiceAcctountを定義
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io

Deployment

nfs-porovisionerのDeploymentの定義。

deployment.yml

kind: Deployment
apiVersion: extensions/v1beta1
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  # https://qiita.com/MahoTakara/items/a776286e5c4385662df4#%E3%82%B9%E3%83%88%E3%83%A9%E3%83%86%E3%82%B8
  # 古いポッドを新しいポッドに置き換えるための方法
  # defaultはRollingUpdate
  # Recreate 既存のポッドはすべて削除されます。
  strategy:
    type: Recreate
  # nfs-provisionerのPodの定義
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      # https://tech.uzabase.com/entry/2018/03/14/200512
      # これを指定することで、全てのリソースに対する参照all-readerができるようにしています。
      # ちなみに、サービスアカウントを作成するとsecretにca.crt、tokenというデータが作成されます。
      # このsecretはポッドが起動した際に、自動的に/var/run/secrets/kubernetes.io/serviceaccount の配下にマウントされます。
      serviceAccountName: nfs-client-provisioner
      # nfs-provisionerのコンテナの定義
      containers:
        - name: nfs-client-provisioner
          image: quay.io/external_storage/nfs-client-provisioner:latest
          # コンテナ内のmountの定義
          volumeMounts:
            # 以下のspec.template.spec.volumes.nameと合わせる
            - name: nfs-client-root
              # コンテナ内でNFSをmountさせるPATH
              mountPath: /persistentvolumes
          env:
            # storage-class.ymlのprovisionerと同じ値にする
            - name: PROVISIONER_NAME
              value: lab.hoge.jp/nfs
            # NFSサーバーのアドレス
            - name: NFS_SERVER
              value: xxx.xxx.xxx.xxx
            # NFSサーバーのmountするPATH
            - name: NFS_PATH
              value: /var/share/nfs
      # コンテナ外のmountの定義
      volumes:
        - name: nfs-client-root
          nfs:
            # NFSサーバーのアドレス
            server: xxx.xxx.xxx.xxx
            # NFSサーバーのmountするPATH
            path: /var/share/nfs

nfs-provisionerを作成

これでnfs-provisioner用のPodが作成される。

$ sudo kubectl apply -f storage-class.yml \
                     -f persitent-volumne-claim.yml \
                     -f rbac.yml \
                     -f deployment.yml
storageclass.storage.k8s.io/nfs created
persistentvolumeclaim/sample-pvc created
serviceaccount/nfs-client-provisioner created
clusterrole.rbac.authorization.k8s.io/nfs-client-provisioner-runner created
clusterrolebinding.rbac.authorization.k8s.io/run-nfs-client-provisioner created
deployment.extensions/nfs-client-provisioner created

nfs-provisioner作成後確認

Pod, Deployment, ReplicaSetを確認

nfs-provisionerのPod, Deployment, ReplicaSetが作成されたことを確認。

$ sudo kubectl get all
NAME                                          READY   STATUS    RESTARTS   AGE
+pod/nfs-client-provisioner-657f86599c-xhfsm   1/1     Running   0          11s

NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
service/kubernetes   ClusterIP   10.96.0.1    <none>        443/TCP   97m

NAME                                     READY   UP-TO-DATE   AVAILABLE   AGE
+deployment.apps/nfs-client-provisioner   1/1     1            1           11s

NAME                                                DESIRED   CURRENT   READY   AGE
+replicaset.apps/nfs-client-provisioner-657f86599c   1         1         1       11s

StorageClass, PersistentVolumeClaim, PersistentVolumeを確認

以下の用になっていることを確認

StorageClassが作成された。
PersistentVolumeClaimは作成されているがSTATUSがPendingのまま。
PersistentVolumeは作成されていない。

$ sudo kubectl get sc,pv,pvc
NAME                                             PROVISIONER                AGE
+storageclass.storage.k8s.io/nfs                  lab.hoge.jp/nfs            4m9s
storageclass.storage.k8s.io/standard (default)   k8s.io/minikube-hostpath   19m

NAME                               STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
+persistentvolumeclaim/sample-pvc   Pending                                      nfs            4m9s

mountされているか確認

nfs-provisionerコンテナ内から、NFSサーバーのmountしたディレクトリが見えるか確認。

NFSサーバーのmountする場所にテスト用ファイルを作成する。

$ sudo echo 'This is a sample.' > /var/share/nfs/sample.txt

作成されたnfs-client-provisionerのPodのNFS_PATHの中を確認すると、sample.txtが見える。

$ sudo kubectl exec -ti nfs-client-provisioner-657f86599c-xhfsm ls /persistentvolumes
sample.txt

$ sudo kubectl exec -ti nfs-client-provisioner-657f86599c-xhfsm cat /persistentvolumes/sample.txt
This is a sample.

これでnfs-provisionerの作成は完了。

Podを作成してNFSサーバーをmountする

次に、Podを作成して、nfs-provisionerを介してNFSサーバーの領域をmountする。

NFSサーバーのmountされるディレクトリのpermissionを変更

nfs-provisionerが、NFSサーバーのmountディレクトリの下に、nfsnobodyというユーザーでディレクトリを作成するため、権限を与える必要がある。

$ sudo chmod 777 /var/share/nfs

権限を与えないと、mount時にmkdirできずに以下のエラーが発生する。

$ sudo kubectl describe persistentvolumeclaim/sample-pvc
# **snip**
Events:
  Type       Reason                Age                   From                                                                                          Message
  ----       ------                ----                  ----                                                                                          -------
  Normal     Provisioning          101s (x4 over 3m26s)  lab.hoge.jp/nfs_nfs-client-provisioner-657f86599c-5mp5r_91c30fd0-922e-11e9-9954-0242c0a8f904  External provisioner is provisioning volume for claim "default/sample-pvc"
  Warning    ProvisioningFailed    101s (x4 over 3m26s)  lab.hoge.jp/nfs_nfs-client-provisioner-657f86599c-5mp5r_91c30fd0-922e-11e9-9954-0242c0a8f904  
failed to provision volume with StorageClass "nfs": unable to create directory to provision new pv: 
mkdir /persistentvolumes/default-sample-pvc-pvc-8ff59f6d-922e-11e9-afb4-fa163e42f6bd: permission denied

  Normal     ExternalProvisioning  9s (x16 over 3m29s)   persistentvolume-controller                                                                   waiting for a volume to be created, either by external provisioner "lab.hoge.jp/nfs" or manually created by system administrator
Mounted By:  <none>

Podを定義

pod.yml

kind: Pod
apiVersion: v1
metadata:
  name: nginx-pod
spec:
  # rbac.ymlのmetadata.nameと合わせる
  # これでRBACと関連付けられる
  serviceAccountName: nfs-client-provisioner
  containers:
  # Dockerコンテナの名前
  - name: nginx-container
    # 利用するDockerイメージ
    image: nginx
    # 公開するDockerコンテナのポート
    ports:
      - containerPort: 80
    # Dockerコンテナ内のmountポイント
    volumeMounts:
      # 以下のspec.volumes.nameと合わせる
      - name: nfs-pvc
        mountPath: "/mnt"
  # Never or OnFailure
  restartPolicy: OnFailure
  # mountする外部ストレージの設定
  volumes:
    # 上記のspec.containers.volumeMounts.nameと合わせる
    - name: nfs-pvc
      persistentVolumeClaim:
        # persitent-volumne-claim.ymlのmetadatal.nameと合わせる
        # これでPersistentVolumeClaimと関連付けられる
        claimName: sample-pvc

Podを作成

$ sudo kubectl apply -f pod.yml
pod/nginx-pod created

Pod確認

nginx-podというPodが作成されたことを確認。

$ sudo kubectl get pod
NAME                                      READY   STATUS    RESTARTS   AGE
nfs-client-provisioner-657f86599c-xhfsm   1/1     Running   0          19m
+nginx-pod                                 1/1     Running   0          13s

PersistentVolumeClaim, PersistentVolumeを確認

以下の用になっていることを確認。

PersistentVolumeClaimのSTATUSがBoundになった。
PersistentVolumeが作成された。

$ sudo kubectl get pvc,pv
NAME                               STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
+persistentvolumeclaim/sample-pvc   Bound    pvc-b3ee5521-9253-11e9-b851-fa163e42f6bd   1Gi        RWX            nfs            20m

NAME                                                        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                STORAGECLASS   REASON   AGE
+persistentvolume/pvc-b3ee5521-9253-11e9-b851-fa163e42f6bd   1Gi        RWX            Retain           Bound    default/sample-pvc   nfs                     20m

describeすることでどこにmountされているのか分かる。

$ sudo kubectl describe persistentvolume/pvc-b3ee5521-9253-11e9-b851-fa163e42f6bd
Name:            pvc-b3ee5521-9253-11e9-b851-fa163e42f6bd
Labels:          <none>
Annotations:     pv.kubernetes.io/provisioned-by: lab.hoge.jp/nfs
Finalizers:      [kubernetes.io/pv-protection]
StorageClass:    nfs
Status:          Bound
Claim:           default/sample-pvc
Reclaim Policy:  Retain
Access Modes:    RWX
VolumeMode:      Filesystem
Capacity:        1Gi
Node Affinity:   <none>
Message:
Source:
    Type:      NFS (an NFS mount that lasts the lifetime of a pod)
    Server:    xxx.xxx.xxx.xxx
    Path:      /var/share/nfs/default-sample-pvc-pvc-b3ee5521-9253-11e9-b851-fa163e42f6bd
    ReadOnly:  false
Events:        <none>

mountされているか確認

NFSサーバーでの作業

NFSサーバーに以下のディレクトリが作成されている。

$ ls -l /var/share/nfs/
drwxrwxrwx 2 nfsnobody nfsnobody  6 Jun 19 14:33 default-sample-pvc-pvc-b3ee5521-9253-11e9-b851-fa163e42f6bd

作成されたディレクトリの下にテスト用ファイルを作成。

$ cd /var/share/nfs/default-sample-pvc-pvc-b3ee5521-9253-11e9-b851-fa163e42f6bd
$ echo 'This is a sample in PersistenVolume.' > persistent-volume.txt

Podを確認

Pod内のmountされたディレクトリを確認する。
NFSサーバーの/var/share/nfs/default-sample-pvc-pvc-b3ee5521-9253-11e9-b851-fa163e42f6bdの中と同じファイルが見えていればOK。

$ sudo kubectl exec -it nginx-pod ls /mnt
persistent-volume.txt

$ sudo kubectl exec -it nginx-pod cat /mnt/persistent-volume.txt
This is a sample in PersistenVolume.

【KubernetesのPersistentVolume】その１- 外部ストレージをPodにmountする

【KubernetesのPersistentVolume】その２- Dynamic Provisionerを使ってNFSサーバーをPodにmountする

概要

目次

前提知識

Dynamic Provisionerとは

Provisionerについて

external provisionersとは

external provisionersの仕組み

mountされる仕組み

ハンズオン

環境

NFSサーバーの構築

nfs-utilsのインストール

nfs-provisionerの作成

StorageClass

PersistentVolumeClaim

RBAC

Deployment

nfs-provisionerを作成

nfs-provisioner作成後確認

Pod, Deployment, ReplicaSetを確認

StorageClass, PersistentVolumeClaim, PersistentVolumeを確認

mountされているか確認

Podを作成してNFSサーバーをmountする

NFSサーバーのmountされるディレクトリのpermissionを変更

Podを定義

Podを作成

Pod確認

PersistentVolumeClaim, PersistentVolumeを確認

mountされているか確認

NFSサーバーでの作業

Podを確認

関連記事

参考