はじめに
開発用のKubernetesクラスタを構築する流れで、永続ストレージの検証を行います。
Kubernetesへ永続ストレージを提供するため、Rook(Ceph)とLonghornのIOPS測ってみます。
社内に余ってるオンプレリソースを用いて、安価に構築するためにクラウド系のストレージは使いません。磁気ディスクです！！
Rookについて
2018年1月にCNCFに加わった、Kubernetes上にCephを始めとしたストレージ系のソリューションをデプロイしてくれるツールです。
Toolboxとかもありますが、現状はDashboardもCephのを利用しますし、機能的にはだいぶCephに依存している印象です。
Kubernetesと組み合わせることでCeph自体の運用コストが下げられている点が嬉しいですね。
Longhornについて
OpenEBSをベースにしたRancherが開発するストレージプロジェクトらしい。
ストレージ形式としてはブロックストレージでRancherからカタログを使ってインストールするとさらっと動いてくれます。
至極シンプルなDashboardもついて来ますが状況が少し見えるだけなので心配な気もします。
環境
- H/W
- Dell R630
- Magnetic 10k rpm / RAID10 (6台で3Span構成)
- Ubuntu 16.04
- Clusterにするので3インスタンス
- バージョンはRancherのDocを参照して選択。
- Docker 17.03.2
- こちらもRancher基準で。
- Rancher 2.x
蛇足
これらをRancherOS上で動かしたRancherにて構築しようとしたら動きませんでした。理由は大凡調べられましたが、RancherOSはまだこの辺考えると難しいかもしれません。
事前にやること
k8sとかRancherとか、各アプリケーションのインストールはそれぞれのドキュメントをご覧下さい。
どちらもFlexvolumeを利用するので、Kubeletと各ストレージアプリケーションのPluginPathを合わせる必要があるのでそこだけ書いておきます。
kubelet
Rancher経由ならKubernetesクラスタのオプションからYAMLを編集、services配下に以下を追記してあげると良いです。
services:
kubelet:
extra_args:
volume-plugin-dir: "/var/lib/kubelet/volumeplugins"
他の方々はkubeletに起動オプションとして
--volume-plugin-dir=/var/lib/kubelet/volumeplugins
を追加してあげましょう。
Rook
kubectlでoperator.yamlを流す前に、Operator用のコンテナに環境変数を設定します。
spec:
template:
spec:
serviceAccountName: rook-ceph-system
containers:
- name: rook-ceph-operator
env:
- name: FLEXVOLUME_DIR_PATH
value: "/var/lib/kubelet/volumeplugins"
あとは手順通りです。
Longhorn
Rancherからのカタログ起動を行う際にFlexvolume plugin pathという設定項目があるので、/var/lib/kubelet/volumeplugins へ設定しましょう。
そのあと
RookもLonghornも、ストレージクラスとして定義されるので、これを用いてコンテナ用の永続ボリュームを作成します。
手動で事前に生成しておいても良いですし、テスト用のUbuntuコンテナ起動時に設定してもらっても良いです。
なお、一貫して /var/lib/kubelet/volumeplugins というディレクトリを指定してきましたが、必要に応じて変更していただいても構いません。明示的に設定しないとそれぞれデフォルトが異なるので多分動かないです。
IOPSの計測
前提はここまで。fioを用いて実際に付加をかけていきます。
Ubuntuコンテナの準備
まずはUbuntuコンテナを起動しましょう。
- 利用するコンテナイメージ: ubuntu:xenial
Volumeは適当なサイズで指定しておくと、PVCが用意されます。
RookとLonghornのVolumeをそれぞれ追加しておいて下さい。
RancherだとGUIでぽちぽちですが、YAMLだとこんな感じで出るっぽいので残しておきます。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: longhorn-vol1
namespace: default
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 10Gi
storageClassName: longhorn
volumeName: pvc-fc90cd1b-90a8-11e8-8f13-000c29c71dcf
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: rook-vol1
namespace: default
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 10Gi
storageClassName: rook-ceph-block
volumeName: pvc-10670380-907c-11e8-a03a-000c29383b10
Ubuntuコンテナ起動時にそれぞれマウントされるようにするYAML。
apiVersion: apps/v1beta2
kind: Deployment
metadata:
name: ubuntu-storages
namespace: default
spec:
replicas: 1
template:
spec:
containers:
- image: ubuntu:xenial
name: ubuntu-rook
volumeMounts:
- mountPath: /mnt/rook-vol1
name: rook-vol1
- mountPath: /mnt/longhorn-vol1
name: longhorn-vol1
volumes:
- name: rook-vol1
persistentVolumeClaim:
claimName: rook-vol1
- name: longhorn-vol1
persistentVolumeClaim:
claimName: longhorn-vol1
さて、Ubuntuが起動したら、kubectlからbashをexecしてコンテナ内部に侵入します。
コンテナ名は正しいものを指定してあげて下さい。
$ kubectl get pods -n default
NAME READY STATUS RESTARTS AGE
ubuntu-storages-545b977bcb-s7878 1/1 Running 0 4d
$ kubectl exec -it ubuntu-storages-545b977bcb-s7878 /bin/bash
root@ubuntu-storages-545b977bcb-s7878:/#
入り込んだらfioをインストールします。
apt-get -y update
apt-get -y install fio
使い方は他の方に譲るとして、インストールが済んだらひたすら実行していく感じですね。
結果
| S/W | SR | SW | RR | RW | RRW |
|---|---|---|---|---|---|
| Rook | 18412 | 7791 | 14768 | 690 | 621 |
| Longhorn | 13501 | 5283 | 1628 | 1457 | 90 |
SR : Sequential Read
SW : Sequential Write
RR : Random Read
RW : Random Write
RRW: Random Read&Write
考察
LonghornはRookよりちょっと遅いかなと思いきやRandomReadがボロボロでちょっと笑いました。RRWが低いのもRRに引っ張られてのことでしょうね。単純にWrite目的ならLonghornでもありかもしれません。
総合的にはRookのほうが数値が高く、安定して使えるように見えます。ただしRook自体がまだテストバージョンなのでサービス環境に入れるには不安が大きいですね。
おわりに
今どき磁気ディスクで検証っていうのもアレですが、こういう検証ではSSD入れとけばいいや！みたいな感じにならないので結構好きだったりします。
開発環境でしばらくRook使ってみながらリリースを待ちつつ、ステージや本番環境はクラウド側かなぁ。