背景
エッジクラウドのシナリオで、K8s を各地に分散していくアーキテクチャがよくあります。
例えば全国の各店舗にエッジを置いて、試着の AR を動かしたり、各地工場にエッジを置いて IoT シスエムを動かしたりするケースが考えられます。
K8s cluster が複数に分散されますが、それぞれの店舗、工場に IT 人員を配置することはもちろん不可能ですが、たとえすべてリモートで接続できるとして、数百個の Cluster に対して一々 kubectl を打ったりするのも非現実的です。
もちろんスクリプトやAnsible/Jenkinsを組めば、自動的に回すことができますが、例えばやりたいことはすべてのクラスタに対して同じコマンドを打つのだけではなくて、地域によって、クラスタをグルーピングして、特定のグループに対して特定な操作を一斉にしたい場合ならば、状況が複雑になります。これで、大量の同質な K8s cluster をどう管理運用していけばよいかが課題となります。
Kubefed
Kubefed の全称は Kubernetes Cluster Federation であり、マルチクラスタを束ねて（Federation）、一つの K8s CRD resource として定義し、管理運用していく OSS ツールです。
Kubefed の Git Page
Kubefed の定義
下図のように、Kubefed は Master Cluster の kube-federation-system Namespace にインストールされます。そして、Master Cluster と Slave Cluster を Federation に Join させることによって Federation が構成できます。
kubefedctl join master --cluster-context cluster-1 --host-cluster-context cluster-1 --v=2
Kubefedctl join slave --cluster-context cluster-2 --host-cluster-context cluster-1 --v=2
kubectl -n kube-federation-system get kubefedclusters
NAME READY AGE
master True 1m
slave True 1m
これで、Master cluster に KubeFed 用の CRD リソースをデプロイすることで、対応するAPI リソースが Slave cluster にも自動的にデプロイされます。
対応している API リソースは以下の10種類：
federatedclusterroles federatednamespaces
federatedconfigmaps federatedreplicasets
federateddeployments federatedsecrets
federatedingresses federatedserviceaccounts
federatedjobs federatedservices
各種 CRD を使用する前に、Enable は必要となります。
kubefedctl enable <kind.api> --kubefed-namespace <NAMESPACE_INSTALL_KUBEFED> kube-federation-system
リソースのデプロイ
リソースをデプロイする前に、各クラスタ間で共通の Namespace (Federated Namespace)を作ることが必要です。
KubeFed は Federated Namespace のみに対して操作可能です。
手順として、まずは Master Cluster 上で普通の Namespace を作成します。
kubectl create ns stars
そして、この Master Cluster 上で作成した Namespace をもとに、FederatedNamespace を作ります。
##On the master##
apiVersion: types.kubefed.io/v1beta1
kind: FederatedNamespace
metadata:
name: stars #<= must be identical to the kubernetes namespace you created with kubectl
namespace: stars #<= same
spec:
placement:
clusters:
- name: <REPLACE_ME> #Replace this with the name of your master's context name
- name: <REPLACE_ME> #Replace this with the name of your slave's context name
- name: … #If you have more slaves then add more elements
これを deploy すると、指定された Slave Cluster 内で Master Cluster と同じ Namespace が Kubefed によって自動的に作成されます。
そして、各種 API リソースに対応する CRD（例：FederatedDeployment）の yaml を定義してデプロイします。
##On the master##
apiVersion: types.kubefed.io/v1beta1
kind: FederatedDeployment
metadata:
name: federated-xwings
namespace: stars
spec:
template:
metadata:
name: xwings
spec:
... # Normal deployment spec
placement:
clusters:
- name: master
- name: slave
overrides:
- clusterName: master
clusterOverrides:
- path: "/spec/replicas"
value: 2
spec は通常の deployment yaml に従って書けばよいです。
面白いのは Placement と overrides のセクションです。Placement は配置先の Cluster を定義します。Overrides は各配置先ごとに spec をカスタマイズ可能とします。なので、単純な同質デプロイだけではなく、スコープをコントロールしたり、カスタマイズが可能です。
さらにいうと、kubefeded cluster にラベルつけて、ラベルベースでの placement ルールを書くことも可能です。
kubectl label kubefedclusters -n kube-federation-system cluster1 foo=bar
spec:
placement:
clusterSelector:
matchLabels:
foo: bar
その他機能
幾つかのトラブルシューティングの機能も用意されています。
・Federated Cluster 確認
kubectl -n kube-federation-system get kubefedclusters
・Federated リソース 確認
kubectl describe federateddeployments test-deployment –n test-ns
・Kubefed log 確認
kubectl logs deployment/kubefed-controller-manager -n kube-federation-system
さらにより新しめの機能として、マルチクラスタ間で Replica Set を重み付けてリソース分散配置する機能も開発されました。
apiVersion: scheduling.kubefed.io/v1alpha1
kind: ReplicaSchedulingPreference
metadata:
name: test-deployment
namespace: test-ns
spec:
targetKind: FederatedDeployment
totalReplicas: 9
rebalance: true
clusters:
A:
minReplicas: 4
maxReplicas: 6
weight: 1
B:
minReplicas: 4
maxReplicas: 8
weight: 2
これでより柔軟にマルチクラスタ間のワークロード配置が便利に実現できるようになります。
Replica Scheduling の Git page
最後に
KubeFed 自体は OSS ツールであり、スケールや安定性などの問題は多々ありますが、冒頭で議論した通リ、マルチクラスタ統合運用のニーズはエッジの普及により段々上がっていきますので、参考の選択肢として KubeFed は非常にいい機能（placement, overrides, replaca scheduling）を実現し、いいヒントをくれています。