Multus CNIって？
MultusはPodに複数のネットワークインタフェースをアタッチ可能とするCNIプラグインです。Multus自体が複数インタフェースを利用可能なCNIだと勘違いしていましたが、複数のCNIを同時に利用可能とするためのメタCNIプラグインとして稼働するようです。Multus自体、ハイパフォーマンスを要求される通信事業者向けコンテナアプリケーションで、サービス系、管理系のネットワークインターフェースを分離するような目的で使われることが多いようなので、私も通信事業者に務めるエンジニアの端くれとして、Multusのクイックスタートガイドを参考に簡単に動きを確認してみようと思います。
手順概要
- 準備
- MutlusバイナリのインストールとDaemonsetのデプロイ
- 追加ネットワークインタフェース用CustomResourceDefinition(NetworkAttachmentDefinition）の作成
- 複数NICをアタッチしたPodの作成
- 確認
1. 準備
確認した環境はVMware社のK8SディストリビューションであるTanzu kubernetes Gridです。worker2台構成で、各workerノードにはeth0、eth1の2つのNICを接続しています。
$ kubectl get node
NAME STATUS ROLES AGE VERSION
tkc18-control-plane-j2twb Ready master 115m v1.19.1+vmware.2
tkc18-md-0-988884c8-95z7v Ready <none> 114m v1.19.1+vmware.2
tkc18-md-0-988884c8-k5j9p Ready <none> 114m v1.19.1+vmware.2
2. MutlusバイナリのインストールとDaemonsetのデプロイ
まずMultusバイナリをインストールし、Multusを使用するための設定を行うDaemonsetをデプロイします。Daemonsetによって、各ノード上へのMultusバイナリの配置、設定ファイルの作成、Multusがk8s APIにアクセスするための認証情報の配置などが実行されるようです。
$ git clone https://github.com/intel/multus-cni.git && cd multus-cni
$ cat ./images/multus-daemonset.yml | kubectl apply -f -
$ kubectl get pods --all-namespaces | grep -i multus
kube-system kube-multus-ds-amd64-pdx88 1/1 Running 0 94m
kube-system kube-multus-ds-amd64-pq28r 1/1 Running 0 94m
kube-system kube-multus-ds-amd64-r8kn9 1/1 Running 0 94m
3. 追加ネットワークインタフェース用CustomResourceDefinition(NetworkAttachmentDefinition）の作成
次にPodに接続される追加ネットワークインタフェースを定義するCustom Resource Definition（Network Resource Definition）を作成します。
今回はクイックスタートガイドの通り、macvlanを利用、利用するインタフェースはeth1、IPAMについてはとりあえず試すだけだったのでStatic設定としています。
$ cat <<EOF | kubectl create -f -
> apiVersion: "k8s.cni.cncf.io/v1"
> kind: NetworkAttachmentDefinition
> metadata:
> name: macvlan-conf
> spec:
> config: '{
> "cniVersion": "0.3.1",
> "plugins": [
> {
> "type": "macvlan",
> "capabilities": { "ips": true },
> "master": "eth1",
> "mode": "bridge",
> "ipam": {
> "type": "static"
> }
> }, {
> "capabilities": { "mac": true },
> "type": "tuning"
> } ]
> }'
> EOF
$ kubectl get network-attachment-definitions
NAME AGE
macvlan-conf 85m
$ kubectl describe network-attachment-definitions macvlan-conf
Name: macvlan-conf
Namespace: default
Labels: <none>
Annotations: <none>
API Version: k8s.cni.cncf.io/v1
Kind: NetworkAttachmentDefinition
Metadata:
Creation Timestamp: 2020-12-06T07:27:19Z
Generation: 1
Managed Fields:
API Version: k8s.cni.cncf.io/v1
Fields Type: FieldsV1
fieldsV1:
f:spec:
.:
f:config:
Manager: kubectl-create
Operation: Update
Time: 2020-12-06T07:27:19Z
Resource Version: 10002
Self Link: /apis/k8s.cni.cncf.io/v1/namespaces/default/network-attachment-definitions/macvlan-conf
UID: f5520a94-6401-401f-a1d9-5c57d5f2393f
Spec:
Config: { "cniVersion": "0.3.1", "plugins": [ { "type": "macvlan", "capabilities": { "ips": true }, "master": "eth1", "mode": "bridge", "ipam": { "type": "static" } }, { "capabilities": { "mac": true }, "type": "tuning" } ] }
Events: <none>
$
4. 複数NICをアタッチしたPodの作成
annotationで追加ネットワークインタフェースに関する記述を記載し、デプロイします。
$ cat <<EOF | kubectl create -f -
> apiVersion: v1
> kind: Pod
> metadata:
> name: samplepod1
> annotations:
> k8s.v1.cni.cncf.io/networks: '[
> {
> "name": "macvlan-conf",
> "ips": [ "192.168.3.201/24" ]
> }
> ]'
> spec:
> containers:
> - name: centos-tools
> image: docker.io/centos/tools:latest
> command:
> - /sbin/init
> nodeSelector:
> type: node1
> EOF
$ cat <<EOF | kubectl create -f -
> apiVersion: v1
> kind: Pod
> metadata:
> name: samplepod4
> annotations:
> k8s.v1.cni.cncf.io/networks: '[
> {
> "name": "macvlan-conf",
> "ips": [ "192.168.3.204/24" ]
> }
> ]'
> spec:
> containers:
> - name: centos-tools
> image: docker.io/centos/tools:latest
> command:
> - /sbin/init
> nodeSelector:
> type: node2
> EOF
5. 確認
デプロイ後、別々の物理インターフェースに紐付いたNICが２つPodに接続されており、Pingによる疎通性も確認できました（不要な出力は削除しています）。
$ kubectl exec -it samplepod1 -- ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
inet 127.0.0.1/8 scope host lo
3: eth0@if9: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default
inet 100.96.1.4/24 brd 100.96.1.255 scope global eth0
4: net1@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
inet 192.168.3.201/24 brd 192.168.3.255 scope global net1
$ kubectl exec -it samplepod4 -- ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
inet 127.0.0.1/8 scope host lo
3: eth0@if12: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default
inet 100.96.2.7/24 brd 100.96.2.255 scope global eth0
4: net1@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
inet 192.168.3.204/24 brd 192.168.3.255 scope global net1
$ kubectl exec -it samplepod1 -- ping 192.168.3.204
PING 192.168.3.204 (192.168.3.204) 56(84) bytes of data.
64 bytes from 192.168.3.204: icmp_seq=1 ttl=64 time=0.028 ms
64 bytes from 192.168.3.204: icmp_seq=2 ttl=64 time=0.042 ms
$ kubectl exec -it samplepod1 -- ping 100.96.2.7
PING 100.96.2.7 (100.96.2.7) 56(84) bytes of data.
64 bytes from 100.96.2.7: icmp_seq=1 ttl=62 time=1.76 ms
64 bytes from 100.96.2.7: icmp_seq=2 ttl=62 time=0.916 ms
ほぼクイックスタートガイドの通りに実行するだけでMultiNIC構成が出来上がりますので、試すだけなら非常に簡単です。ただしプロダクション利用となると色々な考慮が必要となるため、しっかりとした検証が必要になります。時間見つけて深堀りしてみたいと思います。
## 参照したサイト
https://github.com/intel/multus-cni