Dockerコンテナのオーケストレーションとして、巷で話題となっている"Kubernetes"の基本動作を試してみました。
目標感としては、マイクロサービス的な、複数のDockerコンテナが協調しあって、全体動作の振る舞いが決定されるような機能確認を試してみたかったので、OpenStack内部モジュールを、をKubernetesで動作させることにしました。なお、OpenStackのコアコンポーネント（Nova, Neutron, Keystone, Glanceモジュール）と、MYSQLの５つのDockerコンテナを題材にしてみました。
いま時点では、libvirt経由でVMインスタンスをデプロイする部分は、省略しています。
■ 事前準備
(1) 事前に、Cloud SDKを有効にしておく
gcloudコマンドで作業できるように、Cloud SDKをセットアップしておく
(2) Webコンソールから、新たにプロジェクトを作成する
今回、gke-sampleというプロジェクトを作成し、プロジェクトID"gke-sample-211005"をメモっておく。
(3) プロジェクトでのAPIを有効にしておく
- Google Compute Engine API
- Kubernetes Engine API
(4) 以下、gloudコマンドを使用して、zone設定を行う
$ export PROJECT_ID="gke-sample-211005"
$ gcloud config set project $PROJECT_ID
$ gcloud config set compute/zone asia-northeast1-a
$ gcloud config set container/new_scopes_behavior true
$ gcloud config list
[compute]
zone = asia-northeast1-a
[container]
new_scopes_behavior = true
[core]
disable_usage_reporting = False
project = gke-sample-211005
Your active configuration is: [default]
(5) Cloud Datastore環境を準備する
$ gcloud auth login
... snip
$ gcloud app create --region=asia-northeast1
You are creating an app for project [gke-sample-211005].
WARNING: Creating an App Engine application for a project is irreversible and the region
cannot be changed. More information about regions is at
<https://cloud.google.com/appengine/docs/locations>.
done.
Success! The app is now created. Please use `gcloud app deploy` to deploy your first app.
こんな感じで環境準備できた！
■ Kubernetes Cluster環境の各種セットアップ
(1) kubectlコマンドを有効にする
$ gcloud components install kubectl
Your current Cloud SDK version is: 209.0.0
Installing components from version: 209.0.0
┌──────────────────────────────────────────────────────────────────┐
│ These components will be installed. │
├─────────────────────┬─────────────────────┬──────────────────────┤
│ Name │ Version │ Size │
├─────────────────────┼─────────────────────┼──────────────────────┤
│ kubectl │ 1.9.7 │ 14.8 MiB │
│ kubectl │ │ │
└─────────────────────┴─────────────────────┴──────────────────────┘
For the latest full release notes, please visit:
https://cloud.google.com/sdk/release_notes
Do you want to continue (Y/n)? y
╔════════════════════════════════════════════════════════════╗
╠═ Creating update staging area ═╣
╠════════════════════════════════════════════════════════════╣
╠═ Installing: kubectl ═╣
╠════════════════════════════════════════════════════════════╣
╠═ Installing: kubectl ═╣
╠════════════════════════════════════════════════════════════╣
╠═ Creating backup and activating new installation ═╣
╚════════════════════════════════════════════════════════════╝
Performing post processing steps...done.
Update done!
(2) Kubernetesクラスタを作成する
$ gcloud container clusters create openstack-sample \
> --num-nodes 3 \
> --machine-type=n1-standard-1 \
> --no-enable-ip-alias
This will enable the autorepair feature for nodes. Please see
https://cloud.google.com/kubernetes-engine/docs/node-auto-repair for more
information on node autorepairs.
Creating cluster openstack-sample...done.
Created [https://container.googleapis.com/v1/projects/gke-sample-211005/zones/asia-northeast1-a/clusters/openstack-sample].
To inspect the contents of your cluster, go to: https://console.cloud.google.com/kubernetes/workload_/gcloud/asia-northeast1-a/openstack-sample?project=gke-sample-211005
kubeconfig entry generated for openstack-sample.
NAME LOCATION MASTER_VERSION MASTER_IP MACHINE_TYPE NODE_VERSION NUM_NODES STATUS
openstack-sample asia-northeast1-a 1.9.7-gke.3 x.x.x.x n1-standard-1 1.9.7-gke.3 3 RUNNING
ちなみに、現時点(2018年7月22日)で利用可能なk8sクラスタバージョンは、以下で確認できるようです
$ gcloud container get-server-config
Fetching server config for asia-northeast1-a
defaultClusterVersion: 1.9.7-gke.3
defaultImageType: COS
validImageTypes:
- COS
- UBUNTU
validMasterVersions:
- 1.10.5-gke.3
- 1.10.5-gke.0
- 1.10.4-gke.2
- 1.9.7-gke.4
- 1.9.7-gke.3
- 1.9.6-gke.1
- 1.8.12-gke.2
- 1.8.12-gke.1
- 1.8.10-gke.0
validNodeVersions:
- 1.10.5-gke.3
- 1.10.5-gke.2
- 1.10.5-gke.0
- 1.10.4-gke.2
- 1.10.4-gke.0
- 1.10.2-gke.3
- 1.10.2-gke.1
- 1.9.7-gke.4
- 1.9.7-gke.3
- 1.9.7-gke.1
- 1.9.7-gke.0
- 1.9.6-gke.1
- 1.9.3-gke.0
- 1.8.12-gke.2
- 1.8.12-gke.1
- 1.8.12-gke.0
- 1.8.10-gke.0
- 1.8.9-gke.1
- 1.8.8-gke.0
- 1.7.15-gke.0
- 1.7.12-gke.2
- 1.6.13-gke.1
(3) Kubernetesクラスタの認証情報をダウンロードする
$ gcloud container clusters get-credentials openstack-sample
Fetching cluster endpoint and auth data.
kubeconfig entry generated for openstack-sample.
(4) gcloudコンポーネントを最新化したのち、kubectlを用いて、k8sのバージョンを確認してみる
$ gcloud components update
... (snip)
$ kubectl version --short
Client Version: v1.9.7
Server Version: v1.9.7-gke.3
(5) ノード情報を確認する
$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
gke-openstack-sample-default-pool-5954c0d1-1lww Ready <none> 4m v1.9.7-gke.3
gke-openstack-sample-default-pool-5954c0d1-hzsj Ready <none> 4m v1.9.7-gke.3
gke-openstack-sample-default-pool-5954c0d1-r4c3 Ready <none> 4m v1.9.7-gke.3
(6) Kubernetesクラスタ環境を確認する
$ kubectl cluster-info
Kubernetes master is running at https://x.x.x.x
GLBCDefaultBackend is running at https://x.x.x.x/api/v1/namespaces/kube-system/services/default-http-backend:http/proxy
Heapster is running at https://x.x.x.x/api/v1/namespaces/kube-system/services/heapster/proxy
KubeDNS is running at https://x.x.x.x/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy
kubernetes-dashboard is running at https://x.x.x.x/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy
Metrics-server is running at https://x.x.x.x/api/v1/namespaces/kube-system/services/https:metrics-server:/proxy
To further debug and diagnose cluster problems, use 'kubectl cluster-info dump'.
■ Dockerコンテナのイメージ準備
OpenStackのKeystone, glanceサービスをDockerコンテナで動作させることを目的としたGitリポジトリ：openstack-docker に配備しておきました。すでに、EOLになってしまったOpenStack Mitaka版で試していますが、あまり深い意図はありません。
あくまでも、サンプル版ということで。。。。
(1) Dockerイメージを作成しておく
$ docker images|grep -e "keystone" -e "glance" -e "nova" -e "neutron"
ttsubo/neutron 1.0.1 a99cea7f23f7 13 seconds ago 716MB
ttsubo/nova 1.0.1 fd6f51db4dbe 4 minutes ago 1.01GB
ttsubo/glance 1.0.1 f0d960b8a0ac 11 minutes ago 666MB
ttsubo/keystone 1.0.1 50ea8bf48dba 17 minutes ago 621MB
...
(2) DockerイメージをContainer Registryための準備として、タグ名を付与しておく
$ export PROJECT_ID=$(gcloud config list project --format "value(core.project)")
$ echo $PROJECT_ID
gke-sample-211005
$ docker tag ttsubo/keystone:1.0.1 gcr.io/$PROJECT_ID/keystone:1.0.1
$ docker tag ttsubo/glance:1.0.1 gcr.io/$PROJECT_ID/glance:1.0.1
$ docker tag ttsubo/nova:1.0.1 gcr.io/$PROJECT_ID/nova:1.0.1
$ docker tag ttsubo/neutron:1.0.1 gcr.io/$PROJECT_ID/neutron:1.0.1
$ docker images|grep -e "keystone" -e "glance" -e "nova" -e "neutron"
ttsubo/neutron 1.0.1 a99cea7f23f7 About a minute ago 716MB
gcr.io/gke-sample-211005/neutron 1.0.1 a99cea7f23f7 About a minute ago 716MB
ttsubo/nova 1.0.1 fd6f51db4dbe 6 minutes ago 1.01GB
gcr.io/gke-sample-211005/nova 1.0.1 fd6f51db4dbe 6 minutes ago 1.01GB
gcr.io/gke-sample-211005/glance 1.0.1 f0d960b8a0ac 12 minutes ago 666MB
ttsubo/glance 1.0.1 f0d960b8a0ac 12 minutes ago 666MB
ttsubo/keystone 1.0.1 50ea8bf48dba 18 minutes ago 621MB
gcr.io/gke-sample-211005/keystone 1.0.1 50ea8bf48dba 18 minutes ago 621MB
(3) Dockerイメージを、Container Registryにプッシュする
$ gcloud auth configure-docker
The following settings will be added to your Docker config file
located at [/Users/ttsubo/.docker/config.json]:
{
"credHelpers": {
"gcr.io": "gcloud",
"us.gcr.io": "gcloud",
"eu.gcr.io": "gcloud",
"asia.gcr.io": "gcloud",
"staging-k8s.gcr.io": "gcloud",
"marketplace.gcr.io": "gcloud"
}
}
Do you want to continue (Y/n)? y
Docker configuration file updated.
$ docker push gcr.io/$PROJECT_ID/keystone:1.0.1
... (snip)
$ docker push gcr.io/$PROJECT_ID/glance:1.0.1
... (snip)
$ docker push gcr.io/$PROJECT_ID/nova:1.0.1
... (snip)
$ docker push gcr.io/$PROJECT_ID/neutron:1.0.1
... (snip)
(4) Container RegistryにDockerイメージがアップロードできたことを確認する
$ gcloud container images list --repository=gcr.io/$PROJECT_ID
NAME
gcr.io/gke-sample-211005/glance
gcr.io/gke-sample-211005/keystone
gcr.io/gke-sample-211005/neutron
gcr.io/gke-sample-211005/nova
ちなみに、Webコンソールからも確認することができます
■ Kubernetes用Configureファイルの準備
(0) これまでの、docker-compose環境では、、、
こちらが、これまで使用していたdocker-compose用yamlファイルになります。
以下の作業では、この定義を、Kubernetes環境に移行することを目指します。
(1) Kubernetes環境でのサービス定義ファイルを準備する
今回は、Kubernetesドキュメント"Services, Load Balancing, and Networking / Services" あたりを参考にして、サービス定義ファイルを準備しました。
ちなみに、今回の環境は、あくまでも手元でKubernetes環境を動作させてみることが目的なので、外部に公開する設定は行っていません。
- mysqlサービス定義ファイル
mysql-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
name: mysql-openstack
name: mysql-openstack
spec:
ports:
- port: 3306
selector:
name: mysql-pod
- keystoneサービス定義ファイル
keystone-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
name: keystone-server
name: keystone-server
spec:
ports:
- name: admin-port
port: 35357
- name: public-port
port: 5000
selector:
name: keystone-pod
- glanceサービス定義ファイル
glance-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
name: glance-server
name: glance-server
spec:
ports:
- port: 9292
selector:
name: glance-pod
- novaサービス定義ファイル
nova-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
name: nova-server
name: nova-server
spec:
ports:
- name: port5999
port: 5999
- name: port8773
port: 8773
- name: port8774
port: 8774
- name: port8775
port: 8775
selector:
name: nova-pod
- neutronサービス定義ファイル
neutron-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
name: neutron-server
name: neutron-server
spec:
ports:
- port: 9696
selector:
name: neutron-pod
(2) Kubernetes環境でのデプロイメント定義ファイルを準備する
今回は、Kubernetesドキュメント"Workloads / Controllers / Deployments" あたりを参考にして、デプロイメント定義ファイルを準備しました。
Dockerイメージ名の指定個所は、各自のGCP環境に即したPROJECT_IDに修正する必要があります。
- mysqlデプロイメント定義ファイル
mysql-pod.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: mysql-pod
labels:
name: mysql-pod
spec:
replicas: 1
selector:
matchLabels:
name: mysql-pod
template:
metadata:
labels:
name: mysql-pod
spec:
containers:
- name: mysql-pod
image: mysql:5.5
ports:
- containerPort: 3306
env:
- name: MYSQL_ROOT_PASSWORD
value: "mysql123"
- keystoneデプロイメント定義ファイル
keystone-pod.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: keystone-pod
labels:
name: keystone-pod
spec:
replicas: 1
selector:
matchLabels:
name: keystone-pod
template:
metadata:
labels:
name: keystone-pod
spec:
containers:
- name: keystone-pod
image: gcr.io/gke-sample-211005/keystone:1.0.1
ports:
- containerPort: 5000
- containerPort: 35357
env:
- name: OS_TOKEN
value: "ADMIN"
- name: OS_URL
value: "http://localhost:35357/v3"
- name: OS_IDENTITY_API_VERSION
value: "3"
command: ["/bin/sh"]
args: ["-c", "sleep 20; /root/init_mitaka.sh; /root/start_keystone.sh"]
- glanceデプロイメント定義ファイル
glance-pod.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: glance-pod
labels:
name: glance-pod
spec:
replicas: 1
selector:
matchLabels:
name: glance-pod
template:
metadata:
labels:
name: glance-pod
spec:
containers:
- name: glance-pod
image: gcr.io/gke-sample-211005/glance:1.0.1
ports:
- containerPort: 9292
env:
- name: OS_PROJECT_DOMAIN_NAME
value: "default"
- name: OS_USER_DOMAIN_NAME
value: "default"
- name: OS_PROJECT_NAME
value: "admin"
- name: OS_USERNAME
value: "admin"
- name: OS_PASSWORD
value: "passw0rd"
- name: OS_AUTH_URL
value: "http://keystone-server:35357/v3"
- name: OS_IDENTITY_API_VERSION
value: "3"
- name: OS_IMAGE_API_VERSION
value: "2"
command: ["/bin/sh"]
args: ["-c", "sleep 60; /root/init_mitaka.sh; /usr/bin/supervisord -n"]
- novaデプロイメント定義ファイル
nova-pod.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: nova-pod
labels:
name: nova-pod
spec:
replicas: 1
selector:
matchLabels:
name: nova-pod
template:
metadata:
labels:
name: nova-pod
spec:
containers:
- name: nova-pod
image: gcr.io/gke-sample-211005/nova:1.0.1
ports:
- containerPort: 5999
- containerPort: 8773
- containerPort: 8774
- containerPort: 8775
securityContext:
privileged: true
env:
- name: OS_PROJECT_DOMAIN_NAME
value: "default"
- name: OS_USER_DOMAIN_NAME
value: "default"
- name: OS_PROJECT_NAME
value: "admin"
- name: OS_USERNAME
value: "admin"
- name: OS_PASSWORD
value: "passw0rd"
- name: OS_AUTH_URL
value: "http://keystone-server:35357/v3"
- name: OS_IDENTITY_API_VERSION
value: "3"
- name: OS_IMAGE_API_VERSION
value: "2"
command: ["/bin/sh"]
args: ["-c", "sleep 80; /root/init_mitaka.sh; /usr/bin/supervisord -n"]
- neutronデプロイメント定義ファイル
neutron-pod.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: neutron-pod
labels:
name: neutron-pod
spec:
replicas: 1
selector:
matchLabels:
name: neutron-pod
template:
metadata:
labels:
name: neutron-pod
spec:
containers:
- name: neutron-pod
image: gcr.io/gke-sample-211005/neutron:1.0.1
ports:
- containerPort: 9696
securityContext:
privileged: true
env:
- name: OS_PROJECT_DOMAIN_NAME
value: "default"
- name: OS_USER_DOMAIN_NAME
value: "default"
- name: OS_PROJECT_NAME
value: "admin"
- name: OS_USERNAME
value: "admin"
- name: OS_PASSWORD
value: "passw0rd"
- name: OS_AUTH_URL
value: "http://keystone-server:35357/v3"
- name: OS_IDENTITY_API_VERSION
value: "3"
- name: OS_IMAGE_API_VERSION
value: "2"
command: ["/bin/sh"]
args: ["-c", "sleep 80; /root/init_mitaka.sh; /usr/bin/supervisord -n"]
■ Kubernetes環境へのDockerコンテナのデプロイ
(1) サービス定義ファイルを用いて、サービスを作成する
$ kubectl create -f mysql-service.yaml
service "mysql-openstack" created
$ kubectl create -f keystone-service.yaml
service "keystone-server" created
$ kubectl create -f glance-service.yaml
service "glance-server" created
$ kubectl create -f nova-service.yaml
service "nova-server" created
$ kubectl create -f neutron-service.yaml
service "neutron-server" created
$ kubectl get service -o wide
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
glance-server ClusterIP 10.31.250.56 <none> 9292/TCP 53s name=glance-pod
keystone-server ClusterIP 10.31.247.219 <none> 35357/TCP,5000/TCP 59s name=keystone-pod
kubernetes ClusterIP 10.31.240.1 <none> 443/TCP 1h <none>
mysql-openstack ClusterIP 10.31.251.93 <none> 3306/TCP 1m name=mysql-pod
neutron-server ClusterIP 10.31.241.77 <none> 9696/TCP 38s name=neutron-pod
nova-server ClusterIP 10.31.242.236 <none> 5999/TCP,8773/TCP,8774/TCP,8775/TCP 46s name=nova-pod
(2) デプロイメント定義ファイルを用いて、Dockerコンテナ用Podを作成する(keystone用Pod作成したのち、約１分程度待ってから、glance用Podを作成する必要があります。)
$ kubectl create -f mysql-pod.yaml
deployment "mysql-pod" created
$ kubectl create -f keystone-pod.yaml
deployment "keystone-pod" created
$ kubectl create -f glance-pod.yaml
deployment "glance-pod" created
$ kubectl create -f nova-pod.yaml
deployment "nova-pod" created
$ kubectl create -f neutron-pod.yaml
deployment "neutron-pod" created
$ kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE
glance-pod-74d57c9557-5gbpn 1/1 Running 0 1m 10.28.0.13 gke-openstack-sample-default-pool-5954c0d1-r4c3
keystone-pod-5f786f6cf5-7bh2d 1/1 Running 0 2m 10.28.0.12 gke-openstack-sample-default-pool-5954c0d1-r4c3
mysql-pod-9d78d5c7c-477vp 1/1 Running 0 2m 10.28.0.11 gke-openstack-sample-default-pool-5954c0d1-r4c3
neutron-pod-667cc7f886-pj8qg 1/1 Running 0 1m 10.28.0.15 gke-openstack-sample-default-pool-5954c0d1-r4c3
nova-pod-b4dd67b7f-gkxt6 1/1 Running 0 1m 10.28.0.14 gke-openstack-sample-default-pool-5954c0d1-r4c3
■ いよいよ、OpenStack基本動作を確認してみる
1. 仮想ネットワーク環境を作成する
neutron-server環境下で、neutronサービス基本動作を試してみたいと思います。
(1) neutronコンテナにログインする
$ kubectl get pods
NAME READY STATUS RESTARTS AGE
glance-pod-74d57c9557-5gbpn 1/1 Running 0 1m
keystone-pod-5f786f6cf5-7bh2d 1/1 Running 0 3m
mysql-pod-9d78d5c7c-477vp 1/1 Running 0 3m
neutron-pod-667cc7f886-pj8qg 1/1 Running 0 1m
nova-pod-b4dd67b7f-gkxt6 1/1 Running 0 1m
$ kubectl exec -it neutron-pod-667cc7f886-pj8qg bash
root@neutron-pod-667cc7f886-pj8qg:~#
(2) neutronエージェント構成を確認しておく
root@neutron-pod-667cc7f886-pj8qg:~# neutron agent-list
+--------------------------------------+--------------------+------------------------------+-------------------+-------+----------------+---------------------------+
| id | agent_type | host | availability_zone | alive | admin_state_up | binary |
+--------------------------------------+--------------------+------------------------------+-------------------+-------+----------------+---------------------------+
| 061ba689-846a-4c73-bc86-6bbff80a96dc | DHCP agent | neutron-pod-667cc7f886-pj8qg | nova | :-) | True | neutron-dhcp-agent |
| 44ca8fda-d872-4d91-abd0-432b05d291d1 | Linux bridge agent | neutron-pod-667cc7f886-pj8qg | | :-) | True | neutron-linuxbridge-agent |
| df02f54f-3ae8-4829-b6c4-32aefd2ecd65 | L3 agent | neutron-pod-667cc7f886-pj8qg | nova | :-) | True | neutron-l3-agent |
+--------------------------------------+--------------------+------------------------------+-------------------+-------+----------------+---------------------------+
(3) 新たに、networkリソースを作成する
root@neutron-pod-667cc7f886-pj8qg:~# neutron net-create admin_net
Created a new network:
+---------------------------+--------------------------------------+
| Field | Value |
+---------------------------+--------------------------------------+
| admin_state_up | True |
| availability_zone_hints | |
| availability_zones | |
| created_at | 2018-07-22T07:44:30 |
| description | |
| id | c329a92c-c66a-4dbf-bc41-5d0cfbc7b7c9 |
| ipv4_address_scope | |
| ipv6_address_scope | |
| mtu | 1500 |
| name | admin_net |
| provider:network_type | local |
| provider:physical_network | |
| provider:segmentation_id | |
| router:external | False |
| shared | False |
| status | ACTIVE |
| subnets | |
| tags | |
| tenant_id | e97dc78bf1294314be843a5698f19d3c |
| updated_at | 2018-07-22T07:44:30 |
+---------------------------+--------------------------------------+
(4) Subnetリソースを作成する
root@neutron-pod-667cc7f886-pj8qg:~# neutron subnet-create admin_net 10.0.0.0/24 --name admin_subnet
Created a new subnet:
+-------------------+--------------------------------------------+
| Field | Value |
+-------------------+--------------------------------------------+
| allocation_pools | {"start": "10.0.0.2", "end": "10.0.0.254"} |
| cidr | 10.0.0.0/24 |
| created_at | 2018-07-22T07:45:23 |
| description | |
| dns_nameservers | |
| enable_dhcp | True |
| gateway_ip | 10.0.0.1 |
| host_routes | |
| id | d85feb29-212c-4ff5-8363-63a0d18cc137 |
| ip_version | 4 |
| ipv6_address_mode | |
| ipv6_ra_mode | |
| name | admin_subnet |
| network_id | c329a92c-c66a-4dbf-bc41-5d0cfbc7b7c9 |
| subnetpool_id | |
| tenant_id | e97dc78bf1294314be843a5698f19d3c |
| updated_at | 2018-07-22T07:45:23 |
+-------------------+--------------------------------------------+
root@neutron-pod-667cc7f886-pj8qg:~# neutron net-list
+--------------------------------------+-----------+--------------------------------------------------+
| id | name | subnets |
+--------------------------------------+-----------+--------------------------------------------------+
| c329a92c-c66a-4dbf-bc41-5d0cfbc7b7c9 | admin_net | d85feb29-212c-4ff5-8363-63a0d18cc137 10.0.0.0/24 |
+--------------------------------------+-----------+--------------------------------------------------+
(5) neutronコンテナからログアウトする
root@neutron-pod-667cc7f886-pj8qg:~# exit
exit
ここまでは、期待通り、Neutronコンポーネントが動作できているようです。
2. Novaインスタンスを作成する
(1) novaコンテナにログインする
$ kubectl exec -it nova-pod-b4dd67b7f-gkxt6 bash
root@nova-pod-b4dd67b7f-gkxt6:~#
(2) glanceイメージを確認しておく
root@nova-pod-b4dd67b7f-gkxt6:~# glance image-list
+--------------------------------------+--------+
| ID | Name |
+--------------------------------------+--------+
| 82bd9973-ff62-4ed3-9154-4aae5b98cd36 | cirros |
+--------------------------------------+--------+
(3) novaフレーバーを確認しておく
root@nova-pod-b4dd67b7f-gkxt6:~# nova flavor-list
+----+-----------+-----------+------+-----------+------+-------+-------------+-----------+
| ID | Name | Memory_MB | Disk | Ephemeral | Swap | VCPUs | RXTX_Factor | Is_Public |
+----+-----------+-----------+------+-----------+------+-------+-------------+-----------+
| 1 | m1.tiny | 512 | 1 | 0 | | 1 | 1.0 | True |
| 2 | m1.small | 2048 | 20 | 0 | | 1 | 1.0 | True |
| 3 | m1.medium | 4096 | 40 | 0 | | 2 | 1.0 | True |
| 4 | m1.large | 8192 | 80 | 0 | | 4 | 1.0 | True |
| 5 | m1.xlarge | 16384 | 160 | 0 | | 8 | 1.0 | True |
+----+-----------+-----------+------+-----------+------+-------+-------------+-----------+
(4) Novaインスタンスの管理ポート用に、新たにPortリソースを作成する
root@nova-pod-b4dd67b7f-gkxt6:~# neutron port-create admin_net
Created a new port:
+-----------------------+---------------------------------------------------------------------------------+
| Field | Value |
+-----------------------+---------------------------------------------------------------------------------+
| admin_state_up | True |
| allowed_address_pairs | |
| binding:host_id | |
| binding:profile | {} |
| binding:vif_details | {} |
| binding:vif_type | unbound |
| binding:vnic_type | normal |
| created_at | 2018-07-22T08:17:20 |
| description | |
| device_id | |
| device_owner | |
| extra_dhcp_opts | |
| fixed_ips | {"subnet_id": "d85feb29-212c-4ff5-8363-63a0d18cc137", "ip_address": "10.0.0.2"} |
| id | 05853162-921c-4bef-ae08-8738ba7c2084 |
| mac_address | fa:16:3e:6c:ff:c4 |
| name | |
| network_id | c329a92c-c66a-4dbf-bc41-5d0cfbc7b7c9 |
| security_groups | b3088289-f015-4a71-a88b-2c2ac41df535 |
| status | DOWN |
| tenant_id | e97dc78bf1294314be843a5698f19d3c |
| updated_at | 2018-07-22T08:17:20 |
+-----------------------+---------------------------------------------------------------------------------+
root@nova-pod-b4dd67b7f-gkxt6:~# neutron port-list
+--------------------------------------+------+-------------------+---------------------------------------------------------------------------------+
| id | name | mac_address | fixed_ips |
+--------------------------------------+------+-------------------+---------------------------------------------------------------------------------+
...
| 05853162-921c-4bef-ae08-8738ba7c2084 | | fa:16:3e:6c:ff:c4 | {"subnet_id": "d85feb29-212c-4ff5-8363-63a0d18cc137", "ip_address": "10.0.0.2"} |
+--------------------------------------+------+-------------------+---------------------------------------------------------------------------------+
(5) 新たに、Novaインスタンスを作成する
root@nova-pod-b4dd67b7f-gkxt6:~# nova boot --flavor 1 --image cirros --nic port-id=05853162-921c-4bef-ae08-8738ba7c2084 server1
+--------------------------------------+-----------------------------------------------+
| Property | Value |
+--------------------------------------+-----------------------------------------------+
| OS-DCF:diskConfig | MANUAL |
| OS-EXT-AZ:availability_zone | |
| OS-EXT-SRV-ATTR:host | - |
| OS-EXT-SRV-ATTR:hypervisor_hostname | - |
| OS-EXT-SRV-ATTR:instance_name | instance-00000001 |
| OS-EXT-STS:power_state | 0 |
| OS-EXT-STS:task_state | scheduling |
| OS-EXT-STS:vm_state | building |
| OS-SRV-USG:launched_at | - |
| OS-SRV-USG:terminated_at | - |
| accessIPv4 | |
| accessIPv6 | |
| adminPass | DEFR2JEkbKbP |
| config_drive | |
| created | 2018-07-22T08:21:50Z |
| flavor | m1.tiny (1) |
| hostId | |
| id | 13ab2ca4-303d-4e71-bf81-2ea82817f4a4 |
| image | cirros (82bd9973-ff62-4ed3-9154-4aae5b98cd36) |
| key_name | - |
| metadata | {} |
| name | server1 |
| os-extended-volumes:volumes_attached | [] |
| progress | 0 |
| security_groups | default |
| status | BUILD |
| tenant_id | e97dc78bf1294314be843a5698f19d3c |
| updated | 2018-07-22T08:21:51Z |
| user_id | bdf0a213fca94706adabc2cbc7c92dd5 |
+--------------------------------------+-----------------------------------------------+
root@nova-pod-b4dd67b7f-gkxt6:~# nova list
+--------------------------------------+---------+--------+------------+-------------+----------+
| ID | Name | Status | Task State | Power State | Networks |
+--------------------------------------+---------+--------+------------+-------------+----------+
| 13ab2ca4-303d-4e71-bf81-2ea82817f4a4 | server1 | ACTIVE | - | Running | |
+--------------------------------------+---------+--------+------------+-------------+----------+
ちなみに、作成したNovaインスタンスは、Fakeドライバを作成したダミーインスタンスなので実態は、存在しません。
root@nova-pod-3143696547-7xbw7:~# cat /etc/nova/nova.conf
...
compute_driver = fake.FakeDriver
...
(6) neutronコンテナからログアウトする
root@nova-pod-b4dd67b7f-gkxt6:~# exit
exit
こちらも、期待通り、Novaコアコンポーネントが動作できているようです。
■ 補足；Pod間のDockeコンテナ通信を試してみる
せっかくなので、この環境で、Pod間通信を少し試しておきます。
(1) まず、PodsのIPアドレスを確認しておく
$ kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE
glance-pod-74d57c9557-5gbpn 1/1 Running 0 45m 10.28.0.13 gke-openstack-sample-default-pool-5954c0d1-r4c3
keystone-pod-5f786f6cf5-7bh2d 1/1 Running 0 46m 10.28.0.12 gke-openstack-sample-default-pool-5954c0d1-r4c3
mysql-pod-9d78d5c7c-477vp 1/1 Running 0 47m 10.28.0.11 gke-openstack-sample-default-pool-5954c0d1-r4c3
neutron-pod-667cc7f886-wk9rd 1/1 Running 0 34m 10.28.2.7 gke-openstack-sample-default-pool-5954c0d1-hzsj
nova-pod-b4dd67b7f-gkxt6 1/1 Running 0 45m 10.28.0.14 gke-openstack-sample-default-pool-5954c0d1-r4c3
keystone-podのIPアドレスには、"10.28.0.12"、mysql-podのIPアドレスには、10.28.0.11が、各々割り当てられていることが確認できました。
(2) 続いて、Cluster-IPを確認しておく
$ kubectl get service -o wide
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
glance-server ClusterIP 10.31.250.56 <none> 9292/TCP 55m name=glance-pod
keystone-server ClusterIP 10.31.247.219 <none> 35357/TCP,5000/TCP 55m name=keystone-pod
kubernetes ClusterIP 10.31.240.1 <none> 443/TCP 2h <none>
mysql-openstack ClusterIP 10.31.251.93 <none> 3306/TCP 55m name=mysql-pod
neutron-server ClusterIP 10.31.241.77 <none> 9696/TCP 55m name=neutron-pod
nova-server ClusterIP 10.31.242.236 <none> 5999/TCP,8773/TCP,8774/TCP,8775/TCP 55m name=nova-pod
"mysql-openstack"には、"10.31.251.93"が割り振られたことが確認できました。
(3) keystone-podにログインして、IPアドレスを確認する
$ kubectl exec -it keystone-pod-5f786f6cf5-7bh2d bash
root@keystone-pod-5f786f6cf5-7bh2d:~# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
3: eth0@if15: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1460 qdisc noqueue state UP group default
link/ether 0a:58:0a:1c:00:0c brd ff:ff:ff:ff:ff:ff
inet 10.28.0.12/24 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::b4d2:57ff:fea2:b360/64 scope link
valid_lft forever preferred_lft forever
keystone-podには、"10.28.0.12"が割り当てられていました。
(4) keystone-podから、mysql-podに、直接、pingを打ってみる
root@keystone-pod-5f786f6cf5-7bh2d:~# ping 10.28.0.11
PING 10.28.0.11 (10.28.0.11) 56(84) bytes of data.
64 bytes from 10.28.0.11: icmp_seq=1 ttl=64 time=0.086 ms
64 bytes from 10.28.0.11: icmp_seq=2 ttl=64 time=0.076 ms
64 bytes from 10.28.0.11: icmp_seq=3 ttl=64 time=0.070 ms
64 bytes from 10.28.0.11: icmp_seq=4 ttl=64 time=0.073 ms
^C
--- 10.28.0.11 ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3001ms
rtt min/avg/max/mdev = 0.070/0.076/0.086/0.008 ms
問題なく、mysql-podに、ping通信できました。
(5) keystone-podから、mysql-podに、直接、MYSQLクライアント経由でアクセスしてみる
root@keystone-pod-5f786f6cf5-7bh2d:~# mysql -uroot -pmysql123 -h10.28.0.11
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 65
Server version: 5.5.60 MySQL Community Server (GPL)
Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| glance |
| keystone |
| mysql |
| neutron |
| nova |
| nova_api |
| performance_schema |
+--------------------+
8 rows in set (0.06 sec)
mysql>
mysql-podへの、MYSQLアクセスも可能になりました。
(6) keystone-podから、mysql-podに、Cluster-IPを介して、pingを打ってみる
root@keystone-pod-5f786f6cf5-7bh2d:~# env |grep MYSQL
MYSQL_OPENSTACK_PORT_3306_TCP=tcp://10.31.251.93:3306
MYSQL_OPENSTACK_PORT_3306_TCP_PORT=3306
MYSQL_OPENSTACK_PORT_3306_TCP_PROTO=tcp
MYSQL_OPENSTACK_PORT_3306_TCP_ADDR=10.31.251.93
MYSQL_OPENSTACK_PORT=tcp://10.31.251.93:3306
MYSQL_OPENSTACK_SERVICE_PORT=3306
MYSQL_OPENSTACK_SERVICE_HOST=10.31.251.93
root@keystone-pod-5f786f6cf5-7bh2d:~# ping 10.31.251.93
PING 10.31.251.93 (10.31.251.93) 56(84) bytes of data.
^C
--- 10.31.251.93 ping statistics ---
6 packets transmitted, 0 received, 100% packet loss, time 4999ms
Cluster-IPアドレスを直接指定して、pingを打った場合には、不達になりました。
(7) keystone-podから、mysql-podに、Cluster-IPを介して、MYSQLクライアント経由でアクセスしてみる
root@keystone-pod-5f786f6cf5-7bh2d:~# mysql -uroot -pmysql123 -h10.31.251.93
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 67
Server version: 5.5.60 MySQL Community Server (GPL)
Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| glance |
| keystone |
| mysql |
| neutron |
| nova |
| nova_api |
| performance_schema |
+--------------------+
8 rows in set (0.00 sec)
mysql>
Cluster-IPアドレスを直接指定して、MYSQLアクセスは、可能になりました。
root@keystone-pod-5f786f6cf5-7bh2d:~# apt-get update
root@keystone-pod-5f786f6cf5-7bh2d:~# apt-get install -y dnsutils
root@keystone-pod-5f786f6cf5-7bh2d:~# nslookup mysql-openstack
Server: 10.31.240.10
Address: 10.31.240.10#53
Name: mysql-openstack.default.svc.cluster.local
Address: 10.31.251.93
root@keystone-pod-5f786f6cf5-7bh2d:~# mysql -uroot -pmysql123 -hmysql-openstack
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 68
Server version: 5.5.60 MySQL Community Server (GPL)
Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| glance |
| keystone |
| mysql |
| neutron |
| nova |
| nova_api |
| performance_schema |
+--------------------+
8 rows in set (0.00 sec)
mysql>
今度は、Cluster-IPアドレスを直接指定せずに、DNSエントリされた"mysql-openstack"を指定しても、MYSQLアクセスが可能になりました。
以上のPod間通信に関わる動作確認から、二つの結論が導き出されるようです。
- PodまたがりのDockerコンテナ間の直接通信では、特にフィルタなしにアクセスが可能である。
- PodまたがりのDockerコンテナ間のCluster-IP経由した通信では、サービス定義ファイルで指定されたポート番号に限り通信が許容される。
■ 終わりに
OpenStackコアコンポーネントによるマイクロサービス的な基本動作は、想定通り動作することが確認できました。
ただし、Docker-composeを使用している際には、Dockerコンテナ間の通信は、単に、リンクを指定しておくだけだったですが、KubernetesのPod間通信については、もっと体系的に、Kubernetesクラスタにおけるネットワーク知識を、もっと会得する必要があることが判明しました。
これは、大きな収穫ですけど。
■ 参考情報
- Lab: Deploy a Sample Game API Application on GKE
- WEB+DB-PRESS Vol99 「実践Kubernetes」
- プログラマのためのGoogle Cloud Platform入門