はじめに

install_yamls は、OpenShift を CRC （Red Hat OpenSHift Local）でインストールし、その環境下で OpenStack をインストールするスクリプト集です。
ローカルコンピューター１台に KVM を利用し、すべての環境を構築できるようになっています。

本記事は、検証環境での構築検証のまとめです。基本的には install_yamls の README に沿って進められますが、前提条件の記載が不足しているので、補いながらまとめていきます。

本記事は 2024年3月時点での内容です。 install_yamls や関連の資材は upstream版であり、開発が活発です。仕様や構築手順が変更される可能性があります。READMEと併せてご参照ください。

動作環境

以下のミニPCで動作検証を行いました。

項目	内容
機種	Minisforum UM790 Pro
スペック	16core, 64GB Mem, 1TB Disk
OS	CentOS9 Stream (Server GUI)

構築後の構成

以下のKVM guestが作成されました。

ホスト名	OS	スペック	役割
crc	CoreOS 4.14	12core, 24.4GB Mem, 100GB Disk	OpenShift (CRC)
edpm-compute-0	CentOS9-stream	2core, 3.5GB Mem, 20GB Disk	Computeノード#1
edpm-compute-1	CentOS9-stream	2core, 3.5GB Mem, 20GB Disk	Computeノード#2

ネットワーク構成は以下の通りです。（一部省略しています）

構築手順

Deploy dev env using CRC, edpm nodes with isolated networks に沿って進めていきます。

1. KVMホストをインストールする

CentOS9 Stream を Server GUI でインストールします。

2. パッケージをインストールする

インストールに必要なパッケージをインストールします。

sudo dnf install -y git tar make go-toolset httpd-tools

その他、yq も必要なのですが、リポジトリになさそうだったので、 GitHub から最新のバイナリをダウンロードします。

sudo wget https://github.com/mikefarah/yq/releases/latest/download/yq_linux_amd64 -O /usr/bin/yq && sudo chmod +x /usr/bin/yq

3. install_yamls をクローンする

git clone https://github.com/openstack-k8s-operators/install_yamls.git

4. Pull secret をダウンロードする

以下のページから Pull secret を入手し、 ~/install_yamls/devsetup/pull-secret.txt に配置します。

https://console.redhat.com/openshift/create/local

5. CRC をインストールする

一般ユーザーで実行することに注意します。
なお、CRCのスペックは KVMホストのスペックに合わせて調整します。

cd install_yamls/devsetup
CPUS=12 MEMORY=25600 DISK=100 make crc

Download bundle の処理で 4.33GiB のファイルをダウンロードするのですが、ここで１時間半くらい掛かりました。気長に待ちましょう。
インストールに成功すると、以下のように出力されます。

実行結果例

(中略)
Started the OpenShift cluster.

The server is accessible via web console at:
  https://console-openshift-console.apps-crc.testing

Log in as administrator:
  Username: kubeadmin
  Password: 12345678

Log in as user:
  Username: developer
  Password: developer

Use the 'oc' command line interface:
  $ eval $(crc oc-env)
  $ oc login -u developer https://api.crc.testing:6443
Get "http://unix/api/webconsoleurl": dial unix /home/user/.crc/crc-http.sock: connect: no such file or directory
Login successful.

You have access to 65 projects, the list has been suppressed. You can list all projects with 'oc projects'

Using project "default".
Adding router-ca to system certs to allow accessing the crc image registry/tmp/tls.crt

crc コマンドが使えるようになっています。

実行結果例

$ which crc
~/bin/crc
$ crc -h
CRC is a tool that manages a local OpenShift 4.x cluster optimized for testing and development purposes

Usage:
  crc [flags]
  crc [command]

Available Commands:
  bundle      Manage CRC bundles
  cleanup     Undo config changes
  completion  Generate the autocompletion script for the specified shell
  config      Modify crc configuration
  console     Open the OpenShift Web Console in the default browser
  delete      Delete the instance
  help        Help about any command
  ip          Get IP address of the running OpenShift cluster
  oc-env      Add the 'oc' executable to PATH
  podman-env  Setup podman environment
  setup       Set up prerequisites for using CRC
  start       Start the instance
  status      Display status of the OpenShift cluster
  stop        Stop the instance
  version     Print version information

Flags:
  -h, --help               help for crc
      --log-level string   log level (e.g. "debug | info | warn | error") (default "info")

Use "crc [command] --help" for more information about a command.

6. OCP にログインする

インストール後の案内に従い、 OCP にログインします。

eval $(crc oc-env)
oc login -u kubeadmin -p 12345678 https://api.crc.testing:6443

なお、oc コマンドは ~/.crc/ 配下に配置されています。

$ which oc
~/.crc/bin/oc/oc

7. libvirt のデフォルトネットワークを crc にアタッチする

このネットワークは、vlanを使用してネットワークを分離するためのvlanトランクとして使用されます。

make crc_attach_default_interface

8. EDPMノードを作成する

EDPM_TOTAL_NODES=2 make edpm_compute

インストールに失敗したときは、 make edpm_compute_cleanup でインスタンスを削除できます。

9. 依存環境を作成する

以下の処理をしているようです:

PVを12個作成する
secret/osp-secret を作成する

cd ..
make crc_storage
make input

10. kubectl, kustomize をインストールする

※参考: https://kubernetes.io/ja/docs/tasks/tools/install-kubectl/

curl -LO "https://dl.k8s.io/release/$(curl -LS https://dl.k8s.io/release/stable.txt)/bin/linux/amd64/kubectl"
chmod +x ./kubectl
mv kubectl ~/bin

※参考: https://kubectl.docs.kubernetes.io/installation/kustomize/binaries/

curl -s "https://raw.githubusercontent.com/kubernetes-sigs/kustomize/master/hack/install_kustomize.sh"  | bash
mv kustomize ~/bin

11. openstack-operator をインストールする

make openstack

NETWORK_ISOLATION==true の場合（デフォルト値です）、nmstate と metallb operator をインストールし、nncp 経由で crc VMのセカンダリインターフェースを設定し、datacentre, internalapi, storage, tenant network の network-attachment-definitions を作成します。metallb l2advertisement と ipaddresspools も作成されます。

12. コントロールプレーンをデプロイする

make openstack_deploy

13. EDPM Computeをデプロイする

少し時間をおかないと EDPM_OVN_METADATA_AGENT_NOVA_METADATA_HOST に値が代入されず、エラーになるので、 oc get pod を実行して、 pod がすべて起動するまで待ったほうがよさそうです。

$ oc get pod
NAME                                   READY   STATUS      RESTARTS   AGE
ceilometer-794f8dfb7-wgm67             3/3     Running     0          3m30s
cinder-api-85bb466b65-xq5k6            2/2     Running     0          2m12s
cinder-db-create-96rpr                 0/1     Completed   0          3m30s
cinder-db-sync-nxdrn                   0/1     Completed   0          3m20s
cinder-scheduler-0                     2/2     Running     0          2m13s
dnsmasq-dns-747796c7cd-qx2pp           1/1     Running     0          15s
glance-db-create-l2jqq                 0/1     Completed   0          4m14s
glance-db-sync-dcrbz                   0/1     Completed   0          4m4s
glance-external-api-8484dd969b-jx6n5   2/2     Running     0          3m27s
glance-internal-api-747cc8fb6b-v79m9   2/2     Running     0          3m27s
keystone-8698d99d5d-5npvq              1/1     Running     0          3m29s
keystone-bootstrap-kffnc               0/1     Completed   0          3m45s
keystone-db-create-ntp2s               0/1     Completed   0          4m19s
keystone-db-sync-prrr7                 0/1     Completed   0          4m9s
memcached-0                            1/1     Running     0          6m15s
neutron-7d4886c7-v5hxc                 1/1     Running     0          2m30s
neutron-db-create-hxjmp                0/1     Completed   0          3m30s
neutron-db-sync-rrhd2                  0/1     Completed   0          3m20s
nova-api-0                             2/2     Running     0          36s
nova-api-db-create-ffpj7               0/1     Completed   0          3m3s
nova-cell0-cell-mapping-kg5h9          0/1     Completed   0          100s
nova-cell0-conductor-0                 1/1     Running     0          110s
nova-cell0-conductor-db-sync-6v5t2     0/1     Completed   0          2m52s
nova-cell0-db-create-vg5n4             0/1     Completed   0          3m2s
nova-cell1-cell-mapping-bspng          0/1     Completed   0          58s
nova-cell1-conductor-0                 1/1     Running     0          83s
nova-cell1-conductor-db-sync-xj8cg     0/1     Completed   0          99s
nova-cell1-db-create-mrkz8             0/1     Completed   0          3m2s
nova-cell1-novncproxy-0                2/2     Running     0          99s
nova-metadata-0                        2/2     Running     0          36s
nova-scheduler-0                       1/1     Running     0          37s
openstack-cell1-galera-0               1/1     Running     0          6m13s
openstack-galera-0                     1/1     Running     0          6m15s
openstackclient                        1/1     Running     0          3m5s
ovn-controller-7zv9s                   3/3     Running     0          6m13s
ovn-northd-6f67fc7756-5t5bq            1/1     Running     0          4m49s
ovsdbserver-nb-0                       1/1     Running     0          6m13s
ovsdbserver-sb-0                       1/1     Running     0          6m11s
placement-78899ccf4-fzjqs              1/1     Running     0          2m51s
placement-db-create-xwtfj              0/1     Completed   0          3m31s
placement-db-sync-zs44j                0/1     Completed   0          3m21s
rabbitmq-cell1-server-0                1/1     Running     0          6m13s
rabbitmq-server-0                      1/1     Running     0          6m15s
swift-proxy-9dbcf45bc-jgfq8            3/3     Running     0          3m23s
swift-ring-rebalance-qglpw             0/1     Completed   0          6m10s
swift-storage-0                        16/16   Running     0          6m10s

EDPM Computeノードをデプロイします。

DATAPLANE_TOTAL_NODES=2 make edpm_wait_deploy

インストールは *-deployment-* というpodで処理されます。すべて Completed になっていることを確認します。

$ oc get pod |grep deployment
bootstrap-edpm-deployment-5scnj                                 0/1     Completed          0             15m
configure-network-edpm-deployment-9r7dc                         0/1     Completed          0             8m42s
configure-os-edpm-deployment-drbzd                              0/1     Completed          0             7m7s
download-cache-edpm-deployment-5fwjz                            0/1     Completed          0             13m
install-certs-edpm-deployment-dqf8n                             0/1     Completed          0             5m47s
install-os-edpm-deployment-hm2cg                                0/1     Completed          0             7m32s
libvirt-edpm-deployment-gxw5p                                   0/1     Completed          0             4m33s
neutron-metadata-edpm-deployment-qjz5s                          0/1     Completed          0             5m3s
nova-custom-edpm-deployment-884b9                               0/1     Completed          0             2m49s
ovn-edpm-deployment-9gz6t                                       0/1     Completed          0             5m38s
reboot-os-edpm-deployment-jqsdv                                 0/1     Completed          0             6m6s
repo-setup-edpm-deployment-7v584                                0/1     Completed          0             16m
run-os-edpm-deployment-467b7                                    0/1     Completed          0             6m24s
ssh-known-hosts-edpm-deployment-ghv2b                           0/1     Completed          0             6m36s
telemetry-edpm-deployment-hslts                                 0/1     Completed          0             86s
validate-network-edpm-deployment-s2dnn                          0/1     Completed          0             7m43s

14. インストール後、状態を確認する

実行結果例

$ oc rsh openstackclient
sh-5.1$ openstack compute service list
+--------------------------------------+----------------+------------------------+----------+---------+-------+----------------------------+
| ID                                   | Binary         | Host                   | Zone     | Status  | State | Updated At                 |
+--------------------------------------+----------------+------------------------+----------+---------+-------+----------------------------+
| bedc1cfa-66a7-47d0-8c45-3363f414b65e | nova-conductor | nova-cell1-conductor-0 | internal | enabled | up    | 2023-09-12T15:18:50.000000 |
| f2167a17-63f9-4446-9945-7eb00421ce81 | nova-compute   | edpm-compute-0         | nova     | enabled | up    | 2023-09-12T15:18:48.000000 |
| 7e66f39c-6531-4d74-981c-276ac4990a87 | nova-compute   | edpm-compute-1         | nova     | enabled | up    | 2023-09-12T15:18:48.000000 |
| 73a97f9b-04ec-4d62-bf16-0b68ebade238 | nova-conductor | nova-cell0-conductor-0 | internal | enabled | up    | 2023-09-12T15:18:48.000000 |
| 48ed632a-b256-4e1e-9574-98bf647a6410 | nova-scheduler | nova-scheduler-0       | internal | enabled | up    | 2023-09-12T15:18:53.000000 |
+--------------------------------------+----------------+------------------------+----------+---------+-------+----------------------------+
sh-5.1$ openstack network agent list
+--------------------------------------+------------------------------+--------------------+-------------------+-------+-------+----------------+
| ID                                   | Agent Type                   | Host               | Availability Zone | Alive | State | Binary         |
+--------------------------------------+------------------------------+--------------------+-------------------+-------+-------+----------------+
| 71324b22-e7fd-49e0-b04e-bc4b4e92b7e8 | OVN Controller Gateway agent | crc-mmwz7-master-0 |                   | :-)   | UP    | ovn-controller |
| 245e17de-2269-46f9-bd38-455043336a43 | OVN Controller agent         | edpm-compute-0     |                   | :-)   | UP    | ovn-controller |
| 5033141f-b343-432c-be22-03bef496d6f6 | OVN Controller agent         | edpm-compute-1     |                   | :-)   | UP    | ovn-controller |
+--------------------------------------+------------------------------+--------------------+-------------------+-------+-------+----------------+
sh-5.1$ openstack endpoint list
+----------------------------------+-----------+--------------+--------------+---------+-----------+-----------------------------------------------------------------------+
| ID                               | Region    | Service Name | Service Type | Enabled | Interface | URL                                                                   |
+----------------------------------+-----------+--------------+--------------+---------+-----------+-----------------------------------------------------------------------+
| 17bf613824ba4d889aa3c11d4b16e5b3 | regionOne | keystone     | identity     | True    | public    | https://keystone-public-openstack.apps-crc.testing                    |
| 2341a3d8d9844dac98243d16fd8d2b8c | regionOne | barbican     | key-manager  | True    | public    | https://barbican-public-openstack.apps-crc.testing                    |
| 3a53e8e58df0437e81a71d0c3b7313bc | regionOne | swift        | object-store | True    | internal  | http://swift-internal.openstack.svc:8080/v1/AUTH_%(tenant_id)s        |
| 5589f47425af4b7a9a075688897402a9 | regionOne | keystone     | identity     | True    | internal  | http://keystone-internal.openstack.svc:5000                           |
| 5aea23cdb2d54bec82d996236439a4a3 | regionOne | swift        | object-store | True    | public    | https://swift-public-openstack.apps-crc.testing/v1/AUTH_%(tenant_id)s |
| 5b625e00b40c4662813c652fedff8342 | regionOne | cinderv3     | volumev3     | True    | public    | https://cinder-public-openstack.apps-crc.testing/v3                   |
| 647ee83fcc5d45c3bbbe4e440ca3227c | regionOne | cinderv3     | volumev3     | True    | internal  | http://cinder-internal.openstack.svc:8776/v3                          |
| 79c75d68cbc743928e02f0008b96fd65 | regionOne | placement    | placement    | True    | public    | https://placement-public-openstack.apps-crc.testing                   |
| 96219caae0bd47d3a7d0438bec5769e9 | regionOne | glance       | image        | True    | public    | https://glance-default-public-openstack.apps-crc.testing              |
| a92ad7efcb4442bc9159fba870fe7bf8 | regionOne | neutron      | network      | True    | internal  | http://neutron-internal.openstack.svc:9696                            |
| a95f75f3cd9a4bffb2eca51e71f2d842 | regionOne | nova         | compute      | True    | internal  | http://nova-internal.openstack.svc:8774/v2.1                          |
| aec6b9fc0d0c4c81ba2115eef484139e | regionOne | neutron      | network      | True    | public    | https://neutron-public-openstack.apps-crc.testing                     |
| cd9ed82a172c4b779a281bc01ac621e5 | regionOne | nova         | compute      | True    | public    | https://nova-public-openstack.apps-crc.testing/v2.1                   |
| d5c5612834874dc9966edb4bb23c86cc | regionOne | placement    | placement    | True    | internal  | http://placement-internal.openstack.svc:8778                          |
| e0320b16d48e415fb68d0082e59a6a5a | regionOne | glance       | image        | True    | internal  | http://glance-default-internal.openstack.svc:9292                     |
| ea16894b5bd940a687958c5842b1a2cc | regionOne | barbican     | key-manager  | True    | internal  | http://barbican-internal.openstack.svc:9311                           |
+----------------------------------+-----------+--------------+--------------+---------+-----------+-----------------------------------------------------------------------+

15. 動作確認

edpm_deploy_instance を実行すると、環境にインスタンスを作ってくれます。

cd devsetup
make edpm_deploy_instance

以下のようにインスタンスが作成されました。

実行結果例

$ oc rsh openstackclient openstack server list
+--------------------------------------+------+--------+--------------------------------------+--------+----------+
| ID                                   | Name | Status | Networks                             | Image  | Flavor   |
+--------------------------------------+------+--------+--------------------------------------+--------+----------+
| 0254c185-6910-40b6-9822-506065e993f0 | test | ACTIVE | private=192.168.0.21, 192.168.122.20 | cirros | m1.small |
+--------------------------------------+------+--------+--------------------------------------+--------+----------+ 
$ ping -c4 192.168.122.20
PING 192.168.122.20 (192.168.122.20) 56(84) bytes of data.
64 バイト応答 送信元 192.168.122.20: icmp_seq=1 ttl=63 時間=1.10ミリ秒
64 バイト応答 送信元 192.168.122.20: icmp_seq=2 ttl=63 時間=0.924ミリ秒
64 バイト応答 送信元 192.168.122.20: icmp_seq=3 ttl=63 時間=0.445ミリ秒
64 バイト応答 送信元 192.168.122.20: icmp_seq=4 ttl=63 時間=0.441ミリ秒

--- 192.168.122.20 ping 統計 ---
送信パケット数 4, 受信パケット数 4, 0% packet loss, time 3041ms
rtt min/avg/max/mdev = 0.441/0.726/1.096/0.289 ms

(Optional) Cinder backend (NFS) の設定

ここまでの手順では、Cinder backend の設定がされておらず、実質 Cinder が使えません。
ここでは、KVMホストに NFSサーバーを立ち上げ、Cinder backend として利用することにします。

1. KVMホストに virbr0.21 I/F を作成する

VLAN21 が Storageセグメントのようなので、KVMホストに virbr0.21 I/F を作成します。

sudo nmcli con add type vlan ifname virbr0.21 dev virbr0 id 21 ip4 172.18.0.253/24

2. Cinder用の NFSサーバーを立ち上げる

sudo mkdir -p /var/nfs/cinder
sudo chmod 0777 /var/nfs/cinder
sudo vi /etc/exports

/var/nfs/cinder 172.18.0.0/24(rw,async)

sudo systemctl enable --now rpcbind nfs-server

Firewallの設定も忘れずに……。

sudo firewall-cmd --add-service=nfs
sudo firewall-cmd --list-all

3. NFSサーバー接続シークレットを作成する

mkdir ~/crd
cd ~/crd
vi cinder_nfs.yaml

cinder_nfs.yaml

[nfs]
nas_host=172.18.0.253
nas_share_path=/var/nfs/cinder

シークレットを作成します。

oc create secret generic secret-cinder-nfs --from-file=cinder_nfs.yaml
oc get secret | grep secret-cinder-nfs

4. CRDをコピーし、編集する

install_yamls による OpenStack のインストールで ~/install_yamls/out/openstack/openstack/cr/core_v1beta1_openstackcontrolplane_galera_network_isolation.yaml というファイルができあがっていました。
このファイルを ~/crd にコピーし、編集して適用することにします。

cp ~/install_yamls/out/openstack/openstack/cr/core_v1beta1_openstackcontrolplane_galera_network_isolation.yaml ~/crd
cd ~/crd
vi core_v1beta1_openstackcontrolplane_galera_network_isolation.yaml
diff -u ~/install_yamls/out/openstack/openstack/cr/core_v1beta1_openstackcontrolplane_galera_network_isolation.yaml ~/crd/core_v1beta1_openstackcontrolplane_galera_network_isolation.yaml

--- /home/user/install_yamls/out/openstack/openstack/cr/core_v1beta1_openstackcontrolplane_galera_network_isolation.yaml       2024-03-16 17:34:27.575978695 +0900
+++ /home/user/crd/core_v1beta1_openstackcontrolplane_galera_network_isolation.yaml    2024-03-22 21:29:01.393182865 +0900
@@ -45,10 +45,19 @@
         - storage
         replicas: 0 # backend needs to be configured
       cinderVolumes:
-        volume1:
+        nfs:
+          replicas: 1
           networkAttachments:
           - storage
-          replicas: 0 # backend needs to be configured
+          customServiceConfig: |
+            [nfs]
+            volume_backend_name=nfs
+            volume_driver=cinder.volume.drivers.nfs.NfsDriver
+            nfs_snapshot_support=true
+            nas_secure_file_operations=false
+            nas_secure_file_permissions=false
+          customServiceConfigSecrets:
+          - secret-cinder-nfs
   glance:
     apiOverrides:
       default:

5. 作成した CRD を適用する

oc apply -f core_v1beta1_openstackcontrolplane_galera_network_isolation.yaml

6. 動作確認

cinder-volume-nfs-0 が Running になるのを待ちます。

oc get pod cinder-volume-nfs-0
oc get pod -A | grep cinder
oc describe pod/cinder-volume-nfs-0 -n openstack

OpenStack から見ても認識されています。

実行結果例

$ openstack volume service list
+------------------+-------------------------+------+---------+-------+----------------------------+
| Binary           | Host                    | Zone | Status  | State | Updated At                 |
+------------------+-------------------------+------+---------+-------+----------------------------+
| cinder-scheduler | cinder-scheduler-0      | nova | enabled | up    | 2024-03-22T12:33:57.000000 |
| cinder-volume    | cinder-volume-nfs-0@nfs | nova | enabled | up    | 2024-03-22T12:34:05.000000 |
+------------------+-------------------------+------+---------+-------+----------------------------+

7. Cinder volume の設定

openstack volume type create nfs --description "nfs"
openstack volume type set --property volume_backend_name=nfs nfs
openstack volume type show nfs

最後のコマンドの実行結果は以下のようになりました。

実行結果例

$ openstack volume type show nfs
+--------------------+--------------------------------------+
| Field              | Value                                |
+--------------------+--------------------------------------+
| access_project_ids | None                                 |
| description        | nfs                                  |
| id                 | df8ce72e-5f40-4c28-ac41-f9e789c21338 |
| is_public          | True                                 |
| name               | nfs                                  |
| properties         | volume_backend_name='nfs'            |
| qos_specs_id       | None                                 |
+--------------------+--------------------------------------+

これで openstack volume create ができるようになります。

実行結果例

sh-5.1$ openstack volume create --size 1 --type nfs test-volume
+---------------------+--------------------------------------+
| Field               | Value                                |
+---------------------+--------------------------------------+
| attachments         | []                                   |
| availability_zone   | nova                                 |
| bootable            | false                                |
| consistencygroup_id | None                                 |
| created_at          | 2024-03-23T06:18:56.006320           |
| description         | None                                 |
| encrypted           | False                                |
| id                  | 0a1d7dfd-6a48-4277-846a-cce8d818d800 |
| migration_status    | None                                 |
| multiattach         | False                                |
| name                | test-volume                          |
| properties          |                                      |
| replication_status  | None                                 |
| size                | 1                                    |
| snapshot_id         | None                                 |
| source_volid        | None                                 |
| status              | creating                             |
| type                | nfs                                  |
| updated_at          | None                                 |
| user_id             | c4db91aeac6341978b03608769eb5cfe     |
+---------------------+--------------------------------------+
sh-5.1$ openstack volume list
+--------------------------------------+-------------+-----------+------+-------------+
| ID                                   | Name        | Status    | Size | Attached to |
+--------------------------------------+-------------+-----------+------+-------------+
| 0a1d7dfd-6a48-4277-846a-cce8d818d800 | test-volume | available |    1 |             |
+--------------------------------------+-------------+-----------+------+-------------+