概要
色々検索をしていたら、OCPのRHCOSの/sysrootをインストール後に拡張している記事がいくつかあったので試しにやってみました。
(あくまでもちょっとした検証環境で、ノードの内蔵ディスクのサイズが足りなくなったけどOCPクラスタを再作成までしたくない時などには今回の対応は使えるかもしれません。)
環境
OCPのバージョンは4.11.16です。
[root@bastion-01 ~]# oc version
Client Version: 4.11.16
Kustomize Version: v4.5.4
Server Version: 4.11.16
Kubernetes Version: v1.24.6+5157800
[root@bastion-01 ~]#
ベアメタルのUPIの方法でOCPクラスタを導入しています。
(ベアメタルのUPIですが、ノード自身はVMwareの仮想マシンで作成しています。)
元々、コントロールプレーンやワーカーノードのディスクの最小要件は100GBですが、今回は検証環境が潤沢にあるわけではなかったので、40GBぐらいにしていました。
(参考) OCP 4.11 Docs / インストール / 11.3.3.2. クラスターインストールの最小リソース要件
一応最小要件に近づけるために、例として以下のnodeの内蔵ディスクのサイズを40GBから100GBに増やし/sysrootを拡張してみました。
| Server | vCPU | Memory | Disk | notes |
|---|---|---|---|---|
| infra #1 | 24 | 48GB | 40GB -> 100GB | infra node |
| infra #2 | 24 | 48GB | 40GB -> 100GB | infra node |
| infra #3 | 24 | 48GB | 40GB -> 100GB | infra node |
参考リンク
以下のリンクなどを参考にしました。
Red Hat Customer Portal / Community / Discussion / Unable to extend disk size of /sysroot
Red Hat Customer Portal / Community / Discussion / Extend Disk on Red Hat CoreOS
手順
現在の状況の確認
対象のノードのRHCOSの /sysroot のサイズは40GBとなっています。
[root@bastion-01 ~]# ssh core@infra-01 -- lsblk /dev/sda
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 40G 0 disk
|-sda1 8:1 0 1M 0 part
|-sda2 8:2 0 127M 0 part
|-sda3 8:3 0 384M 0 part /boot
`-sda4 8:4 0 39.5G 0 part /sysroot
[root@bastion-01 ~]#
[root@bastion-01 ~]# ssh core@infra-01 -- df -hT
Filesystem Type Size Used Avail Use% Mounted on
devtmpfs devtmpfs 24G 0 24G 0% /dev
tmpfs tmpfs 24G 168K 24G 1% /dev/shm
tmpfs tmpfs 24G 48M 24G 1% /run
tmpfs tmpfs 24G 0 24G 0% /sys/fs/cgroup
/dev/sda4 xfs 40G 11G 30G 26% /sysroot
tmpfs tmpfs 24G 4.0K 24G 1% /tmp
/dev/sda3 ext4 364M 106M 236M 31% /boot
tmpfs tmpfs 4.8G 4.0K 4.8G 1% /run/user/1000
[root@bastion-01 ~]#
ノードの仮想ディスクの拡張
OCPクラスタをシャットダウンします。
OCP 4.11 Docs / バックアップおよび復元 / 2. クラスターの正常なシャットダウン / 2.2. クラスターのシャットダウン
(Infra nodeなどTaintを付与しているノードがある際などにoc debug nodeができなかったりすることがあるので、以下ではRHCOSにsshで接続してshutdownコマンドを発行しました。)
[root@bastion-01 ~]# for node in $(oc get nodes -o jsonpath='{.items[*].metadata.name}'); do ssh core@${node} sudo shutdown -h 1; done
vCenterにログインし、仮想ディスクのサイズを増やしたい仮想マシンの設定から、仮想ディスクの容量を増やします。
今回は対象のノードの仮想ディスク1を40GBから100GBに変更しました。
変更前
変更後
対象ノードの仮想マシンの設定の変更が完了したら、仮想マシンの電源をオンにします。
OCPクラスターが正常に稼働したことを確認します。
[root@bastion-01 ~]# oc get node
NAME STATUS ROLES AGE VERSION
infra-01 Ready infra 154d v1.24.6+5157800
infra-02 Ready infra 154d v1.24.6+5157800
infra-03 Ready infra 154d v1.24.6+5157800
master-01 Ready master 154d v1.24.6+5157800
master-02 Ready master 154d v1.24.6+5157800
master-03 Ready master 154d v1.24.6+5157800
storage-01 Ready infra 8d v1.24.6+5157800
storage-02 Ready infra 8d v1.24.6+5157800
storage-03 Ready infra 8d v1.24.6+5157800
worker-01 Ready worker 154d v1.24.6+5157800
worker-02 Ready worker 154d v1.24.6+5157800
[root@bastion-01 ~]#
/dev/sdaは100Gになりましたが、/sysrootの/dev/sda4はまだ40GBのままです。
[root@bastion-01 ~]# ssh core@infra-01 -- lsblk /dev/sda
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 100G 0 disk
|-sda1 8:1 0 1M 0 part
|-sda2 8:2 0 127M 0 part
|-sda3 8:3 0 384M 0 part /boot
`-sda4 8:4 0 39.5G 0 part /sysroot
[root@bastion-01 ~]#
RHCOSの/sysrootの拡張
/sysrootの拡張手順は Red Hat Customer Portal / Community / Discussion / Unable to extend disk size of /sysroot のリンクを参照すると、OCP 4.11でも以下のコマンドで成功したようです。
ですので今回もこのコマンドを実際にやってみました。
(実行コマンド)
sudo su
growpart /dev/sda 4
sudo su -
unshare --mount
mount -o remount,rw /sysroot
xfs_growfs /sysroot
Infra node #1にSSHでログインして、上述のコマンドを実行してみました。
(通常はoc debug node <node>の方が良いと思います。)
(出力例)
[root@bastion-01 ~]# ssh core@infra-01
Red Hat Enterprise Linux CoreOS 411.86.202211072153-0
Part of OpenShift 4.11, RHCOS is a Kubernetes native operating system
managed by the Machine Config Operator (`clusteroperator/machine-config`).
WARNING: Direct SSH access to machines is not recommended; instead,
make configuration changes via `machineconfig` objects:
https://docs.openshift.com/container-platform/4.11/architecture/architecture-rhcos.html
---
Last login: Tue Jul 12 14:40:46 2022 from 172.16.100.11
[core@infra-01 ~]$
[core@infra-01 ~]$ sudo su
[root@infra-01 core]#
[root@infra-01 core]# growpart /dev/sda 4
CHANGED: partition=4 start=1050624 old: size=82835423 end=83886047 new: size=208664543 end=209715167
[root@infra-01 core]#
[root@infra-01 core]# sudo su -
Last login: Tue Dec 13 14:54:19 UTC 2022 on pts/0
[root@infra-01 ~]#
[root@infra-01 ~]# unshare --mount
[root@infra-01 ~]#
[root@infra-01 ~]# mount -o remount,rw /sysroot
[root@infra-01 ~]#
[root@infra-01 ~]# xfs_growfs /sysroot
meta-data=/dev/sda4 isize=512 agcount=50, agsize=208895 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=1, sparse=1, rmapbt=0
= reflink=1 bigtime=0 inobtcount=0
data = bsize=4096 blocks=10354427, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0, ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
data blocks changed from 10354427 to 26083067
[root@infra-01 ~]#
[root@infra-01 ~]# exit
logout
[root@infra-01 ~]# exit
logout
[root@infra-01 core]# exit
exit
[core@infra-01 ~]$
[core@infra-01 ~]$ exit
logout
Connection to infra-01 closed.
[root@bastion-01 ~]#
RHCOSの/sysrootの拡張の確認
/sysrootが拡張されたか確認します。
/dev/sdaが、100GBで、/dev/sda4の/sysrootも100Gになったことが確認できました。
[root@bastion-01 ~]# ssh core@infra-01 -- lsblk /dev/sda
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 100G 0 disk
|-sda1 8:1 0 1M 0 part
|-sda2 8:2 0 127M 0 part
|-sda3 8:3 0 384M 0 part /boot
`-sda4 8:4 0 99.5G 0 part /sysroot
[root@bastion-01 ~]#
[root@bastion-01 ~]# ssh core@infra-01 -- df -hT
Filesystem Type Size Used Avail Use% Mounted on
devtmpfs devtmpfs 24G 0 24G 0% /dev
tmpfs tmpfs 24G 168K 24G 1% /dev/shm
tmpfs tmpfs 24G 48M 24G 1% /run
tmpfs tmpfs 24G 0 24G 0% /sys/fs/cgroup
/dev/sda4 xfs 100G 19G 82G 19% /sysroot
tmpfs tmpfs 24G 4.0K 24G 1% /tmp
/dev/sda3 ext4 364M 106M 236M 31% /boot
tmpfs tmpfs 4.8G 4.0K 4.8G 1% /run/user/1000
[root@bastion-01 ~]#
所感
(サポートされるかはわかりませんが)、検証環境でちょっとノードの/sysrootを拡張するのは、意外と簡単にできました。
わざわざOCPのクラスタの再作成までしなくて済んだので良かったです。