はじめに
minishift v1.34.1(openshift 3.11)にて
何度かPodのリビルドを続けていると「The node was low on resource: ephemeral-storage.」エラーが発生してリビルドできなくなりました。
Status:
The node was low on resource: ephemeral-storage. Container docker-build was using 16Ki, which exceeds its request of 0.
ディスクスペースの確認
minishift v1.34.1起動時のディスク領域チェックでは
-- Checking available disk space ... 79% used OK
と出ていました。
具体的にどのような使われ方をしているかminishift sshでDockerに入りディスク領域を調べます。
[tak@centos7 ~]$ minishift ssh
[docker@minishift ~]$ df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/mapper/live-rw 10190100 740772 9328132 8% /
devtmpfs 5091704 0 5091704 0% /dev
tmpfs 5119112 0 5119112 0% /dev/shm
tmpfs 5119112 307140 4811972 6% /run
tmpfs 5119112 0 5119112 0% /sys/fs/cgroup
/dev/sr0 363294 363294 0 100% /run/initramfs/live
/dev/sda1 60385480 48366396 12019084 81% /mnt/sda1
tmpfs 1023824 0 1023824 0% /run/user/1000
当初の状態が分からないので何とも言えませんが…
/mnt/sda1が作成しようとしているイメージに対し少ない状況です。
ちなみに起動では60GBを与えています。
[tak@centos7 ~]$ minishift start --disk-size 60GB --memory 6GB --cpus 2
回避方法１：ディスクを増やす(笑)...失敗
何も考えずディスクを増やすとまぁ回避できますよね。
[tak@centos7 ~]$ minishift start --disk-size 80GB --memory 6GB --cpus 2
20GB上乗せして起動してみた際のディスク領域チェック結果は以下の通りです。
-- Checking available disk space ... 81% used !!! OK
あれあれ…どうやら/mnt/sda1の結果を表示しており、--disk-sizeで増やしても効いてないっぽいですね（汗
[tak@centos7 ~]$ minishift ssh
[docker@minishift ~]$ df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/mapper/live-rw 10190100 737232 9331672 8% /
devtmpfs 5091704 0 5091704 0% /dev
tmpfs 5119112 0 5119112 0% /dev/shm
tmpfs 5119112 20232 5098880 1% /run
tmpfs 5119112 0 5119112 0% /sys/fs/cgroup
/dev/sr0 363294 363294 0 100% /run/initramfs/live
/dev/sda1 60385480 48366928 12018552 81% /mnt/sda1
tmpfs 1023824 0 1023824 0% /run/user/1000
ん？増えてない。
回避方法２：無駄なImageを消し空き領域を確保する
本来論としてはこっちだよね。ということで無駄なImageを削除し空き領域を増やします。
[docker@minishift ~]$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
172.30.1.1:5000/test-fess/fess 13.4.0 18f9e8db0b08 6 hours ago 2.02 GB
docker.io/openshift/origin-control-plane v3.11.0 3fad55d0b2bc 25 hours ago 831 MB
docker.io/openshift/origin-hypershift v3.11.0 9918b48caff6 25 hours ago 551 MB
docker.io/openshift/origin-hyperkube v3.11.0 593fa6cbb593 25 hours ago 510 MB
docker.io/openshift/origin-cli v3.11.0 c5caf3700de6 25 hours ago 385 MB
<none> <none> 2df9061d9027 5 days ago 1.51 GB
<none> <none> 613f7ad01fc0 5 days ago 1.96 GB
<none> <none> 54ee1668f60d 6 days ago 1.51 GB
<none> <none> 8c34875e82ee 7 days ago 1.96 GB
<none> <none> 69e3b9481ce3 7 days ago 1.51 GB
docker.io/openshift/origin-node v3.11.0 ae0264e3c7ee 10 days ago 1.19 GB
docker.io/openshift/origin-control-plane <none> ce4e10190f41 10 days ago 831 MB
docker.io/openshift/origin-docker-builder v3.11.0 1db44ea65bc5 10 days ago 462 MB
docker.io/openshift/origin-haproxy-router v3.11.0 042c0b3dd43e 10 days ago 411 MB
docker.io/openshift/origin-hypershift <none> 8ce0da355fac 10 days ago 551 MB
docker.io/openshift/origin-pod v3.11.0 1d8edff9b53c 10 days ago 263 MB
docker.io/openshift/origin-docker-registry v3.11.0 875b808526a0 8 months ago 310 MB
docker.io/openshift/origin-web-console v3.11.0 be30b6cce5fa 12 months ago 339 MB
docker.io/openshift/origin-service-serving-cert-signer v3.11 47dadf9d43b6 12 months ago 276 MB
実際にイメージを消すとどうなるのか確認してみましょう。
目下チャレンジ中のFess(IMAGE ID:18f9e8db0b08)を消します。
[docker@minishift ~]$ docker rmi 18f9e8db0b08
Untagged: 172.30.1.1:5000/test-fess/fess:13.4.0
Deleted: sha256:18f9e8db0b08f1fc89b2e9e4b91155bf76ac4ef4327ddc187ff2ac0af78eecd9
Deleted: sha256:421699e9e96fd96bc94514f63a6f95c1b0cd227469aac94a2be97c9abc183c37
：
Deleted: sha256:28c59e17fba422b953b6a798ea3c4ef3810ed30d2f2d55034e7b2afb7abca25c
Deleted: sha256:87b68ee0cb1ae89dc14deaf24268f327cc69ca4d75a6d05c106fe24cbebb66a2
Deleted: sha256:2e6f13bce48836ea3db2009e6ccafa21b52a5bc9a94de7669a908792fda64ca9
Deleted: sha256:83950d1edbaf18e9874bd954f1818030afc686990c439422d5254dcdf8aad953
[docker@minishift ~]$ df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/mapper/live-rw 10190100 737276 9331628 8% /
devtmpfs 5091704 0 5091704 0% /dev
tmpfs 5119112 0 5119112 0% /dev/shm
tmpfs 5119112 28440 5090672 1% /run
tmpfs 5119112 0 5119112 0% /sys/fs/cgroup
/dev/sr0 363294 363294 0 100% /run/initramfs/live
/dev/sda1 60385480 46851424 13534056 78% /mnt/sda1
tmpfs 1023824 0 1023824 0% /run/user/1000
/mnt/sda1の空き領域が少し増えました。(81% → 78%)
怪しい使ってなさそうな中間イメージが多数あるので消します。
[docker@minishift ~]$ docker rmi 2df9061d9027 613f7ad01fc0 54ee1668f60d 8c34875e82ee 69e3b9481ce3
Error response from daemon: conflict: unable to delete 2df9061d9027 (must be forced) - image is being used by stopped container f4cc480e3848
Error response from daemon: conflict: unable to delete 613f7ad01fc0 (must be forced) - image is being used by stopped container 1c2d6d5cfb0a
Error response from daemon: conflict: unable to delete 54ee1668f60d (must be forced) - image is being used by stopped container b9ae0bae20d3
Error response from daemon: conflict: unable to delete 8c34875e82ee (must be forced) - image is being used by stopped container 3c5c19f843f6
Error response from daemon: conflict: unable to delete 69e3b9481ce3 (must be forced) - image is being used by stopped container b40662336d85
あれ…使ってる？
では強権発動(-f)
[docker@minishift ~]$ docker rmi -f 2df9061d9027 613f7ad01fc0 54ee1668f60d 8c34875e82ee 69e3b9481ce3
Deleted: sha256:2df9061d90277de098c29a7bbe95e43467645322f86db9ec6f05276fa6c7955d
Deleted: sha256:52e750df79d4fb658190b5561ac5abec0d71907db3c9ae1dc61b790b52605248
：
Deleted: sha256:a1c3dcffb385ac34f75b4d20c08bad683bd145f3566ba7a27e5b5125efdc76de
Deleted: sha256:1a6b802d187bdab95c4f3fe011d973706a3cfaae093a7409528f4c9dc1f4b884
Deleted: sha256:88ba605b06ba70275740312b05b6272a0e234ca18e29a7c873d4c6a9144e1513
Deleted: sha256:a0b6d1db4580647aede85c2f998a8f078286280c58c16bd7bdfeb681b19ba071
[docker@minishift ~]$ df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/mapper/live-rw 10190100 737320 9331584 8% /
devtmpfs 5091704 0 5091704 0% /dev
tmpfs 5119112 0 5119112 0% /dev/shm
tmpfs 5119112 28456 5090656 1% /run
tmpfs 5119112 0 5119112 0% /sys/fs/cgroup
/dev/sr0 363294 363294 0 100% /run/initramfs/live
/dev/sda1 60385480 46850364 13535116 78% /mnt/sda1
tmpfs 1023824 0 1023824 0% /run/user/1000
変わってない…。はて？合計8.45GBのImage削除効果はどこにあったのでしょうか？？？
そもそもProjectを削除したのに/mnt/sda1が45GBも消費されているのは何故なんでしょうか？
[docker@minishift ~]$ cd /mnt/sda1
[docker@minishift sda1]$ sudo du -m | sort -n
：
1 ./var/lib/minishift/base/openshift.local.pv/registry/docker/registry/v2/repositories/fess/fess/_layers/sha256
：
31348 ./var/lib/minishift/base/openshift.local.pv/registry/docker/registry/v2/blobs
31348 ./var/lib/minishift/base/openshift.local.pv/registry/docker/registry/v2/blobs/sha256
32818 ./var/lib/minishift/base/openshift.local.pv
32818 ./var/lib/minishift/base/openshift.local.pv/registry
32818 ./var/lib/minishift/base/openshift.local.pv/registry/docker
32818 ./var/lib/minishift/base/openshift.local.pv/registry/docker/registry
32818 ./var/lib/minishift/base/openshift.local.pv/registry/docker/registry/v2
32820 ./var/lib/minishift/base
32935 .
32935 ./var
32935 ./var/lib
32935 ./var/lib/minishift
[docker@minishift sda1]$ exit
結果を眺めていると以前作成したProject名のディレクトリもチラホラ
Openshift上でProject消してもディスク上からは消えていない疑惑が…
この辺情報入手できたら記載していきたいと思います。
回避方法３：minishiftなので一回消す(笑)…最悪
本番環境では対応できないけどminishiftならではの対処法。
それはminishiftを一度消してクリアする。
[tak@centos7 ~]$ minishift stop
Stopping the OpenShift cluster...
Cluster stopped.
[tak@centos7 ~]$ minishift delete
You are deleting the Minishift VM: 'minishift'. Do you want to continue [y/N]?: y
Removing entries from kubeconfig for cluster: 192-168-42-42:8443
Deleting the Minishift VM...
Minishift VM deleted.
[tak@centos7 ~]$ minishift start --disk-size 60GB --memory 6GB --cpus 2
-- Starting profile 'minishift'
-- Check if deprecated options are used ... OK
-- Checking if https://github.com is reachable ... OK
-- Checking if requested OpenShift version 'v3.11.0' is valid ... OK
-- Checking if requested OpenShift version 'v3.11.0' is supported ... OK
-- Checking if requested hypervisor 'kvm' is supported on this platform ... OK
-- Checking if KVM driver is installed ...
Driver is available at /usr/local/bin/docker-machine-driver-kvm ...
Checking driver binary is executable ... OK
-- Checking if Libvirt is installed ... OK
-- Checking if Libvirt default network is present ... OK
-- Checking if Libvirt default network is active ... OK
-- Checking the ISO URL ... OK
-- Checking if provided oc flags are supported ... OK
-- Starting the OpenShift cluster using 'kvm' hypervisor ...
-- Minishift VM will be configured with ...
Memory: 6 GB
vCPUs : 2
Disk size: 60 GB
-- Starting Minishift VM .............
やっぱり--disk-size、--memory、--cpusは最初じゃないと効かないのね
記録としてminishift構築初期のdf結果を載せておきます。
[tak@centos7 ~]$ minishift ssh
[docker@minishift ~]$ df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/mapper/live-rw 10190100 737316 9331588 8% /
devtmpfs 3027480 0 3027480 0% /dev
tmpfs 3054888 0 3054888 0% /dev/shm
tmpfs 3054888 20220 3034668 1% /run
tmpfs 3054888 0 3054888 0% /sys/fs/cgroup
/dev/sr0 363294 363294 0 100% /run/initramfs/live
/dev/sda1 60385480 3514896 56870584 6% /mnt/sda1
tmpfs 610980 0 610980 0% /run/user/1000
最後に
今回は最悪の手段で領域確保を強行してしまいましたが
いずれまた訪れるであろうディスク領域枯渇時には対処できるよう
情報あさってみます。