はじめに
自宅ラボで運用している SUSE Harvester(HCI: Hyperconverged Infrastructure)を v1.7.1 から v1.8.2 へアップグレードしました。Harvester は Rancher/SUSE が開発するオープンソースの HCI ソリューションで、Kubernetes(RKE2)をベースに仮想マシンと分散ストレージ(Longhorn)を統合して管理できる製品です。
今回のアップグレードは「流れ作業」とはいかず、CDI データ破損・YAML パースエラー・DBus 接続枯渇という三つのトラブルが重なりました。同じ環境で詰まっている方の参考になれば幸いです。
環境情報
| 項目 | 内容 |
|---|---|
| アップグレード前バージョン | Harvester v1.7.1 |
| アップグレード後バージョン | Harvester v1.8.2 |
| ノード数 | 3ノード(harvester01/02/03) |
| IPアドレス | 192.168.11.71 / 72 / 73 |
| 管理VIP | 192.168.11.70 |
| アップグレード前 Kubernetes | RKE2 v1.34.3+rke2r3 |
| アップグレード後 Kubernetes | RKE2 v1.35.7+rke2r1 |
| アップグレード前 OS/カーネル | SLE Micro / kernel 6.4.0-36-default |
| アップグレード後 OS/カーネル | SLE Micro / kernel 6.12.0-160000.36-default |
| ストレージ | Longhorn(default-disk × 3ノード) |
Harvester のアップグレードの仕組み
Harvester のアップグレードは、Upgrade カスタムリソースを作成することで開始します。コントローラーが以下のステートマシンを経由してアップグレードを進めます。
PreparingLoggingInfra
↓ ログ基盤準備
LoggingInfraPrepared
↓ upgrade-repo pod + ISO ダウンロード
PreparingRepo
↓ ISO マウント・リリース情報取得
RepoPrepared
↓ システムサービス(Helm charts)アップグレード
UpgradingSystemServices
↓ 各ノードへのイメージ事前配布
PreparingNodes
↓ ノード OS アップグレード(1台ずつ drain → 再起動)
UpgradingNodes
↓ 全ノード完了
Succeeded
ISO の取得には CDI(Containerized Data Importer)が使われ、約 7.7GB の ISO を HTTP でダウンロードして Longhorn PVC に格納します。その PVC を upgrade-repo コンテナが loop mount し、nginx で配信する仕組みです。
アップグレードは以下の YAML を kubectl apply することで開始できます。
apiVersion: harvesterhci.io/v1beta1
kind: Upgrade
metadata:
name: hvst-upgrade-v182
namespace: harvester-system
spec:
logEnabled: true
version: v1.8.2
トラブル① CDI インポートの I/O エラー(前セッション)
症状
CDI が 7.7GB の ISO をダウンロード中、62% 付近で以下のエラーが発生し、インポートが失敗しました。
qemu-img: error writing to output: Input/output error at offset 5142215680
原因
CDI がインポート処理に使う「スクラッチ PVC」(一時作業領域)の Longhorn ボリュームが破損していました。スクラッチ PVC は変換作業のバッファとして使われるもので、これが壊れると qemu-img が書き込み中に I/O エラーを起こします。
対処
破損したスクラッチ PVC とインポーター Pod を手動削除しました。CDI は自動でスクラッチ PVC を再作成し、インポートをやり直します。
kubectl delete pvc <scratch-pvc-name> -n harvester-system
kubectl delete pod <importer-pod-name> -n harvester-system
再実行後、100.0% で Succeeded になることを確認しました。
トラブル② yaml: control characters are not allowed
症状
DataVolume が Succeeded 100.0% になり upgrade-repo pod が起動したにもかかわらず、RepoPrepared ステートで以下のエラーが発生してアップグレードが失敗しました。
level=warning msg="Repo info retrieval failed with: yaml: control characters are not allowed"
調査
upgrade-repo pod の内部を詳しく調べました。
# pod spec の確認
kubectl get pod -n harvester-system <upgrade-repo-pod> -o json
判明した事実:
| 項目 | 内容 |
|---|---|
| コンテナイメージ | rancher/harvester-upgrade:v1.7.1 |
| 起動スクリプト | mount -o loop,ro /iso/disk.img /srv/www/htdocs/harvester-iso && nginx -g "daemon off;" |
| securityContext | privileged: true |
| PVC マウント先 | /iso/ |
| ISO マウント先 | /srv/www/htdocs/harvester-iso/ |
# コンテナ内のマウント状態確認
kubectl exec -n harvester-system <upgrade-repo-pod> -- mount | grep htdocs
# → /iso/disk.img on /srv/www/htdocs/harvester-iso type iso9660 (ro,...)
ISO は正しくマウントされており、harvester-release.yaml の内容も正常な YAML でした。コントローラーが参照する URL は /harvester-iso/harvester-release.yaml であり、nginx は正しいコンテンツを返していました。
原因
前回の失敗時に CDI の スクラッチ PVC が破損したままの状態でリトライしていたことが原因でした。CDI は Succeeded と報告しましたが、ターゲット PVC に書き込まれたデータが破損しており、loop mount 後の ISO 内容がおかしくなっていた可能性があります。
対処
Upgrade CRD を完全削除してクリーンな状態から再実行しました。ファイナライザーがあるため、まず削除してからリソースを消す必要があります。
# ファイナライザー除去
kubectl patch upgrade.harvesterhci.io hvst-upgrade-v182 -n harvester-system \
-p '{"metadata":{"finalizers":[]}}' --type=merge
# 削除
kubectl delete upgrade.harvesterhci.io hvst-upgrade-v182 -n harvester-system
kubectl delete pvc -n harvester-system -l harvesterhci.io/upgrade=hvst-upgrade-v182
クリーン再実行後は DataVolume の再ダウンロードが走り(約 7 分)、今度は YAML 取得に成功して PreparingNodes へ進みました。
トラブル③ DBus 接続枯渇による CrashLoopBackOff
症状
UpgradingSystemServices フェーズで harvester-node-manager DaemonSet の Pod が harvester01 で CrashLoopBackOff になり、アップグレードが停滞しました。
panic: The maximum number of active connections for UID 0 has been reached
goroutine 28 [running]:
github.com/harvester/go-common/sys.WatchDBusSignal(...)
.../sys/watcher.go:15 +0x3db
原因
harvester-node-manager v1.8.2 は NTP 監視のために D-Bus(systemd-timesyncd との通信)を使います。しかし harvester01 上の D-Bus ソケット接続数が上限(デフォルト 256)に達しており、新しい接続を確立できませんでした。
# D-Bus ソケット接続数の確認
ss -xp | grep dbus | wc -l
# → 271(上限超過)
root 原因は、CrashLoopBackOff による繰り返し再起動でリークした D-Bus 接続が蓄積していたことです。Pod が panic で異常終了すると D-Bus のクリーンアップが走らず、再起動のたびに接続が積み重なっていました。
対処
CrashLoopBackOff 状態の Pod を強制削除することで、蓄積した D-Bus 接続がカーネルによって解放され、新しい Pod が起動できるようになりました。
kubectl delete pod -n harvester-system harvester-node-manager-<suffix> \
--grace-period=0 --force
削除直後に新しい Pod が作成され、1/1 Running になったことを確認しました。
余談:存在しない iSCSI ディスクの Longhorn 登録削除
アップグレード作業中に、コンソールで以下のカーネルエラーが大量に流れていました。
EXT4-fs (sdd): failed to convert unwritten extents to written extents -- potential data loss! (inode 12, error -5)
調査したところ、物理的に接続されていない iSCSI LUN(iscsi-lun1/2/3)が各ノードの Longhorn ディスク設定に残っていました。Longhorn がアクセスしようとするたびに I/O エラーが発生していた状態です。
# Longhorn ノード設定を確認
kubectl get node.longhorn.io -n longhorn-system \
-o custom-columns="NAME:.metadata.name,DISKS:.spec.disks"
スケジューリング無効化 → エビクション要求 → 削除の順に対処しました。
# 1. スケジューリング無効化 + エビクション要求(merge patch)
kubectl patch node.longhorn.io harvester01 -n longhorn-system \
--type=merge --patch-file=patch.json
# 2. ディスク削除(JSON patch)
kubectl patch node.longhorn.io harvester01 -n longhorn-system \
--type=json -p='[{"op":"remove","path":"/spec/disks/iscsi-lun1"}]'
全3ノードの iscsi-lun を削除し、エラーログが止まったことを確認しました。
アップグレードの結果
約 2 時間でアップグレードが完了しました。
NAME STATUS ROLES VERSION OS-IMAGE KERNEL-VERSION
harvester01 Ready control-plane,etcd v1.35.7+rke2r1 Harvester v1.8.2 6.12.0-160000.36-default
harvester02 Ready control-plane,etcd v1.35.7+rke2r1 Harvester v1.8.2 6.12.0-160000.36-default
harvester03 Ready control-plane,etcd v1.35.7+rke2r1 Harvester v1.8.2 6.12.0-160000.36-default
Upgrade CRD の全条件が True になりました。
| 条件 | 時刻 | 結果 |
|---|---|---|
| LogReady | 10:54 | True |
| ImageReady | 10:59 | True |
| RepoReady | 10:59 | True |
| NodesPrepared | 11:14 | True |
| SystemServicesUpgraded | 11:50 | True |
| NodesUpgraded | 12:20 | True |
| Completed | 12:20 | True |
まとめ
今回のアップグレードで発生したトラブルと原因・対処をまとめると以下のとおりです。
| トラブル | 原因 | 対処 |
|---|---|---|
| CDI I/O エラー(62%) | スクラッチ PVC の Longhorn ボリューム破損 | スクラッチ PVC と importer pod を削除して再実行 |
yaml: control characters are not allowed |
前回失敗時の PVC データ破損が引き継がれた | Upgrade CRD と PVC を完全削除してクリーン再実行 |
| harvester-node-manager CrashLoopBackOff | DBus 接続漏れによる上限超過(271/256) | CrashLoopBackOff pod を強制削除して接続を解放 |
Harvester のアップグレードは基本的に自動化されており、通常は Upgrade CRD を作成するだけで完了します。ただし今回のように PVC 破損が絡むと、CDI が Succeeded を返しても実際のデータが壊れているケースがあるため、クリーン再実行が有効です。
また、v1.8.x の harvester-node-manager は D-Bus を積極的に使うようになったため、ノードで D-Bus 接続が逼迫している環境では今回のような問題が起きる可能性があります。Pod を強制削除して接続を解放する対処法を覚えておくと役立つかもしれません。