0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

SUSE Harvester v1.7.1 から v1.8.2 へのアップグレード記録 — トラブル三連発を乗り越えて

0
Posted at

はじめに

自宅ラボで運用している SUSE Harvester(HCI: Hyperconverged Infrastructure)を v1.7.1 から v1.8.2 へアップグレードしました。Harvester は Rancher/SUSE が開発するオープンソースの HCI ソリューションで、Kubernetes(RKE2)をベースに仮想マシンと分散ストレージ(Longhorn)を統合して管理できる製品です。

今回のアップグレードは「流れ作業」とはいかず、CDI データ破損・YAML パースエラー・DBus 接続枯渇という三つのトラブルが重なりました。同じ環境で詰まっている方の参考になれば幸いです。


環境情報

項目 内容
アップグレード前バージョン Harvester v1.7.1
アップグレード後バージョン Harvester v1.8.2
ノード数 3ノード(harvester01/02/03)
IPアドレス 192.168.11.71 / 72 / 73
管理VIP 192.168.11.70
アップグレード前 Kubernetes RKE2 v1.34.3+rke2r3
アップグレード後 Kubernetes RKE2 v1.35.7+rke2r1
アップグレード前 OS/カーネル SLE Micro / kernel 6.4.0-36-default
アップグレード後 OS/カーネル SLE Micro / kernel 6.12.0-160000.36-default
ストレージ Longhorn(default-disk × 3ノード)

Harvester のアップグレードの仕組み

Harvester のアップグレードは、Upgrade カスタムリソースを作成することで開始します。コントローラーが以下のステートマシンを経由してアップグレードを進めます。

PreparingLoggingInfra
  ↓ ログ基盤準備
LoggingInfraPrepared
  ↓ upgrade-repo pod + ISO ダウンロード
PreparingRepo
  ↓ ISO マウント・リリース情報取得
RepoPrepared
  ↓ システムサービス(Helm charts)アップグレード
UpgradingSystemServices
  ↓ 各ノードへのイメージ事前配布
PreparingNodes
  ↓ ノード OS アップグレード(1台ずつ drain → 再起動)
UpgradingNodes
  ↓ 全ノード完了
Succeeded

ISO の取得には CDI(Containerized Data Importer)が使われ、約 7.7GB の ISO を HTTP でダウンロードして Longhorn PVC に格納します。その PVC を upgrade-repo コンテナが loop mount し、nginx で配信する仕組みです。

アップグレードは以下の YAML を kubectl apply することで開始できます。

apiVersion: harvesterhci.io/v1beta1
kind: Upgrade
metadata:
  name: hvst-upgrade-v182
  namespace: harvester-system
spec:
  logEnabled: true
  version: v1.8.2

トラブル① CDI インポートの I/O エラー(前セッション)

症状

CDI が 7.7GB の ISO をダウンロード中、62% 付近で以下のエラーが発生し、インポートが失敗しました。

qemu-img: error writing to output: Input/output error at offset 5142215680

原因

CDI がインポート処理に使う「スクラッチ PVC」(一時作業領域)の Longhorn ボリュームが破損していました。スクラッチ PVC は変換作業のバッファとして使われるもので、これが壊れると qemu-img が書き込み中に I/O エラーを起こします。

対処

破損したスクラッチ PVC とインポーター Pod を手動削除しました。CDI は自動でスクラッチ PVC を再作成し、インポートをやり直します。

kubectl delete pvc <scratch-pvc-name> -n harvester-system
kubectl delete pod <importer-pod-name> -n harvester-system

再実行後、100.0% で Succeeded になることを確認しました。


トラブル② yaml: control characters are not allowed

症状

DataVolume が Succeeded 100.0% になり upgrade-repo pod が起動したにもかかわらず、RepoPrepared ステートで以下のエラーが発生してアップグレードが失敗しました。

level=warning msg="Repo info retrieval failed with: yaml: control characters are not allowed"

調査

upgrade-repo pod の内部を詳しく調べました。

# pod spec の確認
kubectl get pod -n harvester-system <upgrade-repo-pod> -o json

判明した事実:

項目 内容
コンテナイメージ rancher/harvester-upgrade:v1.7.1
起動スクリプト mount -o loop,ro /iso/disk.img /srv/www/htdocs/harvester-iso && nginx -g "daemon off;"
securityContext privileged: true
PVC マウント先 /iso/
ISO マウント先 /srv/www/htdocs/harvester-iso/
# コンテナ内のマウント状態確認
kubectl exec -n harvester-system <upgrade-repo-pod> -- mount | grep htdocs
# → /iso/disk.img on /srv/www/htdocs/harvester-iso type iso9660 (ro,...)

ISO は正しくマウントされており、harvester-release.yaml の内容も正常な YAML でした。コントローラーが参照する URL は /harvester-iso/harvester-release.yaml であり、nginx は正しいコンテンツを返していました。

原因

前回の失敗時に CDI の スクラッチ PVC が破損したままの状態でリトライしていたことが原因でした。CDI は Succeeded と報告しましたが、ターゲット PVC に書き込まれたデータが破損しており、loop mount 後の ISO 内容がおかしくなっていた可能性があります。

対処

Upgrade CRD を完全削除してクリーンな状態から再実行しました。ファイナライザーがあるため、まず削除してからリソースを消す必要があります。

# ファイナライザー除去
kubectl patch upgrade.harvesterhci.io hvst-upgrade-v182 -n harvester-system \
  -p '{"metadata":{"finalizers":[]}}' --type=merge

# 削除
kubectl delete upgrade.harvesterhci.io hvst-upgrade-v182 -n harvester-system
kubectl delete pvc -n harvester-system -l harvesterhci.io/upgrade=hvst-upgrade-v182

クリーン再実行後は DataVolume の再ダウンロードが走り(約 7 分)、今度は YAML 取得に成功して PreparingNodes へ進みました。


トラブル③ DBus 接続枯渇による CrashLoopBackOff

症状

UpgradingSystemServices フェーズで harvester-node-manager DaemonSet の Pod が harvester01 で CrashLoopBackOff になり、アップグレードが停滞しました。

panic: The maximum number of active connections for UID 0 has been reached

goroutine 28 [running]:
github.com/harvester/go-common/sys.WatchDBusSignal(...)
    .../sys/watcher.go:15 +0x3db

原因

harvester-node-manager v1.8.2 は NTP 監視のために D-Bus(systemd-timesyncd との通信)を使います。しかし harvester01 上の D-Bus ソケット接続数が上限(デフォルト 256)に達しており、新しい接続を確立できませんでした。

# D-Bus ソケット接続数の確認
ss -xp | grep dbus | wc -l
# → 271(上限超過)

root 原因は、CrashLoopBackOff による繰り返し再起動でリークした D-Bus 接続が蓄積していたことです。Pod が panic で異常終了すると D-Bus のクリーンアップが走らず、再起動のたびに接続が積み重なっていました。

対処

CrashLoopBackOff 状態の Pod を強制削除することで、蓄積した D-Bus 接続がカーネルによって解放され、新しい Pod が起動できるようになりました。

kubectl delete pod -n harvester-system harvester-node-manager-<suffix> \
  --grace-period=0 --force

削除直後に新しい Pod が作成され、1/1 Running になったことを確認しました。


余談:存在しない iSCSI ディスクの Longhorn 登録削除

アップグレード作業中に、コンソールで以下のカーネルエラーが大量に流れていました。

EXT4-fs (sdd): failed to convert unwritten extents to written extents -- potential data loss! (inode 12, error -5)

調査したところ、物理的に接続されていない iSCSI LUN(iscsi-lun1/2/3)が各ノードの Longhorn ディスク設定に残っていました。Longhorn がアクセスしようとするたびに I/O エラーが発生していた状態です。

# Longhorn ノード設定を確認
kubectl get node.longhorn.io -n longhorn-system \
  -o custom-columns="NAME:.metadata.name,DISKS:.spec.disks"

スケジューリング無効化 → エビクション要求 → 削除の順に対処しました。

# 1. スケジューリング無効化 + エビクション要求(merge patch)
kubectl patch node.longhorn.io harvester01 -n longhorn-system \
  --type=merge --patch-file=patch.json

# 2. ディスク削除(JSON patch)
kubectl patch node.longhorn.io harvester01 -n longhorn-system \
  --type=json -p='[{"op":"remove","path":"/spec/disks/iscsi-lun1"}]'

全3ノードの iscsi-lun を削除し、エラーログが止まったことを確認しました。


アップグレードの結果

約 2 時間でアップグレードが完了しました。

NAME          STATUS   ROLES                VERSION          OS-IMAGE           KERNEL-VERSION
harvester01   Ready    control-plane,etcd   v1.35.7+rke2r1   Harvester v1.8.2   6.12.0-160000.36-default
harvester02   Ready    control-plane,etcd   v1.35.7+rke2r1   Harvester v1.8.2   6.12.0-160000.36-default
harvester03   Ready    control-plane,etcd   v1.35.7+rke2r1   Harvester v1.8.2   6.12.0-160000.36-default

Upgrade CRD の全条件が True になりました。

条件 時刻 結果
LogReady 10:54 True
ImageReady 10:59 True
RepoReady 10:59 True
NodesPrepared 11:14 True
SystemServicesUpgraded 11:50 True
NodesUpgraded 12:20 True
Completed 12:20 True

まとめ

今回のアップグレードで発生したトラブルと原因・対処をまとめると以下のとおりです。

トラブル 原因 対処
CDI I/O エラー(62%) スクラッチ PVC の Longhorn ボリューム破損 スクラッチ PVC と importer pod を削除して再実行
yaml: control characters are not allowed 前回失敗時の PVC データ破損が引き継がれた Upgrade CRD と PVC を完全削除してクリーン再実行
harvester-node-manager CrashLoopBackOff DBus 接続漏れによる上限超過(271/256) CrashLoopBackOff pod を強制削除して接続を解放

Harvester のアップグレードは基本的に自動化されており、通常は Upgrade CRD を作成するだけで完了します。ただし今回のように PVC 破損が絡むと、CDI が Succeeded を返しても実際のデータが壊れているケースがあるため、クリーン再実行が有効です。

また、v1.8.x の harvester-node-manager は D-Bus を積極的に使うようになったため、ノードで D-Bus 接続が逼迫している環境では今回のような問題が起きる可能性があります。Pod を強制削除して接続を解放する対処法を覚えておくと役立つかもしれません。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?