はじめに
前回の記事(SUSE Harvester v1.7.1 から v1.8.2 へのアップグレード)では、CDI データ破損・YAML パースエラー・DBus 接続枯渇という三つのトラブルに悩まされました。今回は v1.8.2 から v1.9.0 へのアップグレードの記録です。
結論から言えば、ノードアップグレード自体は約 62 分で一発成功でした。ただし「admission webhook に version not found と拒否される」という別の問題が発生し、その原因を調査する過程で Harvester のバージョン管理の仕組みが理解できたので、手順・監視コマンド・技術背景を整理してまとめます。
環境情報
| 項目 | 内容 |
|---|---|
| アップグレード前バージョン | Harvester v1.8.2 |
| アップグレード後バージョン | Harvester v1.9.0 |
| ノード数 | 3ノード(harvester01/02/03) |
| IPアドレス | 192.168.11.71 / 72 / 73 |
| アップグレード前 Kubernetes | RKE2 v1.35.7+rke2r1 |
| アップグレード後 Kubernetes | RKE2 v1.36.3+rke2r1 |
| アップグレード前 OS/カーネル | SLE Micro / kernel 6.12.0-160000.36-default |
| アップグレード後 OS/カーネル | SLE Micro / kernel 6.12.0-160000.37-default |
0. kubectl パスの確認
Harvester は RKE2 Kubernetes を内蔵しており、kubectl は RKE2 のデータディレクトリに格納されています。アップグレードによって Kubernetes バージョンが変わるたびにパスも変わります。
# SSH でノードに入り root に昇格
ssh rancher@192.168.11.71
sudo -i
# データディレクトリ内のバージョン一覧で確認
ls /var/lib/rancher/rke2/data/
# 例: v1.34.3-rke2r3-5b8349de68df v1.35.7-rke2r1-74310658583d
# 最新(ディレクトリが2つ以上あれば新しい方)を使う
# KUBECONFIG をエクスポートして kubectl を使えるようにする
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
KUBECTL=/var/lib/rancher/rke2/data/v1.35.7-rke2r1-74310658583d/bin/kubectl
$KUBECTL get node
v1.8.2 → v1.9.0 のアップグレード後は v1.36.3-rke2r1-* ディレクトリが追加され、以降はそちらの kubectl を使います。
1. アップグレードの仕組み(技術背景)
1-1. ステートマシン
Harvester のアップグレードは Upgrade CRD を作成することで開始し、コントローラーが以下のステートマシンを経由します。
PreparingLoggingInfra
↓ ログ収集インフラ(Fluentd/Fluent Bit)の起動
LoggingInfraPrepared
↓ CDI が ISO を HTTP ダウンロード(約 8.3GB)
PreparingRepo
↓ upgrade-repo pod が ISO をマウントして nginx で配信開始
RepoPrepared
↓ Helm チャートを更新(Rancher, Longhorn, KubeVirt 等)
UpgradingSystemServices
↓ 全ノードにコンテナイメージを事前配布(pull)
PreparingNodes
↓ 各ノードを順番に drain → OS アップグレード → 再起動
UpgradingNodes
↓ 全ノード完了
Succeeded
各フェーズで作成されるリソースを把握しておくと、問題発生時に原因を特定しやすくなります。
1-2. バージョンカタログ: versions.harvesterhci.io
Harvester v1.8.x の admission webhook は、versions.harvesterhci.io という CRD でバージョンカタログを管理しています。Upgrade CRD を作成する際、webhook がこのカタログを参照し、指定されたバージョンが存在しない場合は以下のエラーで拒否します。
admission webhook "validator.harvesterhci.io" denied the request:
version v1.9.0 is not found
通常、このカタログは Harvester の upgrade-checker 機能が定期的に release-download-url(デフォルト: https://releases.rancher.com/harvester)にアクセスして自動更新します。しかし upgrade-checker が無効または未設定の場合、カタログは空のまま残ります。
CRD のスキーマは次の通りです。
$KUBECTL get crd versions.harvesterhci.io -o jsonpath='{.spec.versions[0].schema.openAPIV3Schema.properties.spec}'
# {
# "isoChecksum": {"type": "string"},
# "isoURL": {"type": "string"}, ← 必須
# "minUpgradableVersion": {"type": "string"},
# "releaseDate": {"type": "string"},
# "tags": {"items": {...}, "type": "array"}
# }
isoURL だけが必須フィールドです。このリソースを手動作成することでカタログを補完できます。
1-3. ISO の配布
ISO は releases.rancher.com/harvester/{version}/harvester-{version}-amd64.iso で配布されています。v1.9.0 の場合:
https://releases.rancher.com/harvester/v1.9.0/harvester-v1.9.0-amd64.iso
(約 8.3GB)
CDI(Containerized Data Importer)がこの URL から ISO をダウンロードし、Longhorn PVC に格納します。upgrade-repo pod はその PVC を loop mount して nginx で配信します。コントローラーはこの nginx から harvester-release.yaml を読み取り、リリース情報(次バージョンで必要な Helm チャートバージョン等)を取得します。
2. アップグレード手順
Step 1: クラスター健全性確認
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
K=/var/lib/rancher/rke2/data/v1.35.7-rke2r1-74310658583d/bin/kubectl
# 全ノード Ready 確認
$K get node -o wide
# CrashLoopBackOff や Error 状態のポッドがないことを確認
$K get pod -A --field-selector='status.phase!=Running' | grep -v Completed
# Longhorn ボリュームが healthy であることを確認
$K get volumes.longhorn.io -n longhorn-system
Step 2: バージョンカタログへの登録
upgrade-checker が未設定の場合、versions.harvesterhci.io に v1.9.0 のエントリを手動で追加します。
cat <<'EOF' | $K apply -f -
apiVersion: harvesterhci.io/v1beta1
kind: Version
metadata:
name: v1.9.0
namespace: harvester-system
spec:
isoURL: https://releases.rancher.com/harvester/v1.9.0/harvester-v1.9.0-amd64.iso
minUpgradableVersion: v1.8.0
releaseDate: "2026-09-01"
tags: []
EOF
# 確認
$K get version.harvesterhci.io v1.9.0 -n harvester-system
upgrade-checker が有効な場合(upgrade-checker-enabled が true)はこの手順は不要です。自動的にカタログが更新されます。
# 設定確認
$K get setting.harvesterhci.io upgrade-checker-enabled -o jsonpath='{.value}'
Step 3: Upgrade CRD の作成
cat <<'EOF' | $K apply -f -
apiVersion: harvesterhci.io/v1beta1
kind: Upgrade
metadata:
name: hvst-upgrade-v190
namespace: harvester-system
spec:
logEnabled: true
version: v1.9.0
EOF
作成直後に upgradeState ラベルが付き、コントローラーが処理を開始します。
3. アップグレードの監視方法
3-1. upgradeState の確認
最も重要な情報は Upgrade CRD の upgradeState ラベルです。
# 現在のフェーズを確認
$K get upgrade.harvesterhci.io hvst-upgrade-v190 -n harvester-system \
-o jsonpath='{.metadata.labels.harvesterhci\.io/upgradeState}'
# Conditions(各フェーズの完了状態)を確認
$K get upgrade.harvesterhci.io hvst-upgrade-v190 -n harvester-system \
-o jsonpath='{range .status.conditions[*]}{.type}{"\t"}{.status}{"\t"}{.lastUpdateTime}{"\n"}{end}'
conditions の出力例(完了後):
LogReady True 2026-10-01T13:15:08Z
ImageReady True 2026-10-01T13:21:45Z
RepoReady True 2026-10-01T13:21:56Z
NodesPrepared True 2026-10-01T13:34:19Z
SystemServicesUpgraded True 2026-10-01T13:48:07Z
NodesUpgraded True 2026-10-01T14:16:29Z
Completed True 2026-10-01T14:16:29Z
3-2. ノード別の進捗確認(UpgradingNodes フェーズ)
各ノードの状態は nodeStatuses で確認できます。
# ノード別のアップグレード状態
$K get upgrade.harvesterhci.io hvst-upgrade-v190 -n harvester-system \
-o jsonpath='{range .status.nodeStatuses.*}{@}{"\n"}{end}'
# より読みやすい形式
$K get upgrade.harvesterhci.io hvst-upgrade-v190 -n harvester-system \
-o json | python3 -c "
import sys, json
u = json.load(sys.stdin)
state = u['metadata']['labels'].get('harvesterhci.io/upgradeState','')
print(f'State: {state}')
for node, ns in u.get('status',{}).get('nodeStatuses',{}).items():
print(f' {node}: {ns.get(\"state\",\"?\")}')
"
ノードの状態遷移は以下の順です:
Images preloading → イメージ pull 中
Images preloaded → 準備完了(次のノードの番を待っている)
Pre-draining → drain 開始
Pre-drained → drain 完了、OS アップグレード実行中
Waiting Reboot → 再起動待ち
Post-draining → 再起動後、uncordon 中
Succeeded → 完了
drain 中は API サーバーが一時的に停止するため、kubectl コマンドがタイムアウトすることがあります。その場合は別のノードに接続して確認してください。
# harvester02 から確認(harvester01 が再起動中の場合)
ssh rancher@192.168.11.72
sudo -i
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
3-3. CDI のダウンロード進捗(PreparingRepo フェーズ)
ISO の取得には CDI(Containerized Data Importer)が使われます。DataVolume リソースで進捗を確認できます。
# DataVolume の状態とダウンロード進捗
$K get datavolume hvst-upgrade-v190 -n harvester-system \
-o jsonpath='{.status.phase} {.status.progress}'
# 例: ImportInProgress 58.41%
# 例: Succeeded 100.0%
# ダウンロード元 URL の確認
$K get datavolume hvst-upgrade-v190 -n harvester-system \
-o jsonpath='{.spec.source.http.url}'
3-4. upgrade-repo pod の確認(RepoPrepared フェーズ)
CDI ダウンロード完了後、upgrade-repo pod が ISO をマウントして nginx で配信します。
# upgrade-repo pod の状態
$K get pod -n harvester-system \
-l 'harvesterhci.io/upgradeComponent=repo' -o wide
# pod 内で ISO が正しくマウントされているか確認
REPO_POD=$($K get pod -n harvester-system \
-l 'harvesterhci.io/upgradeComponent=repo' \
-o jsonpath='{.items[0].metadata.name}')
$K exec -n harvester-system $REPO_POD -- \
sh -c "mount | grep htdocs; ls /srv/www/htdocs/harvester-iso/"
# nginx が harvester-release.yaml を正しく返しているか確認
$K exec -n harvester-system $REPO_POD -- \
curl -s http://localhost/harvester-iso/harvester-release.yaml | head -5
3-5. システムサービスの更新状況(UpgradingSystemServices フェーズ)
Helm チャートの更新状況を確認します。
# Fleet バンドルの状態
$K get bundle -n fleet-local
# Managed Chart の状態
$K get managedchart -n fleet-local
# Helm リリースの一覧
helm list -n cattle-system
helm list -n harvester-system
4. アップグレード結果
約 62 分でアップグレードが完了しました。今回は前回(v1.7.1 → v1.8.2)で発生したトラブルは一切発生しませんでした。
| フェーズ | 開始時刻 | 所要時間 |
|---|---|---|
| PreparingLoggingInfra ~ LoggingInfraPrepared | 13:14 | ~1分 |
| ISO ダウンロード(CDI) | 13:15 | ~7分(8.3GB) |
| PreparingRepo(upgrade-repo 起動) | 13:22 | ~1分未満 |
| PreparingNodes(イメージ事前配布 × 3ノード) | 13:22 | ~12分 |
| UpgradingSystemServices(Helm チャート更新) | 13:34 | ~14分 |
| UpgradingNodes(3ノード順次 OS 更新・再起動) | 13:48 | ~28分 |
| 合計 | 約 62 分 |
最終状態:
NAME STATUS VERSION OS-IMAGE KERNEL
harvester01 Ready v1.36.3+rke2r1 Harvester v1.9.0 6.12.0-160000.37-default
harvester02 Ready v1.36.3+rke2r1 Harvester v1.9.0 6.12.0-160000.37-default
harvester03 Ready v1.36.3+rke2r1 Harvester v1.9.0 6.12.0-160000.37-default
5. トラブルシューティング:version not found
今回発生した唯一の問題は、Upgrade CRD 作成時に admission webhook に拒否されたことです。
Error from server (BadRequest): admission webhook "validator.harvesterhci.io"
denied the request: version v1.9.0 is not found
原因
versions.harvesterhci.io CRD(バージョンカタログ)が空だったため、webhook がバージョンを認識できませんでした。
調査方法
# バージョンカタログの内容確認
$K get versions.harvesterhci.io -n harvester-system
# upgrade-checker の設定確認
$K get setting.harvesterhci.io upgrade-checker-enabled -o jsonpath='{.value}'
$K get setting.harvesterhci.io upgrade-checker-url -o jsonpath='{.value}'
$K get setting.harvesterhci.io release-download-url -o yaml
# webhook ログの確認
$K logs -n harvester-system \
-l 'app=harvester-webhook' --tail=50 | grep -iE 'version|not found'
対処
Step 2 で説明したように、versions.harvesterhci.io/v1.9.0 リソースを手動作成することで解決します。iso URL は releases.rancher.com で配信されていることを事前に確認しました。
# ISO が実際に存在するか確認
curl -sI https://releases.rancher.com/harvester/v1.9.0/harvester-v1.9.0-amd64.iso \
| grep -E 'HTTP|content-length'
# HTTP/2 200
# x-goog-stored-content-length: 8311906698
まとめ
v1.8.2 → v1.9.0 のアップグレードは前回より格段にスムーズでした。
ポイントをまとめると:
- kubectl パスの更新を忘れない — RKE2 バージョンが変わるとパスが変わる
-
upgrade-checker が未設定の場合は
versions.harvesterhci.ioを手動作成 — admission webhook が version not found で拒否する -
アップグレードの状態は
upgradeStateラベルとnodeStatusesで確認 — 各フェーズで作成される Pod も合わせて見ると全体像が把握しやすい - ノード再起動中は接続先を切り替える — drain で API が一時停止するため別ノードにフォールバック
前回の記事で紹介した「クリーン再実行」の知識が活きて、今回は CDI 破損も DBus 枯渇も発生しませんでした。継続的なアップグレードを行う環境では、upgrade-checker を有効にして release-download-url を設定しておくことを強く推奨します。