0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

SUSE Harvester v1.8.2 から v1.9.0 へのアップグレード — バージョンカタログの罠と監視コマンド完全ガイド

0
Last updated at Posted at 2026-10-01

はじめに

前回の記事(SUSE Harvester v1.7.1 から v1.8.2 へのアップグレード)では、CDI データ破損・YAML パースエラー・DBus 接続枯渇という三つのトラブルに悩まされました。今回は v1.8.2 から v1.9.0 へのアップグレードの記録です。

結論から言えば、ノードアップグレード自体は約 62 分で一発成功でした。ただし「admission webhook に version not found と拒否される」という別の問題が発生し、その原因を調査する過程で Harvester のバージョン管理の仕組みが理解できたので、手順・監視コマンド・技術背景を整理してまとめます。


環境情報

項目 内容
アップグレード前バージョン Harvester v1.8.2
アップグレード後バージョン Harvester v1.9.0
ノード数 3ノード(harvester01/02/03)
IPアドレス 192.168.11.71 / 72 / 73
アップグレード前 Kubernetes RKE2 v1.35.7+rke2r1
アップグレード後 Kubernetes RKE2 v1.36.3+rke2r1
アップグレード前 OS/カーネル SLE Micro / kernel 6.12.0-160000.36-default
アップグレード後 OS/カーネル SLE Micro / kernel 6.12.0-160000.37-default

0. kubectl パスの確認

Harvester は RKE2 Kubernetes を内蔵しており、kubectl は RKE2 のデータディレクトリに格納されています。アップグレードによって Kubernetes バージョンが変わるたびにパスも変わります。

# SSH でノードに入り root に昇格
ssh rancher@192.168.11.71
sudo -i

# データディレクトリ内のバージョン一覧で確認
ls /var/lib/rancher/rke2/data/

# 例: v1.34.3-rke2r3-5b8349de68df  v1.35.7-rke2r1-74310658583d
# 最新(ディレクトリが2つ以上あれば新しい方)を使う

# KUBECONFIG をエクスポートして kubectl を使えるようにする
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
KUBECTL=/var/lib/rancher/rke2/data/v1.35.7-rke2r1-74310658583d/bin/kubectl

$KUBECTL get node

v1.8.2 → v1.9.0 のアップグレード後は v1.36.3-rke2r1-* ディレクトリが追加され、以降はそちらの kubectl を使います。


1. アップグレードの仕組み(技術背景)

1-1. ステートマシン

Harvester のアップグレードは Upgrade CRD を作成することで開始し、コントローラーが以下のステートマシンを経由します。

PreparingLoggingInfra
  ↓ ログ収集インフラ(Fluentd/Fluent Bit)の起動
LoggingInfraPrepared
  ↓ CDI が ISO を HTTP ダウンロード(約 8.3GB)
PreparingRepo
  ↓ upgrade-repo pod が ISO をマウントして nginx で配信開始
RepoPrepared
  ↓ Helm チャートを更新(Rancher, Longhorn, KubeVirt 等)
UpgradingSystemServices
  ↓ 全ノードにコンテナイメージを事前配布(pull)
PreparingNodes
  ↓ 各ノードを順番に drain → OS アップグレード → 再起動
UpgradingNodes
  ↓ 全ノード完了
Succeeded

各フェーズで作成されるリソースを把握しておくと、問題発生時に原因を特定しやすくなります。

1-2. バージョンカタログ: versions.harvesterhci.io

Harvester v1.8.x の admission webhook は、versions.harvesterhci.io という CRD でバージョンカタログを管理しています。Upgrade CRD を作成する際、webhook がこのカタログを参照し、指定されたバージョンが存在しない場合は以下のエラーで拒否します。

admission webhook "validator.harvesterhci.io" denied the request:
  version v1.9.0 is not found

通常、このカタログは Harvester の upgrade-checker 機能が定期的に release-download-url(デフォルト: https://releases.rancher.com/harvester)にアクセスして自動更新します。しかし upgrade-checker が無効または未設定の場合、カタログは空のまま残ります。

CRD のスキーマは次の通りです。

$KUBECTL get crd versions.harvesterhci.io -o jsonpath='{.spec.versions[0].schema.openAPIV3Schema.properties.spec}'
# {
#   "isoChecksum": {"type": "string"},
#   "isoURL":      {"type": "string"},   ← 必須
#   "minUpgradableVersion": {"type": "string"},
#   "releaseDate":  {"type": "string"},
#   "tags":         {"items": {...}, "type": "array"}
# }

isoURL だけが必須フィールドです。このリソースを手動作成することでカタログを補完できます。

1-3. ISO の配布

ISO は releases.rancher.com/harvester/{version}/harvester-{version}-amd64.iso で配布されています。v1.9.0 の場合:

https://releases.rancher.com/harvester/v1.9.0/harvester-v1.9.0-amd64.iso
(約 8.3GB)

CDI(Containerized Data Importer)がこの URL から ISO をダウンロードし、Longhorn PVC に格納します。upgrade-repo pod はその PVC を loop mount して nginx で配信します。コントローラーはこの nginx から harvester-release.yaml を読み取り、リリース情報(次バージョンで必要な Helm チャートバージョン等)を取得します。


2. アップグレード手順

Step 1: クラスター健全性確認

export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
K=/var/lib/rancher/rke2/data/v1.35.7-rke2r1-74310658583d/bin/kubectl

# 全ノード Ready 確認
$K get node -o wide

# CrashLoopBackOff や Error 状態のポッドがないことを確認
$K get pod -A --field-selector='status.phase!=Running' | grep -v Completed

# Longhorn ボリュームが healthy であることを確認
$K get volumes.longhorn.io -n longhorn-system

Step 2: バージョンカタログへの登録

upgrade-checker が未設定の場合、versions.harvesterhci.io に v1.9.0 のエントリを手動で追加します。

cat <<'EOF' | $K apply -f -
apiVersion: harvesterhci.io/v1beta1
kind: Version
metadata:
  name: v1.9.0
  namespace: harvester-system
spec:
  isoURL: https://releases.rancher.com/harvester/v1.9.0/harvester-v1.9.0-amd64.iso
  minUpgradableVersion: v1.8.0
  releaseDate: "2026-09-01"
  tags: []
EOF

# 確認
$K get version.harvesterhci.io v1.9.0 -n harvester-system

upgrade-checker が有効な場合(upgrade-checker-enabled が true)はこの手順は不要です。自動的にカタログが更新されます。

# 設定確認
$K get setting.harvesterhci.io upgrade-checker-enabled -o jsonpath='{.value}'

Step 3: Upgrade CRD の作成

cat <<'EOF' | $K apply -f -
apiVersion: harvesterhci.io/v1beta1
kind: Upgrade
metadata:
  name: hvst-upgrade-v190
  namespace: harvester-system
spec:
  logEnabled: true
  version: v1.9.0
EOF

作成直後に upgradeState ラベルが付き、コントローラーが処理を開始します。


3. アップグレードの監視方法

3-1. upgradeState の確認

最も重要な情報は Upgrade CRD の upgradeState ラベルです。

# 現在のフェーズを確認
$K get upgrade.harvesterhci.io hvst-upgrade-v190 -n harvester-system \
  -o jsonpath='{.metadata.labels.harvesterhci\.io/upgradeState}'

# Conditions(各フェーズの完了状態)を確認
$K get upgrade.harvesterhci.io hvst-upgrade-v190 -n harvester-system \
  -o jsonpath='{range .status.conditions[*]}{.type}{"\t"}{.status}{"\t"}{.lastUpdateTime}{"\n"}{end}'

conditions の出力例(完了後):

LogReady          True    2026-10-01T13:15:08Z
ImageReady        True    2026-10-01T13:21:45Z
RepoReady         True    2026-10-01T13:21:56Z
NodesPrepared     True    2026-10-01T13:34:19Z
SystemServicesUpgraded  True  2026-10-01T13:48:07Z
NodesUpgraded     True    2026-10-01T14:16:29Z
Completed         True    2026-10-01T14:16:29Z

3-2. ノード別の進捗確認(UpgradingNodes フェーズ)

各ノードの状態は nodeStatuses で確認できます。

# ノード別のアップグレード状態
$K get upgrade.harvesterhci.io hvst-upgrade-v190 -n harvester-system \
  -o jsonpath='{range .status.nodeStatuses.*}{@}{"\n"}{end}'

# より読みやすい形式
$K get upgrade.harvesterhci.io hvst-upgrade-v190 -n harvester-system \
  -o json | python3 -c "
import sys, json
u = json.load(sys.stdin)
state = u['metadata']['labels'].get('harvesterhci.io/upgradeState','')
print(f'State: {state}')
for node, ns in u.get('status',{}).get('nodeStatuses',{}).items():
    print(f'  {node}: {ns.get(\"state\",\"?\")}')
"

ノードの状態遷移は以下の順です:

Images preloading  → イメージ pull 中
Images preloaded   → 準備完了(次のノードの番を待っている)
Pre-draining       → drain 開始
Pre-drained        → drain 完了、OS アップグレード実行中
Waiting Reboot     → 再起動待ち
Post-draining      → 再起動後、uncordon 中
Succeeded          → 完了

drain 中は API サーバーが一時的に停止するため、kubectl コマンドがタイムアウトすることがあります。その場合は別のノードに接続して確認してください。

# harvester02 から確認(harvester01 が再起動中の場合)
ssh rancher@192.168.11.72
sudo -i
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml

3-3. CDI のダウンロード進捗(PreparingRepo フェーズ)

ISO の取得には CDI(Containerized Data Importer)が使われます。DataVolume リソースで進捗を確認できます。

# DataVolume の状態とダウンロード進捗
$K get datavolume hvst-upgrade-v190 -n harvester-system \
  -o jsonpath='{.status.phase} {.status.progress}'
# 例: ImportInProgress 58.41%
# 例: Succeeded 100.0%

# ダウンロード元 URL の確認
$K get datavolume hvst-upgrade-v190 -n harvester-system \
  -o jsonpath='{.spec.source.http.url}'

3-4. upgrade-repo pod の確認(RepoPrepared フェーズ)

CDI ダウンロード完了後、upgrade-repo pod が ISO をマウントして nginx で配信します。

# upgrade-repo pod の状態
$K get pod -n harvester-system \
  -l 'harvesterhci.io/upgradeComponent=repo' -o wide

# pod 内で ISO が正しくマウントされているか確認
REPO_POD=$($K get pod -n harvester-system \
  -l 'harvesterhci.io/upgradeComponent=repo' \
  -o jsonpath='{.items[0].metadata.name}')

$K exec -n harvester-system $REPO_POD -- \
  sh -c "mount | grep htdocs; ls /srv/www/htdocs/harvester-iso/"

# nginx が harvester-release.yaml を正しく返しているか確認
$K exec -n harvester-system $REPO_POD -- \
  curl -s http://localhost/harvester-iso/harvester-release.yaml | head -5

3-5. システムサービスの更新状況(UpgradingSystemServices フェーズ)

Helm チャートの更新状況を確認します。

# Fleet バンドルの状態
$K get bundle -n fleet-local

# Managed Chart の状態
$K get managedchart -n fleet-local

# Helm リリースの一覧
helm list -n cattle-system
helm list -n harvester-system

4. アップグレード結果

約 62 分でアップグレードが完了しました。今回は前回(v1.7.1 → v1.8.2)で発生したトラブルは一切発生しませんでした。

フェーズ 開始時刻 所要時間
PreparingLoggingInfra ~ LoggingInfraPrepared 13:14 ~1分
ISO ダウンロード(CDI) 13:15 ~7分(8.3GB)
PreparingRepo(upgrade-repo 起動) 13:22 ~1分未満
PreparingNodes(イメージ事前配布 × 3ノード) 13:22 ~12分
UpgradingSystemServices(Helm チャート更新) 13:34 ~14分
UpgradingNodes(3ノード順次 OS 更新・再起動) 13:48 ~28分
合計 約 62 分

最終状態:

NAME          STATUS   VERSION          OS-IMAGE           KERNEL
harvester01   Ready    v1.36.3+rke2r1   Harvester v1.9.0   6.12.0-160000.37-default
harvester02   Ready    v1.36.3+rke2r1   Harvester v1.9.0   6.12.0-160000.37-default
harvester03   Ready    v1.36.3+rke2r1   Harvester v1.9.0   6.12.0-160000.37-default

5. トラブルシューティング:version not found

今回発生した唯一の問題は、Upgrade CRD 作成時に admission webhook に拒否されたことです。

Error from server (BadRequest): admission webhook "validator.harvesterhci.io"
denied the request: version v1.9.0 is not found

原因

versions.harvesterhci.io CRD(バージョンカタログ)が空だったため、webhook がバージョンを認識できませんでした。

調査方法

# バージョンカタログの内容確認
$K get versions.harvesterhci.io -n harvester-system

# upgrade-checker の設定確認
$K get setting.harvesterhci.io upgrade-checker-enabled -o jsonpath='{.value}'
$K get setting.harvesterhci.io upgrade-checker-url     -o jsonpath='{.value}'
$K get setting.harvesterhci.io release-download-url   -o yaml

# webhook ログの確認
$K logs -n harvester-system \
  -l 'app=harvester-webhook' --tail=50 | grep -iE 'version|not found'

対処

Step 2 で説明したように、versions.harvesterhci.io/v1.9.0 リソースを手動作成することで解決します。iso URL は releases.rancher.com で配信されていることを事前に確認しました。

# ISO が実際に存在するか確認
curl -sI https://releases.rancher.com/harvester/v1.9.0/harvester-v1.9.0-amd64.iso \
  | grep -E 'HTTP|content-length'
# HTTP/2 200
# x-goog-stored-content-length: 8311906698

まとめ

v1.8.2 → v1.9.0 のアップグレードは前回より格段にスムーズでした。

ポイントをまとめると:

  1. kubectl パスの更新を忘れない — RKE2 バージョンが変わるとパスが変わる
  2. upgrade-checker が未設定の場合は versions.harvesterhci.io を手動作成 — admission webhook が version not found で拒否する
  3. アップグレードの状態は upgradeState ラベルと nodeStatuses で確認 — 各フェーズで作成される Pod も合わせて見ると全体像が把握しやすい
  4. ノード再起動中は接続先を切り替える — drain で API が一時停止するため別ノードにフォールバック

前回の記事で紹介した「クリーン再実行」の知識が活きて、今回は CDI 破損も DBus 枯渇も発生しませんでした。継続的なアップグレードを行う環境では、upgrade-checker を有効にして release-download-url を設定しておくことを強く推奨します。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?