はじめに

ProxmoxVEでサーバーを構築したのだが定期的にダウンしていた。原因が分かったため記事にする。

追記（Proxmox7以降の話）

pythonコマンドが無くなり、python3となりました。python3とコマンドは置き換えてください。この記事で適用したcronの設定もアップグレード後には機能しなくなっているはずです。

マシンの構成

CPU：AMD Ryzen 5 1600 https://kakaku.com/item/K0000954888/
GPU：Geforce GTX 1050Ti https://kakaku.com/item/K0000921781/
マザボ：ASRock AB350 PRO4 https://kakaku.com/item/K0000947191/

障害発生時の状況

フリーズ時の実際の写真。

文字に起こしてみると以下のような内容。

login: [1192.106507] watchdog: BUG soft lockup - CPU#11 stuck for 23s [pvesr:31246]
[16.102216] watchdog: BUG soft lockup - CPU#10 stuck for 22s [kworker/10:3:6830]
[20.106166] watchdog: BUG soft lockup - CPU#11 stuck for 23s [pvesr:31246]
[44.106166] watchdog: BUG soft lockup - CPU#10 stuck for 22s [kworker/10:3:6830]

節電のためC6ステートに切り替えを行ったときに不具合が発生するらしい。

Ryzen linux kernel bug 196683 - Random Soft Lockup
https://community.amd.com/t5/processors/ryzen-linux-kernel-bug-196683-random-soft-lockup/td-p/156304

直し方

"ZenStates-Linux"というPythonコードを使用するとRyzenのC6を無効化できる。msrモジュールを事前に有効化させる必要がある。

msrモジュールを自動で読み込むようにする

vim /etc/modules

# 中に以下を追記
msr

GitHubからコードを落とす
ZenStates-Linux
https://github.com/r4m0n/ZenStates-Linux

git clone https://github.com/r4m0n/ZenStates-Linux.git

現在のC6ステートを確認。C6が有効であることがわかる。

sudo python c6_state_check/ZenStates-Linux/zenstates.py -l
P0 - Enabled - FID = 80 - DID = 8 - VID = 32 - Ratio = 32.00 - vCore = 1.23750
P1 - Enabled - FID = 8C - DID = A - VID = 50 - Ratio = 28.00 - vCore = 1.05000
P2 - Enabled - FID = 7C - DID = 10 - VID = 68 - Ratio = 15.50 - vCore = 0.90000
P3 - Disabled
P4 - Disabled
P5 - Disabled
P6 - Disabled
P7 - Disabled
C6 State - Package - Enabled
C6 State - Core - Enabled

# Proxmox7以降
sudo python3 c6_state_check/ZenStates-Linux/zenstates.py -l

C6を無効化してみる

sudo python c6_state_check/ZenStates-Linux/zenstates.py --c6-disable
Disabling C6 state

# Proxmox7以降
sudo python3 c6_state_check/ZenStates-Linux/zenstates.py --c6-disable
Disabling C6 state

結果を確認。C6が無効化されている。

sudo python c6_state_check/ZenStates-Linux/zenstates.py -l
P0 - Enabled - FID = 80 - DID = 8 - VID = 32 - Ratio = 32.00 - vCore = 1.23750
P1 - Enabled - FID = 8C - DID = A - VID = 50 - Ratio = 28.00 - vCore = 1.05000
P2 - Enabled - FID = 7C - DID = 10 - VID = 68 - Ratio = 15.50 - vCore = 0.90000
P3 - Disabled
P4 - Disabled
P5 - Disabled
P6 - Disabled
P7 - Disabled
C6 State - Package - Disabled
C6 State - Core - Disabled

# Proxmox7以降
sudo python3 c6_state_check/ZenStates-Linux/zenstates.py -l

全くキレイなやり方ではないが、cronに入れて起動時に設定されるようにする。

crontab -e

# 一番最後の行に以下追記
@reboot sudo python c6_state_check/ZenStates-Linux/zenstates.py --c6-disable

# Proxmox7以降
@reboot sudo python3 c6_state_check/ZenStates-Linux/zenstates.py --c6-disable

最後に

マザーボードの蟹NIC用ドライバーが不安定なため、サーバーが機能しなくなることが度々あった。PCI Passthroughを行っていたため現象を把握しにくかった。

蟹NICを直した話

PCI Passthroughを行うとGPU(Geforce GTX1050Ti)は仮想マシンが持っていってしまう。購入したRyzenにはGPU機能がないためモニターが映らない状態だった。
ProxmoxVEはWeb上のコンソールで管理できるはず…だったのだが、NICが倒れてしまうとお手上げ。

GPU付きのIntelのほうが苦労しなかったかもしれない。