Proxmox8 を試してみる その１４ vGPU (VT-d) Passthrough with Intel Alder Lake

Proxmox8 で GPU Passthrough がやりたかったが・・・

Proxmox8 で GPUパススルーを使用したかったのですが、AMDだとどう頑張ってもできなく諦めていたのですが、話題の「Intel N100」を購入したので試してみました。

とりあえずどのN100製品でも vGPU (VT-d) Passthrough ができると思いますが私が使用したPCや環境は以下とおりです。

　・商品：Beelink N100 MINI-S12 Pro
　　・CPU：Intel N100（Alder Lake-N）
　　・memory:DDR4 SDRAM 16GB(32GBでも使えましたYO)
　・ホスト
　　・Proxmox VE 8.0.4 / kernel 6.2.16-19-pve ※2023/11/09時点
　・ゲスト
　　・Windows 11 Enterprise Evaluation

　※ちなみに、使用できる kernel バージョンがシビアだそうです。

Beelink N100 MINI-S12 Pro

少しだけ Beelink N100 MINI-S12 Pro を紹介してみます。
少し話題的には遅いかもですが、N100 マシンを購入してみました。Amazon みると2万台ですがフリマで1.3万で売っていたのでぽちっってみました。今のとこ（2023/11）N100搭載しているミニPCは、中華メーカしか出ていないみたいですが割と色々なメーカから出しているので選択肢はかなり多いです。

Beelink N100 MINI-S12 Pro ですが拡張性もあるし性能もIntel Core i5 6500相当というので遊ぶにはいいと思います（もちろん普段使いできる性能です）。ですので安いの見つけたらぽちるのがいいと思います。

良い点
　・HDMIポート/USB3.1/ギガビットLANポート ふつうーにある
　・TDP 6W（高負荷時 20W）で省電力
　・静穏ファンで非常に静か
　・N100 のパフォーマンスが良すぎる！
　・NVMe/メモリを換装できる　※メモリ32GBまでいけました
悪い点
　・メモリー、NVMe が・・怪しい（私は、即交換しました）
　・Windows11 Pro VL ライセンスが不安

買いってことでｗ

ようするに見かけたら買いましょう！！

N100ミニPCを購入するときに気をつける点
　・メモリが直付けでないこと！（メモリ換装したいですよね）
　・NVMe と明記されているのに SSDかも　（NVMeがいいですよね）
　・ファンがしょぼい　（そういう製品もあるようです）
　・Windows11 Pro ついているけど、あれかもしれない　（詳しくはググってください）

とりあえず普通に GPUパススルーが出来できない（ここから本題）

Intelの場合(vt-d必須) GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt video=efifb:off" を記述することで割と簡単にできる・・みたいな記事があり他のサイトをみても Windows 側のディスプレイアダプタとして認識するもドライバが コード43 を返しどうしようもありませんでした。

コード43 を回避するためにintelドライバを入れても解決せず・・・むむむ

vGPU (VT-d) Passthrough で設定してみる

NVIDIA の技術で ホストサーバーに搭載したGPU仮想的に分割して使用することを "vGPU" と言うらしいです。N100 でも vGPU (VT-d) Passthrough ができるというので設定してみます。

SR-IOV (シングル ルート I/O 仮想化) に関連する、Intel VT-d (Intel Virtualization Technology for Directed I/O) と呼ばれる新しいテクノロジがあります。これにより、互換性のあるデバイスは、GPU などのデバイスを複数の VF (仮想機能) に仮想化できます。

i915-sriov-dkms を設定する

i915-sriov-dkms するために、Gitから最新の Dynamic Kernel Module System (DKMS) リポジトリからソースを取得しコンパイル～導入という手順を踏みます。Proxmox UI でホストシェルを起動してもよいしSSHで接続してもよいのでまず黒い画面で操作します。

# apt-get install git
# mkdir repo
# cd repo
# git clone https://github.com/strongtz/i915-sriov-dkms.git
# cd i915-sriov-dkms/

dkms.conf ファイルを編集します。PACKAGE_VERSION には、カーネルバージョンを指定します（コンパイルにはあまり影響がないです）。

# cat dkms.conf 
PACKAGE_NAME="i915-sriov-dkms"
PACKAGE_VERSION="6.2"

コンパイルに必要な情報を更新するコマンドを実行し・・・

# cd ..
# cp -rp i915-sriov-dkms/ /usr/src/i915-sriov-dkms-6.2
# apt update && apt install pve-headers-$(uname -r)
# apt install git dkms build-* unzip -y

コンパイルします。

# dkms install --force -m i915-sriov-dkms -v 6.2

Building module:
Cleaning build area...
make -j4 KERNELRELEASE=6.2.16-19-pve -j4 -C /lib/modules/6.2.16-19-pve/build M=/var/lib/dkms/i915-sriov-dkms/6.2/build KVER=6.2.16-19-pve..........................(bad exit status: 2)
Error! Bad return status for module build on kernel: 6.2.16-19-pve (x86_64)
Consult /var/lib/dkms/i915-sriov-dkms/6.2/build/make.log for more information.

なんだかエラーが発生しているのでログファイルを見てみます。

# cat /var/lib/dkms/i915-sriov-dkms/6.2/build/make.log
/var/lib/dkms/i915-sriov-dkms/6.2/build/drivers/gpu/drm/i915/display/intel_dp.c:3890:9: error: implicit declaration of function ‘drm_dp_mst_hpd_irq’; did you mean ‘intel_dp_mst_hpd_irq’? [-Werror=implicit-function-declaration]
 3890 |         drm_dp_mst_hpd_irq(&intel_dp->mst_mgr, esi, &handled);
      |         ^~~~~~~~~~~~~~~~~~
      |         intel_dp_mst_hpd_irq

intel_dp.c のコンパイルでエラーが発生しています。調べると issues にもありました。

エラー部分を修正しましょう。念のため intel_dp.c ファイルの場所を調べておきます。

# cd /usr/src/i915-sriov-dkms-6.2
# find . -name intel_dp.c
./i915-sriov-dkms/drivers/gpu/drm/i915/display/intel_dp.c
./drivers/gpu/drm/i915/display/intel_dp.c

i915-sriov-dkms/drivers.... のファイルだけ修正してもコンパイルエラーが発生していたので、２つのファイルを下記のように修正します。

-#if (LINUX_VERSION_CODE >= KERNEL_VERSION(6,1,40) && LINUX_VERSION_CODE <= KERNEL_VERSION(6,1,99)) || LINUX_VERSION_CODE > KERNEL_VERSION(6,4,5)
+#if (LINUX_VERSION_CODE >= KERNEL_VERSION(6,1,40) && LINUX_VERSION_CODE <= KERNEL_VERSION(6,1,99)) || LINUX_VERSION_CODE >= KERNEL_VERSION(6,2,0)

再度コンパイルします。下記のようになればOKです。

# dkms install --force -m i915-sriov-dkms -v 6.2
Sign command: /lib/modules/6.2.16-19-pve/build/scripts/sign-file
Signing key: /var/lib/dkms/mok.key
Public certificate (MOK): /var/lib/dkms/mok.pub

Building module:
Cleaning build area...
make -j4 KERNELRELEASE=6.2.16-19-pve -j4 -C /lib/modules/6.2.16-19-pve/build M=/var/lib/dkms/i915-sriov-dkms/6.2/build KVER=6.2.16-19-pve..............................
Signing module /var/lib/dkms/i915-sriov-dkms/6.2/build/i915.ko
Cleaning build area...

i915.ko:
Running module version sanity check.
 - Original module
 - Installation
   - Installing to /lib/modules/6.2.16-19-pve/updates/dkms/
depmod...

DKMS ステータスを確認してみましょう。

# dkms status
i915-sriov-dkms/6.2, 6.2.16-19-pve, x86_64: installed

GRUBオプションの編集と設定

とりあえず i915-sriov-dkms のモジュールが作成できたので、やっとパススルーの設定ができます。

/etc/default/grub を下記のように編集します。vfs の数値は、GPU仮想で使用する個数を設定しますが、使用するたびに 2GB？ 使用されるようですので注意が必要です。

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt i915.enable_guc=3 i915.max_vfs=2"

grub を更新し、sysfsutils をインストールします。※ZFS のときはコマンド違います！！

# update-grub
# update-initramfs -u
# apt install sysfsutils -y

とりあえず VGA カードと PCIe バスの状態を見てみます。通常は 00:02.0 らしいです。

# lspci | grep VGA
00:02.0 VGA compatible controller: Intel Corporation Alder Lake-N [UHD Graphics]

PCIe バス番号を設定します。これ設定しないとだめでした。

# echo "devices/pci0000:00/0000:00:02.0/sriov_numvfs = 2" > /etc/sysfs.conf

この段階でいったん Proxmox を再起動します。
再起動後に下記のコマンドで VF が有効（Enabled 2 VFs）になっているか確認します。

# dmesg | grep i915
[    4.329179] i915 0000:00:02.0: Running in SR-IOV PF mode
[    4.971234] i915 0000:00:02.0: Enabled 2 VFs

Windows の VM に PCIデバイスを追加

ここまでくればPCIデバイスを追加するだけです。念のため複数のGPUが存在するのかを確認します。赤枠部分が VF化されたGPUとなります。

あとは、PCIデバイスを追加します。プライマリGPUにチェックをいれておきます。

複数のVMでGPUを使うことできるか、、確認します。
こういうとき評価版windows使うと便利ですね。

カーネルのバージョンを固定する

システムアップデートしたときカーネルのバージョンが変更されると動かなくなるので、今のカーネルバージョンで固定化しておきます。

# uname -r
6.2.16-19-pve

# proxmox-boot-tool kernel pin 6.2.16-19-pve
Setting '6.2.16-19-pve' as grub default entry and running update-grub.
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-6.2.16-19-pve
Found initrd image: /boot/initrd.img-6.2.16-19-pve
Found linux image: /boot/vmlinuz-6.2.16-3-pve
Found initrd image: /boot/initrd.img-6.2.16-3-pve
Found memtest86+ 64bit EFI image: /boot/memtest86+x64.efi
Adding boot menu entry for UEFI Firmware Settings ...
done

最後に

N100は遊べますね。というか１台のProxmoxだと壊したとき（色々いじって）面倒なのでサブで遊べるProxmoxがあるといいですね。あと当然ながらIntel Core i5 6500相当といっても省電力設計なのか少しでも負荷をかけるとすぐにCPU使用率が顕著に上がるので気にする人いるかな？。そうは言ってもパワーあるし低電力でファンも静か（PL1/PL2 もう少しいじってもいいかも）なので気に入りました。

参考にさせて頂いたサイト様