はじめに

Proxmox VE 9.2 では、SDN Fabric に WireGuard が追加されました。

これにより、Proxmox SDN の Fabric 機能として WireGuard インターフェースを構成できるようになり、VXLAN の underlay 通信を WireGuard 経由にする構成が取りやすくなりました。

本記事では、Proxmox 9.2 の WireGuard Fabric を使い、VXLAN over WireGuard 構成を作成して、純VXLANと比較したパフォーマンスを測定します。

結論から言うと、今回の2.5GbE級の検証環境では、VXLAN over WireGuard でも帯域低下は約7〜8%程度に収まりました。一方で、ホスト側CPU使用率は純VXLANより明確に増えました。

なお、構築手順はこちらの記事にまとめています。

検証環境

今回の検証環境は以下です。

項目	内容
Proxmox VE	9.2.2
pve1	Intel Core i7-1360P
pve2	Intel Core i7-12700K
物理ネットワーク	2.5GbE
検証対象1	devpj09: VXLAN over WireGuard
検証対象2	devpj08: 純VXLAN
測定ツール	iperf3 / mpstat

今回の比較では、pve1上のCTからpve2上のCTへ通信させています。

構成概要

devpj09: VXLAN over WireGuard
devpj09 は、VXLAN Zone の peer に WireGuard インターフェース上のIPを指定しています。
例：

pve1 wg0: 198.51.100.1
pve2 wg0: 198.51.100.2

VXLAN Zone devpj09 peers:
198.51.100.1,198.51.100.2

VNet は以下です。

vnetpj09
  zone: devpj09
  tag : 11000

CTは以下のように配置しました。

CT105 on pve1
  bridge: vnetpj09
  IP    : 172.16.24.1/24

CT106 on pve2
  bridge: vnetpj09
  IP    : 172.16.24.2/24

CT105からCT106へのpingは成功しており、VXLAN over WireGuard のL2通信は成立しています。

devpj08: 純VXLAN
比較対象として、WireGuardを使わない通常のVXLAN構成も作成しました。

CT107 on pve1
  bridge: vnetpj08
  IP    : 172.16.23.1/24

CT108 on pve2
  bridge: vnetpj08
  IP    : 172.16.23.2/24

こちらはProxmox SDNの通常VXLANとして動作します。

測定方法

iperf3を使ってCT間の通信速度を測定しました。
サーバ側：

iperf3 -s

クライアント側：

iperf3 -c <server-ip>
iperf3 -c <server-ip> -P 4
iperf3 -c <server-ip> -P 8

CPU使用率は、Proxmoxホスト側で mpstat を使って取得しました。

mpstat -P ALL 1 15

測定結果：帯域

VXLAN over WireGuard

devpj09、つまり VXLAN over WireGuard の測定結果は以下です。

測定	結果
single stream	約 2.11 Gbits/sec
`-P 4`	約 2.11 Gbits/sec
`-P 8`	約 2.11 Gbits/sec

単一ストリームでも並列ストリームでも、ほぼ 2.11Gbps 付近で頭打ちになりました。

純VXLAN

devpj08、つまり通常のVXLANの測定結果は以下です。

測定	結果
single stream	約 2.27 Gbits/sec
`-P 4`	約 2.27〜2.28 Gbits/sec
`-P 8`	約 2.27〜2.28 Gbits/sec

純VXLANでは、2.5GbE環境の実効上限に近いところまで出ています。

帯域比較

測定	VXLAN over WireGuard	純VXLAN	差分	低下率
single stream	2.11 Gbits/sec	2.27 Gbits/sec	-0.16 Gbits/sec	約7.0%
`-P 4`	2.11 Gbits/sec	2.28 Gbits/sec	-0.17 Gbits/sec	約7.5%
`-P 8`	2.11 Gbits/sec	2.28 Gbits/sec	-0.17 Gbits/sec	約7.5%

帯域だけを見ると、WireGuardを挟んでも低下は約7〜8%程度でした。

WireGuardによる暗号化、VXLANカプセル化、さらにUDP/IPヘッダの追加を考えると、もっと大きく落ちる可能性もあると考えていましたが、2.5GbE級の環境では実用上かなり良好でした。

測定結果：CPU使用率

次にホスト側CPU使用率です。

pve1側で測定しました。

VXLAN over WireGuard

devpj09で iperf3 実行中のpve1ホスト側CPU使用率は、おおよそ以下でした。

項目	概算
ホスト全体CPU使用率	約14%前後
`%sys + %soft`	約13%前後

傾向:カーネル処理・softirqが増えている
WireGuard暗号化、VXLAN処理、bridge処理、virtio/veth周辺の処理が重なり、CPU使用率は明確に上がりました。

純VXLAN

devpj08でのpve1ホスト側CPU使用率はかなり低く、mpstat全体平均では以下でした。

項目	結果
`%usr`	0.43%
`%sys`	0.37%
`%soft`	0.27%
`%idle`	98.49%
ホスト全体CPU使用率	約1.51%

純VXLANでは、2.27Gbps以上出ているにもかかわらず、ホスト側CPU使用率は非常に低い結果になりました。

CPU使用率比較

項目	VXLAN over WireGuard	純VXLAN
帯域	約2.11 Gbits/sec	約2.27〜2.28 Gbits/sec
pve1ホストCPU使用率	約14%前後	約1.5%前後
主な負荷	WireGuard暗号化、VXLAN、softirq	VXLAN、bridge処理のみ
CPUコスト	高い	かなり低い

帯域差は小さいですが、CPU使用率の差は大きいです。

このため、WireGuard Fabricを使ったVXLAN over WireGuardは、単一テナントや低〜中程度のトラフィックでは十分実用的ですが、多数テナントが同時に高帯域通信する場合はCPUコストを考慮する必要があります。

考察

WireGuard Fabricのメリット

WireGuard Fabricを使う最大のメリットは、VXLANのunderlay通信を暗号化できることです。

通常のVXLANでは、underlayネットワーク上をUDP/4789のVXLANパケットが流れます。

一方、VXLAN over WireGuardでは、VXLANパケットがWireGuardトンネル内を流れるため、underlay側から見るとWireGuardの暗号化通信として見えます。

つまり、underlayネットワークを完全には信頼できない場合や、拠点間をまたいでProxmoxノードを接続する場合には、WireGuard Fabricは有効な選択肢になります。

一方で、内部クラスタ用途では注意が必要

同一拠点内のProxmoxクラスタで、underlayネットワークが管理者の制御下にある場合、WireGuard Fabricを常に使うメリットは限定的です。

特にマルチテナント基盤では、基盤管理者は各テナントネットワークの構成、仮想NIC、仮想スイッチ、ファイアウォール、ホスト側の通信経路を管理できます。

そのため、基盤管理者から各テナント内通信を完全に秘匿する、という目的でWireGuard Fabricを使うのは現実的ではありません。

この場合、WireGuard Fabricの主な価値は「基盤管理者からの秘匿」ではなく、以下になります。

underlayネットワーク上でVXLANパケットを平文のまま流したくない
拠点間や非信頼ネットワークをまたぐ
物理ネットワーク側の観測者からoverlay通信を守りたい
UDP/4789を直接見せず、WireGuardトンネル内に閉じ込めたい

逆に、完全に管理された内部ネットワークで使う場合は、純VXLANの方がCPU効率はかなり良いです。

今回の結論

今回の検証結果は以下です。

項目	結論
VXLAN over WireGuard の帯域	純VXLAN比で約7〜8%低下
VXLAN over WireGuard のCPU使用率	純VXLANより大きく増加
純VXLAN	非常に軽い
WireGuard Fabric	暗号化transportとして有効
内部クラスタ用途	CPUコストを考えると純VXLANが有利
拠点間・非信頼underlay	WireGuard Fabricの価値が高い

Proxmox 9.2 の WireGuard Fabric は、非常に面白い機能です。

ただし、少なくとも今回の検証結果では、同一拠点内の管理されたProxmoxクラスタで常時使う機能というより、underlayを信頼できない環境や、拠点間接続でVXLAN transportを暗号化したい場合に使う機能と考えるのが自然です。

帯域低下は思ったより小さい一方で、CPUコストは明確に増えるため、特に8テナント、16テナントといった複数テナントが同時に高帯域通信する環境では、CPU余力を見て設計する必要があります。

補足：MSL Setupでの考え方

私が開発している MSL Setup では、Proxmox上に複数の分離されたプロジェクトネットワークを作成します。

MSL Setup: https://github.com/zelogx/msl-setup

このようなマルチテナント基盤では、基盤管理者は各テナントの仮想ネットワークを管理する立場にあります。そのため、基盤管理者からテナント内部通信を完全に秘匿することを目的にWireGuard Fabricを使うのは、現実的な目的としてはあまり意味がありません。

一方で、underlayネットワーク側でVXLANを直接見せたくない場合や、拠点間接続を行う場合には、WireGuard Fabricは有効な選択肢になります。

そのため、MSL Setupとしては以下のような整理が自然だと考えています。

モード	位置づけ
純VXLAN	標準モード。軽く、高速。内部クラスタ向け
VXLAN over WireGuard	Secure Transport Mode。CPUコストは増えるが、underlay上の通信を暗号化できる

今回の実測結果を見る限り、WireGuard Fabricは「常にONにするもの」というより、用途に応じて選択する機能として扱うのが良さそうです。

参考：物理ネットワーク直通の上限

比較のため、pve1 から pve2 の物理LAN側IPへ直接 iperf3 を実行しました。

経路	実測帯域
pve1 → pve2 直通	約 2.35〜2.36 Gbits/sec
純VXLAN	約 2.27〜2.28 Gbits/sec
VXLAN over WireGuard	約 2.11 Gbits/sec

純VXLANは物理直通と比較して約3〜4%低下しました。
これは VNet側MTUが1450になることによる有効ペイロード低下に近い値です。

一方、VXLAN over WireGuardでは物理直通比で約10〜11%低下しました。
したがって、今回の環境では WireGuard を追加したことによる追加低下は約7%前後と見られます。