概要
現在、XR9060xt二枚とVRAM64GB環境でQwenを利用しているが40t/sしかでない。この状況で、RTX3060xtとVRAM64GB(2666)環境で、Qwen3.8FNの3_XSSが60t/sという記事をみて、悔しくなったので、わんちゃんグラボ一枚のほうが速度出るのではとして試した結果、案の定、50t/sまで上がりました。
結果
| 項目 | RX 9060 XT ×1 | RX 9060 XT ×2 |
|---|---|---|
| Decode速度 | 53.9 tok/s | 39.9 tok/s |
| Prefill速度 | 67 tok/s | 57 tok/s |
| VRAM使用量 | 15.4 GB | 31.0 GB |
| VRAMヒット率 | 87.7% | 97.5% |
| PCIeヒット率 | 2.0% | 0.3% |
| VRAM内Experts | 5,994 | 11,691 |
| Experts使用VRAM | 9.7 GB | 18.7 GB |
| RAM使用量 | 47.8 GB | 49.5 GB |
暫定的な注目点
- 2枚構成でVRAMヒット率が9.8ポイント向上しています。
- 一方、Decode速度は約26%低下しています。
- ExpertsのVRAM常駐数は約1.95倍です。

