0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

StrataはGPU一枚が最適解

0
Posted at

概要

現在、XR9060xt二枚とVRAM64GB環境でQwenを利用しているが40t/sしかでない。この状況で、RTX3060xtとVRAM64GB(2666)環境で、Qwen3.8FNの3_XSSが60t/sという記事をみて、悔しくなったので、わんちゃんグラボ一枚のほうが速度出るのではとして試した結果、案の定、50t/sまで上がりました。

結果

項目 RX 9060 XT ×1 RX 9060 XT ×2
Decode速度 53.9 tok/s 39.9 tok/s
Prefill速度 67 tok/s 57 tok/s
VRAM使用量 15.4 GB 31.0 GB
VRAMヒット率 87.7% 97.5%
PCIeヒット率 2.0% 0.3%
VRAM内Experts 5,994 11,691
Experts使用VRAM 9.7 GB 18.7 GB
RAM使用量 47.8 GB 49.5 GB

暫定的な注目点

  • 2枚構成でVRAMヒット率が9.8ポイント向上しています。
  • 一方、Decode速度は約26%低下しています。
  • ExpertsのVRAM常駐数は約1.95倍です。

Screenshot from 2026-10-31 00-57-17.png
Screenshot from 2026-10-31 01-00-46.png

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?