なにこれ
YouTubeにアップした動画の追記など。
環境
- Ryzen5-5600 + DDR4-128G
- RADEON RX9060XT-16GB
- モデルはQwen3.8-Flash-NextのUD-IQ4_XS版
- 128k Context
v0.1.39よりUnsloth-UD-IQ4_XSが利用可能に
正直IQ3_Sより3割くらい遅いし、そもそもメインメモリ96G以上必須だけど、やはり品質的に4bit量子化は人権だと思います。
それでもdecodeで25t/sくらいは出るよ。
むしろprefill遅い方が問題。prefill500t/sってなんだよしばくぞ。CPUが足引っ張ってる疑い。
v0.1.39(2026-10-04)の問題
RADEON環境で3割ほど速度低下するレグレッションが発生。多分次のバージョンで直ると思う。
set STRATA_SH_STREAM=0
で回避可能。
各種オプション
まだこんな作りかけソフトで細かいチューニングしても仕方ないんだけど、「それはデフォルトにしてくれよ…」というオプションが何故かデフォルトでオフになっているので。
--calibrateオプションはAMD環境では使ってはならない
まともに動作していないので設定がノイズになってパフォーマンスが激烈に下がる。
STRATA_HIP_WMMA
WMMAはRDNA3(RX7000系)以上で対応している(はずの)積和算命令だが、何故か明示的に有効にしないといけないらしい。
set STRATA_HIP_WMMA=1
set STRATA_SELECT_WMMA=1
これで3割くらい速くなる。
後者は1%ほど速くなるとされてるけど分からんかった。一応入れてる。
プロファイリング情報が起動の度にリセットされる問題
strata-(model).jsonに追加
"expert_profile_save": "expert-profile-learned.bin",
Strataは使用頻度の高いExpertを優先的にVRAMに載せる設計で、実行時のプロファイリングによって入れ替えるんだけど、デフォルトだと起動ごとにリセットされてしまう。
jsonにこの設定を足すと、10分ごとおよび終了時にプロファイルを保存して次回起動時に読み込んでくれる。
いやだからデフォルトにしてくれってばよ。
Dockerの中から呼びたい
strata-(model).jsonに追加
"allowed_hosts": ["host.docker.internal"],