EVO-X2 x Qwen3.8-Flash-Next番外編4 入力文書と読み込み速度の関係(実測編)
EVO-X2 x Qwen3.8-Flash-Next番外編5 入力文書と読み込み速度の関係(検証編)
の続き。
番外編4では、実文書6種類+元のランダムトークンの7種類の入力でPP速度に差があることを確認して、番外編5では、Vulkan版では入力文書が違うとFlash Attentionでスキップできるタイル数が大きく違っていて、それがPP速度に関係しそうなことが分かった。
でも、入力文書の種類が違うと何故スキップタイル数が変わるのかと、ROCmでは入力文書の種類による差が小さく順位もVulkanと異なる理由が分かっていなかった.
なので、もう少し調べてみることにした。けど、今回も沼が深くなっただけで肝心なところは分かっていない気がする。
以降、Prompt Processing(入力を読み込む処理)をPP、Token Generation(出力生成)をTGと表記する。どちらも単位はtok/sで、高いほど速い。
結論
- Vulkanでは、QSA Indexerが選んだKeyの分布が入力によって異なり、コードは近い位置への選択が集中し、文学は古い位置にも分散していた。元のF16マスクをIndexerの出力から再構成して一致するところまで確認できた
- 同じKV位置のVulkan FAでは、処理対象になるタイル数が文学で2.57倍、FA MAINのGPU時間が 2.97倍(Layer19)/2.30倍(Layer23) だった
- 今回調べたROCm/HIPのFA経路では、Vulkanのように途中の無効タイルを飛ばすのではなく、主に末尾側の連続した無効領域を短縮する。対応するFA時間はコードと文学で±3.4%以内だった
- MoE側でも入力によってExpertの選択分布とMMQ時間が変わる。ただし差の方向はKV位置・Layerによって逆転し、「コードだから必ず遅い/速い」という話ではなかった
つまり、入力の種類の違いはQSAがどこを参照候補に選ぶかに現れ、その選択をGPU実装がどれだけ計算省略に使えるかがPP速度差に関係しているらしい。ただし、選択された場所の意味的な理由や、PP全体の秒数差に対する各要因の厳密な寄与は、まだ特定できていない。
ソース、Windowsビルド、検証スクリプトなどはGitHubの公開リポジトリで管理している。
今回の調査はr6/upstream-refresh-20261025から分岐した診断用ブランチで実施した。
検証環境
速度に関係するところだけ先に。
| 項目 | 内容 |
|---|---|
| PC / APU | GMKtec NucBox EVO-X2 / AMD Ryzen AI MAX+ 395(Radeon 8060S、gfx1151) |
| RAM / UMA Frame Buffer | 128 GB / 96 GB |
| OS | Windows 11 Pro 26H2(Build 26300.9550) |
| モデル | Unsloth Qwen3.8-Flash-Next UD-IQ3_XXS(PLE16変換版) |
| KV cache | K/Vともf16 |
| batch / ubatch | 2048 / 1024 |
| GPUオフロード | 全レイヤー、CPU MoEなし |
| QSA union / MTP | OFF / OFF |
| Vulkan | Clang 20.1.8、Vulkan SDK 1.4.357.0 |
| ROCm | 10.0.0(TheRock)、AMD Clang 23.0.0 |
| 今回の主なPP計測 | context 65,536、入力61,777 tokens |
検証対象は、以前の実入力比較でVulkanの速度差が大きかったC/C++コード(llama.cppのソースを統合したもの)と日本語文学(『吾輩は猫である』)の2文書。文書の詳細は付録に記載した。
まずVulkanのQSAマスクを可視化してみる
前回の番外編5から、llama.cppのベースのupstreamを入れ替えて高速化パッチを再移植したので、まずはC/C++コードと日本語文学の入力で同じ傾向が再現するかを、実入力対応のllama-benchで確認した。
| r6・64k PP | C/C++コード | 日本語文学 | コードの相対速度 | PP時間差(コード−文学) |
|---|---|---|---|---|
| Vulkan(b12032) | 386.292 tok/s | 356.745 tok/s | +8.28% | −13.245秒 |
| ROCm(b12038) | 401.958 tok/s | 407.966 tok/s | −1.47% | +2.263秒 |
コード、文学とも前回より速くなっているけど(特にVulkan)、Vulkanではコードの方が速い、ROCmでは文学の方が少し速いという方向性は同じだった。
(チャッピー様に画像を作ってもらったのだけど、なんか前回までと出力される画像のタイプが違う気がする)
前回、Vulkanでは、QSA(Qwen Sparse Attention)のマスク処理でスキップできるタイル数が、C/C++コード(前回計測値は75.03%)と日本語文学(前回計測値は35.68%)で大きく違うことを確認した。
何故そうなるのかを調べるため、実データのトークン分割とマスクのサイズ感を出力してみたけど、結局よく分からなかった。
なので、今回は実際のマスクパターンを可視化してみることにした。
QSAでは、Query(今注目しているトークン)ごとに、過去のKeyのうち参照候補にする場所を選ぶ。その結果をFA(Flash Attention)が使うマスクに変換する。ここでは16 Query × 64 Keyをひとつのタイルとして表示し、タイル内のマスク値を次の3種類に分類した。
-
ALL_NEG_INF:全要素が無効。FAでタイル丸ごとスキップできる -
MIXED:有効と無効が混在する。タイル全体はスキップできない -
ALL_ZERO:全要素が有効
横軸がKey(過去の入力位置)、縦軸がQuery(現在処理している位置)。KV=49,152、Ocur(Layer19)のデータを取得。
この画像はAttentionの「重み」ではなく、参照を許可するかどうかのマスク。
コードは約65%のタイルが完全に無効で、文学は約25%しかスキップできない。スキップできないタイル数で比べると、文学はコードの2.574倍になる。
(前回の旧llama.cppでの計測値は75.03%と35.68%なので絶対値は違うけど傾向は同じ)
そして画像を見ると、コードはMIXEDタイルが後半のKey位置に集中し、前半〜中盤にはところどころ細い縦線がある。一方、文学はMIXEDが全体に散らばって見える。縦線は、離れた複数のQueryが同じ古いKey領域を繰り返し参照候補にしていることを示していそうだ。
縦線の正体を追ってみる
この縦線は何なのか? 何か重要な関数定義や、あちこちから参照される変数が書いてあるのだろうか。気になったので、マスク画像の縦線を元の入力コードに逆引きしてみた。
まずは粗い2-bitタイル分類から、GPU上の元のF16マスクに戻って、どのKeyが参照可能になっているのかを確認した。
QSAでは、Flash Attentionの計算前に、Lightning Indexerという仕組みで過去のKeyから参照候補を選ぶ。
今回のモデルでは、連続した4つのKeyを1つのpoolとして扱い、Indexerが各poolにF32 score(32bit浮動小数点のスコア)を付ける。このスコアは、そのQueryに対して各poolがどの程度参照候補として適しているかを表す値。
そして、**top_k**でスコアの高い候補から512個のpoolを選択する。pool IDは各poolを識別する番号で、Keyの位置そのものではない。
今回は、このF32 scoreとtop_kで選ばれたpool IDをGPUから取り出し、実際のKey位置に変換してF16マスクと照合した。
なお、Indexerのscoreは最終的なAttentionの重みではない。ここで分かるのは、あくまでどのKeyが参照候補として選ばれたか、ということになる。
選ばれるKey位置には大きな差があった
上記の64 Query×各512 pool選択で、選択先の位置を数えてみると次のようになった。(全61,777 tokensの集計ではない)
コードは直近8kへの選択が圧倒的で、古い場所は一部のKeyに集中している。文学では古いKeyにも広く選択が散っている。同じpool選択数でも、文学の方が多くの64-Keyタイルにまたがり、スキップできないタイルが増えやすい。先ほどのマスク画像の見た目とも整合する。
コードの縦線を元のソースまで戻してみた
特に目立っていたKV28の縦線は、Key1816〜1819の4トークンだった。この4-Key poolを、64 Queryのうち55 Queryが選んでいた。KV41のKey2624〜2627も46/64 Queryが選択していて、しかもその46 QueryはすべてKV28のpoolも選んでいた。
ここで、同じ入力をllama-tokenize.exeでトークン化して元ソースに戻ると、Key1816〜1819のtoken IDは907 / 220 / 15 / 13。文字列に戻すと 「 ?」、「 」、「0」、「.」。src/llama-adapter.cppのLoRAアダプターのGGUFメタデータを取得する、get_kv_f32というローカルラムダ関数の最後のreturn行の一部だった。
関数名でも、変数名でも、処理全体でもなかった。しかも変なところで切れている。
auto get_kv_f32 = [&](const std::string & key) -> float {
int id = gguf_find_key(gguf_ctx, key.c_str());
return id < 0 ? 0.0f : gguf_get_val_f32(gguf_ctx, id);
};
元コードはllama.cppのsrc/llama-adapter.cppで確認できる。
一方、このpoolを何度も選択していたQuery48,640〜48,703の方は、ずっと後ろのbatch/ubatchやシーケンスの添字を扱うループ付近。例えば、次のような条件式の周辺が含まれる。
if ((idxs_per_seq[0].size() + 1)*n_seqs > n_ubatch) {
break;
}
GGUFの浮動小数点値を読む部分と、後段のバッチ制御。ぱっと見では、特別な関係があるようには思えない。関係がないと言い切ることもできないけど。
では、Indexerのスコアが僅差で、たまたま選ばれたのだろうか。そこも調べてみた。
| コードの縦線 | 選択Query数 | 選択時の順位中央値(512候補中) | 選択cutoffとの差の中央値 |
|---|---|---|---|
| KV28/Key1816〜1819 | 55/64 | 246位 | +1.238 |
| KV41/Key2624〜2627 | 46/64 | 335位 | +0.686 |
少なくとも「毎回cutoffぎりぎりで偶然入った」という単純な説明ではなさそうだ。KV93、KV470の縦線は、単一poolの繰り返しではなく近接する複数poolの選択が重なった別タイプだった。
ただし、ここまで分かるのは**「どのKeyが、何回、どの順位で選ばれたか」**まで。Indexerのscoreも、マスクの許可判定も、最終的なAttention重みそのものではない。
? 0.0fが意味的に重要だから選ばれた、あるいはAttention sinkだ、と結論づける根拠はない。
ここまで調べたけど、なぜ? 0.0fのスコアが高くなったかは分からない。なんか振出しに戻った感じ。
文学にも縦線があった
文学側のマスクはMIXEDが満遍なく散っていて、コードのような縦線がなさそうに見える。でも、生F16マスクを確認すると、実はこちらにもあった。
例えばKey9012〜9015(KV140)の4-Key poolは、同じ64 Queryの64/64すべてから選ばれていた。対応する文字列は 「警」「には」「相」「違」 。小説本文の会話文の途中にあるトークン列だった。
つまり、文学には縦線がないわけではない。周囲もMIXEDだらけなので、目立ちにくいだけらしい。こちらも「なぜその語が選ばれたのか」は不明。コードと同じく、マスクの模様を生む選択自体は確認できたが、選択の意味的な理由までは分からなかった
GPUのFlash Attention時間を分解してみる
では、こうしてできたマスクの形が、実際のGPU時間とどのくらい対応しているのだろうか。
前回は同じKV位置のVulkan FAで文学がコードの約4.1倍かかる例を見つけた。今回は、マスクの前処理とFA本体を分け、同じKV位置・同じLayer・同じシェーダーのイベントをRadeon GPU Profiler(RGP)を使ってで比較した。
ここでいうKV=49,152は過去Key側にある対象トークン数、N=1024はこの計測箇所でまとめて処理するQueryの数(1 ubatch)。Layer19/23は同じモデルのAttention層の位置で、表中ではL19/L23と略す。特定のGPUイベントを比較するための条件であって、61,777 tokensのPP全体を表しているわけではない。
| KV49,152、N1024のVulkan FA | コード | 文学 | 文学/コード |
|---|---|---|---|
L19 MASK_OPT
|
4.024 ms | 4.586 ms | 1.14倍 |
L19 MAIN |
44.830 ms | 133.210 ms | 2.97倍 |
L23 MASK_OPT
|
4.370 ms | 4.474 ms | 1.02倍 |
L23 MAIN |
65.195 ms | 149.954 ms | 2.30倍 |
MASK_OPTはマスクをタイル単位に整理する前処理。MAINは、その結果を使ってAttentionを計算する本体。前処理の差は小さく、大きく違うのはMAINの方だった。
L19のスキップできないタイル数は文学がコードの2.574倍、MAINの時間は2.971倍。数値がぴったり一致するわけではないが、文学で処理するタイルが多く、FA本体が長くなるという傾向は同じ。
今回の計算結果は前回の約4.1倍より小さい比率になったが、PP速度の差が縮んだわけでもなさそうなので、PP時間全体との関係は謎のまま。
タイルスキップを無効化して比較してみると何か分かるかもしれないけど、今回はそこまではやっていない。
ROCmの方もGPU時間を調べてみる
前回はVulkanを調べるのに時間を使ってしまって、ROCm側はソースコードを少し調べて、Radeon Developer Panel / Radeon GPU ProfilerでFlashAttentionの時間を見るだけで終わっていた。
VulkanではUser Debug Markersを使ってRGPに見えるラベルを付けてRGPのイベントリストがどこを見ているのかを確認できたのだけど、User Debug MarkersはROCm/HIPには対応していないので、前回はコードと文学で同じ位置のFAをRGPで調べる方法が分からなかった。今回はチャッピー様と相談して、診断用の小さなアンカーカーネルを追加し、RGP上のdispatchの並びから対象のLayerとKV位置を特定できるようにした。
こうして、KV16k/32k/48kとLayer19/23を合わせてFA MAINを測った結果はこちら。
| KV | Layer | コード FA MAIN | 文学 FA MAIN | コードと文学の比較 |
|---|---|---|---|---|
| 16,384 | 19 | 38.430 ms | 38.022 ms | コード+1.07% |
| 16,384 | 23 | 37.302 ms | 38.613 ms | コード−3.40% |
| 32,768 | 19 | 79.547 ms | 79.735 ms | コード−0.24% |
| 32,768 | 23 | 78.599 ms | 78.795 ms | コード−0.25% |
| 49,152 | 19 | 116.999 ms | 117.922 ms | コード−0.78% |
| 49,152 | 23 | 117.724 ms | 114.937 ms | コード+2.43% |
Vulkanのような大きなFA MAIN差は見られず、KVやLayerによって大小も入れ替わる。
なぜROCmのFA時間はあまり変わらないのか?
ここはマスクの使い方の違いが効いていそうだ。
今回調べたVulkan経路では、16×64タイルの途中に散らばっているALL_NEG_INFタイルを判別してスキップできる。一方、今回調べたROCm/HIP経路は、flash_attn_mask_to_KV_max<16>で末尾側の連続した無効Key範囲を短くするが、途中の無効タイルの処理はskipしない。
文学のように広い範囲がMIXEDになっていても、コードのように途中が疎になっていても、最後の有効Key位置が似ていれば、ROCm側の計算範囲はあまり変わらない可能性がある。
実際、KV=32,768/Layer19/N1024のGPU計算後のKV_maxを64個の16-Queryタイルについて読み出すと、コードと文学で64値すべて一致していた。内訳は32,000/32,256/32,512/32,768が各16個で、causal maskだけから予測される末尾位置と一致。少なくともこの箇所では、QSAの選択の違いは追加の末尾短縮につながっていなかった。
【図9・最優先:VulkanとROCmのマスク省略方式の模式図】 同じ「途中に無効タイルが点在するマスク」を2枚並べ、Vulkanは内部の無効タイルを飛ばせる、今回のHIPは末尾の連続した無効範囲のみ短縮、を色で表示。概念図であり、全ROCm実装に一般化しないと図注に書く。可能なら小さな枠で「実
KV_max:64/64一致」を添える。
このKV_max診断はGPU同期などを追加した専用実験で、通常のPP速度比較には使えない。ログ上のkv_max_hintという別の値とも区別する必要がある。
余談だけど、データを取得した位置が分かるようになったとはいえ、カーネルを追加するとdispatch数も変わるので、RDPの設定をどのようにしたら目的位置のデータが取れるかは分からなくて、設定をいじってどの位置のデータが取れたか確認→設定を調整して再確認を調整を繰り返すのが結構大変だった。これはそのうち何とかしたい。
MoEも入力に依存する?
前回Vulkanで調べたときは、FAほど時間差が大きくなかったのでスルーしたけど、MoEの時間はコードの方が文学より遅かった。
ROCmではFA時間差が小さかったので、今度はMoEも調べてみた。
MoE(Mixture of Experts)は、すべてのトークンに同じ計算経路を使うのではなく、入力に応じて一部のExpertを選んで処理する仕組み。今回のモデルでは1トークンに対して10個のExpertを選ぶ。どのExpertへ何トークンが集まるかによって、量子化行列積のMMQ(ここではGate/Up/Down)の仕事の割り当てが変わる。
まずGPUからExpert IDを取得し、トークンごとの選択を集計した。比較用にΣ_e ceil(m_e / 32)(m_eはExpert eに割り当てられたトークン数)というJ32タイル数のproxyを計算した。これはMMQの計算形状を眺めるための近似指標であり、GPU時間そのものではない。
| KV | Layer | コード J32 proxy | 文学 J32 proxy | コード−文学 |
|---|---|---|---|---|
| 16k | 19 | 560 | 565 | −5 |
| 16k | 23 | 556 | 572 | −16 |
| 32k | 19 | 592 | 549 | +43 |
| 32k | 23 | 572 | 573 | −1 |
| 48k | 19 | 566 | 566 | 0 |
| 48k | 23 | 589 | 568 | +21 |
入力によってExpertの選択分布は変わった。ただし、同じコードと文学でもKV位置・Layerで大小が逆転する。
RGPのアンカーで位置を合わせてMMQのGate/Up/DownのGPU時間を合計すると、48k/Layer19ではコード15.195ms、文学15.325msと文学が少し長い。一方、48k/Layer23ではコード15.966ms、文学15.465msとコードが3.24%長い
旧ビルドの別RGPでも、一部のMMQイベント15個を同じEvent IDで比べると、コード76.349ms、文学73.035msで、15個中14個はコードの方が長かった。ただしその15イベントすべてのLayer/KVが完全に特定されたわけではなく、上のExpert診断とも別run。Expert分布の差がMMQ時間差のすべてを生んだとまでは言えない。
また、入力が変わると「前のubatchで選ばれたExpertとの差分」がどのくらい変わるか、それがキャッシュや実行時間に影響するかは今回は未検証。
入力文書の種類が違う→選択されるMoEが違う→速度に影響するという単純な話ではなかった。
まとめ、今後の予定
今回の調査で、前回から一歩進んで、次のことが分かった。
- マスクの形の違いを可視化できた。 コードは選択が直近や一部の古いKeyに集中し、文学は古いKeyにも広く分散する。Indexerの選択から元F16マスクを再構築して一致を確認した
- **Vulkan FA MAINの大きな時間差は、スキップできないタイル数の差と整合する
-
今回のROCm/HIPのFAでは、途中の無効タイルをVulkanのようには省略しない。 同じ位置のFA時間差は小さく、実
KV_max診断でもコード・文学が一致した - MoEも入力に依存する。 Expert選択とMMQ時間の差は実測できたが、大小の向きはLayerや位置によって変わった
コードの縦線の正体が? 0.0fだったところまで突き止めても、なぜモデルがそこを選んだのかは分からない。
結局、入力文書の 「意味的な何か」 がどのように速度に影響するのかは分からなかった。もしかしたら、「意味的な何か」の影響なんて元々ないのかもしれない。
次回はQwen3.8-Flash-Nextの量子化の違いによる速度や出力の違いについて実験した結果を書く予定。
付録
テストデータの作り方
日本語文学
- 出典:青空文庫『吾輩は猫である』
- 加工:ダウンロードしたShift_JISテキストをUTF-8に変換
C/C++ソースコード
- 出典:ggml-org/llama.cpp
- 加工:元の検証で使用したソースのコミット
de7fa0a3c6a2e1b4cd9f22eb8d6bf5b12dbdb63bから、独自スクリプトで推論関連のコードを抽出し、1ファイルに統合
改造版llama-benchでの実文書入力コマンド例
64k相当のPPのみを測る例。-fは入力ファイル、-pは処理トークン数を指定する独自拡張。-p 61777は今回のr6通常計測に合わせた例で、使用する入力ファイルは十分な長さが必要。
.\llama-bench.exe `
-m "(メインモデルのパス)" `
-f "(十分長い実文書ファイルのパス)" `
--prompt-slice head-tail `
-c 65536 `
-p 61777 `
-n 0 `
-d 0 `
-r 2 `
-b 2048 `
-ub 1024 `
-ctk f16 `
-ctv f16 `
-t 4 `
-ngl 999 `
-ncmoe 0 `
-fa auto `
-o json
ランダム入力のベンチでは-fと--prompt-sliceを外す。128k相当の条件なら-c 131072 -p 126253とする(ただし今回の表・画像の主対象は64k)。公式のllama-benchに同じ引数が存在するという意味ではない。独自改造はGitHubの公開リポジトリに置いている。
詳細な検証環境
- Device:GMKtec NucBox EVO-X2
- CPU/APU:AMD Ryzen AI MAX+ 395/Radeon 8060S(gfx1151)
- Windows表示CPUクロック:3.00 GHz
- メモリ:128 GB、UMA Frame Buffer:96 GB(CPU側から見えるRAMは約32 GB)
- OS:Windows 11 Pro 26H2、Build 26300.9550
- ベース:r6系、上流llama.cppの更新を取り込んだ検証ブランチ。通常ベンチVulkan b12032/ROCm b12038、追加RGPや診断ではb12133/b12156/b12164/b12170などを使用。
- Vulkan:LLVM/Clang 20.1.8、Vulkan SDK 1.4.357.0
- ROCm:10.0.0(TheRock)、AMD Clang 23.0.0、MSVC 14.44
- モデル:unsloth/Qwen3.8-Flash-Next-GGUF、UD-IQ3_XXS、176.94B params、3.71 BPW、llama.cpp表示76.32 GiB
- モデル変換:LaurentZuijdwijkのStrix Halo向けforkにある
gguf-py/gguf/scripts/gguf_split_ple_heads.pyを使用したPLE16形式









