1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@sukimaengineer

KVキャッシュはどこまで減らせるか ― Kimi K3とQwen 3.5〜3.8に見る3:1ハイブリッドリニアアテンションの実像

1
Last updated at Posted at 2026-08-04

本記事の執筆には Anthropic の Claude とそのリサーチ機能を使用しています。

はじめに

前回の記事では、DeepSeek V4 Flashを題材に、MoEが1トークンを計算する流れとメモリ読み出し量を追いました。

そこで残った宿題が系列方向、つまりKVキャッシュです。デコードは帯域律速であり、コンテキスト長に比例して育つKVキャッシュは、長文脈では重みと食い合うほどメモリと帯域を消費する存在です。

その前提が、崩れ始めているかもしれません。2026年に入って、Kimi K3（2.8T）とQwen3.5という最大級のオープンウェイトモデルが、そろって系列混合層の約4分の3をリニアアテンションに置き換え、KVキャッシュを保持する層を4分の1に減らしてきました。リニアアテンション層は履歴を固定サイズの状態に畳み込むため、KVキャッシュがトークン数に比例して膨らむという、これまで当然視されてきたコスト構造そのものが変わる可能性が見えてきたわけです。

今回はこの動きについて、何がどういう仕組みで減るのか、公称値のどこまでが実測でどこからが外挿なのか、そしてなぜ全部は減らせない（純リニアにできない）のかを、ハードウェア屋の視点、要するにメモリと帯域の請求書の観点から一次情報ベースで確認していきます。

なお、本稿の構成値は可能な限り技術報告や公式config.jsonで裏を取っていますが、Qwen3.7以降の旗艦のようにアーキテクチャ非開示のモデルも登場しています。裏の取れなかった点は末尾の「わかっていないこと」にまとめました。

まず結論

  • KVキャッシュは設計で減らせます。Kimi K3もQwen3.5も、系列混合層の約4分の3をリニアアテンション（KDA / Gated DeltaNet）に置き換えており、KVキャッシュを保持するのは残り4分の1のフルアテンション層だけです。よく引用される「最大75%削減」は、ほぼこの層数比から直接出てくる数字です。
  • ただしゼロにはできません。リニアアテンションの固定サイズ状態は履歴の非可逆圧縮であり、正確な長距離リコールが壊れるため、両モデルとも4層に1層はフルアテンションを残す3:1ハイブリッドを選んでいます。アブレーション上も、現時点の最適解は純リニアではなく3:1です。この構成は2026年4月のQwen3.6でも、config.jsonレベルで一切変更なく継承されています。
  • 画期的なのは、この構成がフロンティア級（2.8T）で本採用されたことです。ハイブリッドリニアはJamba（2024年）以来の系譜で、Kimi Linear論文（arXiv:2510.26692）が48B規模で「フェアな比較で初めてフルアテンションを上回った」と主張し、Kimi K3がそれを2.8Tへ持ち込みました。ただし後述のとおり、有名な公称値の実証は48B版で止まっています。
  • ただし業界全体が同じ方向というわけではありません。2026年前半に、MiniMaxはフルアテンションへ回帰し、GLM-5やDeepSeek系はスパースアテンションを選びました。KVキャッシュの減らし方をめぐって、各社は正反対の武器を選んでいる段階です。さらにQwen自身も旗艦の3.7-Max以降はアーキテクチャ非開示に転じており、フロンティアの実像は不透明になりつつあります。

なぜアテンションを削りたいのか ― メモリ帯域の請求書

前回の記事で確認したとおり、デコード（1トークンずつの生成）は計算律速ではなくメモリ帯域律速です。DeepSeek V4 Flashの試算では、デコード時の演算強度は3 FLOPs/byte強しかなく、GPUやApple Siliconが持つ計算対帯域比（数十〜約300 FLOP/byte。たとえばH100のFP16では約295）を大きく下回っていました。読み出しの主役は重みとKVキャッシュであり、このうちコンテキスト長とともに際限なく育つのがKVキャッシュです。

フルアテンションのKVキャッシュがトークンあたり何バイトかは、単純な掛け算で決まります。

\mathrm{KV\ bytes/token} \;=\; 2 \times L_{\mathrm{full}} \times H_{kv} \times d_{\mathrm{head}} \times b

先頭の2はKとVの2本、$L_{\mathrm{full}}$ はKVを保持する層数、$H_{kv}$ はKVヘッド数、$b$ は1要素のバイト数です。このKVキャッシュ総量は、コンテキスト長、同時リクエスト数、層数という3つの軸で同時に膨らみます。参考値として、GQA以前の素朴な構成のLlama-2-7Bでは、28KコンテキストのKVキャッシュが約14GBに達し、重み自体と同程度になります。

リニアアテンションはこの式から $N$（トークン数）への依存を消します。過去の全トークンのK/Vを保存する代わりに、固定サイズの状態行列を読んで更新するだけにするからです。式の話は次章に回して、まず帰結を図にします。図1は、Qwen3.5の公開構成（後述）を土台に、全層フルアテンションの仮想構成、実際の3:1ハイブリッド、純リニアの仮想構成でメモリの伸びを概算したものです。

image.png

構成 KVを保持する層 KV/トークン 1Mトークン時のメモリ
全層フルアテンション（60層・仮想） 60層 約120KiB 約129GB
Qwen3.5（3:1ハイブリッド） 15層 約30KiB 約32GB ＋ 固定状態 約0.09GB
純リニア（仮想） 0層 0 固定状態 約0.12GB のみ

bf16・バッチ1の概算です。リニア層の固定状態は、Qwen3-NextのGated DeltaNet層で1層あたり約2MBという報告値（KVBuffer論文）を使いました。よく引用される「KVキャッシュ最大75%削減」という数字は、この表を見れば分かるとおり、魔法ではなく単に「KVを持つ層を4分の1に減らした」という層数比からほぼ直接出てきます。

デコードが帯域律速である以上、毎トークン読み直すKVキャッシュが1/4になれば長文脈のデコードはそのぶん速くなり、同じメモリに載せられる同時リクエスト数も増えます。サービング事業者にとっては1Mコンテキスト提供の原価の話であり、ローカル推論にとっては重みとKVキャッシュがユニファイドメモリを食い合う問題の緩和策です。アテンションを削りたい動機は、突き詰めればこの請求書に尽きます。

リニアアテンションとは何か ― 数式で辿る系譜

リニアアテンションは2020年からある技術で、そこからdelta rule、ゲーティングと段階的に改良されてKDAに至ります。各段階で「何が足りなくて次が生まれたか」を最小限の式で追います。

出発点はsoftmaxアテンションです。位置 $i$ の出力は、過去の全キーとの内積をsoftmaxで正規化した加重和で、全ペア比較のため計算はO(N²)、KVキャッシュはO(N)で育ちます。

y_i \;=\; \sum_{j \le i} \frac{\exp\!\left(q_i^{\top} k_j / \sqrt{d_k}\right)}{\sum_{\ell \le i} \exp\!\left(q_i^{\top} k_\ell / \sqrt{d_k}\right)}\, v_j

リニアアテンション（Katharopoulosら 2020、arXiv:2006.16236）は、softmaxを特徴写像の内積で置き換えることで、過去の情報を固定サイズの状態行列 $S \in \mathbb{R}^{d_k \times d_v}$ に畳み込めることを示しました。論文タイトルが Transformers are RNNs である通り、これは実質RNNです。

S_t = S_{t-1} + k_t v_t^{\top}, \qquad o_t = S_t^{\top} q_t

これで学習はO(N)、デコードはO(1)メモリになります。問題は、この更新に忘却の概念がないことです。$S$ には情報が足し込まれる一方なので、長い系列では古い連想と新しい連想が干渉し、性能が劣化します。

DeltaNet（Schlagら 2021）は、この更新を再構成損失に対するオンライン勾配降下と読み替え、delta rule（誤り訂正）を導入しました。新しいキーに対応する古い値をいったん消してから新しい値を書き込む、という更新です。

S_t = \left(I - \beta_t k_t k_t^{\top}\right) S_{t-1} + \beta_t k_t v_t^{\top}

$\beta_t$ は更新率で、新規入力をどれだけ強く書き込むかを制御します。ただ、これでも状態全体を能動的に減衰させる仕組みはありません。

Gated DeltaNet（Yangら 2024、arXiv:2412.06464）は、Mamba2的なスカラー忘却ゲート $\alpha_t \in [0,1]$ をdelta ruleに組み合わせました。$\alpha_t$ が記憶の寿命（減衰・リセット）を、$\beta_t$ が書き込みの強さを分担する形です。Qwen3.5のリニア層はこれです。

S_t = \alpha_t \left(I - \beta_t k_t k_t^{\top}\right) S_{t-1} + \beta_t k_t v_t^{\top}

KDA（Kimi Delta Attention、Kimi Linear論文 arXiv:2510.26692）は、このスカラーゲートをチャネル単位の対角ゲート $\mathrm{Diag}(\alpha_t)$ に細粒度化しました。特徴次元ごとに独立の忘却率を持てるようになり、有限の状態容量をより無駄なく使えるという主張です。

S_t = \left(I - \beta_t k_t k_t^{\top}\right) \mathrm{Diag}(\alpha_t)\, S_{t-1} + \beta_t k_t v_t^{\top}

論文はこの形がDPLR（対角＋低ランク）遷移行列の特殊形になっており、遷移を $k$ に束縛することで一般DPLRに対してチャンクワイズ計算の行列積を削減し、演算子レベルで約2倍の効率を得たと述べています。また q, k, v には短い畳み込み（ShortConv）を通して局所依存を拾い、q, k はL2正規化して状態遷移を安定化させています。合成タスク（palindrome、multi-query associative recall）では、2048トークン設定でKDAがほぼ満点に達する一方、Gated DeltaNetやMamba2は大きく劣ると報告されています（論文Figure 4）。

この系譜は現在も伸びていて、2026年5月にはNVIDIAがGated DeltaNet-2（arXiv:2605.22791）を発表し、KDAでもスカラーのままだった消去と書き込みを別々のチャネル単位ゲートに分離しています。系譜の全体像は後掲の図3にまとめました。

Kimi K3 の実像

Kimi K3は2026年7月に発表され、7月27日に重みが、続いて技術報告（arXiv:2607.24653）が公開された、オープンモデルとして初の3兆パラメータ級モデルです。技術報告と公式モデルカードで確定した構成を整理します。

項目 値 出所
総パラメータ 2.8T 公式ブログ
活性パラメータ 104B 技術報告
層構成 全93層 ＝ KDA 69層 ＋ Gated MLA 24層（3:1で反復し、末尾に追加のMLA層。最終層は常にglobal attention） 技術報告
hidden dimension 7168（MoEのlatent次元は3584） 技術報告・公式リポジトリ
MoE 896エキスパート中16活性 ＋ shared 2（Stable LatentMoE） 公式ブログ
位置エンコーディング NoPE（RoPEを全廃） Kimi Linearから継承・解説記事
残差 Attention Residuals（深さ方向の残差をアテンション重みで選択混合） 公式ブログ
量子化 MXFP4重み ＋ MXFP8活性（SFT段階からQAT） 公式ブログ・vLLM
コンテキスト等 1Mトークン、ネイティブビジョン（MoonViT-V2） 公式ブログ

アテンション以外の見どころも多いモデルです。Stable LatentMoEは、エキスパートへdispatchする前にhiddenの半分（3584次元）へ射影してall-to-all通信量を抑え、その余裕で活性エキスパートを16に増やす設計です。活性104Bという数字が素朴なMoE計算（2.8T×16/896で50〜60B程度）より大きく見えるのは、常時稼働の共有エキスパート2個に加え、アテンション・KDA・埋め込み・視覚エンコーダといったdenseに動く部分を含むためです。Attention Residualsは残差経路の改良で、訓練コスト＋約4%、推論コスト＋約2%で検証損失を一貫して改善したとされています。RoPEを全廃してNoPEにできたのは、KDAのゲート・減衰が位置情報の役割を実質的に担うからだと解説されています。

ここでファクトチェックとして重要な注意点があります。よく引用される「KVキャッシュ最大75%削減、1Mコンテキストでデコード最大6倍」という数字は、Kimi K3で新たに実測された値ではなく、48B（活性3B）のKimi Linear論文の実測値です。多くの記事が両者を混同していますが、2.8T版で独立に確認された高速化は、現時点ではvLLMのday-0ブログにある投機的デコード（DSpark）併用時の118→370 tok/s（約3.1倍）程度です。またK3のKVキャッシュは24層のMLAだけが保持し、1Mコンテキストで約52GBという第三者の試算がありますが、前提となるMLAの潜在KV次元は公開情報では確定しておらず、あくまで目安です。

Qwenファミリーの実像 ― 3.5から3.8まで

Qwenは2026年に入って3.5→3.6→3.7→3.8と矢継ぎ早に世代を進めています。起点となるQwen3.5は2026年2月16日に公開されたモデルファミリーで、Apache 2.0ライセンスです。まずフラッグシップの397B-A17Bについて、NVIDIAのモデルカード等で公開されている構成を整理します。

項目 値
総 / 活性パラメータ 397B / 17B
層構成 60層 ＝ 15 × ( 3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE) )
hidden / 語彙 4096 / 248,320
Gated DeltaNet層 Vヘッド64・QKヘッド16・head_dim 128
Gated Attention層 Qヘッド32・KVヘッド2（GQA）・head_dim 256・RoPE dim 64
MoE 512エキスパート、10 routed ＋ 1 shared を活性化
ネイティブコンテキスト 262,144トークン（ホスト版APIは1Mを提供）
ファミリー 0.8B / 9B / 27B（dense）、35B-A3B、122B-A10B ほか

系譜としてはQwen3-Nextの3:1ハイブリッドを、実験的枝ではなく主力モデル系列に昇格させたものです。フルアテンション側がGated Attention（出力ゲート付きのGQA）になっているのは、出力ゲートがattention sinkや異常に大きな活性値を抑え、大規模学習の安定性を改善するためと説明されています。

では後続世代はどうか。2026年4月のQwen3.6（35B-A3B、27B）は、アーキテクチャを一切変えていません。config.jsonのmodel_typeは3.5と同じqwen3_5系のまま、full_attention_intervalも4のままで、3:1ハイブリッドを機構・比率とも完全に継承しています。3.6の新規性はエージェント性能や思考保持（Thinking Preservation）といった学習・機能面にあり、系列混合の設計は据え置きです。公開configから、KVキャッシュの原価はサイズ別に次のように計算できます。

モデル 層構成（リニア/フル） KVを持つ層 KVヘッド×head_dim KV/トークン（bf16）
Qwen3.5-397B-A17B 60層（45/15） 15層 2×256 約30KB
Qwen3.5/3.6-35B-A3B 40層（30/10） 10層 2×256 約20KB
Qwen3.5/3.6-27B（dense） 64層（48/16） 16層 4×256 約64KB

面白いのは、27B denseのKV/トークン（約64KB）が旗艦397Bの倍以上ある点です。KVを持つ層数もKVヘッド数も27Bの方が多いためで、KVキャッシュの原価がモデル規模と比例しないことが分かります。

一方、旗艦は不透明になりました。2026年5月のQwen3.7-Max / PlusはAPI限定のクローズドモデルとなり、アテンション構成は非開示です。7月のプレビューを経て8月3日にGAとなったQwen3.8-Maxは、総2.4T（公式発表）・活性95Bとされ（活性値は媒体経由の公式引用の段階で、一次資料での逐語確認は取れていません）、1M級コンテキストを掲げますが、アーキテクチャは「Qwen3.5の基盤の上に構築した」と述べるのみで、層数・比率・エキスパート構成は公表されていません。3:1ハイブリッドの継続を強く示唆する表現です。同日、Max版の重みに加えてQwen3.8-27Bのオープン化も公式に確約されましたが、本稿執筆時点（2026年8月4日）でconfig.jsonは未公開のため、オープンなconfigで実像を確認できるのはまだ3.6までです。

図2に、Qwen3.5、Qwen3.6-27B、Kimi K3の層構成を並べました。いずれも「リニア3層＋フル1層」のユニットの反復であることが分かります。

image.png

なぜ純リニアではなく3:1なのか

ここが本記事の核心です。リニアアテンションが本当にフルアテンションの上位互換なら、全層をリニアにすればよいはずです。そうなっていないのには、理論と実証の両面で理由があります。

理論面では、固定サイズの状態は非可逆圧縮だという点に尽きます。数万トークンの履歴を $d_k \times d_v$ の行列に押し込む以上、細部は必ず失われます。needle-in-a-haystackのような正確な検索、長い列の正確なコピー、離れた場所を渡り歩く多段ルックアップは、圧縮された状態からの復元では原理的に不利で、RNN系がこの種のタスクでTransformerに大きく劣後することは繰り返し報告されてきました。

実証面では、Kimi Linear論文自身のアブレーション（Table 1）が率直です。KDAとMLAの比率を振った結果、3:1が検証perplexity 5.65で最良となり、全層フルMLA構成（0:1、5.77）をも上回りました。一方、リニア比率を上げると7:1で5.70とやや悪化し、15:1では5.82まで明確に悪化します。1:1は5.66とほぼ同等ですが、推論オーバーヘッドが増えるだけです。少数のフルアテンション層が、グローバルな情報経路と正確なリコールを担保する保険として機能している、と読めます。

さらに重い実証データが、MiniMaxの失敗報告です。同社はハイブリッドリニア（Lightning Attention併用）を実際に大規模学習した経験から、小規模ではフルアテンションと同等に見えたハイブリッドが、規模を上げると複雑なマルチホップ推論に明確な欠損を示したと公式ブログで述べています。小規模実験の代理指標が大規模での実性能と相関し続ける保証がない、という指摘は、48Bでの実証を2.8Tに外挿する際の警告としてそのまま効いてきます。

一方で、フルアテンション層なしでリコール問題を解こうとする研究も進んでいます。Memory Caching（arXiv:2602.24281）はRNN状態をセグメント末で定期的にチェックポイントする折衷案で、16Kのneedle検索を単体リニアの数点から80点超まで引き上げたとされています（数値は解説記事の抽出値）。Log-Linear Attention（arXiv:2506.04761）は状態をO(log N)で成長させる中間解です。ただし、これらをフラッグシップ規模で本採用した例はまだありません。現時点の現実解が3:1ハイブリッドである、というのが2026年の到達点です。実際、Qwenは4月のQwen3.6でもこの比率をconfigレベルで一切変えていません。

業界全体が同じ方向というわけではない

「最大級の2モデルがリニアを採用した」と聞くと収束したように見えますが、同じ2026年前半のリリースを並べると、実態はむしろ分岐です。

モデル 系列混合の戦略 分類
Kimi K3（2.8T） KDA ＋ Gated MLA を3:1（＋末尾MLA） ハイブリッドリニア
Qwen3.5-397B-A17B Gated DeltaNet ＋ Gated Attention を3:1 ハイブリッドリニア
Qwen3.6（27B / 35B-A3B） 3.5と同一構成（config.jsonも同一系） ハイブリッドリニア
Qwen3.7-Max / 3.8-Max 非開示（公式には「Qwen3.5の基盤」とのみ） 非開示
MiniMax-M2 / M2.5 標準のフルアテンション（softmax注意） フルアテンション
GLM-5 / 5.2（744B） MLA ＋ DeepSeek Sparse Attention（DSA） スパース
DeepSeek V3.2 MLA ＋ DSA スパース
DeepSeek V4（Pro / Flash） 圧縮アテンション（CSA ＋ HCA） 圧縮スパース

MiniMaxは、効率的アテンションを長年試した末に、タスク・モデルサイズ・推論スタックを横断して最も壊れにくいのはフルアテンションだと結論して標準のフルアテンションに回帰しました。理論上はリニアが有利になるはずの長系列でも、実装上はリニア側が学習時ですらメモリ律速でGPUを使い切れない、低精度での状態の安定性やprefix cachingとの相性など推論側の未解決課題が多い、という理由も挙げています。

GLM-5やDeepSeek系のスパース路線は、ハイブリッドリニアとは逆の哲学です。全トークンをアドレス可能なまま保持し、クエリごとに関連トークンだけをtop-k選択（DSAでは例えば2048個）して計算を削る方向で、長文脈のアテンションの9割は冗長という観測に立脚しています。前回記事で扱ったDeepSeek V4の圧縮アテンション（CSA＋HCA）もこの系列です。つまりMoonshotとDeepSeekは、1Mコンテキストという同じ敵に対して、片や履歴を状態へ非可逆圧縮する武器、片や履歴を保持したまま読む場所を選ぶ武器と、正反対の選択をしたことになります。前者は必要な事実がゲートで消えるリスク、後者はセレクタが必要なトークンを見落とすリスクを抱えます。

さらに言えば、同じ「3:1ハイブリッドリニア」でも、QwenとKimiの中身は別物です。リニア側はスカラーゲートのGated DeltaNetに対してチャネル単位ゲートのKDA、フル側はGated Attention（GQA＋部分RoPE）に対してGated MLA、位置エンコーディングはRoPEに対してNoPEと、収束しているのは比率だけで機構は分岐しています。加えてQwen自身が旗艦をクローズド化したことで、この非収束には不透明化も伴い始めました。

なお、GeminiやGPTなどクローズドモデルのアテンション内部構造は公開されておらず、この地図に載せることはできません。図3に、研究提案から本採用までの系譜を時系列でまとめます。

image.png

ローカル運用とエージェント用途への意味

この動きがローカル推論に何をもたらすかを考えます。128GBクラスのユニファイドメモリ機では、長文脈のKVキャッシュは重みと同じメモリを食い合うので、KVを持つ層が1/4になることは、そのまま実際に使える文脈長の上限が伸びることを意味します。デコードは帯域律速なので、長文脈での毎トークンのKV読み出しが減れば、tok/sの劣化カーブも緩やかになるはずです。ツール出力やログで文脈が一方的に膨らむエージェント用途では、この性質は特に効きます。具体的な原価感で言えば、ローカルで扱いやすいQwen3.6-27Bクラスでも、KVを持つのは64層中16層で約64KB/トークン、ネイティブ上限の262Kを使い切ってもKVキャッシュは17GB強に収まる計算です。

ただし、良いことばかりではありません。リニア層の再帰状態は、1トークンあたりのKVより2桁ほど大きい塊（前述のとおり1層約2MB）を毎ステップ読み書きするため、数千トークン程度の短い文脈ではフルアテンションに対するメモリ上の利得はほぼありません。図1で青線と赤線が左端で接近しているのはこのためです。

もう一つの落とし穴がprefix cachingです。フルアテンションならトークン単位のKVを残しておけば任意の途中位置から再開できますが、リニア層の再帰状態は全トークンで上書きされていくため、あらゆる位置のスナップショットを保持することはできません。vLLMはKimi K3対応で、物理的な状態ブロックのサイズとprefix一致判定の粒度を分離し、ブロック内に状態スナップショットを登録する方式で対処したと説明しています（プレビュー記事）。システムプロンプトや会話履歴を毎ターン再利用するエージェント運用では、prefix cacheが効くかどうかで再プリフィルのコストが大きく変わるので、ローカルの推論エンジンがこの機構をどこまで実装するかは注視しておきたいポイントです。

補足: 「Transformer終焉」言説について

ところで、この動きを受けてSNSでは「Transformerの時代は終わった」「Attentionはもう要らない」という言説も見かけます。せっかく材料が揃っているので、ここで仕分けしておきます。

誇張されている点は次のとおりです。

  • アテンションは消えていません。Kimi K3は93層中24層、Qwen3.5は60層中15層、Qwen3.6-27Bも64層中16層がフルのsoftmaxアテンションで、アブレーション上もフル層ゼロは選ばれていません。
  • Transformerブロックの骨格（残差・アテンション・FFN/MoE・正規化）はそのままです。起きているのは系列混合層の中身の置換であって、アーキテクチャの解体ではありません。
  • 75%削減・6倍という公称値を2.8T級の実測のように語るのは不正確です。実証は48BのKimi Linearで止まっており、2.8Tでの品質同等性は妥当だが未検証というのが第三者ファクトチェックの評価です。
  • 学習コストが劇的に下がるわけでもありません。Kimi Linearのcompute-optimal設定でのMLA比の計算効率優位は約1.16倍と控えめで、利得は推論側に集中します。

一方で、事実として画期的な点もあります。

  • フェアな条件比較でリニア系ハイブリッドがフルアテンションを上回ったと主張する論文（Kimi Linear、48B）が出て、その設計が2.8Tのフロンティア級オープンモデルで本採用されたこと。
  • チャネル単位ゲーティング（KDA）やDPLRのチャンクワイズ効率化など、リニアの表現力と実装効率を実際に押し上げる技術が揃ってきたこと。
  • 長文脈サービングの原価構造を、層数比という単純な設計変数で直接下げられると示されたこと。

総括すると、これは「Transformerの正常進化」であり、より正確には「アテンション層の内訳をめぐる、まだ決着のついていない分岐」です。ハイブリッドリニア（Kimi・Qwen）、フルアテンション堅持（MiniMax）、スパース（GLM・DeepSeek）の三つ巴の決着は、2.8T級での独立検証と、次世代モデルの選択を待つ必要があります。

わかっていないこと

調査の過程で裏が取り切れなかった点を挙げておきます。

  • Qwen3.7-Max / 3.8-Maxのアテンション構成・層数・エキスパート構成は非開示です。3.8-Maxの総2.4Tは公式発表で確認できましたが、活性95Bは媒体経由の公式引用の段階で、一次資料での逐語確認は取れていません。
  • Qwen3.8はMax版・27B版ともオープン化が公式に確約されましたが（2026年8月3日）、config.jsonは本稿執筆時点で未公開です。full_attention_intervalが4のままかどうかが、「3:1が現実解」という本稿の主張を再検証する次のトリガーになります。
  • 2.8T規模でKDAハイブリッドがフルアテンションと品質同等かどうかの独立検証（needle系・マルチホップ系ベンチ）は、まだ存在しません。MiniMaxが観測したような大規模特有の欠損が出ないかは、今後の第三者評価待ちです。
  • SNS上でThRetNetという用語を見かけましたが、複数の検索でも該当する研究・アーキテクチャを特定できませんでした。RetNet（arXiv:2307.08621）の誤記ないし混同の可能性が高いと判断しています。
  • クローズドモデル（Gemini、GPT等）のアテンション構造は非公開のため、本記事の比較には含められていません。

まとめ

  • リニアアテンションの利得の本質は、KVキャッシュのO(N)成長を固定状態のO(1)に置き換えることによる、帯域律速なデコードとメモリ原価の改善です。75%削減という数字は層数比からほぼ直接導けます。
  • 純リニアにしないのは、固定状態への非可逆圧縮が正確な長距離リコールを壊すからで、3:1はアブレーションに裏付けられた保険付きの構成です。KVキャッシュをゼロにする道は、まだ研究段階にあります。
  • Kimi K3とQwen3.5は、系列混合層をリニア3：フル1で構成するハイブリッドであり、残差＋アテンション＋MoEというTransformerの骨格は維持されています。
  • 業界はハイブリッドリニア・フルアテンション・スパースの三方向に分岐しており、決着はついていません。Qwenの旗艦がクローズド化したことで不透明化も進んでおり、2.8T級での独立検証とQwen3.8オープン版のconfig公開が次の焦点です。
  • ローカル運用では実効文脈長の伸びが期待できる一方、短文脈での利得のなさとprefix cachingの難しさというトレードオフがあります。

前回のMoEの記事がチャネル方向の計算とメモリの話だったとすれば、今回は系列方向の話でした。2017年にAttention Is All You Needが「再帰を捨てて全履歴を保持する」と決めたときの請求書、つまりO(N)で育つKVキャッシュの代金を、9年経った今、各社がそれぞれ違う方法で値切ろうとしている状況です。

参考資料

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?