Kimi K3 / Qwen3.8-Max / DeepSeek-V4-Pro について調べてみた

Last updated at 2026-07-20Posted at 2026-07-19

はじめに

2026年7月、中国から兆パラメータ級のモデルが相次いで発表されました。

7月16日 Kimi K3（Moonshot AI）総パラメータ 2.8T
7月19日 Qwen3.8-Max-Preview（Alibaba）総パラメータ 2.4T

比較対象として、4月に公開された DeepSeek-V4-Pro（DeepSeek、1.6T）も本稿では並べて扱います。いずれも総パラメータは兆の単位です。7月17日には半導体株が一斉に売られ、SOX指数はピークから20%超下げて弱気相場入りしました。

ただ、各社の発表を並べて読むと、別のことが気になります。発表されている数字のうち、第三者が確かめられるものがあまりない。とくに、推論コストを実際に決める値が伏せられているモデルがあります。

そしてもう一つ、個人的には技術的に引っかかる点があります。Kimi K3 は896エキスパート中16しか活性化しません。総パラメータの1.8%です。そんな疎性(スパース性)で本当にフロンティア級の性能が出るのか。出るとしたら、MoEのアルゴリズムに何かブレークスルーがあったのか？

この記事は「どれが強いか」ではなく、「何が分かっていて、何が分かっていないか」と「なぜ1.8%で動くのか」の2点を整理するものです。

本記事は2026年7月20日時点で公開されている情報を整理したものです。内容は無保証で、投資判断を目的としたものでもありません。ベンチマークやパラメータ数の多くはメーカーの自己申告値です。その区別は本文中で明示します。

先に結論

論点	結論
総パラメータ数	3社とも公表。ただしこれは知識容量の指標で、推論コストとは直結しない
活性化パラメータ数	Kimi K3 は疎性比から逆算可能、DeepSeek は公表済み。Qwen3.8 のみ非公表
疎性1.8%は異常か	異常ではない。3年続いた高疎性トレンドの先端で、スケーリング則の予測とも整合する
ブレークスルーはあったか	単一の発明はない。既存路線の徹底、安定化の工学、推論時計算による補償の合わせ技
疎性のコスト	記憶系タスクには効くが推論系には効きにくい。Frontend Code Arena は首位、AA Intelligence Index は3位
メモリ要求	疎性を上げても総パラメータ分は必要。MXFP4でも約1.5TB
演算強度	Kimi K3 は、バッチ1のデコードで約3.8 FLOP/byte。演算器の利用率は0.3%台
注意点	Kimi K3 は (演算器の利用率が低いので) 多数のエージェントの同時利用を強調するが幻覚率は悪化している
重みの公開	現時点で重みが公開されているのは DeepSeek-V4-Pro だけ
市場の反応	最も売られたのは NVIDIA ではなく、中国のモデルベンダー自身だった
個人的な感想	結局、スケーリング則的には順当な進化で驚きはなく、いま起きているのは中国モデル同士の潰しあい

1. 発表された3つのモデル

Kimi K3（2026年7月16日）

情報はそこそこ出ているモデルです。

項目	内容
総パラメータ	2.8T（発表時点で世界最大のオープンウェイト予定モデル）
疎性	896エキスパート中16を活性化（約1.8%）＋シェアードエキスパート
活性化パラメータ	50〜60B（公式は非開示。疎性比からの逆算で第三者の値が一致）
コンテキスト長	1M トークン
アテンション	KDA（Kimi Delta Attention）、Gated MLA、Attention Residuals
MoE	Stable LatentMoE、Quantile Balancing
最適化	Per-Head Muon、SiTU（Sigmoid Tanh Unit）
量子化	SFT段階以降、MXFP4重み + MXFP8活性値の QAT
ライセンス	Modified MIT 見込み（重みは7月27日公開予定）
API価格	入力 $3 / 出力 $15、キャッシュヒット入力 $0.30

技術要素の名前が並びますが、これらは性能を上げるための飾りではありません。Moonshot 自身が技術ブログで、このレベルの疎性ではルーティングと最適化が一次的な課題になる、と書いています。列挙されているものの大半は、1.8%という疎性を成立させるための対策です。

Quantile Balancing は、ルータのスコアの分位数から直接エキスパート割当を決めます。従来の補助ロス方式にあった敏感なハイパーパラメータそのものを消す設計です
SiTU は、稀にしか活性化しないエキスパートで起きやすい dead neuron を避けるための活性化関数です
KDA は Gated DeltaNet のスカラー減衰をチャネル単位の対角行列に置き換えた線形アテンションで、各次元が独立の忘却率を持ちます。状態は各ヘッドで128×128の固定サイズで、コンテキスト長に依存しません
AttnRes は深さ方向の残差を「累積」から「検索」に変えるもので、K3 ではコストを抑えた Block AttnRes を使っています

ベンチマークについては第3章でまとめて扱いますが、メーカーのチャートに載っていない数字を先に挙げておきます。AA-Omniscience で正答率が33%から46%に改善する一方、幻覚率が39%から51%に悪化しています。また Intelligence Index の評価中に約1.3億トークンを生成しました。比較群の中央値の約2倍です。

Qwen3.8-Max-Preview（2026年7月19日）

こちらは情報がほとんどありません。7月20日時点でも状況は変わっていません。

項目	内容
総パラメータ	2.4T（公式Xでの告知のみ）
疎性・活性化パラメータ	非公表
コンテキスト長	非公表
アーキテクチャ	非公表
モダリティ	画像・動画・ドキュメント理解（Qwen初の兆パラメータ級マルチモーダルと説明）
ライセンス	非公表。オープンウェイト化は「近日」とのみ
API価格	トークン単価は非公表。サブスクリプション経由で提供

公式技術ブログもモデルカードもベンチマーク表もありません。Hugging Face の Qwen organization にリポジトリも存在しません。分かっているのは、公式アカウントが「2.4Tで、フロンティアモデルに匹敵し、Fable 5 に次ぐ」と述べたことだけです。

「次ぐ」の根拠となる測定条件が示されていないので、現時点では性能の議論に乗せられません。日曜日の告知で、Kimi K3 の3日後。完成度より速度を優先した出し方に見えます。

DeepSeek-V4-Pro（2026年4月24日）

3つの中で唯一、地味です。そして唯一、手元で確かめられます (お金があれば)。

項目	内容
総パラメータ	1.6T
活性化パラメータ	49B（公表値）
疎性	384ルーテッド＋1シェアードの top-6
学習トークン	33T
コンテキスト長	1M
ライセンス	MIT
軽量版	DeepSeek-V4-Flash が 284B総 / 13B活性

7月の3日間で出たものではなく、3か月前から動いているモデルです。MITライセンスで重みが出ているので、活性化パラメータもエキスパート構成もコンフィグを読めば分かります。ベンチマークも第三者が同じ条件で測り直せます。

2. 何が開示され、何が伏せられているか

MoEにおいて、総パラメータ数と活性化パラメータ数はまったく別のことを表します。

総パラメータ数＝知識の容量と、重みを置くのに必要なメモリ
活性化パラメータ数＝ 1トークンあたりの計算量、つまり速度とコスト

Kimi K3 は総2.8Tですが、活性化は50〜60B。メモリの要求は2.8T級、計算量の要求は50B級です。この2つを混ぜて「2.8兆パラメータのモデル」と呼ぶと実態を誤解します。

では Claude や OpenAI のモデルはどうなのか。

結論から言うと、Claude も OpenAI のフラッグシップも、総パラメータ・活性化パラメータともに一切非公表です。Anthropic の公式発表ページ、システムカード、AWS Bedrock のモデルカードのいずれにも記載がありません。GPT-5系の推定値は1.7Tから52Tまで30倍の幅があり、実質「不明」です。世に出回っている Sonnet 1T / Opus 5T といった数字は、第三者の発言からの逆算にすぎず、確認されたものではありません。

唯一の例外が、OpenAI が2025年8月に公開した gpt-oss です。モデルカードに内訳まで載っています。

項目	gpt-oss-120b	gpt-oss-20b
総パラメータ	116.83B	20.91B
活性化パラメータ	5.13B	3.61B
活性化率	4.4%	17.3%
エキスパート	128中 top-4	32中 top-4
MLP	114.71B	19.12B
アテンション	0.96B	0.64B
チェックポイント	60.8GiB	12.8GiB

アテンションは総パラメータの1%未満です。総パラメータは実質「エキスパートに何を詰め込んだか」の指標であって、計算グラフの規模を表す数字ではありません。

開示状況を並べるとこうなります。

モデル	総パラメータ	活性化	ベンチマーク	重み
DeepSeek-V4-Pro	公表	公表	測定可	MIT
gpt-oss-120b	公表	公表	測定可	Apache 2.0
Kimi K3	公表	逆算可	測定可	7月27日予定
Qwen3.8-Max	公表	非公表	なし	未定
Claude / GPT-5.x	非公表	非公表	外形測定のみ	クローズド

この中で位置づけが特殊なのが Qwen3.8-Max です。総パラメータだけを公表し、活性化パラメータを伏せています。総パラメータは能力の上限を大きく見せる数字、活性化パラメータは推論コストを決める数字です。片方だけが出ている状態では、性能もコストも比較の土俵に乗りません。

Claude や GPT-5.x のように最初から何も出さないモデルは、比較できないことが最初から分かります。一部だけが出ているほうが、かえって判断を誤りやすい。

外から推定する方法がないわけではありません。GPU の機会費用を仮定し、トークン生成速度と単価のパレートフロンティアから逆算するアプローチがあります。この手法で GPT-4o は総パラメータ約2000億と推定されていますが、著者自身が2倍程度の誤差はありうると明記しています。外部端子の観測から内部構造を推定する作業なので、原理的に一意には決まりません。

もう一点、ベンチマークの読み方にも注意が要ります。前世代の Qwen3.7-Max は Artificial Analysis Intelligence Index で 56.6 とされていましたが、これは v4.0 での数値です。現行の v4.1 では同じモデルが46に下がっています。一方 Kimi K3 の57は v4.1 での測定です。バージョンの異なるスコアを並べると10ポイント以上の誤差が出ます。回帰テストで測定条件を固定しないのと同じ話です。

3. 活性化1.8%でなぜ性能が出るのか

「そんな疎性で性能が出るわけがない」という直観は自然ですが、いくつか前提を分けて考える必要があります。

まず、比率と絶対値は別の話

活性化50〜60Bという絶対値は、実は小さくありません。DeepSeek-V3 は671B総 / 37B活性でフロンティア近傍に届いていました。K3 の活性化はそれより多い。

図7のとおり、業界のトレンドは2つに分解できます。活性化パラメータの絶対値は、2023年の Mixtral 8x7B の13Bから2026年の K3 の50〜60Bまで、3年で数倍にしかなっていません。一方で疎性比は Mixtral の約28%から K3 の約2%まで、桁で下がっています。

つまり業界は「活性化を大きく増やさず、総パラメータだけを膨らませる」方向に進んできました。K3 はこのトレンドの先端にいるだけで、質的に不連続な外れ値ではありませんでした。

スケーリング則は何と言っているか

ここは査読された研究がいくつかあります。

Krajewski らの「Scaling Laws for Fine-Grained Mixture of Experts」（arXiv:2402.07871、ICML 2024）は、エキスパートの粒度（granularity）という軸を導入しました。エキスパートを細分化して活性パラメータを一定に保ったまま数を増やすと性能が上がる。そして、エキスパートのサイズをFFN層に合わせる慣行は、ほぼどの計算予算でも最適ではない、と結論しています。K3 の896エキスパートはこの路線の延長です。

Abnar らの「Parameters vs FLOPs」（arXiv:2501.12370）は、最適疎性の存在を示しました。重要なのはその条件依存性で、モデルサイズを固定すると最適疎性は計算量とともに下がりますが、サイズに制約を置かなければ疎性は全計算予算で損失を下げ続け、最適疎性は1に近づきます。総パラメータを増やすことに制約がない前提では、1.8%は理論と整合します。

つまり、疎性1.8%はスケーリング則が予測していた場所であって、突然変異ではありません。

総パラメータが効く領域と、効かない領域

では総パラメータは何をしているのか。知識容量です。

ブラックボックスのLLMのパラメータ数を事実想起能力から逆推定した研究では、MoEの事実容量は活性化パラメータではなく総パラメータで決まる、と報告されています（決定係数は総パラメータで0.667、活性化で0.412）。K3 の2.8Tは知識の器として効いている。

そしてここが決定的なのですが、この効果はタスクによってはっきり分かれます。

Jelassi らの「Mixture of Parrots」は、エキスパートを増やすことは記憶を主に改善し、推論の改善は限定的だと報告しています。Nakamura らの「Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks」（arXiv:2508.18672）は、記憶系のタスクはパラメータ数を増やせば改善するが、推論系のタスクは活性 FLOPs とパラメータあたりの学習トークン数で決まる、と示しました。

この論文で最も重要なのは次の点です。この傾向は、GRPO による強化学習の後学習でも、推論時計算を増やしても変わらない。

疎性で薄くなった推論力は、後から埋められないということです。

dense 等価規模の目安としては2つの見方があります。総と活性の幾何平均を取ると √(2800×55) ≈ 392B。エキスパート数と選択数から割り引く推定式を使うと約807B。どちらも査読された理論ではなく経験則ですが、「活性化50〜60Bよりはるかに大きいdense相当だが、2.8Tよりははるかに小さい」という桁感覚は共通しています。

ベンチマークの得意不得意は、理論の予測どおりに分かれている

ここまでは理論の話です。実際のスコアを見ると、この予測とおおむね対応する傾向が出ています。

最も派手に取り上げられた Frontend Code Arena では、K3 が1679点で1位です。Claude Fable 5 が1631点、GPT-5.6 Sol が1618点なので、この領域では明確に抜けています。

パーセント系のベンチマークになると差が縮みます。Terminal-Bench 2.1 は K3 が88.3で Fable 5 の84.6を上回りますが、GPT-5.6 Sol の88.8には届きません。DeepSWE は67.5で、Fable 5 の70.0にも Sol の73.0にも届かない。Artificial Analysis Intelligence Index は57で、Fable 5 の59.9、Sol の58.9に次ぐ3位です。

この分かれ方には規則性があります。

特性	該当するベンチマーク	K3 の位置
既存パターンの再利用、ツール操作の反復	Frontend Code Arena、Terminal-Bench、BrowseComp	上位
新規の推論、知識横断	DeepSWE、AA Intelligence Index、HLE	首位に届かない

Frontend Code Arena の評価設計を見ると、この整理はさらに納得しやすくなります。このベンチマークは、モデルがファイル作成・編集・コマンド実行といったツール操作を繰り返して実際に Web アプリを構築し、その成果物を人間の評価者が機能性（Functionality）、使いやすさ（Usability）、忠実度（Fidelity）の3軸でペアワイズ比較する、という形式です。すべての操作はバージョン管理されてログに残ります。

つまり測っているのは、既存の UI パターンやライブラリの使い方をどれだけ正確に再現でき、それをツール操作で組み上げられるか、です。新規の定理を証明する種類の課題ではありません。

これは「エキスパートを増やすと記憶は改善するが推論はさほど改善しない」という理論の予測と、そのまま対応します。K3 が記憶とパターン再利用が効くタスクで1位を取り、新規推論が要るタスクで Fable 5 に届かないのは、疎性を極端に上げた設計の帰結として説明がつきます。

ただし、この分類には無理もあります。Terminal-Bench と DeepSWE はどちらもエージェント型のソフトウェア開発ベンチマークですが、K3 は前者で Fable 5 を上回り、後者で下回っています。両者を記憶寄りと推論寄りに振り分ける根拠は、結果を見てから当てはめたものであって、事前に予測できたものではありません。しかも Terminal-Bench の値はハーネスが揃っていない点でも割り引く必要があります。

傾向としては理論と整合しますが、個々のベンチマークの割り当ては後づけです。因果を確かめるには、後述するようにルーティングの実測が要ります。

推論時計算による補償

もう一つ、見落とせない要素があります。K3 は常時 reasoning が走る設計です。Artificial Analysis の測定では、Intelligence Index の評価だけで約1.3億トークンを生成しました。モデル平均の約2倍です。

1タスクあたりの総演算量は、おおよそ「活性化パラメータ × 生成トークン数」で決まります。per-token の計算量が少なくても、トークン数を2倍にすれば総演算量は埋め合わせられる。K3 の設計は、この方向にはっきり振れています。

ただし前述のとおり、Nakamura らの結果は「推論時計算では疎性起因の推論力ギャップは埋まらない」でした。補償はできるが、完全ではない。幻覚率が前世代から悪化していることと無関係ではない可能性がありますが、因果は証明されていません。

事前に推論寄りと分かっているベンチで見る

前々節で、記憶寄りと推論寄りの割り当ては結果を見てからの後づけだ、と書きました。ここについて、事前に推論寄りだと言えるベンチマークが一つあります。

Epoch AI の FrontierMath です。Tier 4 は研究レベルの数学で、典型的な問題を解くのに専門家が数時間、上位の問題では数日かかるとされています。問題は未公開で、338問のうち公開されているのは12問だけです。

つまり、学習データに答えが入っている可能性が構造的に低い。総パラメータの知識容量では点が取れません。得意不得意の分類を、結果を見る前に決められる数少ないベンチです。

そこでの K3 のスコアは約39%でした。Epoch AI の内部実行値です。同じ計測で OpenAI と Anthropic のモデルは、条件によっては90%近くに達しており、最高スコアは88%です。

Frontend Code Arena で1位、FrontierMath Tier 4 で39%。この章で見てきた分かれ方が、いちばん極端な形で出ています。図8に並べようとすると軸が成立しません。他のベンチでの差が数ポイントなのに対し、ここだけ40ポイント台の差になるからです。

しかもこれは max 設定での値です。前節で見たとおり、K3 の設計は推論時計算を積む方向に振れています。その推論時計算をいちばん積んだ状態でこの位置というのは、Nakamura らの「推論時計算では疎性起因の推論力ギャップは埋まらない」という結果と方向が一致します。

加えて、これは Epoch AI が自前で回した数字です。第7章で問題にするハーネスの不揃いがありません。その意味では、メーカー報告値より証拠としての質が高い。

ただし、ここでも数字の読み方に注意が要ります。

Tier 4 は43問です。1問が約2.3ポイントに相当するので、たとえば7ポイントの差は3問の差でしかありません。Epoch のグラフで信頼区間が縦に長いのはこれが理由で、同時期の他モデルと区間が重なるケースもあります。差の有無を主張するなら、点の位置ではなく区間を見る必要があります。

版も揃える必要があります。FrontierMath は2026年6月12日に v2 が出て、全問題の42%にあった誤りが修正されました。第2章で Artificial Analysis の v4.0 と v4.1 について書いたのと同じ話です。

そして、これで疎性が確実に原因だと決まるわけでもありません。K3 の学習計算量は非公表で、数学特化のデータや強化学習をどれだけ積んだかも分かりません。中国勢が計算資源の制約下にあることを踏まえれば、この差はアーキテクチャではなく単に学習計算量の差かもしれない。外からは分離できません。

なお FrontierMath は OpenAI の資金提供で開発され、OpenAI は一部の問題に独占的にアクセスできます。Epoch 自身が利益相反として開示している点です。

整理すると、事前に推論寄りだと言えるベンチで K3 が首位から大きく離れているという事実は、この章の仮説を後づけでない形で支持します。ただし、原因を疎性に帰属させるにはまだ足りません。第8章で挙げる活性化数のアブレーションが、その分離のための検証になります。

結論：ブレークスルーはあったか

なかった、というのが答えになります。正確には、単一のアルゴリズム上の発明が性能を説明しているのではない、ということです。

要素	寄与
高疎性トレンドの延長	スケーリング則が予測していた方向。K3 は先端だが外れ値ではない
安定化の工学	Quantile Balancing、Per-Head Muon、SiTU、MXFP4-QAT。疎性を壊さずに回すための対策群
総パラメータによる知識容量	2.8Tが記憶の器として効いている。ベンチマークの得意分野もこれで説明できる
推論時計算	常時 reasoning で1タスクあたりトークン数を積み増して補償している
学習データ・計算量	非公表。DeepSeek-V4 の33Tトークンが参考値になる程度

「1.8%しか動かないのに性能が出る」のではなく、「1.8%でも絶対値50〜60Bは十分大きく、足りない分は総パラメータの知識容量と生成トークン数で補っている。そして補いきれない領域ではスコアが伸びていない」というのが実態に近いと考えられます。

なお、K3 が別のモデルからの蒸留で性能を得ているという指摘もありますが、これは係争中の未証明の主張なので判断材料には含めません。

4. 疎性のツケは推論側に回る

疎性を上げることは、学習側では得になります。同じ計算量でより多くのパラメータを持てるからです。学習に必要な演算量はおおむね活性化パラメータと学習トークン数の積で決まるため、2.8兆という総パラメータは学習コストをほとんど反映していません。公表値のある DeepSeek-V4-Pro（49B活性・33Tトークン）で概算すると約9.7×10²⁴ FLOP で、Epoch AI が推定する GPT-4 の約2×10²⁵ FLOP の半分程度です。同じトークン数を dense 2.8兆で学習すれば、活性化率の逆数だけ、つまり50倍以上のFLOPsが要ります。

学習側をどう賄っているのかは、以下の記事で扱います。

一方で推論側では、その分がそのまま負担になります。

負担は2つの形で出ます。メモリ要求は総パラメータのまま減らず、演算強度は活性化パラメータの分しか稼げない。順に見ます。

まずメモリです。重みだけで必要な容量はこうなります。

モデル	4bit	8bit	16bit
Kimi K3（2.8T）	1.4TB	2.8TB	5.6TB
Qwen3.8-Max（2.4T）	1.2TB	2.4TB	4.8TB
DeepSeek-V4-Pro（1.6T）	0.8TB	1.6TB	3.2TB

4bit ちょうどで計算した値です。MXFP4 はブロックスケールを含めて実効4.25bit程度なので、K3 は実際には約1.5TBになります。

ここで効いてくるのは、活性化パラメータが50〜60Bであっても、常駐させる重みは2.8T分だという点です。疎性はメモリ要求を1ミリも減らしません。

H200を8枚積んだ標準的な1ノードで1.128TB。K3 は4bitに潰しても重みだけで入りません。しかもこれはKVキャッシュと活性値を含まない下限値です。SemiAnalysis も、K3 は FP4 でも単一の DGX B200 には載らず、GB300 NVL72 級のシステムが要る、と指摘しています。

そして、演算強度が足りない

もう一つの負担が演算強度です。バッチ1のデコードで概算するとこうなります。

項目	値
活性化パラメータ	約55B
MXFP4（スケール込み約4.25bit）	約0.53 byte/param
1トークンあたりの重み読み出し	約29GB
1トークンあたりの演算量	2×55e9 ≈ 110 GFLOP
演算強度	約3.8 FLOP/byte

B200世代の FP4 ピーク性能をHBM帯域で割ったリッジポイントは、ざっくり1125 FLOP/byte です。3.8 はその2桁以上左側で、完全にメモリ帯域律速です。演算器の利用率は0.34%程度にしかなりません。

「2.8Tのメモリ要求で50B級の計算量」というのは、裏を返せば「50B級の速度が出るとは限らない」ということです。

さらに厄介なのは、バッチを増やしても素直に効かないことです。dense ならバッチを増やせば同じ重みを使い回せるので、演算強度がバッチに比例して上がります。ところがMoEはトークンごとに飛び先が違うので、バッチが大きくなると結局896個すべてのエキスパートを読むことになります。

計算するとこうなります。896中16活性なので、全エキスパートが読まれる領域では、1エキスパートあたりに乗るトークン数はバッチの56分の1です。リッジポイントに到達するには1エキスパートあたり約300トークンが必要で、逆算すると同時に約16,700トークンを処理していないといけません。同じ活性化サイズの dense モデルなら約300トークンで済みます。

演算律速に持ち込むのに必要なバッチが dense の56倍になる。この56という数字は、エキスパート数を選択数で割った値そのものです。疎性を上げるほど、この係数が大きくなります。

Moonshot が最低64アクセラレータのスーパーノードを推奨しているのは、これが理由です。DeepSeek が V3 のデコードを EP144（18ノード）規模で回していたのも同じ話で、疎なMoEは大規模なエキスパート並列があって初めて経済的に成立します。

MoEの推論には二重のペナルティがあるという指摘もあります。エキスパートのルーティングがマイクロバッチを断片化して重みの再利用を落とすことと、常駐エキスパートがHBMを占有してKVキャッシュの余地を奪うことです。品質を揃えた dense と比べると、長いコンテキストではdense側が数倍のスループット優位を持つという報告もあります。MoEは学習時の最適化と捉えて、推論用にはdenseへ蒸留するべきだ、という主張です。

整理すると、疎性を上げて得をするのは学習側であって、推論側では逆に高くつきます。総パラメータ分のメモリを常駐させたうえで、演算器を動かすには dense の56倍の同時実行を集める必要がある。この構造のせいで、疎な MoE は十分な規模の設備と十分な同時リクエスト数が揃ったときにしか採算が合いません。

誰がその同時実行を集めるのか

Moonshot の発表資料では、多数のエージェントを同時に走らせる使い方が繰り返し強調されています。これは訴求の方向としてそう決めた、というより、前節の計算がそのまま要求していることだと考えられます。

16,700トークンを常時流し続けられるワークロードは限られます。対話型のチャットでも数を集めれば満たせますが、エージェントの並列実行のほうが4つの点で条件に合います。

条件	対話型のチャット	エージェントの並列実行
レイテンシ許容度	TTFTと毎秒トークン数の劣化がすぐ苦情になる	数十分単位で走るので、スループット側に振れる
負荷の連続性	質問と読む時間が交互に来るのでバースト的	長い連続したトークン列が出続ける
プレフィックスの再利用	会話ごとに前提が変わる	システムプロンプトとツール定義を毎ターン再送する
出力トークン量	冗長さは嫌われる	総量が増えても問題になりにくい

順に補足します。

バッチを深くすることは、スループットとレイテンシの直接的な交換です。人間が画面を見ている用途ではこの交換に早い段階で上限が来ますが、数十分走るエージェントでは上限がずっと緩くなります。

大規模エキスパート並列で効率が出るのも、毎ステップ十分な数のトークンが流れていて、896個のエキスパートへの割り当てが平均化されているときだけです。バースト的なパターンだと小バッチのステップが混ざり、そこは0.3%台の利用率で回ることになります。

キャッシュヒット入力が $3 に対して $0.30 という10分の1に設定されているのも、この文脈で読めます。エージェントループはシステムプロンプト、ツール定義、履歴を毎ターン送り直すので、プレフィックスのヒット率が構造的に高くなります。

そして第3章で見たとおり、K3 は常時 reasoning で比較群の約2倍のトークンを吐きます。足りない推論力を生成トークン数で補うという設計は、トークン量を気にしない買い手がいて初めて成立します。

KDA との噛み合わせもここに効きます。896個の常駐エキスパートは HBM を占有し、KVキャッシュの余地を奪う。前述の二重ペナルティの片方です。KDA は状態がヘッドあたり128×128の固定サイズでコンテキスト長に依存しないため、長い文脈でもKVが膨らまず、エキスパートに食われた分をある程度取り返せます。長文脈のエージェントを大量に並べる、という条件で、この組み合わせは最もよく働きます。

ただし、因果は分離できません。エージェント用途は単価が最も高く取れる領域でもあります。次章で見る入力 $3 / 出力 $15 は中国製モデルとしては過去最高価格帯で、コモディティ勝負の値付けではない。第3章で見たベンチマークの得意分野も、まさにそこでした。疎性を上げた結果としてエージェント以外では採算が合わなくなったのか、最初からその市場を狙って疎性を上げたのかは、外からは区別できません。

実務上の含意としては、この効率が回収されるのはサービング側だという点が大きい。手元で10個のエージェントを並列に走らせても16,700トークンには届かないので、恩恵は API 価格の形でしか返ってきません。

一方で、利用者側に直接効く話も一つあります。エージェントを束で回すときの所要時間を決めるのは、1本あたりの毎秒トークン数ではなく全体のスループットです。1本が遅くても総量が出れば困らない。テストを1本ずつ速く回すか、グリッドを埋めて総本数で稼ぐか、という選択に近いところがあります。

5. 演算コストが高いが、オープンソースのコミュニティが解決するかもしれない

出力トークン単価で見ると、DeepSeek-V4-Flash の $0.28 から Claude Fable 5 の $50 まで、178倍の開きがあります。

なお DeepSeek-V4-Pro の単価には $1.74/$3.48 という数字も流通していますが、これは発売記念割引が適用される前の定価です。割引は2026年5月31日に終了し、割引後の水準がそのまま正式価格になりました。公式の料金ページで確認できる現行値は、入力 $0.435 / 出力 $0.87、キャッシュヒット入力 $0.003625 です。

注目すべきは Kimi K3 の位置です。入力 $3 / 出力 $15。DeepSeek-V4-Flash の出力単価の約54倍で、中国製モデルとしては過去最高価格帯です。「中国製モデル＝安い」という図式は、少なくともフロンティア級では成立しなくなりました。

さらに、額面単価だけで比較すると判断を誤ります。前述のとおり K3 は評価中に比較群の約2倍のトークンを吐きました。単価が同じでも消費トークンが2倍なら実効コストは2倍です。実際、Artificial Analysis の測定では1タスクあたり約$0.94で、これは GPT-5.6 Sol の$1.04と同程度、Opus 4.8 の$1.80の約半分という位置づけになります。額面では最安ではないが、タスク単位では悪くない。

発表当初は最大 reasoning のみでしたが、7月18日に Standard / High / Max の3段階が追加されました。冗長性が問題になる用途では、ここを絞れる余地が出ています。

比較の際は単価表ではなく、対象ワークロードでの「単価 × 実消費トークン数」を測る必要があります。

Qwen3.8-Max-Preview はトークン単価が未公表で、サブスクリプションのクレジット消費という形でしか使えません。単価換算ができないので、コスト比較の土俵にまだ上がっていない状態です。

ここまでが7月20日時点の話です。ただし7月27日に重みが公開されると、K3 の価格は Moonshot だけが決めるものではなくなります。同じことが過去に起きたときどうなったかは、記録が残っています。

先例：重みが公開されたあと、価格はどう動いたか

DeepSeek-R1（2025年1月20日、MIT）が一番はっきりした例です。

公開初日から SGLang が対応し、リリース履歴には10社以上が関わったと記載されています。ただし、提供が早かったことと安かったことは別の話です。公開直後（2025年1月末〜3月）の第三者価格は、Fireworks が入出力とも $8/M、Together / Kluster が約 $7/M。DeepSeek 公式の入力 $0.55 / 出力 $2.19 に対して、入力側で十数倍、出力側で3倍以上の開きがありました。

その後の推移がこうです。

時期	入力 $/M	出力 $/M
2025年1〜3月（Fireworks、Together、Kluster ほか）	7〜8	7〜8
2025年2月（Together 値下げ後）	3	7
2025年5月（R1-0528、DeepInfra）	0.50	2.15
2026年時点（アグリゲータ集計、5プロバイダ）	0.55	2.19
参考：DeepSeek 公式 API	0.55	2.19

数ヶ月で、出力は約3〜3.7倍、入力は約10〜16倍下がり、公式の水準に収束しました。

Kimi K2（2025年7月11日、1T総 / 32B活性）も同じ軌跡です。vLLM / SGLang がほぼ day-0 で対応し、公開の9日後には LMSYS が128 H200 での PD 分離＋大規模エキスパート並列による提供事例を公表しました。世代を追って提供社数は増え、2026年4月の K2.6 は9〜13社が提供、ブレンド最安は $0.60〜1.15/M 水準です。

より長い時間軸では、a16z が同一性能あたりの単価は年10倍で下がるとし、GPT-3級（MMLU 42）が2021年11月の $60/M から2024年終盤に $0.06/M になったと報告しています。Epoch AI の集計では、一定性能への到達価格の低下はベンチマークごとに年9倍〜900倍、中央値50倍。MIT の The Price of Progress（arXiv:2511.23455）は年約10倍と推計しつつ、能力帯による差が大きく、フロンティア最上位帯は年31倍、最下位帯は年1.7倍としています。高いところほど速く下がる、という形です。

何が価格を下げたのか

重要なのは、下げた要因の大半がハードウェアではないことです。2024〜2025年の推論効率改善のうちハードウェア由来は1/4〜1/3程度で、残りはモデルとアルゴリズム側からの寄与とされています。

疎な MoE に実際に効いた技術と、公表されている実測値を並べるとこうなります。

技術	実測値	出典
大規模EP＋PD分離	96 H100 で対テンソル並列5倍のスループット、出力 $0.20/M 相当（公式APIの約1/5）	LMSYS、2025年5月
世代交代＋低精度	GB200 NVL72、FP8 attention＋NVFP4 MoE で decode 13,386トークン/秒/GPU（対H100 4.8倍）	2025年9月
MoE特化の動的量子化	R1 671B を 720GB → 131GB（80%削減、1.58bit）	unsloth、2025年1月
投機デコード（MTP）	2番目のトークンの受理率85〜90%、生成スループット1.8倍	DeepSeek-V3 技術報告
蒸留	R1-distill-Qwen-32B が o1-mini を複数ベンチで上回る（AIME 2024 72.6、MATH-500 94.3）	DeepSeek
CPU/NVMeオフロード	24GB VRAM の 4090D＋DRAM で 671B が動く（prefill 最大286トークン/秒）	ktransformers

ただし、どれも条件付きです。

unsloth の1.58bit は、MoE 層（重みの約88%）を1.5〜2bit に落とし、最初の3つの密層と down_proj は4〜6bit に残す、という選択的な設計が前提です。全層を一律1.58bit にすると、Flappy Bird ベンチの成功率は69.2%から0%に落ちます。粗く潰せば済む話ではありません。

オフロードも同様です。ktransformers は 671B を消費者向けGPU＋DRAM で動かせますが、decode は10数トークン/秒でクラウドの応答性基準（20トークン/秒以上）に届きません。Mixtral 8x7B の標準的なオフロードでは、総時間の98.9%が PCIe 経由のエキスパート取得に費やされたという測定もあります。VRAM 容量の問題を、帯域とレイテンシに付け替えているだけです。

K3 では同じようにいかないかもしれない3つの理由

先例が明るいからといって、K3 に同じ軌跡をそのまま期待するのは早いと考えています。理由は3つです。

1つめは規模です。2.8T は MXFP4 でも約1.5TB で、第4章で見たとおり H200 8枚の1.128TB には入りません。Moonshot 自身が64アクセラレータ以上のスーパーノード構成を推奨しています。671B の R1 や 1T の K2 とは、参入できるプロバイダの数がそもそも違います。

2つめは MXFP4 で QAT 済みという点です。R1 で効いた「コミュニティによる大幅な圧縮」は、BF16 や FP8 で公開されたモデルに潰す余地があったからこそ成立しました。K3 は SFT 段階から MXFP4重み＋MXFP8活性で学習されています。最初から4bit なので、そこからさらに圧縮する余地は小さい。gpt-oss（同じく MXFP4 QAT）の先例では、BF16 にアップキャストして再度 QAT してから MXFP4 / NVFP4 に戻すことでタスク特化の精度を回収できるとされていますが、これは「安くする」方向ではなく「特化させる」方向の話です。

3つめは KDA です。1M文脈でデコード最大6.3倍を謳う一方、従来のプレフィックスキャッシュの前提を崩します。Moonshot は KDA 対応のプレフィックスキャッシュ実装を vLLM に事前提供しており（第8章）、day-0 対応の下地はあります。ただし SGLang / TensorRT-LLM / KTransformers といった他のスタックや、各社独自のサービング基盤が同じ水準に追いつくには時間がかかる可能性があります。

そもそも、重みを公開すれば必ず使われるわけでもありません。Llama 4（2025年4月）が反例です。Meta はローンチで Maverick を LMArena ELO 1417（一時2位）と喧伝しましたが、これは会話向けに最適化された実験版で、公開重みを同じランキングで評価すると約32位でした。LMArena は直後にポリシーを更新しています。Yann LeCun は2026年1月のインタビューで、異なるベンチマークで異なる版を使って結果を少し盛った、と認めました。重みが出ることと、コミュニティがそれを使い込むことは別です。

下がるとしても、経路は「個人が動かす」ではない

ここが一番書いておきたい点です。

R1 のときは蒸留版という逃げ道がありました。1.5B から70B までの dense モデルが同時に公開され、個人が消費者向けGPUで R1 級の推論を得る主要経路になりました。K3 に同種の蒸留版が用意されるかは、7月27日まで分かりません。

そして第4章で見たとおり、疎な MoE を演算律速に持ち込むには dense の56倍の同時実行が要ります。大規模エキスパート並列はこの要件を緩和する技術ではなく、むしろ大規模な集約を前提とする技術です。2.8T の重みは、誰かが HBM か DRAM か NVMe のどこかに常時置いておかなければならない。

つまり K3 は「開けば各自が動かせる」対象ではなく、「開けば推論市場の誰かが動かせる」対象です。価格が下がるとすれば、その経路はプロバイダ間の競争であって、手元のGPUではありません。R1 も K2 も、実際にその経路で下がりました。

もう一点。K3 は常時 reasoning で出力トークンを多く消費します。単価が下がっても、前述の「単価 × 実消費トークン数」の後半が大きいままなら、実効コストは高止まりします。

何を見れば判断できるか

7月27日以降、次の3つを見れば「先例どおりか、そうでないか」が判定できます。

観測指標	先例どおりのライン	現在（7月20日）
第三者プロバイダ数	30日以内に5社超	0社（重み未公開）
最安ブレンド価格	90日以内に公式 $3/$15 の半値を切る	公式のみ
コミュニティ量子化	実用品質の GGUF / NVFP4 が出る	なし

R1 は30日以内に多数のプロバイダが提供を始め、数ヶ月で公式水準まで収束しました。K3 が同じ軌跡を描けば「2.8T と KDA は障壁にならなかった」、描かなければ「規模と MXFP4 QAT 済みという条件が効いた」と、後から言えます。どちらに転ぶかは、いまの情報では決められません。

なお、この種の価格データの多くはアグリゲータ（Artificial Analysis、OpenRouter など）由来で、時点・モデル版・キャッシュ比率の仮定（Artificial Analysis は7:2:1のブレンド）で数値が動きます。比較するときはモデル版を固定する必要があります。

章題に補足するならこうなります。コミュニティが解決するかもしれない。ただし解決するのはコミュニティというより推論プロバイダです。

6. 直近、売られたのは半導体関連ではなく、モデルベンダーだった

7月17日、半導体関連は広く売られました。SOX指数は日中で5.7%安、ピークから20%超下げて弱気相場入り。6月下旬以降で世界の半導体株の時価総額が3.3兆ドル規模で失われたと報じられています。

ただ、下落率の内訳を見ると話が変わります。最も売られたのは香港上場の Zhipu が28%安、MiniMax が16%安。つまり中国のモデルベンダー自身です。NVIDIA は日中安値でも3%安、終値では1〜2%安にとどまりました。

もう一つ目を引くのが EDA です。Cadence が9.5%安、Synopsys が7.9%安。K3 が48時間で機能するチップを設計したというデモが伝わったことが材料とされました。

そのデモは何をしたのか

材料になったデモは、Moonshot 自身のブログに数字付きで書かれています。

項目	内容
位置づけ	初期の概念実証（Moonshot 自身の表現）
対象	K3 自身のアーキテクチャ上で動く nano モデル用のチップ
実行	48時間の自律実行で、構築・最適化・検証
ライブラリ	Nangate 45nm
ツール	オープンソースEDA（具体名は非公表）
面積	4mm²
周波数	100MHz でタイミングクローズ
規模	標準セル146万個、SRAM 0.277MB
演算器	融合逆量子化付き INT4 MAC アレイ
性能	シミュレーションで8,700トークン/秒超のデコードスループット

ここまでが公表値です。以下は、この表に書かれていないことの読み方になります。

Nangate 45nm はファウンドリのPDKではなく、教育・研究用に配布されているオープンなセルライブラリです。ファウンドリ認定のDRCデッキが付いてこないので、この成果物はサインオフの対象になりません。そのまま製造に回せるものではない、ということです。

100MHz という周波数も、45nm としてはかなり緩い目標です。同世代の商用設計はGHz帯で回ります。タイミングクローズという言葉の重さは、ノードと目標周波数で大きく変わります。

8,700トークン/秒には「シミュレーションで」と明記されています。実シリコンの測定値ではありません。一部の報道はこのデモをテープアウトを含む工程として伝えていますが、Moonshot の原文にその記述はありません。第7章で扱うのと同じ種類の取り違えです。

そして verified の中身が書かれていません。カバレッジも、サインオフしたPVTコーナーも、DFT/スキャン挿入の有無も、IRドロップやEMの解析も、形式的等価性検証も出てきません。機能シミュレーションが通ったことを指しているのか、もっと広い工程を指しているのかは、この記述だけでは判断できません。

Cadence と Synopsys が売っているのは、ちょうどこの欠けている部分です。先端ノードのファウンドリ認定デッキ、サインオフ品質のSTA、DRC/LVS、低消費電力設計、そして大規模設計を回しきるためのキャパシティ。4mm²・標準セル146万個は、SoCではなくIPブロックの規模です。

Bloomberg Intelligence の Niraj Patel の評価も、この線に沿っています。成熟した45nmノードでの初期の概念実証と位置づけたうえで、両社の収益基盤への即時の脅威はないが、AIが商用EDAの主たるインターフェースになることで、ソフトウェアの価値がスタックの上位に移る可能性がある、としています。EDAツールと設計IPがチップのR&D費用に占める割合は15%です。

整理すると、このデモが示したのは「オープンソースEDAが商用EDAを置き換えられる」ではありません。45nm級でオープンソースのRTL-to-GDSフローが通ること自体は、以前から知られています。新しいのは、48時間の自律実行でモデルがそのフローを最後まで回しきった、という点です。EDAの話というより、第4章で見た長時間エージェントの能力を示すデータ点として読むほうが正確だと考えられます。

株価が9.5%と7.9%動いたのは、その区別が価格に反映される前の段階だった、ということになります。

なお Moonshot は、7月27日の技術レポートで、使用したEDAツールチェーンと設計手法を詳述するとしています。

売られたのはシリコンではなく、モデルとツールという上のレイヤーです。Kimi K3 が脅かしたのは計算需要ではなく、そこで商売をしている側の粗利でした。

第4章の演算強度の話は、この点を補強します。SemiAnalysis は7月17日に、K3 の線形アテンションが NVIDIA の需要を弱めると考えるのは誤りで、実際は逆だ、と述べました。KDA はKVキャッシュの帯域圧力を下げますが、896エキスパートを多数のGPUに分散させる必要が生じるので、重みの交換で相殺される。効率化がハードウェア需要を減らすとは限らない、という話です。

能力そのものについては、アナリストの評価はむしろ肯定的です。Bank of America は、中国のハードウェアと計算資源の制約が続くなかで、K3 は事前学習のスケーリングとアーキテクチャの工夫を組み合わせれば段階的な飛躍がなお可能であることを示した、と評価しています。第3章で見た「ブレークスルーはないが、既存路線を徹底した」という整理と方向は一致します。

なお、この日は Netflix の決算不振や原油高など他の材料も重なっており、K3 単独の寄与は分離できません。象徴的なのは、同じ7月17日に、ある半導体製造装置メーカーがAI需要で4〜6月期の営業利益4割増という最高益を発表しながら株価は下げたことです。実需とセンチメントがはっきり乖離しました。

前例もあります。2025年1月の DeepSeek-R1 のときは NVIDIA が1日で約17%、時価総額で約5,900億ドルを失いました。結果としては数ヶ月で全戻しし、その年のAI設備投資は約40%増えました。推論需要の数字も伸び続けています。あるルーティングサービスでは週25兆トークン処理（6ヶ月で5倍）、大手クラウドでは月間約3,200兆トークン（前年比約7倍）という規模です。

対抗ではなく、潰し合い

R1 のときに売られたのは半導体で、数ヶ月で全戻しました。設備投資も推論需要も伸び続けたので、あの下げは誤った値付けだったことになります。

今回売られたのは別の層です。そして、そちらには同じように戻る根拠が見当たりません。

冒頭の下落率をもう一度見ると、最も売られたのは Zhipu の28%安と MiniMax の16%安でした。西側のフロンティアラボは上場していないので直接は比較できませんが、少なくとも計算需要（NVIDIA 3%安）と中国のモデルベンダーを並べた場合、市場が損害を織り込んだのは後者です。中国モデルが西側モデルに対抗している、という構図とは違う動きになっています。

理由はモデル層の乗り換えコストにあります。OpenAI互換のエンドポイントが事実上の標準になり、ルーティングサービスを挟めば切り替えは設定1行で済みます。データの重力もなく、長期契約に縛られる利用者も多くない。能力差がほぼそのまま需要の移動になります。

ただし摩擦がゼロというわけではありません。次章で触れるとおり、組織として採用する場合は評価のやり直しコストがかかります。乗り換えが速いのは個人と小規模の側で、企業導入はもう少し粘る。それでも、他のソフトウェア分野に比べれば囲い込みはかなり弱いです。

この構造で、重みの公開はどこに当たるか。

西側のフロンティアには、少なくとも価格では当たっていません。第5章で見たとおり K3 は入力 $3 / 出力 $15 で、中国製として過去最高価格帯です。タスク単位のコストも GPT-5.6 Sol と同程度でした。価格破壊を仕掛けているわけではない。

当たるのは、同じ「安くて有能なオープンモデル」の枠を埋めていた側です。その枠が上書きされると、そこで商売をしていたベンダーの値付けの根拠が消えます。Zhipu 自身、上場時に世界的な価格競争が来ると警告していました。

そして、当たった側にクッションがありません。

項目	Zhipu	MiniMax
香港上場	2026年1月8日	2026年1月9日
調達額	約5.6億ドル	約6.2億ドル
初日の株価	+13%（2日目に+20.6%）	+109%
対象期間	2025年上期（6か月）	2025年1〜9月（9か月）
売上	1.91億元 ≒ 0.27億ドル（前年同期比+325%）	0.53億ドル
損失	純損失23.6億元 ≒ 3.30億ドル	5.12億ドル
R&D費	15.9億元 ≒ 2.28億ドル	1.80億ドル
損失 ÷ 売上	約12.4倍	約9.7倍
R&D費 ÷ 売上	約8.3倍	約3.4倍

売上1ドルに対して10ドルを燃やしている、と報じられる水準です。2026年6月には2週間で時価総額の4割超を失い、両社ともA株市場での追加調達に動きました。香港上場は、利益の出る事業からの出口ではなく資金調達の手段だったということになります。

半導体側には実需の裏づけがあり、R1 のときはそれが数ヶ月で価格に戻りました。モデルベンダー側には、次の学習を回すための資金以外に支えがない。4〜6週間おきに能力が更新され、乗り換えが容易な市場で、1回出遅れることの重みが違います。

なお、重みを公開する側が自爆しているわけでもありません。Moonshot は非上場なので同じ物差しでは測れませんが、構造としては、公開して壊れるのは重みを売っていた事業のほうです。出す側の収益はサービングと製品の側にある。だから公開は、出す側にとって安く、同じ枠を埋めていた側にとって高くつきます。7月17日に市場が値付けしたのは、この非対称でした。

この見方は、第5章の結論に条件を1つ足します。プロバイダ競争で価格が下がるという話は、競争する側が資金を持ち続ける限りという条件付きです。淘汰が進めば、選べるオープンモデルの数そのものが減る。安いオープンモデルが常に複数ある、という前提は、それを供給している側の資金繰りに依存しています。

7. 採用判断をどう組み立てるか

モデル選定はタスクの性質から逆算する

第3章の整理をそのまま実務に持ち込むと、次のような対応になります。

タスクの性質	例	疎性の高いMoEとの相性
既存パターンの再現、ツール操作の反復	UI構築、定型的なリファクタ、シェル操作、情報収集	良い
規則の一貫適用、新規の推論	プロトコル準拠、形式的な整合性検証、未知の問題への設計判断	不利になりうる

たとえばバスプロトコルの仕様準拠のように、ハンドシェイクの順序や並列するチャネルの扱いを一貫して守る種類のタスクは、パターン再利用より推論寄りに位置します。エキスパートを増やすことが記憶を主に改善するという知見からすると、疎性の高いモデルが総合ベンチマークで高スコアでも、この種のタスクで同じ優位が出るとは限りません。

総合スコアの順位ではなく、対象タスクに近い性質のベンチマークを見るか、固定した回帰ベンチを自前で持つほうが判断を誤りにくくなります。4〜6週間おきにフラッグシップが更新される状況では、発表のたびに全面的に評価し直すコストも無視できません。

エージェント向けという位置づけと、幻覚率の悪化

第4章で見たとおり、K3 は多数のエージェントを同時に走らせる用途に向けて設計されています。ところが第1章で挙げた数字は、その方向と噛み合いません。AA-Omniscience で正答率は33%から46%に上がった一方、幻覚率は39%から51%に悪化しています。

この2つが同時に起きるのは、モデルが以前より多く答えるようになった、と読むのが自然です。棄権していた質問に踏み込んだ結果、当たる数も増えたが、外したときに断定で返す割合も増えた。ただし幻覚率の定義（棄権しなかった中での誤答率なのか、全問に対する割合なのか）で読み方が変わるので、これも引用する前に確認する種類の数字です。

問題は、この性質がエージェントのループで非対称に効くことです。

対話型であれば、断定的な誤りは1回の誤答で済みます。人間が読んで気づく。一方、数十分走るループでは、3手目の誤りが4手目以降の前提になります。棄権は回復可能です。分からないと言われれば、調べさせるなり、人間が介入するなり、経路がある。断定的な誤りには、その分岐点が現れません。1手あたりの正答率が同じでも、誤りが検出可能な形で出るか、正解と見分けがつかない形で出るかで、ループ全体の成功率は変わります。

第3章では、生成トークン数の多さと幻覚率の悪化を関連づけられるか、因果は証明されていないとして保留しました。エージェント用途では、この保留が別の意味を持ちます。推論時計算で疎性起因のギャップは埋まらないというのが Nakamura らの結果でした。埋まらないまま長い説明だけが付くと、誤った結論にもっともらしい根拠が伴うことになります。

ただし、この推論には限界があります。AA-Omniscience は知識の想起を測るベンチマークで、エージェントはツールを持っています。思い出す必要がなければ、検索して読んで実行すればいい。知識想起での幻覚率が、そのままツール利用時の失敗率になるとは限りません。

効いてくるのは、ツールで確かめられない種類の主張のほうです。このリファクタは安全である、このテストはそのケースを網羅している、この順序なら問題ない。第6章で見たデモの verified が定義されていなかったのと、同じ構造の話です。

実務上の対処は、指標の取り方に落ちます。1問あたりの正答率ではなく、複数手のタスクの端から端までの成功率を見る。そして、エージェントの自己申告を成果物として受け取らないことです。テストが通ったという報告ではなく、テストの結果そのものを見る。独立したオラクルを外に置く、という当たり前の話に戻ります。

前節で挙げた「規則の一貫適用、新規の推論」の側のタスク、たとえばバスプロトコルの仕様準拠のような領域では、この点がとくに効きます。ハンドシェイクの順序を取り違えたまま、もっともらしい説明が付いてくるのが一番厄介です。

数字を引用する前に確認すること

K3 の Terminal-Bench のスコアは KimiCode ハーネスでの結果で、他モデルと同じハーネスで測られたものではありません。エージェント系のベンチマークはハーネスの実装（リトライ回数、ツール定義、エラー処理）で数ポイント動くため、異なるハーネスの数字を並べた比較は成立しません。

Frontend Code Arena のようなペアワイズ投票型のベンチマークも、評価軸が機能性・使いやすさ・忠実度である以上、測っているのは人間の選好であって、正確性の絶対値ではありません。

脚注まで読まないと事故る例もあります。発表直後、SWE Marathon で K3 が42.0、Claude Fable 5 が35.0という比較が出回りました。ところが Moonshot の公式脚注を読むと、この35%は Fable 5 のスコアではなく、評価中に Fable 5 がフォールバックに達したタスクの割合です。スコアと取り違えて引用すると、実際には存在しない7ポイント差を作り出すことになります。

数字を引用する前に、それが何を測った値なのか、どのハーネスで、どのバージョンの指標で測られたのかを確認する。当たり前ですが、更新が速い時期ほど守られにくくなります。

プレビュー段階のモデルを本番に入れる条件

判断基準としては、以下が揃うまで待つのが妥当です。

公式のモデルカードとベンチマーク表が出ているか
活性化パラメータ数が公表されているか
Hugging Face にライセンスファイル付きのリポジトリがあるか
トークン単価が公表されているか
第三者の独立ベンチマークが出ているか

現時点で Qwen3.8-Max-Preview は5項目すべて未達、Kimi K3 は1番と3番が7月27日待ち、DeepSeek-V4-Pro は全項目クリアです。

Modified MIT が何を修正しているのか

第1章の表では「Modified MIT 見込み」とだけ書きましたが、この修正の中身は採用判断に直接効きます。K3 のライセンス文はまだ公開されていないので、以下は K2 系の実績です。

K2 系の Modified MIT は、標準のMITに条項を1つ足したものです。その製品・サービスが月間アクティブユーザ1億人超、または月間売上2,000万ドル超に達する商用利用の場合、UIに「Kimi K2」を目立つ形で表示する義務が生じます。閾値を下回る限り、挙動は通常のMITと変わりません。自己ホストも改変も再配布も商用販売も自由です。

閾値の水準からして、これは利用制限というより帰属表示の要求です。ただし文面は表示の位置・大きさ・文言を定義していないので、閾値を超える規模で使う場合は法務の確認事項になります。

もう一点、蒸留を考える場合に効く条項があります。K2 のライセンスは、合成データ、およびK2が生成した合成データで学習したモデルには、このライセンスが及ばないとしています。K3 の出力で自前のモデルを学習させた場合、その成果物に同じ条件を主張できるとは限らない、ということです。

DeepSeek-V4-Pro は素のMITで、この種の条項がありません。第2章では開示の有無で3モデルを並べましたが、ライセンスにも同じ形の差があります。

モデル	ライセンス	追加条項
DeepSeek-V4-Pro	MIT	なし
gpt-oss-120b	Apache 2.0	なし
Kimi K3	Modified MIT 見込み	K2 系の実績では、大規模商用時の表示義務と、合成データの扱い
Qwen3.8-Max	未定	不明

繰り返しになりますが、K3 の実際のライセンス文は7月27日まで確認できません。K2 系の条項がそのまま引き継がれる保証はないので、ここを前提にデプロイの約束を先に固めないほうがいい部分です。

ファインチューニングは効かせにくい

疎性が高いモデルには、実務上もう一つ制約があります。896エキスパートに QLoRA を当てるとき、どこを適応させるかが問題になります。ルータ任せだと1エキスパートあたりに回るサンプル数が極端に少なくなる。

アテンション側だけに LoRA を当てる方法もありますが、gpt-oss の内訳で見たとおりアテンションは総パラメータの1%未満で、知識は MoE 側に集中しています。疎性が高いモデルほど、ドメイン適応の効きどころが構造的に薄い。

さらに K3 は MXFP4 で QAT 済みなので、低精度重みへのアダプタ適用という別の課題も乗ります。ドメイン特化させたい場合、dense か低疎性のモデルのほうが扱いやすいと考えられます。

8. 7月27日に何が確認できるか

Kimi K3 の重みと技術レポートが7月27日に公開される予定です。この記事で立てた仮説のうち、いくつかは重みが出れば検証できます。

確認対象	分かること
ルータのスコア分布とエキスパート利用率	expert collapse が起きていないか。実効容量が名目より小さくないか
タスク別のエキスパート活性化パターン	どのエキスパートがどの種類のタスクで動くか。専門化が起きているか
活性化パラメータの正確な値	50〜60Bという逆算が正しいか。シェアードエキスパートの内訳
学習トークン数と計算量	性能の主因がアルゴリズムなのかデータ量なのか
「K2比2.5倍のスケーリング効率」の測定定義	何をどう測った数字なのか
LICENSE ファイル	Modified MIT の帰属条項の閾値と、派生物の扱い
KDA:フルアテンションの層比	第三者が推定している3:1が正しいか
チップ設計デモのEDAツールチェーンと設計手法	何をどこまで自動化したのか。verified の定義と、人手の介在範囲

第3章で立てた「記憶寄りのタスクに強く、推論寄りのタスクで伸びない」という仮説を直接検証するなら、次の3つが有効です。

標準ハーネスでの再実行。KimiCode ではなく共通のハーネスで主要ベンチを回し直し、報告値との差を測る
未知パターンでのテスト。学習データに含まれにくい新規の UI コンポーネントやライブラリを使うタスクを作り、既存パターンのタスクとの性能差を見る。記憶に依存しているなら、ここで落ちるはず
活性化数のアブレーション。top-16 を top-8 に減らしたときの性能低下が、記憶系タスクと推論系タスクでどう違うかを比較する

とくに1番目のエキスパート利用率は、重みさえあれば誰でも測れます。使用頻度のヒストグラムを取れば、896という数が実際に機能しているのか、それとも一部に偏っているのかが一目で分かります。

推論フレームワーク側の準備も進んでいます。Moonshot は KDA に対応したプレフィックスキャッシュの実装を vLLM に提供済みで、重みと同時に公開されるとしています。KDA は従来のプレフィックスキャッシュの前提を崩すため、これがないと長コンテキストの利点を実運用で取り出せません。

おわりに

3つとも総パラメータは兆の単位ですが、いま重みを手元に置いて確かめられるのは DeepSeek-V4-Pro だけです（評価するマシンがあればですが）。

疎性1.8%については、調べた限りブレークスルーと呼べる単一の発明はありませんでした。スケーリング則が予測していた方向に素直に進み、そこで壊れる箇所を一つずつ潰し、足りない推論力を生成トークン数で補っている。派手な数字の裏側は、わりと地道な工学です。

同時に、疎性のコストは実在します。エキスパートを増やすことは記憶を改善するが推論はさほど改善しない、という理論の予測どおりに、K3 の得意不得意は分かれています。Frontend Code Arena で1位を取り、新規推論が要るベンチでは Fable 5 に届かない。演算律速に持ち込むには dense の56倍のバッチが要ります。2.8兆という数字は、無料で手に入るものではありません。

7月27日に重みが出れば、ここに書いた推測のいくつかは検証できるようになります。

参考

一次情報

Kimi K3 技術ブログ（Moonshot AI、2026年7月16日）
Kimi Linear: An Expressive, Efficient Attention Architecture（arXiv:2510.26692）
Qwen 公式アカウントによる Qwen3.8 の告知（2026年7月19日）
DeepSeek API ドキュメントおよび料金ページ（2026年7月確認）
gpt-oss-120b & gpt-oss-20b Model Card（arXiv:2508.10925）

スケーリング則・MoE

Krajewski, Ludziejewski et al., Scaling Laws for Fine-Grained Mixture of Experts（arXiv:2402.07871、ICML 2024）
Abnar et al., Parameters vs FLOPs: Scaling Laws for Optimal Sparsity（arXiv:2501.12370、Apple、ICML 2025）
Nakamura et al., Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks（arXiv:2508.18672、ICLR 2026）
Jelassi et al., Mixture of Parrots: Experts improve memorization more than reasoning（arXiv:2410.19034、ICLR 2025）
Frantar et al., Scaling Laws for Sparsely-Connected Foundation Models（arXiv:2309.08520、ICLR 2024）
He, Mixture of A Million Experts（arXiv:2407.04153、Google DeepMind）

推論効率

Adhinarayanan & Jayasena, The qs Inequality: Quantifying the Double Penalty of Mixture-of-Experts at Inference（arXiv:2603.08960、2026年3月）
Revealing the Challenges of Attention-FFN Disaggregation for Modern MoE Models and Hardware Systems（arXiv:2602.09721）
Epoch AI, Frontier language models have become much smaller
LMSYS, Deploying DeepSeek with PD Disaggregation and Large-Scale Expert Parallelism on 96 H100 GPUs（2025年5月）
unsloth, DeepSeek-R1 Dynamic 1.58-bit（2025年1月）
DeepSeek-V3 Technical Report（arXiv:2412.19437、MTP と投機デコード）
MoE-SpeQ（arXiv:2511.14102、オフロード時の PCIe 占有率）
ktransformers（KVCache.AI）

推論価格の推移

Epoch AI, LLM Inference Price Trends（2025年3月）
Gundlach, Lynch, Mertens & Thompson, The Price of Progress（arXiv:2511.23455、MIT）
a16z, LLMflation（2024年11月）
16x Prompt, DeepSeek R1: Comparing Pricing and Speed Across Providers（2025年）
Artificial Analysis 各モデルページ、pricepertoken.com

評価・報道

Frontend Code Arena リーダーボードおよび評価手法のドキュメント
Artificial Analysis, Kimi K3 モデルページ（Intelligence Index v4.1）
DeepSWE 公式リーダーボード、Terminal-Bench v2.1 評価ページ
SemiAnalysis による Kimi K3 のハードウェア需要に関する指摘（2026年7月17日）
各種報道（Reuters, Bloomberg, CNBC, Tom's Hardware, The Decoder ほか、2026年7月16〜19日）
Epoch AI, FrontierMath Tier 4 (v2) ベンチマークページ（2026年6月12日の v2 更新、Tier 4 は43問）

図について

本文中の図は公開情報をもとに作成しました。

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up