本記事の執筆には Anthropic の Claude とそのリサーチ機能を使用しています。会話で組み立てた論旨に対して、リサーチ機能で一次情報(arXiv論文・公式ブログ・特許・技術報道)の収集と全数値のファクトチェックを行い、判明した誤りを訂正しています。
はじめに
本記事は、Kimi K3 に関するシリーズの3本目です。
- 1本目: Kimi K3 / Qwen3.8-Max / DeepSeek-V4-Pro について調べてみた（2026年7月20日、重み公開前）
- 2本目: 中国ラボはどこから計算資源を調達しているのか調べてみた
- 3本目: 本記事（K3 の確定スペックと、学習計算量・計算資源の試算）
1本目を書いた時点では K3 は API 公開のみで、重みも技術レポートも公開されていませんでした。その後、2026年7月27日に Hugging Face（moonshotai/Kimi-K3）と GitHub（MoonshotAI/Kimi-K3）で重みと技術レポートが公開され、当時推測にとどまっていた項目の多くが確認できる状態になりました。
今回の主題は、K3 の学習にどれだけの計算が投じられたかです。結論から言うと、Moonshot AI はこの点をほぼ何も公表していません。したがって本記事は、公開された断片情報から順を追って試算していく構成になります。
なお、数値の性質（公式確定値か、第三者推定か、政治的主張か）を混ぜないよう、表の中でも出典と種別を明記するようにしています。
最初にまとめ
- K3 の総学習 FLOPs、総事前学習トークン数、使用 GPU 数と種別、学習期間、実測 MFU、学習コストは、技術レポートを含めていずれも公表されていません。公表されているのは「K2 比で約2.5倍のスケーリング効率」という相対値のみです。
- 活性化パラメータ104B を N として 6ND 則で概算すると、事前学習でおよそ 1×10^25 FLOPs 前後になります。K3 は9個の専門ポリシーを強化学習で作ってから蒸留するという重い事後学習を行っているため、総計算量はこれより大きくなります。ただし学習トークン数は K3 では公表されていないため、K2 と同じ15.5兆と仮定した場合で約 9.7×10^24、20兆なら約 1.25×10^25 という幅を持った値です。この水準は第三者（Emad Mostaque 氏）の「約1e25 FLOPs、コスト15〜25百万ドル」という推定と整合します。
- H800 換算の GPU 時間に直すと、MFU 30〜40% の仮定でおおむね700万〜900万 GPU時間、時間単価2ドルなら14〜18百万ドル相当と見積もれます。DeepSeek-V3 が公表した2.788M H800時間の約3倍、Llama 3.1 405B の30.84M H100時間の約4分の1という位置づけです。
- MoE の FLOPs を総パラメータ2.8T で計算すると約27倍の過大評価になります。誤りが生じやすい箇所のため、本記事では第2章で個別に扱います。
- 米国フロンティアモデルと比べると、事前学習計算量には依然として約1.5桁から2桁の差があります。Epoch AI の推定で最大は Grok 4 の約 5×10^26 FLOPs であり、K3 の試算値はその約50分の1です。
- 一方で能力の差は数か月程度です。Epoch Capabilities Index で見ると、米国が2025年12月に到達した水準に中国が2026年7月に到達しており、差は約7か月になります。これは Epoch AI が2023年以降の平均として算出している値と一致します。計算量の差と能力の差が乖離しているのは、アルゴリズム効率の改善と蒸留によるものと考えられます。
- K3 の設計上の特徴は、クラスタ規模ではなくアルゴリズムとシステムの効率に比重が置かれている点にあります。線形アテンション KDA による KV キャッシュの固定サイズ化、MXFP4 重みによるメモリ帯域の削減、MoonEP の静的形状による通信の均一化が主要な要素です。
1. K3 の確定スペック
まず、重み公開によって確定した仕様を整理します。1本目の記事では推測に頼っていた項目が、かなりの部分で確定しました。
| 項目 | Kimi K2 系 | Kimi K3（確定） |
|---|---|---|
| 総パラメータ | 約1T | 2.8T |
| 活性化パラメータ | 32B | 104B |
| エキスパート構成 | ルーテッド384中8活性 | ルーテッド896中16活性＋シェアード2基 |
| 疎性比（総ルーテッド÷活性） | 48 | 56 |
| エキスパート入力 | 全幅 | 7168次元を3584次元の潜在空間に圧縮して投入 |
| 層数 | — | 93層（KDA 69層＋Gated MLA 24層、3:1） |
| アテンション | MLA 系 | KDA（線形アテンション）と Gated MLA の混成 |
| 位置エンコーディング | RoPE 系 | NoPE（MLA 層に明示的な位置符号化を持たない） |
| コンテキスト長 | 256K | 1M |
| オプティマイザ | MuonClip | Per-Head Muon |
| 活性化関数 | — | SiTU / SiTU-GLU |
| MoE 枠組み | — | Stable LatentMoE（Quantile Balancing） |
| 数値フォーマット | INT4 学習系 | MXFP4 重み＋MXFP8 活性の QAT |
| 配布物サイズ | — | 約1.56TB（4bit換算の理論値は約1.4TB） |
| 視覚 | K2.5 以降で対応 | MoonViT-V2（401M、27層、patch 14、スクラッチ学習） |
| スケーリング効率 | 基準 | K2 比で約2.5倍（メーカー申告。同じ検証損失に到達する計算量が約2.5分の1という解釈が示されています） |
| コンテキスト拡張 | — | 8K→64K を事前学習中、256K→1M を cooldown で実施 |
層構成を図にすると次のようになります。
疎性比にも触れておきます。K2 は384個中8個で48、K3 は896個中16個で56です。エキスパートの候補数を約2.3倍、同時活性化数を2倍に増やしたうえで、疎性の度合いもさらに引き上げていることになります。K2 の技術レポートは、疎性を上げるほど同じ計算量でより低い損失に到達できると述べており、K3 はその方向をもう一段進めた形です。専門化されたエキスパートを増やしながら、潜在空間への圧縮で計算量と通信量を抑える、という設計と理解できます。
設計の狙いは、1本目の記事で整理した「1M コンテキストで長時間エージェントを回す」という一点に集約されます。KDA を3層に1層の割合でフルアテンションと混ぜることで、長文脈でのメモリ帯域圧を落としつつ、精密な参照が必要な箇所は Gated MLA に任せる、という構成です。
1本目の記事との答え合わせ
1本目で推測として書いた内容が、実際どうだったかを並べます。
| 論点 | 1本目（7月20日時点） | 確定値 | 判定 |
|---|---|---|---|
| 重み公開 | 7月27日予定 | 予定どおり公開 | 的中 |
| 活性化パラメータ | 50〜60B（疎性比からの逆算） | 104B | 外れ（過小評価） |
| アテンション構成 | KDA:フルアテンション 3:1 | KDA:Gated MLA 3:1 | ほぼ的中 |
| ライセンス | Modified MIT 見込み | Kimi K3 License（MIT 風＋収益連動条項） | 部分的 |
| 数値フォーマット | MXFP4 重み＋MXFP8 活性の QAT | 同左 | 的中 |
| ローカル実行 | 単一 DGX では不可 | 追認（最小量子化でも650GB〜1TB） | 的中 |
活性化パラメータを50〜60B と見積もったのは外しました。実際は104B で、ほぼ倍です。この差は本記事の主題である学習計算量の試算に直接効いてくるので、以下ではすべて104B を前提に計算し直します。
2. 学習計算量をどう見積もるか
2.1 6ND 則
Transformer の学習に必要な総浮動小数点演算数は、経験的に次の式で近似されます。
総学習 FLOPs ≒ 6 × N × D
- N: パラメータ数
- D: 学習トークン数
- 係数6: 順伝播で 2N、逆伝播で 4N（重み勾配と入力勾配で各 2N）という内訳
アテンション項や埋め込み層、通信オーバーヘッドを無視した粗い近似ですが、桁を把握する目的では実用的な精度が得られます。
2.2 MoE で N に何を入れるか
MoE モデルでは、6ND の N に総パラメータではなく活性化パラメータ（トークンあたり実際に計算に参加するパラメータ数）を入れます。ルーティングで選ばれなかったエキスパートは順伝播でも逆伝播でも計算されないため、FLOPs に寄与しないからです。
K3 で両方を計算して比べてみます。学習トークンを仮に15.5兆（K2 と同じ）とします。
| 計算方法 | 式 | 結果 | 妥当性 |
|---|---|---|---|
| 活性化パラメータ基準（正） | 6 × 104e9 × 15.5e12 | 約 9.7×10^24 FLOPs | 妥当 |
| 総パラメータ基準（誤） | 6 × 2.8e12 × 15.5e12 | 約 2.6×10^26 FLOPs | 約27倍の過大評価 |
2.8T ÷ 104B ≒ 26.9 なので、総パラメータで計算すると約27倍ずれます。「2.8兆パラメータのモデルだから GPT-4 の10倍の計算を使ったに違いない」という論調を見かけたら、たいていこの罠にはまっています。
K3 の疎性は 16/896 ≒ 1.8% と極端であり、その分だけ公称パラメータ数と実際の計算量の乖離が大きくなります。疎性が高いモデルほどこの誤りの影響は大きく、K2（32B/1T、疎性3.2%）では約31倍、DeepSeek-V3（37B/671B、疎性5.5%）では約18倍のずれが生じます。
2.3 学習トークン数による感度
ここが試算全体で最も効く前提です。K3 の学習トークン数は公表されておらず、公式モデルカードにも技術レポートの概要にも記載がありません。本記事が基準として使う15.5兆という値は、前世代の K2（arXiv:2507.20534）で確認できる数値をそのまま当てはめたものです。したがって以下はすべて仮定の上に立つ概算であり、複数シナリオで幅を持たせます。
| 学習トークン数 D の仮定 | 総学習 FLOPs（活性化104B 基準） | 根拠 |
|---|---|---|
| 10兆 | 約 6.2×10^24 | 下限側の保守的仮定 |
| 15.5兆 | 約 9.7×10^24 | K2 の実績値を流用した仮定 |
| 20兆 | 約 1.25×10^25 | 近年の大規模モデルの標準的水準 |
| 30兆 | 約 1.87×10^25 | 上限側の積極的仮定 |
第三者による推定として、Stability AI 創業者の Emad Mostaque 氏が2026年7月に「学習トークン数などの詳細は不明だが、fp16 事前学習に Muon、SFT 段階で MXFP4/MXFP8 として合計約1e25 FLOPs、総コスト15〜25百万ドル」と述べています。これは公式値ではなく推測ですが、上表の15.5兆〜20兆トークンのシナリオとよく一致します。したがって本記事では、K3 の学習計算量を1×10^25 FLOPs 前後と扱うのが穏当と考えます。
2.4 GPU 時間への換算
FLOPs のままでは実感が湧かないので、GPU 時間に落とします。ここでは H800 を仮定します。H800 は H100 と同じダイを用いた対中輸出向けの派生品で、演算性能は同等、ノード間の相互接続帯域が制限されています。BF16 の密行列演算で約989 TFLOPS がピーク値で、Epoch AI も同じ値を換算に使っています。
実効効率（MFU: Model FLOPs Utilization）は、大規模 MoE で30〜40%程度が一つの目安です。Epoch AI は言語モデルで30〜50%を標準域とし、Llama 3.1 405B の主要な事前学習期は約40%でした。したがって本記事の30〜40%はやや保守的な仮定で、結果として必要 GPU 時間とコストは上振れ方向に出ています。
| MFU の仮定 | 実効 TFLOPS | 必要 GPU 時間（D=15.5兆、9.7e24 FLOPs） | 時間単価2ドルでの換算コスト |
|---|---|---|---|
| 30% | 約297 | 約908万 GPU時間 | 約18.2百万ドル |
| 35% | 約346 | 約778万 GPU時間 | 約15.6百万ドル |
| 40% | 約396 | 約681万 GPU時間 | 約13.6百万ドル |
おおむね700万〜900万 H800 GPU時間、金額にして14〜18百万ドル相当という試算になります。Emad 氏の15〜25百万ドルという推定とも重なります。
クラスタ規模と学習期間の関係も見ておきます。必要 GPU 時間を800万時間と置いた場合です。
| クラスタ規模 | 実時間 | 備考 |
|---|---|---|
| 2,048 GPU | 約163日（5.4か月） | DeepSeek-V3 と同規模のクラスタを想定 |
| 5,000 GPU | 約67日 | |
| 10,000 GPU | 約33日 | |
| 20,000 GPU | 約17日 |
現実的には数千〜1万 GPU 規模で1〜2か月、という範囲に収まると考えられます。ただしこれは事前学習のみの試算であり、K3 は強化学習にも相当量の計算を投じているとみられるため、総計はこれより大きくなります。
2.5 既知モデルとの比較
一次資料で学習コストを開示しているモデルと並べます。
| モデル | 活性化/総パラメータ | 学習トークン | 学習コンピュート | 情報の種別 |
|---|---|---|---|---|
| Kimi K3 | 104B / 2.8T | 非公表 | 約1×10^25 FLOPs、700〜900万 H800時間 | 本記事の試算 |
| Kimi K2 | 32B / 1T | 15.5兆 | 約3.0×10^24 FLOPs | 6ND 概算 |
| DeepSeek-V3 | 37B / 671B | 14.8兆 | 2.788M H800時間、約3.3×10^24 FLOPs | 技術レポートに明記 |
| Llama 3.1 405B | 405B（dense） | 15兆 | 30.84M H100時間、約3.6×10^25 FLOPs | Meta モデルカードに明記 |
| GPT-4 | 非公表 | 非公表 | 約2×10^25 FLOPs | Epoch AI 推定 |
この表から読み取れるのは、K3 の推定学習計算量が Llama 3.1 405B の約4分の1、GPT-4 の推定値の約半分にとどまる点です。それでいて総合性能は両者を上回ると評価されています。ただしこれを K3 固有の優位と見るのは早計で、2024年から2026年にかけてのアルゴリズム改善が業界全体で蓄積された結果と解釈するほうが妥当です。同時期の他モデルも同様の傾向を示すと予想されます。
なお、DeepSeek-V3 の「5.576百万ドル」という有名な数字は、2.788M H800時間に時間単価2ドルを掛けた換算値であって、実際の支出額ではありません。研究や失敗した実験の費用は含まれていません。Kimi K2 Thinking について CNBC が報じた4.6百万ドルという数字も、Moonshot の楊植麟 CEO が「非公式な数字であり、学習コストの大部分は研究と実験なので定量化が難しい」と否定しています。この種の数字は、あくまで「最終学習ランのみの GPU レンタル相当額」として読むべきものです。
2.6 この試算の限界
6ND 則の適用にあたって、いくつか無視できない不確実性があります。
- 学習トークン数 D が非公表であり、試算の幅がそのまま D の幅に依存します。
- 6ND は密結合 Transformer を前提とした近似で、アテンション項、埋め込み層、MoE の通信オーバーヘッドを厳密には反映しません。K3 は層の4分の3が線形アテンションなので、長文脈時の挙動が一般的な Transformer とは異なります。
- K3 は AgentEnv を使った大規模な強化学習を行っており、これは 6ND の枠外です。近年の推論特化モデルでは、事後学習が総計算量の相当割合を占めるケースがあります。K3 の実際の総計算量は、本試算より有意に大きい可能性があります。
- MXFP4/MXFP8 の QAT は SFT 段階以降とされるため、事前学習は bf16 相当のスループットで計算しています。
3. 米国フロンティアモデルとの比較
3.1 米国モデルの推定学習計算量
米国の主要モデルは学習計算量を公表していないため、ここでは Epoch AI の推定値を用います。Epoch は推定の確からしさを3段階（Confident は実際の値の3倍以内、Likely は10倍以内、Speculative は30倍以内）で区分しており、以下はすべて推定であって開発元の公表値ではない点に注意が必要です。
| モデル | 公開 | 推定学習 FLOPs | 信頼度区分 |
|---|---|---|---|
| GPT-4 | 2023-03 | 約 2×10^25 | Speculative |
| Gemini Ultra | 2023-12 | 約 5×10^25 | — |
| Claude 3 Opus | 2024-03 | 約 1.6×10^25 | ベンチマークからの推定 |
| GPT-4o | 2024-05 | 約 3.8×10^25 | Speculative |
| Llama 3.1 405B | 2024-07 | 約 3.8×10^25 | 実測 GPU 時間から |
| Grok 3 | 2025-02 | 1×10^26 超 | — |
| GPT-4.5 | 2025-02 | 約 2×10^26 〜 3.8×10^26 | — |
| Llama 4 Behemoth | 2025-04 | 約 5.2×10^25 | Likely |
| Claude Opus 4 | 2025-05 | 約 1.5×10^26 | Speculative |
| Grok 4 | 2025-07 | 約 5×10^26 | Speculative |
上表のうち、GPT-4o、GPT-4.5、Llama 4 Behemoth、Claude Opus 4 の値は、執筆時点で Epoch の現行データベース上の記載を直接確認できませんでした。Epoch は推定を随時改訂しており（Llama 4 Maverick は 2.2×10^24 へ下方修正された例があります）、これらは参考値として扱ってください。
現時点で確認できる最大値は Grok 4 の約 5×10^26 FLOPs です。xAI は Grok 4 について、20万 GPU 規模の Colossus クラスタを用いて事前学習と同等規模の強化学習を実施したと述べています。Epoch はこの学習を約2億4600万 H100 時間、消費電力310 GWh、学習コスト5億ドル規模と推定していますが、xAI の公表情報が曖昧なため点推定の不確実性は大きいと自ら注記しています。
なお、1×10^27 FLOPs を超えたモデルは、確認できる範囲ではまだ存在しません。o1 や o3 のような推論特化モデルについては、Epoch は学習計算量の点推定を出していません。事前学習と推論時計算の境界が曖昧になり、単一の FLOPs 値で表現しにくくなっているためです。
ここで一つ補足が必要です。2026年に登場した GPT-5.6 Sol、Claude Opus 4.8、Claude Fable 5、Gemini 3 系、Grok 4.5 といった新しい世代のモデルは、Epoch のデータベースに登録こそされているものの、いずれも学習 FLOPs の推定値が掲載されていません。クローズドで情報が不足しているためです。つまり「既知最大は Grok 4」というのは「推定が存在するモデルの中で最大」という意味であり、実際にはこれを上回るモデルが存在する可能性が高いと考えるべきです。
3.2 中国モデルとの計算量ギャップ
同じ Epoch の推定を中国モデルにも当てはめます。
| モデル | 公開 | 推定学習 FLOPs | 信頼度区分 |
|---|---|---|---|
| DeepSeek-V3 | 2024-12 | 約 3×10^24 | Epoch 記事に明記 |
| Kimi K2 | 2025-07 | 約 3.0×10^24 | 6ND による導出 |
| Kimi K2.5 | 2026-02 | 約 5.8×10^24 | Likely |
| DeepSeek-V4-Pro | 2026-04 | 約 9.7×10^24 | Likely |
| DeepSeek-V4-Flash | 2026-04 | 約 2.5×10^24 | Likely |
| Kimi K3 | 2026-07 | 約 1×10^25（本記事の試算） | Epoch は未掲載 |
GLM-4-Plus、Qwen3-235B-A22B、GLM-4.7 についても Epoch 由来とされる推定値が流通していますが、執筆時点で現行データベース上の記載を確認できなかったため、上表からは外しました。
目を引くのは DeepSeek-V4-Pro の 9.7×10^24 です。これは Epoch の推定として流通している値で、活性化49B・学習トークン32兆と仮定した 6ND 概算とも整合します。この値は、本記事が K3 について独自に算出した 9.7×10^24 とほぼ一致します。同世代の中国製フロンティア MoE が同じ水準の計算量に収まっているという意味で、本記事の試算が桁として妥当であることの傍証になります。
Epoch AI は K3 について学習 FLOPs の推定値を掲載していません。公開から日が浅く、数値付きでモデル一覧に載っていない状態です。したがって本記事の第2章で行った試算は、現時点で参照できる数少ない推定値の一つということになります。
なお二次情報のなかには、K3 の活性化パラメータを約50Bとするものがあります。総パラメータ2.8Tにエキスパートの活性化比率16/896を機械的に掛けるとこの程度の値になりますが、シェアードエキスパートやアテンション層など常時活性化する部分が抜け落ちます。公式のモデルカードは104Bと明記しており、本記事はこちらを採用しています。
両者を時系列に並べると次のようになります。
主力の中国モデルは 3×10^24 から 1×10^25 のレンジに収まっており、米国フロンティアの 1×10^26 から 5×10^26 とは約1桁から2桁の開きがあります。K3 の試算値 1×10^25 はその中では大きいほうですが、Grok 4 との比較では依然として約50分の1です。
規制上の閾値との関係にも触れておきます。ただしここは記述に注意が要ります。
よく引き合いに出される 1×10^26 FLOPs という数字は、2023年10月の米大統領令14110 が報告義務の基準として定めたものですが、この大統領令は2025年1月20日に大統領令14148 によって撤回されています。同月23日には代替として大統領令14179 が発令されました。したがって 1×10^26 は現行の米国の規制上の閾値ではなく、当時そう定められていたという歴史的な参照点にすぎません。この点を現行制度として書いている記事や資料を見かけますが、誤りです。
現在も有効なのは EU AI Act の閾値です。汎用 AI モデルのうち学習計算量が 1×10^25 FLOPs を超えるものはシステミックリスクを持つと推定されます。義務は2025年8月2日に発効し、執行権限は2026年8月2日から行使可能になります。閾値に到達した時点から2週間以内に欧州委員会へ通知する義務も定められています。
K3 はこの 1×10^25 の境界上に位置します。本記事の試算値は約 9.7×10^24 で閾値の直下ですが、トークン数の仮定を20兆にすれば 1.25×10^25 で超過します。総パラメータ基準で計算すれば当然大きく超えます。実際にどう判定されるかは、算定方法の解釈に依存することになります。
差が縮まっているかについては、注意深い言い方が必要です。事前学習 FLOPs の絶対値だけを見ると、米国側が年4倍から5倍のペースで伸ばしているため、差はむしろ広がる方向にあります。一方で後述するとおり、能力の差は縮小しています。
3.3 何か月遅れているかの推定
遅れを測るには、能力を単一の尺度に落として時間軸に並べ、中国モデルが到達した水準に米国モデルがいつ到達していたかを水平方向に読むのが直感的です。
ここで使う指標には注意が必要です。MMLU や HumanEval のような従来のベンチマークは、2026年時点ではすでに飽和しています。GPQA Diamond は上位モデルが94%前後に張りつき、SWE-bench Verified も上位帯が数ポイントの幅に収まってきています。差を測る道具としての解像度が落ちてきている、ということです。
そこで本記事では Epoch Capabilities Index（ECI）を使います。40件弱のベンチマークを項目反応理論で単一の潜在能力に統合した指標で、各ベンチマークに難易度と識別力のパラメータを推定して合成するため、個別ベンチマークの飽和に強い設計になっています。Claude 3.5 Sonnet を130、GPT-5 を150として校正されており、上限はありません。
左のパネルが ECI の推移です。線はその時点までの最高値を示しています。
読み取れることがいくつかあります。まず、2023年から2026年まで一貫して米国が先行しており、この順位が入れ替わったことはありません。次に、差は縮小と拡大を繰り返しています。2025年1月の DeepSeek-R1 で一度大きく詰め、その後 o3 の登場で開き、2026年に入ってから再び詰める、という動きです。
水平方向に読むと、ECI 155 という水準に米国が到達したのが2025年12月（GPT-5.2 Pro）、中国が到達したのが2026年7月（Kimi K3）で、差は約7か月になります。これは Epoch AI が2023年以降の平均として算出している7か月とも一致します。同社は範囲を4か月から14か月としています。
ただし Kimi K3 の ECI は Epoch の公表値ではありません。K3 は新しすぎて Epoch のモデル一覧にまだ数値付きで載っていません。ここで使っている155.5という値は、scaling01 が2026年7月18日から20日にかけて、Epoch の暫定ベンチマーク結果をもとに算出した第三者による予備推定です。90%信頼区間は153.87から158.21とされています。図でもこの範囲を誤差として示しています。
なお、Epoch は2026年1月時点で「2025年4月公開の o3（ECI 147）を超えた中国モデルはまだない」と記していましたが、この記述はすでに古くなっています。2026年4月以降、DeepSeek-V4-Pro、Kimi K2.6、Qwen3.7-Max、GLM-5.2 がいずれも147を上回りました。半年で状況が変わる速度だという点も、この図から読み取れることの一つです。
右のパネルは Artificial Analysis Intelligence Index の最新版（v4.1、2026年7月時点）における各モデルのスコアです。Kimi K3 は57で、Claude Fable 5 の60、GPT-5.6 Sol の59に次ぐ位置にあり、Claude Opus 4.8 の56を上回っています。なおこの指数は推論強度の設定や参照時点によって値が変わるため、比較する際はバージョンと日付を揃える必要があります。
この指標を時系列に並べなかったのは、バージョンごとにスコアが再計算されているためです。v4.0 ではベンチマーク構成が入れ替わり、飽和した評価が外れて新しい評価が加わった結果、上位モデルのスコアが大きく下方に再校正されました。同じモデルでも公開当時の値と現行版の値が一致しません。異なる版のスコアを同じ軸に並べて月数を逆算する操作は、この非互換性を無視することになります。同一版の中での比較にとどめるのが安全です。
補助的な確認として、Stanford HAI の AI Index 2026 も挙げておきます。2026年3月時点の Arena Elo で、米国トップの Claude Opus 4.6 が1,503、中国トップの ByteDance Dola-Seed-2.0-Preview が1,464で、差は39ポイント、率にして2.7%と報告されています。同レポートは2023年時点の主要ベンチマークでの差が17.5から31.6ポイントだったとしており、指標は異なるものの、大きく縮んだことは複数の測り方で一致しています。
遅れを月数で表した推定は、機関ごとに公表されています。ただしばらつきが大きく、また一次情報で確認できたものとそうでないものがあります。
| 推定時期 | 推定主体 | 遅れ | 測定方法 | 一次情報の確認 |
|---|---|---|---|---|
| 2024-05（遡及） | Epoch AI | 14か月 | ECI で中国モデルが初めて GPT-4 を超えた時点 | 確認済み |
| 2026-01 | Epoch AI | 平均7か月（4〜14） | Epoch Capabilities Index | 確認済み |
| 2026-06 | McNair Center | 3〜9か月 | 不確実性を強調した幅推定 | 確認済み |
| 2026-05 | NIST / CAISI | 約8か月 | 9ベンチ5領域の項目反応理論ベース | 未確認 |
| 2026-07 | Brookings | 6〜9か月 | 定性的評価 | 未確認 |
| 2026-07 | scaling01 | ECI で約5.3か月、AAI で約1.5か月 | 回帰と隣接モデル補間 | 未確認 |
| 2026-07 | Zvi Mowshowitz | 4か月以上、中央値6か月 | K3 を対象とした総合評価 | 未確認 |
「未確認」は誤りという意味ではなく、執筆時点で発表元の一次資料に到達できなかったという意味です。以下の議論では、確認済みの Epoch AI と McNair Center の推定に重みを置いています。
これを時系列にプロットすると、縮小の軌跡と推定値のばらつきの両方が見えてきます。
読み取れることは3点です。
第一に、縮小トレンドは明確です。2024年前半に14か月程度だった差が、2026年には多くの推定で3か月から9か月の範囲に収まっています。
第二に、推定値のばらつきが大きく、単一の数字で語ることはできません。確認済みの推定に限っても Epoch AI が4〜14か月、McNair Center が3〜9か月と幅があり、未確認のものを含めると1か月台から8か月まで散らばります。McNair Center 自身が、同じデータから拡大とも縮小とも結論できてしまう点を指摘しています。
第三に、指標の性質が結果を左右します。Artificial Analysis Index はエージェント的タスクや短時間のコーディングに配点の重みが偏っており、実務上の有用性を測る指標としての性格が強くなっています。この種のタスクは公開されていて可視であるため、強化学習で集中的に改善しやすい面があります。したがって、この指標上のキャッチアップは実力差以上に見えている可能性があります。
なお、中国のトップモデルはほぼすべてオープンウェイトで、米国フロンティアはクローズドであるため、Epoch は「中国対米国」のギャップが「オープンウェイト対クローズド」のギャップとほぼ一致すると指摘しています。
3.4 領域によって差の大きさは異なる
平均値としての「何か月遅れ」は、領域ごとの差を均してしまいます。実際には得意不得意がはっきり分かれます。
| 領域 | 差の大きさ | 例 | 出典 |
|---|---|---|---|
| エージェント的コーディング | ほぼ同等 | Terminal-Bench 2.1 で K3 88.3、GPT-5.6 Sol 88.8 | Moonshot 公式評価表 |
| 科学知識 | ほぼ同等 | GPQA Diamond で K3 93.5、GPT-5.6 Sol 94.1、GPT-5.5 93.5 | Moonshot 公式評価表 |
| 事実の正確さ | 差が残る | AA-Omniscience で K3 の幻覚率51%、正答率46% | Artificial Analysis |
技術レポート自身の総括も、この整理と一致しています。K3 は Claude Fable 5 と GPT-5.6 Sol の直下に位置し、コーディング、検索、調査、長期のツール利用を要する課題で強いとされる一方、Humanity's Last Exam や CritPt のような研究レベルの推論、OSWorld 2.0 のような難易度の高いコンピュータ操作、長期的な行動規律や複雑な協調では最上位モデルとの差が残る、と明記されています。
なお、抽象推論やサイバーセキュリティでの差を示す個別のベンチマーク値も流通していますが、Moonshot の公式評価表に含まれておらず一次情報を確認できなかったため、本記事では具体的な数値を挙げるのを控えます。
確認できる範囲で言えるのは、明確な正解があり学習データを作りやすい領域では差がほぼ消えている一方、事実の正確さのような領域では性質の異なる課題が残っている、ということです。K3 は K2.6 と比べて正答率が33%から46%へ改善する一方、幻覚率も39%から51%へ上昇しており、正答と誤答がともに増えるという挙動を示しています。
3.5 計算量の遅れと能力の遅れが乖離する理由
事前学習計算量では1桁から2桁の差があるのに、能力の差が数か月にとどまるのはなぜか。主な説明は2つです。
一つはアルゴリズム効率の改善です。Ho らの研究（arXiv:2403.05812）は、2012年から2023年までの言語モデルを対象に、一定の性能に到達するために必要な計算量がおよそ8か月ごとに半減してきたと推定しています（95%信頼区間で5〜14か月）。年率に直すとおよそ3倍です。既存モデルに追いつくことだけを目的とした「キャッチアップ」に限れば、効率改善はさらに速いという分析もあります。後発が先行者と同じ性能に到達するコストは、時間とともに急速に下がるということです。
もう一つは蒸留です。先行するフロンティアモデルの出力を教師信号として使えば、ゼロから学習するより少ない計算量で近い性能に到達できます。K3 についても蒸留の関与が指摘されていますが、寄与度を定量化した公開データはなく、専門家の見解も「無視できない程度には効いているが、それだけでは説明できない」という水準にとどまります。
したがって、K3 の試算値 1×10^25 FLOPs を Grok 4 の 5×10^26 FLOPs と直接比べて「50分の1の実力」と読むのは誤りです。同時に、「同等の実力を50分の1の計算量で達成した」と読むのも正確ではありません。追いつく側は先行者が切り開いた設計空間を利用できるため、そもそも同じ土俵で計算量あたりの効率を比較することができないからです。
3.6 今後の見通し
将来予測は分かれています。
Artificial Analysis Index の推移を外挿する立場からは、現在のトレンドが続けば2027年後半に中国が米国を上回るという試算が出ています。一方、Epoch Capabilities Index を基準にすると差は横ばいから微減で、明確な追い越しは見えません。NIST/CAISI は時系列の傾きから米国のリードがむしろ拡大方向にあると示唆しています。同じ現象を見ながら逆方向の結論が出る状況です。
2027年以降の変数として繰り返し指摘されるのが電力とデータセンター建設能力です。中国の年間新規発電容量が米国を大きく上回るという指摘があり、学習クラスタの規模が電力制約で決まる局面に入れば、この差が効いてくるという見方です。他方で、中国は先端半導体の調達とソフトウェアスタックの成熟度で依然として制約を受けており、電力だけで趨勢が決まるわけではないという反論もあります。
いずれの予測も外挿に依存しており、確度は高くありません。少なくとも本記事の範囲では、どちらかの結論を支持する材料は十分ではないと考えます。
4. 学習に使われた計算資源
4.1 何が公表され、何が公表されていないか
技術レポートは、アーキテクチャ、学習手法、システム実装についてはかなり詳細に記述しています。にもかかわらず、計算資源に関する項目は意図的と思えるほど揃って欠けています。
| 項目 | 公表状況 |
|---|---|
| 総事前学習トークン数 | 非公表 |
| 各コンテキスト長での学習トークン数 | 非公表 |
| 最終的なデータ配分 | 非公表 |
| 総学習 FLOPs | 非公表 |
| 使用 GPU 数 | 非公表 |
| アクセラレータの種別 | 非公表 |
| 学習期間 | 非公表 |
| 実測 MFU | 非公表 |
| 学習コスト | 非公表 |
| K2 比のスケーリング効率 | 公表（約2.5倍） |
本記事の第2章で行った試算は、この空白を埋めるためのものです。逆に言えば、埋めるべき空白がこれだけあるということでもあります。
DeepSeek-V3 が技術レポートで「2,048基の H800 クラスタ、1兆トークンあたり180K GPU時間（約3.7日）、フル学習で2.788M GPU時間」と細かく開示したのと比べると、K3 の非開示ぶりは際立ちます。重みとインフラ用ソフトウェアはオープンにしながら、計算資源の中身だけは伏せる、という選択です。
個々の技術要素の切り分け実験（ablation）については、評価が分かれています。レポートを読んだ技術者からは「各要素の寄与度が分解されていない」という指摘が出ている一方、Moonshot の公開時のアナウンスは詳細な議論と ablation 実験がレポートに含まれると述べています。本記事は PDF 本文を直接確認できていないため、どちらとも断定しません。少なくとも、KDA、Attention Residuals、Stable LatentMoE、SiTU-GLU、Quantile Balancing、Per-Head Muon それぞれの寄与度を要約した数値は、公開されている二次情報の範囲では見当たりませんでした。
4.2 断片から読み取れること
直接の記載はないものの、周辺情報からいくつか推測できます。
前世代の K2 は、技術レポート（arXiv:2507.20534）でクラスタ構成を開示しています。各ノードが2TB の RAM と8基の GPU を持ち、ノード内は NVLink と NVSwitch、ノード間は8本の400 Gbps RoCE で接続された H800 クラスタでした。K3 が同系統のインフラを流用した可能性は高いと思いますが、レポートに明記はありません。
もう一つの手がかりが FlashKDA です。Moonshot が2026年4月にオープンソース化した KDA 用の CUTLASS カーネルで、公開ベンチマークは NVIDIA H20 を基準に測定されています（flash-linear-attention 比で prefill が1.72〜2.22倍）。ただしこれはカーネル単体のベンチマーク環境であって、学習クラスタの構成を示すものではありません。
一方で、2026年7月、米ホワイトハウス科学技術政策局長の Michael Kratsios 氏が、Moonshot が GB300 サーバを（新規取得またはタイ経由で）用いて学習したと主張しました。同氏は Claude Fable 5 からの大規模蒸留も併せて主張しています。これらは規制違反の告発であって Moonshot の開示ではなく、証拠も公開されていません。TechCrunch などが取材した専門家からは「蒸留が K3 の性能の主因とは考えにくい」という指摘も出ています。本記事では、確定していない論点として扱い、学習ハードウェアの特定には使いません。
まとめると、学習に使われたアクセラレータの種別すら、現時点では確定していません。
4.3 事後学習の規模から逆算できること
技術レポートで計算資源の数字は伏せられていますが、事後学習の構造からは規模の見当がつきます。
K3 の事後学習は三段階です。まず SFT でツール呼び出しとエージェントの軌跡を学習します。次に強化学習を、一般タスク、一般エージェント、コーディングエージェントの三領域について、それぞれ low、high、max の三段階の推論強度で行います。つまり合計9個の専門ポリシーが作られます。最後に、この9個を Multi-Teacher On-Policy Distillation で単一モデルに統合します。
9個のポリシーをそれぞれ強化学習で鍛えてから蒸留する、という構造です。事前学習1回分の計算量に対して、事後学習がどれだけ上乗せされるかは公表されていませんが、無視できる量でないことは構造から明らかです。
ロールアウトの規模も桁が大きくなっています。1本の軌跡が数百から数千回のツール呼び出しを含み、累積コンテキストが数百万トークンに達することもあります。すべての軌跡の終了を待つと長いものが全体を律速するため、一定割合が完了した時点でポリシー更新に進み、未完了の軌跡は次の反復で再開する部分ロールアウトを採用しています。再開のために、GPU から追い出された長いプレフィックスを CPU の DRAM 上の外部 KV キャッシュプールに退避させる仕組みも用意されています。
規模を示す数字として、レポートを読んだ解説によれば、学習と評価の全体でおよそ5,122万個のサンドボックスが作成されたとされています。GPU 時間が非公表である以上これは代替指標にすぎませんが、エージェント強化学習にどれだけの計算が投じられたかを推し量る材料にはなります。
この事実は、本記事の第2章で行った 6ND 則による試算の限界を裏づけます。6ND は事前学習を対象とした近似であり、ここで述べた事後学習の計算量はまったく含んでいません。したがって約1×10^25 FLOPs という値は、K3 の総計算量ではなく事前学習部分の概算だと理解してください。
5. 学習効率を支えたソフトウェアスタック
計算資源の絶対量が非公表である一方、Moonshot は「その計算資源をどう使い切ったか」の部分を、むしろ積極的にオープンソース化しました。重みと同時に3つのリポジトリが公開されています。
以下で紹介する各コンポーネントの機能説明は Moonshot の公式ブログと各リポジトリの記載に基づきます。ただし性能改善の具体的な倍率については、公式の一次資料で数値を確認できなかったものが含まれます。該当箇所にはその旨を記しています。
5.1 MoonEP
MoE 学習の律速はしばしば all-to-all 通信とエキスパートの負荷偏りです。ルーティングが偏ると特定ランクにトークンが集中し、そのランクが終わるまで全体が待つことになります。
MoonEP は動的冗長エキスパートによってこれを解消しています。各ランクが常に厳密に S×K トークンを計算するよう構成されるため、ルーティングの偏り（maxvio）が増えても反復時間がほぼ一定に保たれます。DeepSeek の DeepEP v2 がホットランク律速で偏りとともに劣化し OOM を起こすのに対し、MoonEP は静的形状を維持するためメモリ断片化や OOM が起きません。
技術レポートは、エキスパート数を E、エキスパート並列のランク数を R として、各ランクに最大 E/R 個の冗長エキスパート枠を確保すれば、完全に均衡した割り当てが常に存在することを示しています。負荷が完全に均衡すれば、遅いランクを待つ時間がなくなるだけでなく、通信バッファと計算形状を固定でき、各層でホスト側に同期してトークン数を確認する処理も不要になります。
設計思想としては、実行時の負荷変動を動的に吸収するのではなく、割当を静的に固定して変動自体を発生させない方向に振っています。冗長エキスパートを配置するぶん計算量には無駄が生じますが、同期待ちの排除とメモリ使用量の予測可能性を優先した判断と読めます。加えてゼロコピー実装により、トークンを遠隔ランクのエキスパート整列位置に直接書き込むことで permute の入出力を排除しています。
5.2 FlashKDA
KDA の CUDA カーネル実装です。CUTLASS ベースで、SM90 以降（Hopper 世代、H100 や H20）に対応し、可変長バッチを cu_seqlens でネイティブに扱えます。flash-linear-attention の chunk_kda から自動ディスパッチする作りになっています。
vLLM 側では、NVIDIA が提供した fused KDA の decode/prefill カーネルと組み合わされました。
なお、既存の flash-linear-attention 実装に対する高速化倍率が報じられていますが、公式リポジトリでの数値を確認できなかったため、本記事では具体的な倍率を挙げません。
5.3 AgentEnv
KVCache.ai（KTransformers を開発した清華大学系のチーム）と共同開発された、強化学習用のサンドボックス環境です。高忠実度かつ強い分離を持ち、高速なスナップショット、復元、フォークに対応します。
実体は Firecracker を用いた microVM です。各サンドボックスが独自の Linux カーネル、ファイルシステム、ネットワーク名前空間を持つため、モデルが生成したコードを実行してもカーネルレベルで隔離されます。コンテナのように起動は速く、しかし共有カーネルの弱い隔離という欠点を持たない、という位置づけです。
機能上の要点は、100万トークン級のコンテキストで強化学習を行う際に、部分ロールアウトと再開可能なサンドボックスを組み合わせ、未完了のトラジェクトリを学習反復をまたいで継続できる点です。速度については、レポート読解では最短でチェックポイント133ミリ秒、再開49ミリ秒とされ、公開リポジトリ側の説明では起動と再開が50ミリ秒未満、一時停止が100ミリ秒未満とされています。数値の取り方に差がありますが、いずれもミリ秒台という点では一致しています。1ノード上で最大16個の子サンドボックスへ分岐でき、HTTP API は E2B 互換です。MIT ライセンスで公開されています。エージェントが数千回のツール呼び出しを行うようなタスクでは、1本のロールアウトが1反復に収まらないため、この仕組みがないとそもそも学習が成立しません。
5.4 アーキテクチャ側の効率化手法
ソフトウェアスタックに加えて、モデル側にも計算効率を狙った工夫が入っています。
| 手法 | 内容 | 効果（メーカー申告または論文値） |
|---|---|---|
| KDA | チャネル単位ゲーティングを持つ線形アテンション。固定サイズの状態行列を再帰更新 | 1M 文脈で KV キャッシュ最大75%削減、デコード最大約6倍高速 |
| AttnRes | 各層が持つ学習可能な疑似クエリで、先行ブロックの表現を選択的に取得する深さ方向のアテンション。93層を約12層ずつのブロックに分けたブロック単位で適用 | 深さ方向の情報を単一の残差ストリームに圧縮せずに済む。ブロック単位化でメモリとパイプライン並列時の通信量を削減 |
| Stable LatentMoE | 7168次元を潜在次元3584 に圧縮してからエキスパートへ投入し、処理後に元の幅へ戻す。シェアード2基は全幅で動作 | エキスパート重み帯域と all-to-all 通信量を削減 |
| Quantile Balancing | ルータースコアのマージンの分位点から次のバイアスを直接推定。実装はエキスパートごとのヒストグラムを all-reduce して全体の分位点を近似 | 896個規模で追従が遅れ振動する従来方式の問題を回避 |
| Per-Head Muon | Muon をアテンションヘッド単位で独立適用 | 大規模時の学習安定性向上、トークン効率重視 |
| SiTU-GLU | SwiGLU の原点付近の性質を保ちつつ、大きな入力を tanh で滑らかに飽和させる | 各出力座標の絶対値を最大100に抑え、極端に疎な MoE での活性値の発散を防ぐ |
| MXFP4/MXFP8 QAT | 32要素ブロックごとに E2M1 ＋ 8ビット共有スケール | 配布物が約1.56TB（FP16 相当なら約5.6TB） |
AttnRes の仕組みも補足しておきます。通常の Transformer では、過去の層の出力が残差接続で順に加算され、単一の隠れ状態に集約されていきます。深さ方向で見ると、過去の情報を一つの状態へ圧縮していく RNN のような構造です。AttnRes はこれを検索の問題として捉え直し、各層が必要な深さの表現を選んで取ってくる形にします。
実装上の工夫は、クエリを入力から計算せず、層ごとに保持する学習可能なベクトルにしている点です。「この層はどういう表現を必要としているか」という検索テンプレートに相当します。クエリ自体は入力に依存しませんが、キーは各トークンの過去層出力なので、実際の重みはトークンごとに変わります。この設計により、層ごとに大きなクエリ射影を計算する必要がなくなり、また現在層への入力からクエリを作ろうとしたときに生じる循環依存も避けられます。
KDA については、K3 で加えられた変更にも触れておきます。前身の Kimi Linear では忘却率が極端に小さくなりうるため、チャンク並列計算で累積減衰の逆数が過大になり、数値的な不安定を招く問題がありました。K3 では対数減衰に下限を設けてこれを回避しています。数式上は小さな変更ですが、副次的な効果として、それまで特殊な計算を要していた対角タイルを Tensor Core 上の密行列積として処理できるようになりました。GPU カーネルが単純化され、学習速度の改善にもつながっています。ハードウェアの都合を見据えた設計変更の好例です。
KDA の高速化倍率については注意が必要です。この数値は K3 本体のものではなく、前身となる Kimi Linear（arXiv:2510.26692、総48B・活性3B）の論文における測定値です。同論文は1Mコンテキストで KV キャッシュを最大75%削減し、デコードを最大約6倍高速化したと報告しています。K3 でも同様の傾向は期待できますが、同一条件の実測値ではありません。
6. なぜ少ない計算資源でフロンティア級が出せたのか
効率化は、演算とメモリ、通信、学習アルゴリズムの3つの層に分けて整理できます。
6.1 演算強度とメモリ帯域
推論のデコード段階は、本質的にメモリ帯域律速です。バッチサイズが小さいとき、重みを HBM から読み出すコストが演算コストを大きく上回るためです。演算強度（FLOPs/byte）が低い領域で動くので、ピーク演算性能ではなく帯域が効きます。
K3 の設計は、この帯域圧を2方向から下げています。
- MXFP4 重み: 4ビット化により、読み出すバイト数が FP16 比で約4分の1になります。なお実際の配布物は約1.56TB で、4bit 換算の理論値である約1.4TB より大きくなっています。フルアテンション層や視覚エンコーダなど、精度を落とさずに保持している部分があるためと考えられます。
- KDA: 固定サイズの状態行列を持つため、KDA 層だけを見れば保持すべき状態量が系列長に比例しません。
ここは誤解が生じやすいので、数字で押さえておきます。
MLA 層は1トークンあたり潜在512次元と RoPE 用64次元、合わせて576要素を保持します。BF16 なら1,152バイトです。1M トークンでは1層あたり約1.2GB、24層で約29GB になります。仮に93層すべてがフルアテンションだったとすると約112GB です。
一方 KDA 層の状態は、ヘッドあたり128×128の行列で、69層合わせても0.5GB に届きません。ヘッド数が公表されていないため正確な値は出せませんが、いずれにせよコンテキスト長に関わらず一定です。
つまり K3 全体では、1M トークンで約29GB と、フルアテンションのみの場合の約112GB に対しておよそ4分の1になります。Kimi Linear 論文が言う「最大75%削減」は、93層中69層がトークンごとの KV キャッシュを持たないこと、すなわち69÷93がほぼ4分の3であることに対応しています。
重要なのは、削減されるのは傾きであって、増加そのものは止まらないという点です。K3 のメモリは依然としてコンテキスト長に比例して増えます。線形アテンションを「KV キャッシュが増えなくなる技術」と説明されることがありますが、少なくともハイブリッド構成のモデルについては正確ではありません。
学習時も同様で、フルアテンションの O(N^2) 項が層の4分の3で O(N) に置き換わるため、長文脈カリキュラム（8K から段階的に 1M まで伸ばす）の総 FLOPs が抑えられます。
6.2 インターコネクトと通信
MoE のもう一つの律速が all-to-all です。K3 は896エキスパートを持つので、素朴に実装すると通信量が支配的になります。Stable LatentMoE の潜在次元圧縮は通信ペイロード自体を小さくし、MoonEP の静的形状は通信パターンを予測可能にします。
この点は輸出規制の影響と無関係ではないと考えられます。H800 は H100 と同じダイを用いつつ、相互接続帯域を制限した対中輸出向けの製品です。演算性能に対して通信帯域が相対的に不足する構成であり、その環境下では通信効率化の投資対効果が相対的に高くなります。DeepSeek の DeepEP や MoonEP のような通信ライブラリが中国のラボから重点的に出ている事実は、この推論と整合します。ただし因果関係が実証されているわけではなく、あくまで状況証拠にもとづく解釈です。
6.3 トークン効率
Muon 系オプティマイザは、Newton-Schulz 反復による行列直交化を伴うため、ステップあたりの計算コストは AdamW より高くなります。それでも採用されているのは、勾配1更新あたりの学習信号（トークン効率）が高いためです。計算資源に余裕があればステップ数を増やして補える部分を、制約下ではステップあたりの学習効率を高める方向に振り替えた判断と解釈できます。
以上の3層はいずれも、投入できる計算資源が限られる条件下で単位計算量あたりの成果を高める方向に働きます。DeepSeek-V3 が2.788M H800時間で、30.84M H100時間を投じた Llama 3.1 405B に匹敵する性能を示した事例と同じ傾向であり、K3 はその延長線上に位置づけられます。
7. 推論側の計算資源
学習側が非公表なのに対し、推論側は情報が比較的豊富です。vLLM が2026年7月27日に day-0 対応しています。
| 項目 | 内容 |
|---|---|
| Moonshot 公式推奨 | 64アクセラレータ以上のスーパーノード |
| 配布物サイズ | 約1.56TB（MXFP4/MXFP8 混在） |
| 推論ランタイム | vLLM および SGLang が公開日に対応 |
| 並列化 | テンソル並列、エキスパート並列、prefill と decode の分離に対応 |
技術レポートは推論側の設計にも触れています。KDA の固定サイズ状態と、MLA の系列長に比例する KV キャッシュを、同一のページ管理機構で扱います。MLA は細かいトークン境界でプレフィックスを再利用できる一方、KDA の状態はサイズが大きいため、会話のターンなど限られた境界でのみチェックポイントする、という使い分けです。
投機デコードにも工夫があります。ドラフトトークンごとに巨大な KDA 状態を保存するのではなく、小さな射影入力だけを保存しておき、一部が棄却された場合は受理された部分について KDA 状態を GPU 上で再計算して正しい状態に戻します。線形アテンションは状態が固定サイズであるぶん、途中状態への巻き戻しが素直にできないため、こうした手当てが要るわけです。
vLLM のブログでは GB300 NVL72 上でのスループット実測値や、投機デコードによる高速化倍率、カーネル最適化の効果が報告されています。ただし本記事の執筆にあたって個別の数値を一次資料で確認しきれなかったため、具体的な tok/s は挙げません。関心のある方は vLLM の公式ブログを直接参照してください。
ローカル実行の可否については、1本目の記事の結論がそのまま維持されます。最小量子化でも総メモリ650GB〜1TB が必要で、128GB のユニファイドメモリや、コンシューマ GPU に大容量 DRAM を足した構成では動きません。加えて llama.cpp は公開時点で KDA アーキテクチャに未対応で、コミュニティの GGUF は存在するものの起動できない状態です。
したがって、手元で回すという選択肢は現時点で存在せず、API を使うか、組織の多 GPU 環境でセルフホストするかの二択になります。データ主権を重視する場合、後者か、あるいは西側リージョンで動く推論パートナー経由でオープンウェイトをホストする形が現実解になります。
8. 実務的な評価
以上の調査を踏まえ、実際に採用を検討する際の判断材料を整理します。
第一に、独立評価において幻覚率が K2.6 の39%から51%へ上昇している点は考慮が必要です。同時に正答率も33%から46%へ上昇しているため、単純な品質低下ではなく、正答と誤答がともに増加するトレードオフと理解するのが正確です。この性質は用途によって評価が分かれます。出力を人間が検証する前提のタスクでは正答率の向上が効きますが、規則の一貫した適用が求められ、かつ誤りの検出コストが高いタスクでは、確信度の高い誤答の増加が問題になります。
第二に、コード生成用途では、総合スコアの順位よりも対象タスクに近いベンチマークを見るべきです。K3 は Frontend Code Arena で首位を取る一方、SWE-Marathon のような長期タスクでも高い値を示しています。ただし公式ベンチマーク表はモデルごとに異なるハーネス（Kimi Code、Claude Code、Codex）で測定されており、直接比較には注意が要ります。
第三に、計算量の観点からは、フロンティア級の性能が必ずしも突出した計算資源を必要としないという点が確認できます。本記事の試算による1×10^25 FLOPs という水準は、GPT-4 の推定値と同程度です。性能差を生んでいるのは投入計算量そのものではなく、KDA による帯域削減、MXFP4 によるメモリ効率、MoonEP による通信効率といった設計上の選択と、事後学習の設計にあると考えられます。
この点は、モデル選定においてパラメータ数や公称スペックを性能の代理指標として扱うことの限界を示しています。K3 の2.8T という数値は、実際の計算負荷を26.9分の1に圧縮した設計の結果であり、単独では性能も運用コストも予測しません。
9. まとめ
- K3 の学習計算量と計算資源は、Moonshot AI からほぼ何も公表されていません。重みとインフラソフトウェアはオープンにしながら、計算の中身は伏せるという選択がなされています。
- 活性化パラメータ104B を基準に 6ND 則で概算すると、約1×10^25 FLOPs、H800 換算で700万〜900万 GPU時間、14〜18百万ドル相当と見積もれます。ただし学習トークン数が非公表のため、この値は K2 の実績を流用した仮定に依存します。Epoch AI が Likely 区分で掲載する DeepSeek-V4-Pro の 9.7×10^24 とほぼ同水準であり、桁としては妥当と考えられます。
- MoE の FLOPs 計算では活性化パラメータを使う必要があり、総パラメータで計算すると K3 の場合は約27倍の過大評価になります。
- 学習に使われたアクセラレータの種別すら確定していません。H800 説も GB300 説もありますが、いずれも公式確認がありません。
- 米国フロンティアとの事前学習計算量の差は約1.5桁から2桁で、Epoch AI の推定による最大値は Grok 4 の約 5×10^26 FLOPs です。この差は縮まっていません。
- 能力の差は Epoch Capabilities Index で約7か月です。ただし差は単調に縮んでいるのではなく、中国側が詰めては米国側が新モデルで開く、という往復を繰り返しています。領域別に見ると、エージェント的コーディングや科学知識ではほぼ同等に達している一方、事実の正確さでは異なる課題が残っています。
- 効率化の核心は、KDA による KV キャッシュの固定サイズ化、MXFP4 によるメモリ帯域削減、MoonEP による通信の静的化という3点です。いずれも「演算は足りるが帯域と通信が細い」制約への回答として理解できます。
- 推論側は数値が豊富で、GB300 NVL72 でバッチ1・TP16 が118 tok/s、投機デコードで370 tok/s という実測値が公開されています。ローカル実行は依然として不可能です。
今後、次のいずれかが確認できた場合には、本記事の内容を更新する必要があります。技術レポート本文から学習トークン数や GPU 種別、MFU が判明した場合は、試算を仮定ベースから実測ベースへ置き換えます。Epoch AI が K3 の学習 FLOPs 推定を掲載した場合、あるいは Grok 4 を超える推定値が登場した場合は、比較の基準を更新します。llama.cpp が KDA に対応し Unsloth の動的量子化が公開された場合は、ローカル実行に関する結論が変わります。いずれの場合も改めて記事にする予定です。
参考文献
- Kimi K3 Tech Blog, Moonshot AI, https://www.kimi.com/blog/kimi-k3 （2026年7月27日）
- MoonshotAI/Kimi-K3, GitHub, https://github.com/MoonshotAI/Kimi-K3 （2026年7月27日公開）
- MoonshotAI/MoonEP, GitHub, https://github.com/MoonshotAI/MoonEP
- MoonshotAI/FlashKDA, GitHub, https://github.com/MoonshotAI/FlashKDA （2026年4月公開）
- Kimi Linear: An Expressive, Efficient Attention Architecture, arXiv:2510.26692
- Kimi K2 技術レポート, arXiv:2507.20534
- Kimi K3 技術レポート（GitHub MoonshotAI/Kimi-K3）
- Attention Residuals, arXiv:2603.15031
- MoonshotAI / kvcache-ai, AgentENV（MIT ライセンス）
- DeepSeek-V3 Technical Report, arXiv:2412.19437
- Llama 3.1 モデルカード, Meta
- Kimi K3 Is Here: Efficient Day-0 Support on vLLM, https://vllm.ai/blog/2026-07-27-k3 （2026年7月27日）
- Kimi-K3, SGLang Documentation
- Artificial Analysis, Intelligence Index v4.1
- Epoch AI, Epoch Capabilities Index, https://epoch.ai/benchmarks/eci
- Epoch AI, Chinese AI models have lagged the US frontier by 7 months on average since 2023
- Epoch AI, Notable AI Models / Trends, https://epoch.ai/trends
- Epoch AI, What did it take to train Grok 4?
- Ho et al., Algorithmic progress in language models, arXiv:2403.05812
- NIST / CAISI による中国モデル評価（2026年5月）
- Stanford HAI, AI Index Report 2025 / 2026
- xAI, Grok 4 発表, https://x.ai/news/grok-4
注意事項
本記事の計算量試算は、公開情報からの推定です。学習トークン数をはじめとする主要な入力値が非公表であるため、実際の値とは乖離する可能性があります。特に、6ND 則は事前学習を対象とした近似であり、K3 が相当量を投じているとみられる強化学習の計算量は含んでいません。
本記事の学習計算量の試算は、公表されていない学習トークン数を前世代 K2 の値で代用した上に成り立っています。この前提が外れれば結論の数値も変わります。加えて 6ND 則は事前学習を対象とした近似であり、9個の専門ポリシーを強化学習で作ってから蒸留するという K3 の事後学習の計算量をまったく含んでいません。約1×10^25 FLOPs は総計算量ではなく事前学習部分の概算です。
本記事は技術レポートの PDF 本文を直接参照できておらず、公式ブログ、GitHub のリポジトリ説明、レポートを読んだ第三者の解説を突き合わせて構成しています。とくに、AgentENV のチェックポイント時間やサンドボックス総数、SiTU-GLU の出力上限、MoonEP の定理、コンテキスト長ごとの学習トークン配分といった細かい数値は、二次情報に依拠しています。原典で確認できた際に更新します。
また「2.5分の1」という改善幅は総合的な値であり、KDA、Attention Residuals、Stable LatentMoE、SiTU-GLU、Quantile Balancing、Per-Head Muon それぞれの寄与度は、少なくとも公開されている二次情報の範囲では分解されていません。したがって本記事の各技術に関する説明も、寄与度までは踏み込んでいません。
米国および中国モデルの学習計算量は、いずれも Epoch AI による推定値であり、開発元の公表値ではありません。信頼度区分が Speculative のものは実際の値と最大30倍の乖離がありうるとされています。また Epoch は推定を随時改訂しており、本記事に掲載した値のうち一部は執筆時点の現行データベースで再確認できませんでした。特に2026年に登場した新世代モデルには学習 FLOPs の推定自体が存在しないため、「既知最大は Grok 4」という記述は「推定が公開されているモデルの中で最大」という限定つきで読んでください。
Kimi K3 の ECI は公式値ではなく、第三者が Epoch の暫定ベンチマーク結果から算出した推定値です。図の水平方向から読み取った約7か月という値も、この推定に依存します。また ECI はモデルサイズやトークン効率、実際のサービングコストを織り込まないため、運用コストまで含めた実力差はこれより大きい可能性があります。
「何か月遅れか」の推定は、指標の選択、フロンティアとみなすモデルの範囲、対象ベンチマークの構成によって大きく変わります。本記事の表に「未確認」と記した推定は、執筆時点で発表元の一次資料に到達できなかったものです。誤りという意味ではありませんが、確認済みの推定より弱い根拠として扱ってください。同じデータから縮小とも拡大とも結論できる状況にあり、本記事では単一の数字を断定していません。また、米国のラボがより高性能なモデルを公開せずに保持している可能性を考えると、公開モデルのみの比較は差を過小評価しうる点にも留意が必要です。
また、学習ハードウェアに関する各種の主張（H800 説、GB300 説）や蒸留疑惑については、いずれも確定した事実ではないため、本記事では断定を避けています。ベンチマーク数値はメーカー自己申告と第三者測定が混在しており、ハーネスが統一されていない点にもご留意ください。