MoEは「専門家の選択」ではないです ― DenseとMoEの正体を理解する

---

はじめに

前回の記事で、Kimi K3 / Qwen3.8-Max / DeepSeek-V4-Pro の3モデルを整理しました。そこで扱った数字のひとつが、Kimi K3 の疎性(スパース性)です。896エキスパートのうち16しか活性化しない。総パラメータの1.8%です。

2023年の Mixtral 8x7B が約28%だったことを思えば、3年で桁がひとつ違うところまで来ました。

前回は「なぜ1.8%で性能が出るのか」をスケーリング則の側から追いましたが、書きながら引っかかっていたことがあります。

「896人の専門家がいて、そのうち16人が呼ばれる」というイメージを、そのまま持っている人がかなりいるのではないか？ YouTude での解説などをみると、半分以上はそのイメージで解説しています。MoE（Mixture of Experts）という名前は、実際そう読めます。医療の質問なら医療の専門家、コードならコードの専門家が選ばれる。直感としては自然ですし、自分も最初はそう思っていました。

ただ、このイメージで1.8%を理解しようとすると、途端に辻褄が合わなくなります。896の分野に切り分けられた専門知識というものが想定しにくいのが一つ。仮にそうなら使わない分野を削って軽量化できるはずですが、それができないのがもう一つです。

ここまで疎性が上がったところで、いちど戻って確認しておく価値があると考えました。MoEとは実際には何なのか。Denseとは何なのか。何のためにこの構造を使うのか。そして、なぜ「疎」なのにコストが減らない部分があるのか。

本記事はこの4点を、メモリ帯域・GEMM・並列化・通信といった計算機アーキテクチャの視点を交えて整理するものです。

本記事は2026年7月20日時点で公開されている情報を整理したものです。内容は無保証です。出典の性質（一次情報／論文はあるが独立検証は弱い／経験則／推測）は本文中で区別します。とくにエキスパートの特化については研究間で結論が割れているため、その旨を明示します。

先に結論

論点	通俗的な理解	実際
エキスパートの正体	分野に特化した専門家	FFN（MLP）ブロックを多数用意し、 トークンごとに一部だけ通す構造化スパース性
ルーティングの単位	入力や分野の単位	トークン単位、かつ層ごとに独立
ドメイン特化	分野ごとに固まる	Mixtral では観測されず、 統語的・位置的な偏りが主。
Dense という語	MoE より前からある正式名称	MoE との対比で後から一般化した呼称
MoE の目的	賢い専門家を呼ぶこと	パラメータ数と計算量（FLOPs） の結合を切ること
疎性で減るもの	すべて	FLOPs とバッチ1デコードの読み出しのみ
疎性で減らないもの	―	常駐メモリと all-to-all 通信。 どちらも総パラメータに従う
疎性の効きどころ	全般	知識の記憶に効き、推論には効きにくい

1. MoEの基本構造

1.1 FFN層を置き換える

Transformer のブロックは、アテンションとFFN（MLP）でできています。MoEは、このFFNをN個のエキスパートに置き換えます。

各エキスパートは、独立した重みを持つFFNです。小さな線形層（ルータ）がトークン表現から各エキスパートへの親和度を計算し、上位k個を選びます。出力は選ばれた分の重み付き和です。

y = Σ_{i ∈ top-k} g_i · E_i(x)

ここで E_i は i 番目のFFN、g_i はルータが与えるゲート重みです。

Mixtral は softmax(Top2(xW_g)) で上位2個を選びます。DeepSeek-V3 は親和度スコアの計算に sigmoid を採用し（V2 の softmax からの変更）、選ばれたスコアを正規化してゲート値にします。

1.2 起源で既に「学習で分ける」設計だった

MoEの原典は Jacobs, Jordan, Nowlan, Hinton による "Adaptive Mixtures of Local Experts"（Neural Computation, 3(1):79–87, 1991）です。

ここで押さえておきたいのは、この時点でも人間がデータを分野に分けてエキスパートに割り当てたのではない、という点です。原論文の要旨は、多数の別々のネットワークからなる系で、各ネットワークが訓練事例の部分集合を扱うことを学習する、と述べています。ゲート網が入力空間の分割そのものを学習する設計でした。

つまり「エキスパート」という語は当初から、入力空間の領域に特化するものであって、人間が定義した専門分野ではありませんでした。

現代の直接の祖先は、Shazeer らの "Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer"（arXiv:1701.06538, ICLR 2017）です。ゲート網が上位k個のみを選ぶ疎ゲーティングによって、計算量をほぼ増やさずにモデル容量を桁で増やせることを示しました。この論文で既に、負荷分散のための補助損失が使われています。

1.3 系譜

モデル・手法	発表	特徴
GShard	arXiv 2020 / ICLR 2021 (arXiv:2006.16668)	条件付き計算と自動シャーディング
Switch Transformer	2021 (JMLR 2022)	top-1に単純化、capacity factor とトークンドロップ
GLaM	2022	大規模デコーダMoE
Mixtral 8x7B	2024 (arXiv:2401.04088)	8エキスパートtop-2、総47B / 活性13B
DeepSeekMoE	2024 (arXiv:2401.06066, ACL 2024)	細粒度エキスパート分割と共有エキスパート分離
DeepSeek-V3	2024 (arXiv:2412.19437)	総671B / 活性37B、256ルーテッド中8＋共有1
Qwen3-235B-A22B ほか	2025〜	MoEが標準構成に

FFN層をエキスパート群に置き換えるという定式化は、Shazeer 2017 で萌芽し、GShard と Switch Transformer（2021）で標準的なパターンとして確立しました。

2. エキスパートはドメインで特化しない

ここが本記事の核心です。

2.1 Mixtral のルーティング分析

Mixtral の技術レポート（arXiv:2401.04088）は、The Pile 検証データの各ドメイン部分集合（ArXiv、GitHub、PhilPapers、StackExchange、DM Mathematics など）でエキスパート割り当ての分布を測定しました。層0、15、31での比較です。

結果として、著者らはトピックに基づくエキスパート割り当ての明らかなパターンは観測されなかったと報告しています。DM Mathematics でわずかに分布が異なりましたが、最初と最後の層で見られる程度でした。

代わりに観測されたのは位置的な局所性です。連続するトークンが同じエキスパートに割り当てられやすく、この傾向は深い層で有意に強くなります。論文はここから、ルータが構造的な統語的振る舞いをいくらか示すことを示唆する、と述べています。

引用するときは、この温度差に注意が要ります。論文が断定しているのは、トピックに基づく明らかなパターンが観測されなかったことです。「分野ではなく構文で決まる」とまでは書いていません。報告されているのは位置的局所性という別の規則性であって、統語との関連は示唆にとどめられています。

2.2 ただし結論は割れている

重要なのは、この結論がすべてのMoEで一致するわけではない点です。

OLMoE（arXiv:2409.02060）は完全オープンなMoEとして内部を分析し、Mixtral とは対照的に、科学的文章やコードといった特定ドメインに特化したエキスパートが出現したと報告しています。加えて、ルータ飽和（ルーティングが事前学習の初期1%以内、とくに深い層で早期に安定する）と、後段の層での語彙特化も観測されました。

差の説明として挙げられるものが2つあります。

ひとつは粒度です。OLMoE は64エキスパート中8活性（12.5%）、Mixtral は8エキスパート中2活性（25%）で、細粒度なほうが特化が見えやすい可能性があります。

もうひとつは初期化で、これは OLMoE 論文自身が述べています。Mixtral が Mistral からの upcycling で作られていることが特化の弱さの原因ではないか、dense モデルからの初期化はエキスパートが取りうる特化の幅を制限しうるのではないか、という仮説です。

どちらも仮説であって、因果の実証ではありません。

DeepSeekMoE（arXiv:2401.06066）はそもそも「究極のエキスパート特化」を目標に掲げ、そのための設計を導入した論文です。特化が自然に起きた観測ではなく、特化させるために設計したという主張であり、混同しないことが大事です。

いずれにしても、観測される特化はコードや科学文章といった大きな粒度であって、896分野に切り分けられるようなものではありません。

2.3 番号と役割の対応は初期化で変わる

「3番のエキスパートは数学担当」といった固定的な対応は、原理的に期待できません。エキスパート群には置換対称性があり、初期化のランダムシードを変えれば、同じ役割が別の番号に移ります。構造上の帰結です。

2.4 負荷分散がドメイン純粋性を壊す

MoEの学習では、特定のエキスパートにトークンが集中するルータ崩壊を防ぐため、負荷分散機構が使われます。この機構はトークンをエキスパート間に均等にばらまく方向に働くので、仮に「このドメインは全部このエキスパートへ」という純粋な割り当てが生じかけても、それを崩す圧力になります。

DeepSeek-V3 技術レポートも、不均衡な負荷はルータ崩壊を招き計算効率を下げる、として明示的に均衡を強制しています。

2.5 情報は個体ではなく組み合わせに載る

以上をまとめると、エキスパートとは人でも分野でもなく、FFNのブロックです。MoEとは、多数のFFNブロックを用意してトークンごとに一部だけを通す構造化スパース性の一形態と見るのが正確です。

細粒度化のトレンドは、この見方を補強します。DeepSeek-V3 は各MoE層で256個のルーテッドエキスパートから8個を選びます（加えて共有エキスパートが常時活性）。この選択の組み合わせ数は次のとおりです。

C(256, 8) = 409,663,695,276,000 ≒ 4.1×10^14

これが層の数だけ重なります。エキスパート単体が何かを担当しているのではなく、どの8個の束を引いたかが表現になっている。細粒度化が効くのは、この組み合わせ数を稼ぐためです。

アドレスデコーダが少数の線で膨大なワード線を選ぶように、少数の活性化で巨大な表現空間を張る、という絵のほうが実態に合います。

3. Dense という語

3.1 後から付いた対比語

dense（密）という呼び名は、全パラメータを毎トークン使う従来型を指しますが、これはMoEとの対比のなかで一般化した呼称です。文献では、MoEを持たないTransformerベースのLLMをdenseモデル、MoEを組み込んだものをMoEモデルと呼ぶ、といった定義が置かれるのが通例です。

つまり dense はレトロニム（後から区別のために付いた名）に近い性格を持ちます。この点は慣用のレベルの理解です。

疎なのはゲートベクトルのほうです。top-k ルーティングは、N次元のゲートベクトルのうちk個だけを非ゼロにします。DeepSeek-V3 なら256次元中8個。この選択が疎なので、疎なモデルと呼ばれます。

3.2 2:4 スパース性とは別物

ここは半導体寄りの読者にとって重要です。MoEの疎性は、NVIDIA Ampere 以降のテンソルコアが扱う 2:4 構造化スパース性とはまったく別物です。

MoEのエキスパート重み行列そのものは密です。ゼロは入っていません。疎なのは「どのエキスパートを使うか」という選択であって、選ばれたエキスパートの中のGEMMは普通の密行列積です。

したがって疎行列演算のハードは効かず、実際に走るのは、トークンをエキスパートごとに並べ替えてまとめて掛ける grouped GEMM です。Megablocks（arXiv:2211.15841）はMoEをブロックスパース演算として再定式化し、grouped GEMM でトークンドロップなしの dropless MoE を実現しています。Megatron-LM の GroupedMLP は CUTLASS の grouped GEMM を使います。

言い換えると、MoEが削るのは演算そのものではなく、演算する対象の持ち込み方です。演算ユニットから見れば密なままで、変わったのはメモリからどのタイルを引いてくるかの側です。

4. 学習の仕組み

4.1 勾配とルータ崩壊

選ばれなかったエキスパートには、そのトークンからは勾配が来ません。すると、よく選ばれるエキスパートほどよく学習され、さらに選ばれやすくなる、という正のフィードバックが生じます。放置すると少数のエキスパートに偏り、残りが死ぬ。これがルータ崩壊です。

MoE学習の設計の大半は、この一点への対処です。

4.2 負荷分散は世代で変わった

世代	方式	代表	弱点
第一世代	補助損失を主損失に加算	Switch Transformer 系	勾配が言語モデリング損失と干渉する
第二世代	選択時のみバイアスを加算	DeepSeek-V3	更新速度 γ の調整が要る

第一世代は、各エキスパートに割り当てられたトークンの割合と平均ルーティング確率の積を用いた補助損失を、係数αで主損失に加えます。αが小さすぎるとルータ崩壊、大きすぎるとモデル性能が落ちる、というトレードオフがあります。あわせて router z-loss でロジットの発散を抑え、capacity factor で受け入れ上限を決め、溢れたトークンはドロップします。

第二世代は、補助損失が主目的の勾配を歪める問題を避けるために提案されました（arXiv:2408.15664、および DeepSeek-V3 技術レポート）。エキスパートごとにバイアス項 b_i を導入し、top-k 選択のときだけ s_i + b_i の順で並べる。最終的なゲート重みの計算には使いません。各ステップ後、過負荷なら b_i を下げ、低負荷なら上げる。更新速度は、最初の14.3Tトークンで γ=0.001、最後の500Bトークンで γ=0.0 です（全14.8Tトークン中）。終盤でバイアスの更新を止めて固定する運用になっています。

損失関数に触らないので勾配に干渉するノイズが入りません。技術レポートのアブレーションでは従来方式より優れると報告されていますが、これは自己申告値で、網羅的な独立再現があるわけではありません。

4.3 共有エキスパートと細粒度分割

DeepSeekMoE の設計は、細粒度エキスパート分割と共有エキスパート分離の組み合わせです。共有エキスパートは全トークンが必ず通り、あらゆる文脈で共通する知識を集約します。これにより、ルーテッドエキスパートが共通知識を重複して持つ冗長性が減る、という主張です。

半導体的に言えば、共有エキスパートは常時イネーブルの共通ブロック、ルーテッドはデコード信号で選択される専用ブロックにあたります。MoEのなかで意図的な役割分離と言えるのは、この分け方くらいです。

4.4 ゼロから作らない選択肢

Sparse Upcycling（arXiv:2212.05055）は、学習済みdenseチェックポイントのMLP層をE個コピーしてエキスパートにし、ルータを付けてMoE化する手法です。沈んだ学習コストを再利用できます。

ただし素朴なupcyclingはエキスパートが同一コピーから始まるため特化が起きにくい、という指摘もあります（Drop-Upcycling ほか）。

5. 「本当にドメイン別に作る」手法との対比

「分野ごとに専門家を作る」という発想そのものは、研究として実在します。ただしそれらは、通常のMoE事前学習とは別系統です。

手法	論文	設計
DEMix Layers	arXiv:2108.05036 (2021 / NAACL 2022)	各エキスパートを1ドメインに明示的に割り当て。追加・削除・混合が可能
Branch-Train-Merge	arXiv:2208.03306 (2022)	ドメイン別に独立学習し、推論時に重み付きアンサンブル
C-BTM	2023	教師なしでコーパスをクラスタリングし、クラスタごとに学習
Branch-Train-MiX	arXiv:2403.07816 (2024)	ドメイン別に独立学習後、FFNをMoE層に統合しルータを追加学習

共通する動機は通信コストの回避です。ドメインごとに完全に独立して学習できれば、学習中の高価な同期と all-to-all を避けられます。

注目すべきは BTX 論文自身の観察です。著者らは、明示的にエキスパートをドメインに結び付けたが、そのような特化は通常のMoE学習では自然には現れないようだ、と述べ、Mixtral を引用しています。BTX で統合した後でもドメイン特化は部分的にしか残らなかった、とも報告しています。

これらが主流にならなかった理由は、トークン単位で学習された統合ルータを持つMoEのほうが、文脈単位のアンサンブルより性能が高い傾向があるためです。現在はモジュール性やデータガバナンス、並列学習が重要な場面で位置づけられています。

6. 何のためにMoEを使うのか

6.1 パラメータ数とFLOPsの結合を切る

LLMの学習計算量は C ≈ 6ND（N=パラメータ数、D=学習トークン数）で近似されます。係数6は、各重みが1トークンあたり前向きで2 FLOP、後ろ向きで4 FLOP という内訳です。

denseモデルでは、1トークンの計算に総パラメータがそのまま効きます。MoEは、総パラメータを増やしつつ1トークンあたりの活性化パラメータを一定に保てます。つまりFLOPsは活性化パラメータに、メモリは総パラメータに比例し、両者が分離します。

Chinchilla は、計算最適な学習ではパラメータとトークンをほぼ1:20で同時に増やすべきと示しました。denseは 6ND なのでNを上げればDを削るしかない。MoEは総パラメータを増やしてもFLOPsが動かないので、予算をそのままDに回せます。

6.2 何を固定するかで有利が変わる

「MoEとdenseはどちらが良いか」に一言で答えられないのは、比較の土俵が複数あるからです。

揃えるもの	有利な方	理由
総パラメータ数	dense	パラメータあたりの効率はdenseが上
活性化パラメータ数	MoE	同じ計算量でより多くの容量を持てる
学習FLOPs予算	MoE	同じ予算でより多くのトークンを通せる
メモリ容量	dense	MoEは総パラメータ分が常駐する
小バッチのレイテンシ	MoE	読む重みが活性化分で済む
大バッチのスループット	dense	MoEは結局全エキスパートを読む

denseはパラメータあたりの効率がよく、MoEはFLOPsあたりの効率がよい。同じことを裏返しただけです。

6.3 スケーリング則

MoE専用のスケーリング則も整備されています。

• Clark et al. 2022（arXiv:2202.01169）: ルーティングモデルの統一的スケーリング則
• Krajewski/Ludziejewski et al. 2024（arXiv:2402.07871, ICML 2024）: 粒度を新たなハイパラとして導入。denseとMoEの効率差はモデル規模と学習予算を上げるほど広がる。エキスパートサイズをFFN層に合わせる慣行はほぼどの予算でも最適でない
• Abnar et al. 2025（arXiv:2501.12370, Apple, ICLR 2025 SLLM ワークショップ）: 予算制約のもとで最適な疎性が存在する

6.4 幾何平均の目安について

コミュニティでは「MoEは活性化パラメータと総パラメータの幾何平均くらいのdenseに相当する」という目安がよく使われます。DeepSeek-V4-Pro なら √(49×1600) ≈ 280B です。

調べた範囲では、これは導出のある式ではなく、出所の曖昧な経験則です。近い言明として Epoch AI（2024年12月）は、8-wayスパースは短文脈デコードの経済性で総パラメータの半分程度のdenseに相当する、という目安を示し、詳しくは総パラメータを（エキスパート数)^0.44 /（活性エキスパート数)^0.63 で割る、という係数まで挙げています。指数が0.5ずつではないので、幾何平均とは一致しません。

したがって幾何平均の目安は、桁感覚をつかむ道具として扱うのが妥当で、定量的な根拠は弱いと言えます。

6.5 記憶には効くが推論には効きにくい

複数の研究が、MoEの優位は知識の記憶で大きく、多段の推論で小さいと指摘しています。

Jelassi et al. 2024 "Mixture of Parrots"（arXiv:2410.19034, ICLR 2025）は、世界知識タスクの性能は総パラメータ数に支配され、推論タスクの性能は活性パラメータ数により強く依存する、と述べ、エキスパートを増やすと記憶は向上するが推論は飽和すると示しています。

推論側では、Abnar et al. 2025 などが、FLOPsを固定すると数学推論ではより密なモデルが疎なモデルを上回る傾向を報告しています。ただしこの領域は結論が発展途上で、決着したわけではありません。

7. 疎性で減らないコスト

ここが半導体屋にとって最も面白い部分です。「活性化が疎だから安い」は、コストのある側面にしか当てはまりません。

7.1 メモリは総パラメータ分が常駐する

重み・勾配・オプティマイザ状態は、活性化パラメータではなく総パラメータ分がメモリに常駐します。DeepSeek-V3 は活性37Bですが、重みは671B分をHBMに置く必要があります。

推論でも、どのエキスパートが呼ばれるか事前に分からない以上、全エキスパートを常駐させます。FLOPsが50分の1になってもメモリはならない。

だから精度を落とす動機が強くなります。FP4化がエキスパート重みから始まるのは、そこが総量の大半を占めるからです。

7.2 all-to-all 通信は疎性で減らない

エキスパートを複数GPU・ノードに分散配置すると（expert parallelism）、各層で、トークンを担当デバイスへ送る all-to-all（dispatch）と、結果を戻す all-to-all（combine）が発生します。

どのトークンも必ずどこかのエキスパートへ行く以上、この通信量は疎性では減りません。

DeepSeek-V3 はこれに対し、前向き・後ろ向きの計算と通信を重ねる DualPipe、1トークンの送り先を最大4ノードに制限する node-limited routing、そしてPTXレベルの最適化で dispatch/combine を計算と並列化しました。技術レポートは、cross-node expert parallelism により計算対通信比がほぼ1:1になる、と述べています。通信がいかに重いかが分かります。

7.3 バッチサイズで挙動が変わる

バッチ1のデコードはメモリ帯域律速で、読むのは活性化パラメータ分の重みだけです。ここがMoEの推論上の旨味になります。

一方で大バッチでは、多数のトークンがそれぞれ別のエキスパートを叩くため、結局ほぼ全エキスパートが起動します。256中8を選ぶ構成なら、バッチ128程度で98%のエキスパートが読まれる計算です。すると総パラメータ分の重みを読むことになり、活性化パラメータの優位が薄れます。

ただしこの98%は、各トークンが独立に一様にエキスパートを選ぶと仮定したときの理想的な上限です。実際のルーティングには相関があります。前章で見た位置的局所性、つまり連続するトークンが同じエキスパートへ行きやすい性質は、所与のバッチで起動するエキスパートの数を減らす方向に働きます。一方で負荷分散機構は一様に近づける方向に働くので、両者は逆向きです。実測はこれよりやや緩やかな立ち上がりになると考えるのが妥当でしょう。

逆に言えば、演算律速に持ち込むには dense より桁違いに大きな同時実行数が要る、ということでもあります。

7.4 ローカル推論では総パラメータが効く

VRAMや統一メモリが限られる環境では、律速がFLOPsではなくメモリ容量になります。この場合、同じメモリを占めるならdenseのほうが品質が高くなりやすい、という議論が成り立ちます。

実証として "Does Mixture-of-Experts Actually Help Inference on Consumer and Edge Hardware?"（arXiv:2606.21428）は、OLMoE-1B-7B（活性1.3B / 総6.9B）を Apple M2 Pro と Jetson Orin Nano 8GB で同活性のdenseと比較しました。活性パラメータ優位はラップトップで一部しか実現せず（同活性denseに約10%及ばず）、エッジでは劣化しました（約31%遅く、トークンあたりエネルギー2.1倍）。ルーティング自体はMoEブロック計算の9%未満で、差は総パラメータのメモリ圧に由来すると報告しています。

論文の結論は、帯域律速のエッジハードウェアでは推論コストは活性ではなく総パラメータに追従し、疎な活性化はデバイスが制約されている部分を買い戻さない、というものです。ただし単一MoEモデル・2デバイスの研究である点には注意が要ります。

8. 2026年7月時点の主要モデル

各社の技術レポートと発表に基づく概観です。一部に推定と自己申告値を含みます。

モデル	種別	総パラメータ	活性化	活性化率
Kimi K3	MoE	2.8T	非公表（逆算で50〜90B）	エキスパート数基準で1.8%（896中16）
DeepSeek-V4-Pro	MoE	1.6T	49B	3.1%
DeepSeek-V3	MoE	671B	37B	5.5%
Llama 4 Maverick	MoE	約400B	約17B	4.3%
Qwen3-235B-A22B	MoE	235B	22B	9.4%
gpt-oss-120b	MoE	116.8B	5.13B	4.4%
Mixtral 8x7B	MoE	46.7B（論文表記は47B）	12.9B（論文表記は13B）	27.6%
Llama 3.1 405B	Dense	405B	405B	100%

Kimi K3 だけは注意が要ります。総パラメータ2.8Tと896中16活性という構成は公表されていますが、活性化パラメータは非公表です。第三者の逆算も50〜60Bとするものと80〜90Bとするものがあり、幅が2倍近く開いています。重みと技術レポートが公開されれば確定します。

トレンドは活性化率の低下、エキスパート数の増加、細粒度化です。2025年から2026年にかけて、主要なオープンウェイトのフラッグシップはほぼMoEになりました。

denseがまだ選ばれるのは、小規模モデル、メモリが厳しい環境、ファインチューンの容易さが重要な用途、推論重視で計算予算が潤沢な場合などです。

9. よくある誤解

誤解	実際
使わない分野のエキスパートを削除して軽量化できる	どのトークンがどのエキスパートを呼ぶか事前に決まらず、番号と役割の対応も固定でない。ドメイン別に固まっていないので前提が成り立たない
ドメインごとにシャーディングすれば通信が要らない	ルーティングはトークン単位・層ごと。同じ文でも層ごとに別エキスパートへ飛ぶので all-to-all は避けられない
エキスパートは並列に動くから速い	選択されたエキスパートのGEMMは並列化できるが、並べ替え・all-to-all・小GEMMのオーバーヘッドが伴う
総パラメータが大きいほど賢い	記憶は総パラメータに効きやすいが、推論は活性化パラメータ寄り
MoEは複数モデルのアンサンブルである	アンサンブルは独立した完全なモデルの出力を混ぜる。MoEは1つのモデル内でトークンごと・層ごとにFFNブロックを選ぶ
MoEの疎性はテンソルコアの疎性で加速できる	別物。エキスパート重み行列自体は密で、走るのは grouped GEMM

おわりに

MoEの「エキスパート」は、専門分野を持った賢者ではなく、トークンごとに選ばれるFFNブロックです。名前が生む直感とは裏腹に、Mixtral では分野ではなく構文と位置で選ばれており、負荷分散はむしろ分野純粋性を壊す方向に働きます。

MoEの本質は、パラメータ数とFLOPsの結合を切ることにあります。そして疎性で得をするのはFLOPsとバッチ1デコードの読み出しだけで、メモリ常駐量と all-to-all 通信は総パラメータに従います。

半導体屋の比喩でまとめると、MoEはアドレスデコーダが少数のワード線を選ぶように、巨大なパラメータバンクから少数のブロックを選んで計算する構造化スパース性です。バンク全体はチップに載せておかねばならず、選択線を配るコストも規模に比例して残る。

冒頭の1.8%に戻ると、これは「896人の専門家のうち16人が働いている」のではなく、「896個に細分化されたFFNブロックから16個を引く組み合わせで表現している」という話でした。何が減って何が減らないかを正しく持っておくことが、この構造を評価するうえで一番実用的だと考えます。

参考

一次情報（論文・技術レポート）

• Jacobs, Jordan, Nowlan, Hinton, "Adaptive Mixtures of Local Experts," Neural Computation 3(1):79–87, 1991
• Shazeer et al., "Outrageously Large Neural Networks"（arXiv:1701.06538, 2017）
• Lepikhin et al., "GShard"（arXiv:2006.16668, 2020 / ICLR 2021）
• Fedus et al., "Switch Transformers"（JMLR 2022）
• Jiang et al., "Mixtral of Experts"（arXiv:2401.04088, 2024）
• Dai et al., "DeepSeekMoE"（arXiv:2401.06066, ACL 2024）
• DeepSeek-AI, "DeepSeek-V3 Technical Report"（arXiv:2412.19437, 2024）
• Wang et al., "Auxiliary-Loss-Free Load Balancing Strategy for MoE"（arXiv:2408.15664, 2024）
• Muennighoff et al., "OLMoE"（arXiv:2409.02060, 2024）
• Komatsuzaki et al., "Sparse Upcycling"（arXiv:2212.05055, 2022 / ICLR 2023）
• Gale et al., "MegaBlocks"（arXiv:2211.15841, MLSys 2023）
• Gururangan et al., "DEMix Layers"（arXiv:2108.05036, 2021 / NAACL 2022）
• Sukhbaatar et al., "Branch-Train-MiX"（arXiv:2403.07816, 2024）

スケーリング則

• Clark et al., "Unified Scaling Laws for Routed Language Models"（arXiv:2202.01169, ICML 2022）
• Krajewski/Ludziejewski et al., "Scaling Laws for Fine-Grained Mixture of Experts"（arXiv:2402.07871, ICML 2024）
• Abnar et al., "Parameters vs FLOPs"（arXiv:2501.12370, Apple, ICLR 2025 SLLM ワークショップ）
• Jelassi et al., "Mixture of Parrots"（arXiv:2410.19034, ICLR 2025）
• Hoffmann et al., Chinchilla（2022）、Besiroglu et al. による復元（arXiv:2404.10102, 2024）

推論効率

• "Does Mixture-of-Experts Actually Help Inference on Consumer and Edge Hardware?"（arXiv:2606.21428）
• Epoch AI, "How do mixture-of-experts models compare to dense models in inference?"（2024年12月）

前回の記事

図について

本文中の図は公開情報をもとに作成しました。

数字の扱いについて

• C(256,8) = 409,663,695,276,000 は数学的事実です
• 第8章の数値には、企業の自己申告値と第三者による逆算が含まれます。クローズドモデルの内部構成は確認できません
• Kimi K3 の活性化パラメータは非公表で、第三者の逆算に50〜60Bとするものと80〜90Bとするものがあります。本記事はどちらも採用せず幅のまま記載しています
• 幾何平均による dense 等価規模の目安は、導出のある式ではなく出所の曖昧な経験則です
• エキスパートのドメイン特化については、Mixtral と OLMoE で結論が異なります。本記事はどちらか一方を採用せず、両方を併記しています
• 第2章で引用した Mixtral 技術レポートの結論は、原文では示唆の形で書かれています。本記事もその温度に合わせています
• DeepSeek-V3 の補助損失フリー負荷分散の優位性は技術レポートのアブレーションによるもので、網羅的な独立再現があるわけではありません
• 第7章の Megatron-LM の GroupedMLP に関する記述は、公開実装の一般的な説明に基づくもので、一次ソースで直接確認したものではありません