はじめに
Xiaomi からとんでもないモデルが登場しました。その名も 「MiMo-V2-Flash」 です。
309B (3090億) パラメータという超巨大モデルでありながら、推論時にアクティブになるパラメータはわずか 15B 。
これにより、「Flash」 の名の通り、圧倒的な推論速度と高い性能を両立しています。
この記事では、この MiMo-V2-Flash の凄さを、技術的な仕組みから実際の使い方まで徹底解説します。
MiMo-V2-Flash とは？
Xiaomi が開発した、推論、コーディング、エージェントタスクに特化した最新の基盤モデルです。
主な特徴
-
超効率的なMoE (Mixture of Experts) アーキテクチャ
- 総パラメータ数: 309B
- アクティブパラメータ数: 15B
- これにより、300Bクラスの知識量を持ちながら、15Bクラスの軽快な動作を実現しています。
-
256K の超ロングコンテキスト
- 膨大なドキュメントやコードベース全体を一度に読み込むことが可能です。
-
日本語を含む多言語対応
- 公式に高い多言語性能が謳われています。
技術の深堀り：なぜ速いのか？
1. Hybrid Sliding Window Attention (SWA)
従来のアテンション機構とは異なり、Sliding Window Attention (SWA) を採用しています。
- 5層のSWA層に対して1層のGlobal Attention層という 5:1 の比率で構成。
- ウィンドウサイズを 128トークン という極小サイズに設定（通常は2048~4096）。
- これにより、KVキャッシュのメモリ使用量を 約1/6 に削減し、高速化を実現しています。
2. Multi-Token Prediction (MTP)
推論時に1つずつトークンを予測するのではなく、複数のトークンを同時に予測 する技術です。
- 従来の投機的デコーディング (Speculative Decoding) と異なり、モデル自体に統合されています。
- これにより、生成速度が 最大3倍 に向上しています。
ベンチマーク性能
MiMo-V2-Flash は、コーディングや数学、エージェントタスクにおいて、既存のトップモデルと互角以上の性能を叩き出しています。
- AIME 2025: 94.1% (数学的推論)
- 多言語コーディング: 非常に高いスコアを記録
特に、Agentic RL (強化学習) によって鍛え上げられており、GitHubのIssue解決のような複雑なタスクで高い能力を発揮します。
使い方 (SGLang)
推奨されている SGLang を使ったデプロイ方法を紹介します。
インストール
pip install "sglang[all]"
サーバーの起動
python -m sglang.launch_server \
--model-path XiaomiMiMo/MiMo-V2-Flash \
--tp 8 \
--trust-remote-code
※ tp 8 は Tensor Parallelism の数です。VRAM容量に合わせて調整してください。
API リクエスト例 (OpenAI互換)
import openai
client = openai.Client(
base_url="http://127.0.0.1:30000/v1",
api_key="EMPTY",
)
response = client.chat.completions.create(
model="XiaomiMiMo/MiMo-V2-Flash",
messages=[
{"role": "system", "content": "あなたは優秀なAIアシスタントです。"},
{"role": "user", "content": "MiMo-V2-Flashの長所を3つ挙げて。"},
],
temperature=0.7,
)
print(response.choices[0].message.content)
まとめ
Xiaomi MiMo-V2-Flash は、パラメータサイズの常識を覆す、非常に野心的なモデルです。
特に 309B -> 15B という極端なMoE構成と、MTP による高速化は、今後のLLM開発のトレンドになるかもしれません。
ぜひ皆さんも手元の環境（といってもハイスペックなGPUが必要ですが…）で試してみてください！