https://www.alphaxiv.org/overview/2604.12374 を読んだメモです。
書誌情報
研究機関：NVIDIA
- Nemotron 3 SuperはNVFP4での低精度学習をしている
- Mamba2, LatentMoE, Attentionのハイブリッドアーキテクチャである
- LatentMoEは、MoEの前に潜在空間に射影することで計算量を落とす
- マルチトークン予測(MTP)は投機的デコーディングをネイティブでサポートする
Nemotron 3 Super: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
0
Posted at
Register as a new user and use Qiita more conveniently
- You get articles that match your needs
- You can efficiently read back useful information
- You can use dark theme