もう2026年も後半ですが、CVPR 2025 / ICCV 2025 に採択されたMamba系論文9本を一気に紹介します。Backbone設計から画像復元、動画超解像、3Dメッシュ生成、マルチモーダルまで、Mamba（State Space Model）がVision分野のあらゆるタスクに浸透している現状を俯瞰できる特集です。
目次
- MambaVision: A Hybrid Mamba-Transformer Vision Backbone
- MambaVLT: Time-Evolving Multimodal State Space Model for Vision-Language Tracking
- Mamba as a Bridge（MFuser）
- MambaIC: State Space Models for High-Performance Learned Image Compression
- MambaIRv2: Attentive State Space Restoration
- MeshMamba: State Space Models for Articulated 3D Mesh Generation and Reconstruction
- VSRM: A Robust Mamba-Based Framework for Video Super-Resolution
- PRE-Mamba: A 4D State Space Model for Ultra-High-Frequent Event Camera Deraining
- End-to-End Multi-Modal Diffusion Mamba（MDM）
- まとめ
1. MambaVision: A Hybrid Mamba-Transformer Vision Backbone 解説
CVPR 2025 | Ali Hatamizadeh, Jan Kautz (NVIDIA)
概要
MambaをVision Backboneとして使うとき、Mamba単体ではlong-rangeの空間依存性を十分に捉えられません。MambaVisionはMambaブロックの後段にself-attentionブロックを配置するハイブリッド設計で、ImageNet-1KのTop-1精度とスループットの両方でSOTAを達成しています。
はじめに
VMambaやVimなどMambaベースのVision Backboneは効率性に優れますが、精度ではTransformerに劣ります。一方、ViTはglobal attentionの計算コストが大きい。両者のトレードオフを解消する設計が求められていました。
提案手法
MambaVisionの提案は2つあります。
1つめはMambaの定式化の再設計です。SSMを通さない対称パス（symmetric path without SSM）を追加したmixerブロックを導入し、global contextのモデリング能力を強化しています。
2つめは階層構造でのMamba-Transformerハイブリッド配置です。ablation studyで、最終層にself-attentionブロックを入れるとlong-range空間依存性の捕捉が大きく改善されることを確認しています。初期層はMamba mixerで効率的に処理し、最終層だけself-attentionを使う構成です。
図:
論文 Figure 3より
この図はMambaVisionの階層構造を示しています。4段階の階層で、各段階はMambaVision mixerブロックまたはself-attentionブロックで構成されます。初期段階（Stage 1〜3）はMamba mixerで効率的に処理し、最終段階（Stage 4）でself-attentionが入ります。MambaVision mixerの内部には、SSMパスとそれを通さない対称パスが並列に走っています。
評価実験
ImageNet-1KでMambaVision-Tが82.3%、MambaVision-Lが85.0%のTop-1精度を達成し、同等スループットの既存手法を上回っています。MS-COCOの検出・セグメンテーション、ADE20Kのセマンティックセグメンテーションでも高い性能を示しています。
結論
Mamba単体のlong-range依存の弱さを指摘し、最終層へのself-attention追加というシンプルな設計で精度とスループットの両面で既存手法を上回りました。
実装: github.com/NVlabs/MambaVision
参考文献: 「MambaVision: A Hybrid Mamba-Transformer Vision Backbone」, Ali Hatamizadeh, Jan Kautz, CVPR, 2025.
2. MambaVLT: Time-Evolving Multimodal State Space Model for Vision-Language Tracking 解説
CVPR 2025 | Xinqi Liu, Li Zhou, Zikun Zhou, Jianqiu Chen, Zhenyu He
概要
Vision-Language Trackingでは時間情報の活用とリファレンス特徴の動的更新が課題です。MambaVLTはMambaのstate spaceの時間発展を利用して、マルチモーダルな時系列情報を線形計算量で記憶・更新するトラッカーです。
はじめに
既存のTransformerベーストラッカーは、離散的にcontext promptを抽出・更新します。予測結果からリファレンスを切り出して次フレームに渡す方式なので、予測精度への依存が強く、エラーが蓄積しやすい問題があります。
図1: 問題の例
論文 Figure 1より
この図は既存手法とMambaVLTの時間情報の扱い方の違いを示しています。
左側 (a) の従来手法は、各フレームで予測からcontext promptを切り出し、離散的に渡すだけです。右側 (b) のMambaVLTは、Mambaのstate spaceを時間方向に連続的に引き継ぎます。state spaceが各フレームの情報を自然に蓄積するので、過去の追跡対象の変化パターンが連続的にモデリングされます。
提案手法
MambaVLTは3つのモジュールから構成されます。
Hybrid Multimodal State Space（HMSS）ブロックが特徴です。多階層のstate space memory $SS$ を保持し、各フレーム処理後のfinal state spaceを蓄積します。Mambaはautoregressiveに系列を処理するため、final state spaceには処理済みトークンのglobal情報が含まれます。新しいフレームの処理時に、このstate space memoryからinitial stateを導出して初期化します。さらに、modality-guided bidirectional scanで、テキスト先頭順とテンプレート先頭順の2方向スキャンを行い、各モダリティが互いのガイド情報となるようにしています。
Selective Locality Enhancement（SLE）ブロックは、HMSSでglobalなcross-frame情報をモデリングした後に、現在フレーム内のモダリティ間依存を強化します。linear attentionにglobal selective map $A_l$ を加え、線形計算量のまま大域的な知覚能力を確保しています。
Modality-selectionモジュールは、視覚リファレンスとテキストリファレンスの信頼性を動的に重み付けして融合します。
図2: 提案手法の概念図
論文 Figure 2より
MambaVLTの全体構成図です。視覚エンコーダ（Vmamba-tiny）とテキストエンコーダ（Mamba-130m）で特徴を抽出し、Time-Evolving Multimodal Fusionモジュールで統合します。state space memoryが過去フレームの情報を保持し、各フレームでinitial stateとして注入されます。Modality-selectionモジュールが視覚・テキスト参照の重みを動的に調整し、最終的にlocalization headで対象を位置特定します。
評価実験
TNL2kでAUC 60.1%（+0.6%）、OTB99でAUC 73.2%（+2.3%）、MGITでPRE 55.9%（+1.6%）と、複数ベンチマークで既存のSOTAトラッカーを上回っています。
結論
Mambaのstate space evolving機構を使い、離散的ではなく連続的に時間情報を保持・更新するトラッキング手法を提案しました。
GitHub: 未記載
参考文献: 「MambaVLT: Time-Evolving Multimodal State Space Model for Vision-Language Tracking」, Xinqi Liu, Li Zhou, Zikun Zhou, Jianqiu Chen, Zhenyu He, CVPR, 2025.
3. Mamba as a Bridge（MFuser）解説
CVPR 2025 Highlight | Xin Zhang, Robby T. Tan
概要
Domain Generalized Semantic Segmentation（DGSS）で、VFM（DINOv2）とVLM（CLIP）の特徴を同時に活用する手法がありませんでした。MFuserはMambaの線形計算量を活かして2つのモデルの特徴を効率的に融合します。
はじめに
VFMはfine-grainedな特徴に強いがテキスト整合性がない。VLMはテキスト整合性に強いが空間的局在化が粗い。2つは相補的ですが、パッチトークンを合わせるとattentionの計算が重くなります。
図1: 問題の例
論文 Figure 1より
この図はVFMとVLMの特徴の違いを可視化しています。
左のVFM（DINOv2）のPCA特徴は、車と木など異なるオブジェクトを明確に区別できますが、テキストとの対応がありません。右のVLM（EVA02-CLIP）のimage-text similarity mapは「car」というクエリに対して反応しますが、空間的な局在化が粗い。MFuserは両方の長所を統合し、precise localityとrobust text alignmentの両方を持つ特徴を生成しています。
提案手法
MFuserは2つのコンポーネントから成ります。
MVFuserはco-adapterとして、VFMとVLMを同時にfine-tuneします。2つのモデルのパッチトークンをMambaで処理し、sequential dynamicsとspatial dynamicsの両方を捉えます。Mambaの線形計算量のおかげで、トークン数が倍になってもコストが抑えられます。
MTEnhancerはhybrid attention-Mambaモジュールで、テキスト埋め込みに画像情報を反映させます。CLIPのテキスト特徴はデフォルトでは画像非依存ですが、MTEnhancerが画像priorsを組み込むことで、シーンに適応したテキスト表現になります。
図2: 提案手法の概念図
論文 Figure 2より
MFuserの全体構造です。DINOv2とCLIPの2つのエンコーダから特徴を抽出し、MVFuserがMambaベースのco-adapterとして特徴を融合します。MTEnhancerがテキスト埋め込みを画像情報で強化し、最終的にセグメンテーションヘッドに渡します。
評価実験
5つのDGSSベンチマークで既存手法を大幅に上回り、特にBDD100KとMapillaryで顕著な改善を示しています。
結論
VFMとVLMの融合にMambaを使うというシンプルな着想で、DGSSの精度を大きく改善しました。
実装: github.com/devinxzhang/MFuser
参考文献: 「Mamba as a Bridge: Where Vision Foundation Models Meet Vision Language Models for Domain-Generalized Semantic Segmentation」, Xin Zhang, Robby T. Tan, CVPR (Highlight), 2025.
4. MambaIC: State Space Models for High-Performance Learned Image Compression 解説
CVPR 2025 | Fanhu Zeng, Hao Tang, Yihua Shao, Siyu Chen, Ling Shao, Yan Wang
概要
学習型画像圧縮では、計算効率と冗長性モデリングの両立が課題です。MambaICはSSMのlong-range依存捕捉能力を圧縮パイプラインの複数段階に導入し、効率と圧縮性能を同時に改善しています。
はじめに
Transformerベースの圧縮手法は高性能ですが計算コストが大きく、CNNベースはlong-rangeの冗長性を捉えにくい。特に高解像度画像ではこのトレードオフが深刻になります。
提案手法
MambaICは3つの改善を行っています。
1つめはrefined context modelingです。SSMのhidden stateの表現を適応的に洗練し、圧縮に必要なコンテキスト情報を強化します。
2つめはchannel-spatialエントロピーモデルへのwindowベース局所attentionの導入です。空間方向の冗長性を削減し、エントロピー推定の精度を上げます。
3つめはSSMベースのメインエンコーダ・デコーダで、long-rangeの空間依存をlinear complexityで捉えます。
図:
論文 Figure 2より
MambaICの全体構成です。エンコーダ・デコーダにSSMブロックを配置し、エントロピーモデルにchannel-spatial contextとwindow-based local attentionを組み合わせています。
評価実験
Flickr30k（30k画像）という比較的小さい学習データでも、OpenImages（400k）で学習した既存手法と同等以上のBD-rateを達成。高解像度画像での圧縮速度も大幅に改善しています。
結論
SSMの効率性を画像圧縮に持ち込み、高解像度画像での圧縮性能と速度の両立を実現しました。
実装: github.com/AuroraZengfh/MambaIC
参考文献: 「MambaIC: State Space Models for High-Performance Learned Image Compression」, Fanhu Zeng, Hao Tang, Yihua Shao, Siyu Chen, Ling Shao, Yan Wang, CVPR, 2025.
5. MambaIRv2: Attentive State Space Restoration 解説
CVPR 2025 | Hang Guo, Yong Guo, Yaohua Zha, Yulun Zhang, Wenbo Li, Tao Dai, Shu-Tao Xia, Yawei Li
概要
MambaIR（ECCV 2024）の発展版です。Mambaの因果的モデリングでは、スキャン系列上の先行トークンしか参照できず、画像全体のピクセルを活用しきれません。MambaIRv2はattentive state-space equationで非因果的モデリングを実現し、1回のスキャンで画像全体を見渡せるようにしました。
はじめに
Mambaベースの画像復元は効率的ですが、因果的制約のため、あるピクセルはスキャン順で自分より前のピクセルしか参照できません。これを補うために4方向スキャンなどが使われてきましたが、冗長な計算になります。
図1: 問題の例
論文 Figure 1より
この図は既存のcausal state-space modelingとMambaIRv2のattentive state-space modelingの違いを示しています。
左側 (a) の従来方式では、スキャン済みトークンしか参照できず、まだスキャンしていないピクセルへの知覚が制約されています。多方向スキャンで補おうとするとコストが増えます。右側 (b) のMambaIRv2は、1回のスキャンで画像全体にattendできます。
提案手法
Attentive State-Space Equationは、通常のMambaの状態更新式にattention的な項を追加します。通常のMambaでは
$h_{i} = \bar{A}_{i} h_{i-1} + \bar{B}_{i} x_{i}$
でstate spaceが更新されますが、これだとスキャン済み系列の情報しか入りません。MambaIRv2ではViTのnon-causal modeling能力を統合し、スキャン系列外のトークンにもattendできる方程式を導入しています。
Semantic-Guided Neighboring（SGN）は、画像上で物理的に離れているがテクスチャが類似したピクセル同士のinteractionを促進します。Mambaの状態遷移ではlong-range decayが起きるため、遠いピクセルの情報が減衰しがちですが、SGNが意味的に近いピクセルを近傍として接続することでこの問題を緩和します。
図2: 提案手法の概念図
論文 Figure 2より
MambaIRv2の全体図です。Attentive State-Space Module（ASSM）の内部では、通常のMambaスキャンにattentive componentが追加され、1スキャンで画像全体の情報を活用できます。SGNが遠距離の類似ピクセルを結びつける様子も示されています。
評価実験
Lightweight SRでSRFormerをパラメータ9.3%減で0.35dB上回り、Classic SRでHATを最大0.29dB上回っています。画像デノイズ、JPEG artifact removalでも既存手法を凌駕しています。
結論
Mambaの因果的制約を解消するattentive state-space equationを提案し、1回スキャンで画像全体を見渡せる効率的な画像復元を実現しました。
参考文献: 「MambaIRv2: Attentive State Space Restoration」, Hang Guo, Yong Guo, Yaohua Zha, Yulun Zhang, Wenbo Li, Tao Dai, Shu-Tao Xia, Yawei Li, CVPR, 2025.
6. MeshMamba: State Space Models for Articulated 3D Mesh Generation and Reconstruction 解説
ICCV 2025 | Yusuke Yoshiyasu, Leyuan Sun, Ryusuke Sagawa
概要
Transformerベースの3Dメッシュ生成は頂点数500程度が限界です。MeshMambaはMamba-SSMの線形計算量を活かし、10,000頂点超のメッシュを扱えます。
はじめに
3D人体メッシュの生成・復元では、頂点数がそのまま系列長になります。Transformerでは二乗計算量のため500頂点程度が実用的な上限で、手指や顔の表情を含む全身メッシュは扱えませんでした。アップサンプリングで解像度を上げると局所的な形状が失われます。
図1: 問題の例
論文 Figure 1より
従来の粗い解像度（500頂点）のメッシュと、MeshMambaで生成した高密度メッシュ（10,000+頂点）の比較です。粗いメッシュでは衣服や手の形状が表現できないのに対し、MeshMambaは服のシワや手指の形状まで捉えています。
提案手法
MeshMambaのポイントはメッシュ頂点のシリアライズです。Mambaは1D系列を処理するため、3Dメッシュの頂点を1D順序に変換する必要があります。著者らは2つの方法を提案しています。
1つめは体パーツアノテーションに基づくソートです。頭→胴体→腕→手→脚→足と体の部位順に頂点を並べ、関節構造を尊重した順序にします。
2つめはテンプレートメッシュの3D座標に基づくソートです。テンプレートの頂点座標でソートすることで、空間的に近い頂点が系列上でも近くなります。
この順序付けにより、MambaがメッシュのStructureを自然に学習できます。MeshMambaの上に、MambaDiff3D（拡散モデルによる3Dメッシュ生成）とMamba-HMR（単一画像からの人体メッシュ復元）を構築しています。
図2: MeshMambaの図
論文 Figure 2より
メッシュ頂点をパーツ順にシリアライズし、Mamba層で処理する流れです。拡散モデル（MambaDiff3D）では、ノイズ付きメッシュをMamba層で逐次的にデノイズして生成します。
評価実験
MambaDiff3Dは3D人体生成タスクで既存手法を上回り、服や把持手のある高密度メッシュの生成に成功しています。Mamba-HMRは全身（顔・手を含む）メッシュ復元を実時間近くで実現しています。
結論
メッシュ頂点の構造を尊重したシリアライズで、Mambaを3Dメッシュに適用する道を開きました。
GitHub: 未記載
参考文献: 「MeshMamba: State Space Models for Articulated 3D Mesh Generation and Reconstruction」, Yusuke Yoshiyasu, Leyuan Sun, Ryusuke Sagawa, ICCV, 2025.
7. VSRM: A Robust Mamba-Based Framework for Video Super-Resolution 解説
ICCV 2025 | Dinh Phu Tran, Dao Duy Hung, Daeyoung Kim
概要
動画超解像（VSR）では長い時空間dependencyを効率よく扱う必要があります。VSRMはMambaで線形計算量と大受容野を両立し、時空間特徴の双方向抽出とdeformableなフレーム間アライメントを実現しています。
はじめに
CNNは局所受容野が限られ、Transformerは二乗計算量で長系列が苦手。VSRにはlong-rangeの時空間モデリングと、フレーム間の正確なアライメントの両方が必要です。
提案手法
VSRMは3つのモジュールで構成されます。
Spatial-to-Temporal Mamba（S2T Mamba）は、まず空間方向にMambaで特徴を抽出し、次に時間方向に伝播させます。空間の局所パターンを先に捉えてから時間的な変化を追うアプローチです。
Temporal-to-Spatial Mamba（T2S Mamba）はその逆で、先に時間方向のdependencyを捉えてから空間に展開します。S2TとT2Sを組み合わせることで、時空間特徴を双方向から抽出します。
Deformable Cross-Mamba Alignment（DCMA）は、隣接フレーム間のアライメントにdeformable cross-mamba機構を使います。固定的なoptical flowベースのアライメントではなく、動的で柔軟な補償を行い、特徴のひずみを防ぎます。
図: VSRMの図
論文 Figure 2より
入力フレーム群がS2T MambaとT2S Mambaで時空間特徴を抽出され、DCMAで隣接フレームとアライメントされた後、再構成モジュールで高解像度フレームが出力される流れです。
評価実験
REDS4、Vimeo-90K、Vid4などのベンチマークで既存のCNN・Transformerベース手法と比較し、線形計算量でありながら同等以上の性能を達成しています。
結論
Mambaの線形計算量と大受容野をVSRに活かし、deformable cross-mamba alignmentで動的なフレーム間補償を実現しました。
GitHub: 未記載
参考文献: 「VSRM: A Robust Mamba-Based Framework for Video Super-Resolution」, Dinh Phu Tran, Dao Duy Hung, Daeyoung Kim, ICCV, 2025.
8. PRE-Mamba: A 4D State Space Model for Ultra-High-Frequent Event Camera Deraining 解説
ICCV 2025 | Ciyu Ruan, Ruishan Guo, Zihang Gong, Jingao Xu, Wenhan Yang, Xinlei Chen
概要
イベントカメラは高時間分解能を持ちますが、雨天では密なノイズが発生します。PRE-Mambaはイベントデータを4D点群として直接処理し、Multi-Scale State Space Modelで雨のダイナミクスを線形計算量で捉えます。
はじめに
既存のイベント除雨手法はフレームベースの集約を行うため、イベントカメラの高時間分解能を犠牲にしています。または、精度と計算量のトレードオフに悩まされています。
図1: 問題の例
論文 Figure 1より
この図は (a) 雨がイベントカメラデータに与える影響と、(b) フレームベース集約 vs 生データ直接サンプリングの違い、(c) multi-scale state space modelの構造、(d) PRE-Mambaの除雨結果を示しています。
注目すべきは (b) で、フレームベースの集約では時間方向に情報を潰してしまいますが、PRE-Mambaは生のイベントデータを直接サンプリングして時間分解能を保持しています。
提案手法
PRE-Mambaは3つの要素で構成されます。
4D Event Cloud表現は、イベントストリームを $(x, y, t, p)$ の4D点群として扱います。dual temporal scale（intra-windowとinter-window）を統合し、短い時間窓内の微細な変化と、長い時間窓間のトレンドの両方を保持します。
STDF（Spatio-Temporal Decoupling and Fusion）モジュールは、浅い段階で時間情報と空間情報を分離して処理し、その後相互作用させます。雨粒は時空間的に特徴的なパターンを持つため、分離処理が効果的です。
MS3M（Multi-Scale State Space Model）は、dual-temporalとmulti-spatialのスケールにまたがる雨のダイナミクスを、SSMの線形計算量で捉えます。周波数ドメインの正則化も加えて除雨精度を高めています。
図2: 提案手法の概念図
論文 Figure 2より
PRE-Mambaの全体パイプラインです。4D点群がSTDFで時空間分離・融合され、MS3Mで多スケール処理された後、デコーダで除雨済みイベントが出力されます。
評価実験
EventRain-27Kデータセットで、SR 0.95、NR 0.91、処理速度0.4s/M eventsを、わずか0.26Mパラメータで達成しています。異なる雨強度、視点変化、雪にも汎化しています。
結論
イベントカメラの4Dデータに対してMambaを適用し、時間分解能を保ったまま軽量かつ高精度な除雨を実現しました。
実装: github.com/softword-tt/PRE-Mamba
参考文献: 「PRE-Mamba: A 4D State Space Model for Ultra-High-Frequent Event Camera Deraining」, Ciyu Ruan, Ruishan Guo, Zihang Gong, Jingao Xu, Wenhan Yang, Xinlei Chen, ICCV, 2025.
9. End-to-End Multi-Modal Diffusion Mamba（MDM）解説
ICCV 2025 | Chunhao Lu, Qiang Lu, Meichen Dong, Jake Luo
概要
既存のマルチモーダルモデルは入力・出力に別々のエンコーダ・デコーダを使い、モダリティ間の統一的な表現学習を妨げています。MDMは、MambaベースのDiffusionモデルと統一VAEで画像生成とテキスト生成を1つのモデルで処理します。
はじめに
MonoFormer、LlamaGen、Chameleonなどのend-to-endマルチモーダルモデルが登場していますが、エンコーダ・デコーダの分離が共同表現学習のボトルネックでした。
提案手法
MDMの設計は3つのポイントがあります。
統一VAEがエンコーダとデコーダの両方を担います。画像はVQVAEで離散トークンに変換され、テキストとともに同一のVAEフレームワークで処理されます。
Mamba-2ベースのDiffusionが中核です。マルチステップの選択的Diffusionプロセスで、モダリティ固有の情報を段階的に生成・洗練します。Mamba-2の選択機構がノイズ除去の各ステップで関連情報を効率的に選択します。
Scan Switchが画像トークンとテキストトークンの処理順序を切り替えます。画像とテキストを時間的にモデリングし、各モダリティの情報を効率的に統合します。
図: MDMのフレームワーク
論文 Figure 2より
MDMの全体構成図です。入力（キャプション、VQVAE処理済み画像、質問文）がVAEでエンコードされ、padding・flatten操作を経て、Diffusion Mambaの反復処理で再構成されます。Scan Switchが画像とテキストのスキャン順序を切り替え、Mamba-2のselection機構で効率的に情報が選択される様子が示されています。
評価実験
画像生成、image captioning、VQA、テキスト理解・推論の各タスクで、MonoFormer、LlamaGen、Chameleonなどのend-to-endモデルを上回り、GPT-4VやGemini Proとも競合する性能を示しています。
結論
Mambaベースのdiffusionと統一VAEでマルチモーダル処理を統合し、画像生成・テキスト理解の両方で高い性能を達成しました。
GitHub: 未記載
参考文献: 「End-to-End Multi-Modal Diffusion Mamba」, Chunhao Lu, Qiang Lu, Meichen Dong, Jake Luo, ICCV, 2025.
まとめ
| # | 論文 | 会議 | タスク | Mambaの役割 |
|---|---|---|---|---|
| 1 | MambaVision | CVPR 2025 | 画像分類・検出・セグメンテーション | Backbone（+最終層Self-Attention） |
| 2 | MambaVLT | CVPR 2025 | Vision-Language Tracking | 時系列マルチモーダル融合・state space memory |
| 3 | MFuser | CVPR 2025 Highlight | Domain Generalized Segmentation | VFM-VLM特徴融合の橋 |
| 4 | MambaIC | CVPR 2025 | 学習型画像圧縮 | Context modeling・エントロピーモデル |
| 5 | MambaIRv2 | CVPR 2025 | 画像復元（超解像など） | 非因果attentive SSM + SGN |
| 6 | MeshMamba | ICCV 2025 | 3Dメッシュ生成・復元 | 10,000+頂点のシリアライズ処理 |
| 7 | VSRM | ICCV 2025 | 動画超解像 | 時空間双方向抽出 + deformable alignment |
| 8 | PRE-Mamba | ICCV 2025 | イベントカメラ除雨 | 4D点群のマルチスケール処理（0.26Mパラメータ） |
| 9 | MDM | ICCV 2025 | マルチモーダル生成 | Diffusion + 統一VAEの中核 |
Mambaの使われ方の分類
Backbone型: MambaVisionのように、画像認識のBackbone自体をMambaで設計するアプローチ。self-attentionとのハイブリッドが現在の最適解。
モジュール置換型: MambaIRv2、MambaIC、VSRM、MFuserのように、既存パイプラインの特定モジュール（attention、context model、alignment）をMambaに置き換えるアプローチ。線形計算量のlong-range依存モデリングが直接的な利点になる。
新タスク提案型: MeshMamba、PRE-Mamba、MDM、MambaVLTのように、Mambaの系列処理能力で従来手法が扱えなかったスケールや形式のデータを処理するアプローチ。10,000頂点のメッシュ、4Dイベント点群、マルチモーダルdiffusionなど、Mambaだからこそ可能になったタスクが広がっている。