0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

arXiv論文自動要約 categorycs.CV 投稿日:2026-02-06

0
Posted at

はじめに/注意書き

本記事は、arXivのComputer Vision & Pattern Recognitionの最新論文を自動取得し、AIで自動要約&翻訳したものを自動投稿している。
仕組み:https://qiita.com/nonono_qiita/items/a24f598a1e1da673fa13

論文は2026-02-06時点のarXiv最新論文である。
AIで要約&翻訳されているため、一部翻訳されていなかったり、間違った表現や内容になっている。
鵜呑みにせず、しっかりと自分の目で見極めてほしい。注意書きは以上!

Shared LoRA Subspaces for almost Strict Continual Learning

  • 著者 :Prakhar Kaushik, Ankit Vaidya, Shravan Chaudhari, Rama Chellappa, Alan Yuille

概要

新しいタスクに適応するための学習済モデルを以前の知識から忘れずに適用することは困難です。

従来研究と比べて何が新しい?

共有:複数のタスクとモードに対応する継続学習を支援する単一共有低ランクスピンダーフォームアプローチ。

技術・手法のキモ

学習と動的に更新された基礎的な1つのサブ空間の一つが過去のタスクから基本的な知識を抽出し、新しい情報を一時的にインクリメンタルに整合化することで、知識の前進移行を最小限のカスケード・コンフリクトから防ぐことを支援します。

有効性の検証方法

シェアは、通常のLoRA方法よりも最大で100倍のパラメータ削減と281倍のメモリ節約を達成し、性能が共同学習モデルに相当します。さまざまなタスクの実験を通じて、長期学習に対応するための大規模AIシステムでの効果性を Validate しています。

議論・課題

論文情報

原文サマリ Adapting large pretrained models to new tasks efficiently and continually is crucial for real-world deployment but remains challenging due to catastrophic forgetting and the high cost of retraining. While parameter-efficient tuning methods like low rank adaptation (LoRA) reduce computational demands, they lack mechanisms for strict continual learning and knowledge integration, without relying on data replay, or multiple adapters. We propose Share, a novel approach to parameter efficient continual finetuning that learns and dynamically updates a single, shared low-rank subspace, enabling seamless adaptation across multiple tasks and modalities. Share constructs a foundational subspace that extracts core knowledge from past tasks and incrementally integrates new information by identifying essential subspace directions. Knowledge from each new task is incorporated into this evolving subspace, facilitating forward knowledge transfer, while minimizing catastrophic interference. This approach achieves up to 100x parameter reduction and 281x memory savings over traditional LoRA methods, maintaining performance comparable to jointly trained models. A single Share model can replace hundreds of task-specific LoRA adapters, supporting scalable, asynchronous continual learning. Experiments across image classification, natural language understanding, 3D pose estimation, and text-to-image generation validate its effectiveness, making Share a practical and scalable solution for lifelong learning in large-scale AI systems.

Pseudo-Invertible Neural Networks

  • 著者 :Yamit Ehrlich, Nimrod Berman, Assaf Shocher

概要

この論文では、非線形システム(特に人工関数)に対する一般化として、Surjective Pseudo-invertible Neural Networks (SPNN)を提案します。これは、逆問題のトレーサーベスト投影に効率的な計算が可能となるよう、非線形のバックプロjectionを実現するためです。

従来研究と比べて何が新しい?

拡張された非線形後退投影技術の実装により、線形から非線形システムに広がったSPNN構造でゼロショット回帰を可能にする強制則遵守型擬逆可換ニューラルネットワークと非線形後退投影法は、複雑な劣化に対応するための強制則遵守型擬逆可換ニューラルネットワークと非線形後退投影法が実装されています。

技術・手法のキモ

非線形後投影法(NLBP)は、バックプロjectionと類似の共通性制約を保証するが、非線型マッピングやニューラルネットワークに対応させたものであり、ゼロショットシナリオでも生成出力に対する正確な意味的コントロールを可能にします。

有効性の検証方法

この論文は、NLBPを使用したSPNNが複雑なデgradationを含む逆問題を解決する能力を示しています。これは、線形システムから非線形システムまで広い範囲でバックプロjectionテクニックの適用を可能にします。この手法はゼロ-shotインversionを行うための必要ない再訓練なしです。

議論・課題

論文情報

原文サマリ The Moore-Penrose Pseudo-inverse (PInv) serves as the fundamental solution for linear systems. In this paper, we propose a natural generalization of PInv to the nonlinear regime in general and to neural networks in particular. We introduce Surjective Pseudo-invertible Neural Networks (SPNN), a class of architectures explicitly designed to admit a tractable non-linear PInv. The proposed non-linear PInv and its implementation in SPNN satisfy fundamental geometric properties. One such property is null-space projection or "Back-Projection", $x' = x + A^\dagger(y-Ax)$, which moves a sample $x$ to its closest consistent state $x'$ satisfying $Ax=y$. We formalize Non-Linear Back-Projection (NLBP), a method that guarantees the same consistency constraint for non-linear mappings $f(x)=y$ via our defined PInv. We leverage SPNNs to expand the scope of zero-shot inverse problems. Diffusion-based null-space projection has revolutionized zero-shot solving for linear inverse problems by exploiting closed-form back-projection. We extend this method to non-linear degradations. Here, "degradation" is broadly generalized to include any non-linear loss of information, spanning from optical distortions to semantic abstractions like classification. This approach enables zero-shot inversion of complex degradations and allows precise semantic control over generative outputs without retraining the diffusion prior.

Predicting Camera Pose from Perspective Descriptions for Spatial Reasoning

  • 著者 :Xuejun Zhang, Aditi Tiwari, Zhenhailong Wang, Heng Ji

概要

キャメコゥはカメラの姿勢を基点として、視覚的なアングルを使用して物語りをする多画像フレームワークです。

従来研究と比べて何が新しい?

CAMCUE-DATAの多様なトレーニングとテストインスタンス、人間が作成した視点説明を含むテスト分割での観点評価のために、自然言語への一般化を評価するための厳格なルールを導入します。

技術・手法のキモ

視覚トークンに毎回の姿勢を注入し、多角度観測と新しい視点説明に基づくポーズ状態に応答するためのクロスビュー融合を行う。

有効性の検証方法

改善全体の精度を9.06%向上させます;目標ポーズを90%以上の回転精度で予測し、20°以内の移動精度が0.5エラー阈値内に収まるようになります;推論時間を大幅に削減し、リアルタイムの実践可能な使用が可能となります。

議論・課題

論文情報

原文サマリ Multi-image spatial reasoning remains challenging for current multimodal large language models (MLLMs). While single-view perception is inherently 2D, reasoning over multiple views requires building a coherent scene understanding across viewpoints. In particular, we study perspective taking, where a model must build a coherent 3D understanding from multi-view observations and use it to reason from a new, language-specified viewpoint. We introduce CAMCUE, a pose-aware multi-image framework that uses camera pose as an explicit geometric anchor for cross-view fusion and novel-view reasoning. CAMCUE injects per-view pose into visual tokens, grounds natural-language viewpoint descriptions to a target camera pose, and synthesizes a pose-conditioned imagined target view to support answering. To support this setting, we curate CAMCUE-DATA with 27,668 training and 508 test instances pairing multi-view images and poses with diverse target-viewpoint descriptions and perspective-shift questions. We also include human-annotated viewpoint descriptions in the test split to evaluate generalization to human language. CAMCUE improves overall accuracy by 9.06% and predicts target poses from natural-language viewpoint descriptions with over 90% rotation accuracy within 20° and translation accuracy within a 0.5 error threshold. This direct grounding avoids expensive test-time search-and-match, reducing inference time from 256.6s to 1.45s per example and enabling fast, interactive use in real-world scenarios.

SwimBird: Eliciting Switchable Reasoning Mode in Hybrid Autoregressive MLLMs

  • 著者 :Jintao Tong, Shilin Yan, Hongwei Xue, Xiaojun Tang, Kunyu Shi, Guannan Zhang, Ruixuan Li, Yixiong Zou

概要

泳ぐ鳥は、文脈の理解を目的として機能する新しいMLLM(モデル・ラーニング・マシン)です。このモデルは、三つの推理モードに動的に切り替えることができます:テキストのみ、視覚のみ(入力クエリに基づいて連続した隠れ状態を使用して視覚的な思考を表現する)、そして入力クエリに基づいて視覚とテキストが交差した形式で組み合わされる推理モード。

従来研究と比べて何が新しい?

泳水鳥モデルは、視覚密集型タスクでパフォーマンスを向上させるために柔軟なクエリ対応モード選択性の能力を提供します。これにより、文脈的な論理的推理能力が損なわれることはありません。

技術・手法のキモ

水泳鳥は、テキストの次のトークン予測と視覚的 thought の次のエンコーダー予測を統合するハイブリッド自動回帰形式を使用し、また SwimBird-SFT-92K データセットの構築に systematic ストリーツトーンを組み込むシステム的な戦略を採用しています。

有効性の検証方法

実験は、既知のバリアントを含む複雑な視覚理解タスクと、前例固定パターン多 modal モデルによる固定したパターンの多様性を損ないつつも、テキスト論理能力を保証するための強力な進歩なしに基盤を提供するバリアントをカバーしている既知の最良の結果を示しています。

議論・課題

論文情報

原文サマリ Multimodal Large Language Models (MLLMs) have made remarkable progress in multimodal perception and reasoning by bridging vision and language. However, most existing MLLMs perform reasoning primarily with textual CoT, which limits their effectiveness on vision-intensive tasks. Recent approaches inject a fixed number of continuous hidden states as "visual thoughts" into the reasoning process and improve visual performance, but often at the cost of degraded text-based logical reasoning. We argue that the core limitation lies in a rigid, pre-defined reasoning pattern that cannot adaptively choose the most suitable thinking modality for different user queries. We introduce SwimBird, a reasoning-switchable MLLM that dynamically switches among three reasoning modes conditioned on the input: (1) text-only reasoning, (2) vision-only reasoning (continuous hidden states as visual thoughts), and (3) interleaved vision-text reasoning. To enable this capability, we adopt a hybrid autoregressive formulation that unifies next-token prediction for textual thoughts with next-embedding prediction for visual thoughts, and design a systematic reasoning-mode curation strategy to construct SwimBird-SFT-92K, a diverse supervised fine-tuning dataset covering all three reasoning patterns. By enabling flexible, query-adaptive mode selection, SwimBird preserves strong textual logic while substantially improving performance on vision-dense tasks. Experiments across diverse benchmarks covering textual reasoning and challenging visual understanding demonstrate that SwimBird achieves state-of-the-art results and robust gains over prior fixed-pattern multimodal reasoning methods.

CommCP: Efficient Multi-Agent Coordination via LLM-Based Communication with Conformal Prediction

  • 著者 :Xiaopan Zhang, Zejin Wang, Zhixu Li, Jianpeng Yao, Jiachen Li

概要

多様なロボットが指示を完了するためのノンホモジェネーゼのロボットで情報収集を行うマルチアジェンド協力設定での情報収集に関する新しいMM-EQA問題を formalize します。

従来研究と比べて何が新しい?

コンフォルブリュール予測 Calibration を導入したマルチアジェンダーシステムの拡張:カナノーム EQA への追加。これにより、複数の代理間で専門的な操作技能と効果的なコミュニケーションを必要とするニーズに対応するため、コンフォルブリュール予測 Calibration を導入したマルチアジェンダーシステムの拡張:カナノーム EQA への追加。

技術・手法のキモ

デジタル分散型のLLMに基づく通信フレームワーク(CommCP)を使用して、情報交換中にタスク完了のために受信ロボットから distraction を最小限に抑止するための conformal プレーニング 技術を導入します。

有効性の検証方法

実験結果表明、CommCPは基ラインよりもタスクの完了率と効率を向上させています。プロジェクトウェブサイトで提供される多様な住宅シナリオの基準データベースが用いられています。

議論・課題

論文情報

原文サマリ To complete assignments provided by humans in natural language, robots must interpret commands, generate and answer relevant questions for scene understanding, and manipulate target objects. Real-world deployments often require multiple heterogeneous robots with different manipulation capabilities to handle different assignments cooperatively. Beyond the need for specialized manipulation skills, effective information gathering is important in completing these assignments. To address this component of the problem, we formalize the information-gathering process in a fully cooperative setting as an underexplored multi-agent multi-task Embodied Question Answering (MM-EQA) problem, which is a novel extension of canonical Embodied Question Answering (EQA), where effective communication is crucial for coordinating efforts without redundancy. To address this problem, we propose CommCP, a novel LLM-based decentralized communication framework designed for MM-EQA. Our framework employs conformal prediction to calibrate the generated messages, thereby minimizing receiver distractions and enhancing communication reliability. To evaluate our framework, we introduce an MM-EQA benchmark featuring diverse, photo-realistic household scenarios with embodied questions. Experimental results demonstrate that CommCP significantly enhances the task success rate and exploration efficiency over baselines. The experiment videos, code, and dataset are available on our project website: https://comm-cp.github.io.
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?