Learning Saliency From Fixations(2023)

Learning Saliency From Fixations(Yasser, 2023)

概要

この論文は、人間の注視点を示すfixation mapのみを用いて画像の顕著性予測を行う新たな手法Saliency TRansformer (SalTR) を提案しています。Transformerの並列デコーディングを活用し、連続的なsaliency mapを必要とせず、fixation点を直接予測するset prediction問題として定式化することで、最先端手法と同等の性能を達成しています。さらに、scanpath予測への拡張も示し、データ収集パイプラインを模倣することで、より人間らしい視覚的注意メカニズムのモデル化を目指しています。実験結果と ablation studyを通して、SalTRの有効性と各構成要素の重要性を検証しています。

Q: 本研究ではどのような仮説をもとに、どのような実験を行いましたか。その結果どのような結論を得られましたか？

A:

本研究では、視線データ（fixation maps）のみから直接サリエンシー予測を学習できるという仮説に基づき、新しいアプローチであるSalTR（Saliency TRansformer）を提案し、その有効性を検証するための実験を行いました。

研究の仮説と実験設定

• 仮説: 従来のサリエンシー予測モデルが連続的なサリエンシーマップに依存しているのに対し、視線データのみから直接学習することで、人間の視覚注意をより忠実にモデル化できる。
• 実験設定:
  • SalTRモデル: Transformerのエンコーダー・デコーダーアーキテクチャをベースとし、固定された学習済み視線クエリを使用して、画像の特徴から視線位置を直接予測するモデルを構築。
  • 学習データ: Saliconデータセットの訓練データ（10k画像）を使用し、視線データのみを学習に使用。
  • 評価データ: SaliconとMIT300のベンチマークデータセットを使用し、既存の最先端モデルとの性能比較。
  • 評価指標: 類似度指標（SIM）、シャッフルAUC（s-AUC）、線形相関係数（CC）、正規化スキャンパスサリエンシー（NSS）、Kullback-Leiblerダイバージェンス（KLD）を使用。
  • 実験:
    • SalTRの基本モデル（SalTR-Small、SalTR-Base）の性能評価。
    • Deformable Attention機構を導入したSalTRモデル（Deformable SalTR）の性能評価。
    • 二部マッチング損失（Hungarian algorithm）の有無による性能変化の評価。
    • 視線クエリ数（N）の性能への影響評価。
    • ガウシアン平滑化の標準偏差（σ）の性能への影響評価。
    • スキャンパス予測問題への拡張性評価。
    • 低レベル特徴に対する性能評価。

実験結果と結論

• SalTRの有効性: SalTRは、SaliconとMIT300のベンチマークにおいて、既存の最先端モデルに匹敵する性能を達成した。特に、Deformable SalTR-Baseは、Saliconにおいて最高のスコアを示した。
• 視線データからの直接学習の妥当性: 視線データのみから直接学習するアプローチは、従来の連続的なサリエンシーマップに依存するモデルと比較して、同等以上の性能を示し、その有効性が示された。
• Transformerアーキテクチャの有効性: Transformerのエンコーダー・デコーダーアーキテクチャは、画像の特徴を効果的に捉え、視線位置を予測する上で有効であることが示された。
• 自己注意メカニズムの重要性: 自己注意メカニズムは、低レベル特徴（色など）に対する応答性を高め、視覚系の特性を捉えるのに役立つことが示唆された。
• 二部マッチング損失の重要性: 二部マッチング損失は、視線クエリの重複を防ぎ、多様な予測を生成するために不可欠であることが示された。
• スキャンパス予測への応用可能性: SalTRは、Transformerデコーダーのマスクを操作することで、スキャンパス予測にも応用できることが示された。
• 課題点:
  • 学習の不安定さ: 学習の収束に時間がかかり、初期の最適化不足が課題として残った。
  • 低レベル特徴への弱さ: 合成画像や低レベル特徴に対する性能は、改善の余地があることが示された。

結論: 本研究では、視線データのみから直接サリエンシー予測を学習する新しいアプローチであるSalTRを提案し、その有効性を実験的に示した。SalTRは、Transformerアーキテクチャと自己注意メカニズムを組み合わせることで、人間の視覚注意をより忠実にモデル化する可能性を示唆した。今後の課題として、学習の安定化、低レベル特徴への対応、評価指標の改善などが挙げられる。

Q: 論文で提案されているSaliency Transformer (SalTR)の革新的な点は何か？

A:

論文で提案されているSaliency Transformer (SalTR) の革新的な点は、主に以下の3点です。

• 視線データ（fixation maps）のみから学習する。従来の多くのモデルは、連続的な顕著性マップ（continuous saliency maps）を用いて学習を行いますが、SalTRは、人間の視線が集中した場所を示す離散的な視線データ（fixation maps）のみを用いて直接学習します。このアプローチは、データ収集のパイプラインを模倣し、連続的な顕著性マップへの依存をなくす点で画期的です。

• Transformerの並列デコードを利用する。SalTRは、Transformerのエンコーダー・デコーダーアーキテクチャを採用しており、特にデコーダー部分で並列デコードを利用しています。これにより、固定された数の学習済み視線クエリ（fixation queries）を用いて画像の特徴を分析し、視線点を直接出力します。これは、従来の顕著性予測モデルが連続的な顕著性マップに依存するのとは対照的です。

• 視線予測を直接的な集合予測問題として扱う。SalTRは、顕著性予測を、空間的な視線点の集合を予測する直接的な集合予測問題として扱います。このために、二部マッチング（bipartite matching）とグローバル損失（global loss）を用いて、ユニークな視線予測を強制します。このアプローチは、DETR（DEtection TRansformer） から着想を得ており、従来の顕著性予測モデルとは異なる新しい視点を提供します。

これらの点から、SalTRは、視線データから直接学習し、Transformerの並列デコードを活用し、視線予測を集合予測問題として扱うことで、従来の顕著性予測モデルとは異なる革新的なアプローチを実現しています。また、SalTRは、SaliconやMIT300ベンチマークで、既存の最先端モデルと同等の性能を達成しており、その有効性が示されています。

Q: SalTRは既存の視線予測モデルと比べてどのような利点と欠点を持つのか？

A:

SalTR（Saliency TRansformer）は、既存の視線予測モデルと比較して、いくつかの利点と欠点を持っています。

利点:

• 視線データからの直接学習: 多くの既存のモデルが連続的な顕著性マップに依存しているのに対し、SalTRは視線データ（fixation maps）のみから直接学習します。これにより、データ収集パイプラインをより忠実に模倣し、連続的な顕著性アノテーションへの依存を排除します。
• Transformerアーキテクチャ: SalTRは、Transformerのエンコーダー・デコーダーアーキテクチャを利用して、画像の潜在表現を抽出し、視線位置を予測します。これにより、画像の特徴をより効果的に捉え、並列デコーディングを通じて視線位置を直接出力できます。
• 固定された視線クエリ: SalTRは、固定された学習済み視線クエリを使用し、クロスアテンションメカニズムを通じて画像特徴を考慮し、視線位置を直接出力します。このアプローチは、他の顕著性予測モデルとは異なり、視線位置を特定する上でより直感的です。
• 競争力のある性能: SaliconおよびMIT300ベンチマークにおいて、SalTRは最先端のモデルと同等の性能を達成しています。特に、Deformable SalTR-Baseは、これらのテスト例で最高のスコアを示しています。
• スキャンパス予測への拡張性: SalTRは、Transformerデコーダーのマスクを操作することで、スキャンパス予測問題にも拡張できます。これにより、視線位置の時間的な軌跡を予測する能力も備えています。
• 低レベル特徴への対応: UNISALなどの既存モデルが単純な特徴に反応できない場合があるのに対し、SalTRは自己注意メカニズムによって誘導される重要な事前知識として視覚系の特徴をより良く組み込むことができます。例えば、色などの特徴に対して、SalTRはペンギンを最も顕著なオブジェクトとして捉えることができます。

欠点:

• 学習の困難さ: SalTRは最適化が難しく、収束に時間がかかる場合があります。特に、初期化時に注意の重みがすべてのピクセルに均等に割り当てられるため、意味のない場所にも注意を向けてしまう可能性があります。
• 離散的な二部マッチングの不安定さ: 確率的最適化の下では、離散的な二部マッチングが不安定になる可能性があり、同じクエリがエポック間で異なるオブジェクトとマッチングされることがあります。
• 初期のデコーダーの最適化不足: デコーダーのクロスアテンションが初期の学習で最適化不足に陥り、クエリに対してノイズの多いコンテキスト情報が生じる可能性があります。
• 低レベル特徴への弱さ: SalTRは、合成画像や低レベル特徴（O3データセットなど）に対しては、うまく機能しない場合があります。モデルは、これらの画像に対してランダムに近い視線を生成する傾向があります。
• 過剰な視線予測: オブジェクト検出の重みで初期化した場合、SalTRはオブジェクトの中心付近で視線を過剰に予測する傾向があります。
• 単一対象への対応: 複数の視線データを学習に使うことが前提となっているため、1人の被験者の視線を再現しようとした場合、予測が疎になり、既存の評価指標では良いスコアが得られないという課題があります。
• 階層的なデコードの欠如: SalTRは階層的なデコードがないため、小さいオブジェクトの周りの予測をシャープにすることが苦手な場合があります。

これらの利点と欠点を考慮すると、SalTRは視線予測の分野において有望なアプローチですが、さらなる改善の余地があることがわかります。特に、学習の安定化、低レベル特徴への対応、および評価指標の改善が今後の課題となるでしょう。

Q: SalTRの性能評価において、用いられた指標と結果から何が分かるのか？

A:

SalTRの性能評価では、複数の指標が用いられ、その結果からモデルの有効性や特徴が明らかになっています。以下に、用いられた指標と結果から何が分かるかを説明します。

評価指標

• 類似度指標（SIM）: 予測されたサリエンシーマップと正解のサリエンシーマップの類似度を測る指標です。高いSIM値は、モデルの予測が正解に近いことを示します。
• シャッフルAUC（s-AUC）: 予測されたサリエンシーマップが人間の注視位置をどれだけ正確にランク付けできるかを評価します。AUC（Area Under the Curve）は、受信者操作特性（ROC）曲線下の面積を測るもので、s-AUCでは、ランダムな注視位置との比較でモデルの性能を評価します。高いs-AUC値は、モデルが注視位置をより正確に予測できることを示します。
• 線形相関係数（CC）: 予測されたサリエンシーマップと正解のサリエンシーマップの間の線形相関を測る指標です。CC値が高いほど、予測と正解の間の線形的な一致度が高いことを意味します。
• 正規化スキャンパスサリエンシー（NSS）: 予測されたサリエンシーマップが、人間の注視位置をどれだけ正確に捉えているかを評価します。NSS値は、予測されたサリエンシーマップにおける注視位置の平均的なサリエンシー値を示し、0は偶然レベル、正の値は偶然以上の合致を示します。
• Kullback-Leiblerダイバージェンス（KLD）: 予測されたサリエンシーマップと正解のサリエンシーマップの確率分布の間の差異を測る指標です。KLD値が低いほど、予測と正解の分布が近いことを意味します。

評価結果から分かること

• SalTRの全体的な性能: SalTRは、SaliconとMIT300のベンチマークデータセットにおいて、既存の最先端モデルに匹敵する性能を達成しました。特にDeformable SalTR-Baseは、Saliconにおいて、ほとんどの指標で最先端のスコアを示しました。
• SalTRのアーキテクチャの重要性: SalTRのSmallバージョンは、Baseバージョンに比べて性能がわずかに劣りました。これは、Transformerデコーダーの深さが、不安定な二部マッチングを適切に最適化するために重要であることを示唆しています。また、Deformable SalTRが、同じ計算量でUNISALと同等の性能を示したことは、ゲート付き注意メカニズムが最適化を円滑にする上で有効であることを示しています。
• データセット外のテストにおける性能: MIT300データセットは、SalTRの学習に使用されていないデータセットですが、提案されたモデルは他のモデルと比較して、妥当な精度向上を示しました。しかし、UNISALやDeepGazeのような、この特定のデータセットで訓練されたモデルには及ばない結果となりました。
• 低レベル特徴に対する性能: 従来のモデルは、車や人間のような高レベル特徴を捉える傾向がありますが、SalTRは、色や強度などの低レベル特徴にも応答できることが示されました。具体的には、UNISALが捉えられなかったペンギンのような単純な特徴を捉えることができました。しかし、合成画像（O3データセット）に対しては、中心付近にランダムな注視を生成するなど、性能が著しく低下することが確認されました。
• 二部マッチング損失の重要性: ハンガリーマッチング損失を導入しない場合、モデルの予測は多様性を欠き、入力画像の最も顕著な特徴に集中する傾向がありました。これは、多様で豊かな予測を学習するためには、この損失が不可欠であることを示しています。
• 注視クエリ数の影響: 注視クエリの数（N）を変えて実験した結果、100が最適な値であることが示されました。クエリ数が多すぎると、最適化が難しくなり、性能が低下する傾向がありました。
• ガウシアン平滑化の影響: 注視マップに適用するガウシアンフィルターの標準偏差（σ）を変えて実験した結果、σ=19.0で最も良い性能が得られました。KLDは平滑化パラメーターの影響を大きく受けましたが、CCは19.0の値以降はほぼ同じでした。
• スキャンパス予測への応用: SalTRは、Transformerデコーダーのマスクを操作することで、スキャンパス予測にも応用できることが示されました。この方法では、SalTRが人間の注視経路を正確に追跡できることが示されました。
• 人間被験者の行動の再現性: SalTRは、固定された数の注視クエリを使用して、人間の注視位置を予測するように設計されています。これは、人間の被験者の注視行動を模倣することを目的としており、モデルが注視データセットの作成プロセスを再現していることを示しています。

これらの結果から、SalTRは、従来のサリエンシー予測モデルとは異なり、注視マップから直接学習し、人間の視覚注意のメカニズムをより良く捉えることができる可能性を示唆しています。しかし、合成画像に対する性能の課題や、真のサリエンシーの定義とのずれの可能性など、改善の余地があることも明らかになっています。