1. 概要

ユーザーのクリック動作によって前景と背景を分離するバイナリーセグメンテーションの研究。従来手法では、クリック情報をニューラルネットワークのセグメンテーションネットワークに効果的に伝播できていなかったため、うまく前景と背景を分割することが難しかった。

2. 新規性

ガウス過程(Gaussian Process)を使って、画像中のピクセル単位で二値分類モデル化してクリックされているピクセルの前景予測情報をクリックされていない領域に伝播させることで、非常に複雑なシーンでも前景背景分離ができるようになった。

3. 実現方法

前景と背景のそれぞれにユーザーがクリックしてアノテーションを行う。入力画像からDNNを用いて高次元特徴を取得し、クリックしていない未分類のピクセルを高次元空間で前景に近いか背景に近いか、ガウス過程の分布から予測する。ここで、クリックしてあるピクセルの高次元特徴の分布が前景らしさ・背景らしさを示すガウス確率に従うように学習することで、理論的にユーザーのクリック情報が正確な予測に反映されるようにしている。
また、ユーザーのクリックに応じて分類結果がアップデートされる構造になっており、追加情報を与えていくことでどんどん高精度なマスクが出来上がる。

4. 結果

複数のデータセットに対して評価実験を実施しており、従来手法のセグメンテーションアーキテクチャに提案手法を組み込むことで、少ないクリック数で高精度な前景抽出が可能なことを確認した。

Paper URL: https://openaccess.thecvf.com/content/CVPR2023/papers/Zhou_Interactive_Segmentation_As_Gaussion_Process_Classification_CVPR_2023_paper.pdf

last updates: June 22 2023