Junnan Li, Pan Zhou, Caiming Xiong, Richard Socher, Steven C.H. Hoi
Salesforce Research

概要

教師なし表現学習でクラス分類に転移学習するはなしの一つ。Mocoとかと同じ流れ。

Prototypical Contrastive Learning (PCL)を提案
従来の対比学習はインスタンスベースであったのをプロトタイプベースにした
E-M法を用いる
Eステップでクラスタリングによってプロトタイプの分布を求める
Mステップで対比学習を行ってネットワークを最適化する
ProtoNCE Loss を提案。Mocoなどで用いられているInfoNCE Lossの一般化
複数のベンチマークで10%以上の性能向上

関連研究

instance discrimination は画像のローレベルな特徴でできてしまうのでグローバルなセマンティクスを使うように学習できない。
大量のネガティブサンプルを使うと意味的に本来似ているものもネガティブサンプルに含まれてしまう。これを遠くになるように学習するとおかしなことがおこる。

手法

X ={x_1,.. x_n} が入力。埋め込み関数をfθとする。埋め込み関数はXをV={v_1,.. v_n}に埋め込む。v_n = fθ(x_n) 。

MoCoでは1つのpositive sampleと大量のnegative sampleを与えて学習する。プロトタイプベースの手法ではサンプルのかわりに、プロトタイプcを用いる。クラスタリングして得られたセントロイドを、各クラスタのプロトタイプとして考え、個々のデータが一番近いプロトタイプに対してより近く、遠いプロトタイプに対してはより遠くなるように学習する。

このとき温度パラメータτに相当する集合性パラメータΦをクラスタごとに求めておき、近づける、遠ざける強度を調整する。

クラスタリングはk-meansを用いる。k-meansにはkを指定しなければならないのだが、kを色々変えて、結果を加算する。このことによって粒度の異なるクラスタリングに対した学習が行われる

クラスタリングはモメンタムエンコーダを用いたネットワークで行う。

評価

限定されたデータセットによる画像分類
学習した表現に対してSVMを少数サンプルでトレーニング Places2005, VOC2007
半教師あり画像クラス分類。Imagenetのサブセット。転移学習
画像分類ベンチマーク
- 線形クラス分類
- KNNクラス分類
物体識別