Yu Sun 1 Xiaolong Wang 1 2 Zhuang Liu 1 John Miller 1 Alexei A. Efros 1 Moritz Hardt 1
- training とtestのdistribution が違う場合を想定
- test setのデータだけを使ってself-supervised learningを行うことで、distributionの相違をアジャストする
- LeCun によれば"transductive learning"という枠組みに属するとのこと。90年代に研究されていたらしい。
- オンラインへも適用可能。
手法
-
もともとメインタスクのほかにauxタスクを用意しておく。この場合メインはクラス分類、auxはローテーションの予測。
-
この2つのタスクを、あるレベルまでは共有するY字型のCNNで学習する。
-
テスト時に、auxタスクを使ってテストデータに対してYの根っこの共有している部分だけを再学習する。auxタスクはself-supervisedタスクなので、ラベルは使わない。
感想
- 割と単純な手法で性能がでるようだ。
- ラベルを見ないとはいえ、テストデータをさきにみていいのか、という気はするが、まあいいのだろう。