自己教師あり学習とは
サーベイ論文Self-supervised Learning: Generative or Contrastiveでは、以下のようにまとめられています。
- データ自体から「ラベル」を「半自動」プロセスによって取得する。
- データの一部を他の部分から予測する。
教師なし学習、教師あり学習との違い
Liu, X. et al. (2021). Self-supervised Learning: Generative or Contrastive
多くの人は、教師なし学習と自己教師あり学習の概念を混同することがあります。自己教師あり学習は、手動でのラベル付けが関与しないため、教師なし学習の一分野とみなすことができます。しかし、厳密に言えば、教師なし学習は、クラスタリング、コミュニティ検出、異常検知などの特定のデータパターンの検出に重点を置いています。一方、自己教師あり学習は「復元」を目的としており、教師あり学習のパラダイムにあります。
自己教師あり学習の分類
Liu, X. et al. (2021). Self-supervised Learning: Generative or Contrastive
以下の3つに大別されます。
- 生成的アプローチ
- エンコーダーをトレーニングして入力xを明示的なベクトルzにエンコードし、デコーダーを使用してzからxを再構築する（e.g., the cloze test, graph generation）
- 対照的アプローチ
- エンコーダーをトレーニングして入力xを明示的なベクトルzにエンコードし、類似性を測定する（e.g., mutual information maximization, instance discrimination）
- 敵対的アプローチ
- エンコーダーデコーダーをトレーニングして偽のサンプルを生成し、識別器を使用してそれらを実際のサンプルと区別する（e.g., GAN）
以下の画像の分類もわかりやすいです。AutoencoderやFlow-based Modelといったモデルが確認できます。
Liu, X. et al. (2021). Self-supervised Learning: Generative or Contrastive
自己教師あり学習手法の性能評価
例えば画像処理の分野において、自己教師あり学習で獲得された画像表現のの性能評価としていくつかの下流タスクがありますが、画像分類についてまとめます。
- k-NN
- k-NNを用いてテストサンプルに対して分類を行う
- Linear probing
- エンコーダに1層の全結合層とsoftmax関数を取り付けて、それらのみを学習する
- Fine-tuning
- Linear Probingと同じネットワークで、すべてのパラメータを学習する