下記をまとめたものです。
https://arxiv.org/pdf/2010.03978.pdf
個人的なメモなので誤りなどあればご指摘お願いします
Types of Domain Shift
Target(Prior) Shift
- 出力変数の周辺分布が異なる（=結果が異なる場所を選ぶなど）
- ラベルが異なる
Covariate Shift
- 入力変数の周辺分布が異なる（=別の場所など）
- 入力変数の特性が異なる（結果としてTarget Shiftを起こすこともある）
Concept Shift
- 条件付き確率の分布が変わってしまう(=別の条件でデータを取得したら出力変数の周辺分布も変わってしまう)
- 学習したい変数の概念自体が変わってしまう
Approaches
Instance-Based
- 教師ありデータに基づく、目標値の損失を最小化することでモデルを調整する方法
- インスタンス選択とインスタンス重み付けによるソースドメインにおけるラベル付データの重要性
Feature-Based
- 特徴量に着目したアプローチ
- Subspace-based, transformation-based, construction-based
Subspace-based
- ドメイン間の共通した中間表現を探索することを目的としている
- 次元を削減する（PCAなど）
Transformation-based
- 元のデータの基本的な構造と特徴を保持しながら、限界分布と条件分布の間の不一致を最小化するために、元の特徴を新しい特徴表現に変換する
Reconstruction-based
- 中間的な特徴表現でのサンプル再作成によって、ドメイン間の不一致を軽減する
Deep Domain Adaptation
- DAの技術をDNNに導入することで少ないラベル付きデータに対応することを目的とする
- discrepancy-based, reconstruction-based, and adversarial-based adaptation
Discrepancy-based
- ドメイン間の差異を考慮してモデル感の差異を調整
- ドメイン固有の表現に対応するための適応層を導入する
Reconstruction-based
- autoencoderを使い再構成誤差を最小化し、ドメイン間で不変かつ転送可能な表現を学習することによってドメイン間の差異を調整する
Adversarial-based
- ドメイン間の分布の不一致を最小化し、転送可能でドメイン不変な特徴を得る
- 敵対的目的によってドメイン間の不一致を最小化する生成的敵対的ネットに触発