1. 概要
教師なしで学習時とは異なるドメインのデータに対して推論してうまく予測を合わせる研究をUnsupervised Domain Adaptation(UDA)と呼ぶ。UDAの研究領域では、昨今Vision Transformer(ViT)を用いた手法が多く提案されている。異なるドメインの特徴取得には、ViT内でCross-attentionを利用して共通する特徴の取得を目指すことが多い。しかし、Cross-attentionは学習サンプルに自動で割り当てる疑似ラベルの品質に大きく依存しており、ドメイン間にあまりに差があるとうまく学習できなかった。この研究では、ゲーム理論を用いてソースドメインとターゲットドメインを別に生成する中間ドメインでつなぎ、ドメインの種類が学習時と推論時に大きく異なってもViTでうまく学習・推論できるようにした。
2. 新規性
ゲーム理論に基づいて、ソースドメインとターゲットドメインの両方からパッチをサンプリングすることで中間ドメインの確率分布を構築し、クロスエントロピー(Cross Entropy: CE)を最大化するためにソースドメインとターゲットドメインのパッチを混ぜるPatchMixという新たな手法を提案している。
3. 実現方法
教師なしドメインアダプテーション(UDA)のプロセスを、1) PatchMixの確率分布、2) ViTの特徴抽出、3) 分類器、のプレイヤーに分けて考え、クロスエントロピー(CE)をMin-Maxゲームで解くことを考える。1) PatchMixはCEを最大化したい。2), 3) はCEを最小化したい。ナッシュ均衡(Nash Equilibrium)がゲームの解の安定点としてコスト設計を行っている。
また、ViTのアテンションマップを各パッチの重要度評価に使用しており、ラベルを再度重みづけすることでよりドメインに対して識別能力の高い特徴表現を得られるようにしている。
4. 結果
4つのデータセットで評価実験を行っており、提案手法ではOffice-Homeデータセットで3.6%、Office-31データセットで1.4%、DomainNetデータセットで17.7%を達成し記録を更新した。
last updates: July 10 2023