Cross-Subject Transfer Learning in Human Activity Recognition Systems using Generative Adversarial Networks 要約
読んだ論文
Cross-Subject Transfer Learning in Human Activity Recognition Systems using Generative Adversarial Networks
Elnaz Soleimania, Ehsan Nazerfard
https://arxiv.org/abs/1903.12489v1
上記の論文を読んだので簡単にまとめます．まだプレプリントのみ？の様子．
3行でまとめる
- 行動認識系研究では，事前に訓練したモデルを新規ユーザに対しては制度が大幅に下る．
- 一方，新規ユーザに対してラベル付きデータを獲得することは不可能であるらしい．
- ユーザ適応を行うSubject Adapter GAN（SA-GAN）を提案する．
提案手法
提案モデルと損失関数
前提として不特定多数ユーザのデータがラベル付きで与えられていて（ソースドメイン$D_s$），新規ユーザがラベル無しで与えられている（ターゲットドメイン$D_t$）こととする．
提案手法はFigure1の通り，Generatorはソースドメインの$X_s$から$X_{fake}$を生成し，Discriminatorがこれを弁別する（$X_t,X_{fake}$を見分ける）．このとき識別率が50％になることが望ましい（一般的なGANと同じ）．Classifierはソースドメインのデータを元に分類器を訓練するが，$(X_s, Y_s)$の組み合わせと$(X_{fake}, Y_s)$の組み合わせ両方を，損失関数$V_{cls}$で訓練する．
$V_{cls}(G, C)=E_{x_s,y_s}[-y_s\log(C(G(x_s)))-y_s\log(C(x_s))]$
最終的に全体の損失関数は次式で定義される．
$\min_{G,C}\max_{D}\lambda_{adv}V_{adv}(D,G)+\lambda_{cls}V_{cls}(G,C)$
訓練方法
以下，Algorithm1を要約する．
- $X_s,y_s,X_t$からmサンプルずつランダムにミニバッチとして選択する．
- 同様にm個のノイズ$\{z^{(1)},...z^{(m)}\}$を決定する．
- 確率的勾配効果法でDを訓練する．
- 同様にCを訓練する．
- 同様にGを訓練する．
- これをミニバッチ分＊イテレーション数分繰り返す．
結果はよくなったよという話だけなので省略する．
まとめ
- 行動認識の新規ユーザ適応問題においてGANベースの手法を提案した．
所管
読了に１時間半くらい．前々回は行動認識のユーザ適応，前回はデータセット間転移，今回はまたユーザ適応の話．ただ，新規ユーザを不特定モデルに適応するのではなく，不特定ユーザたちを新規ユーザに適応するエキサイティングなアプローチでした．
気になる点はいくつかあって，まず一つは本手法だと新規利用者が来るたびにモデルを作って学習から始めなければならない点である．不特定ユーザたちを適応させているのが難点というところ．もう一点は，今回結果的にうまく働いたものの，学習手法の一部に疑義ありという点である．この手法だと$X_s$を$X_t$に変換するようにGを学習しているが，これはあくまで$X_t$っぽいかどうかという点のみを考慮するため，$(X_{fake},y_s)$で学習する際に$y_s$が正しいことは保証されないという点である．まぁこれは$X_t$が教師なしだから仕方がないのかもしれないが，何ともふんわりした仕様という気持ちが漂う．