3日目: Censoring Representations with Multiple-Adversaries over Random Subspaces

Censoring Representations with Multiple-Adversaries over Random Subspaces 要約

読んだ論文

Censoring Representations with Multiple-Adversaries over Random Subspaces
Yusuke Iwasawa, Kotaro Nakayama, Yutaka Matsuo
https://openreview.net/forum?id=ByuP8yZRb
上記の論文を読んだので簡単にまとめます．ICLR2018のWorkshopにて発表されている様子です（松尾研究室）．
みんな大好き松尾研究室の，岩澤先生の論文です．

3行でまとめる

• とあるドメインの情報を抑制しつつ．別ドメインの情報を極力落とさない表現学習の研究分野がある（Censoring Representation Learning）．
• 学習には敵の設定が重要になるがこれが容易ではないので，アンサンブルな敵対手法を提案する．
• 公開データセットの匿名化タスクに適用した結果，分類精度を著しく損なわず，これまでより良い匿名化を実現した．

提案手法

AFL

AFL(Adversarial Feature Learning)とは，敵対的訓練により特徴表現を制御する表現学習手法である．図中(a)は一般的なAFLモデルである．例えば，前々回あたりでも引用した「ユーザ敵対型ニューラルネットワーク ¹」が良い例で（というか著者が同じで），センサデータから行動認識精度を保ちつつ個人情報を削除した特徴表現を学習したいという事例である．

これを図中(a)に当てはめると，入力Xがセンサ生データ，エンコーダEが特徴抽出器，分類器Mが行動認識モデル，弁別器（しっくりこないがDiscriminatorのこと）Dが個人認識モデルとなる．Mの損失関数$L_M(R)$と，Dの損失関数$L_M(R)$は一般的な分類器のように最小化される．一方，Eの損失関数$L_E(X)$は，$L_M(E(X))$を最大化，$L_D(E(X))$を最小化するように学習する．
要するに，行動認識精度を上げつつ，個人認識精度を下げるようにX->Rを変換するエンコーダを学習する．それと敵対するようにDも学習する．と，競い合うことで当初の目的を達成するのである．

MARS

図中(b)が本稿の提案するMARS(Multiple Adversaries over Random Subspaces)の構造である．図を見れば一目瞭然だが，Dをアンサンブルにすることによって，Dに柔軟性をもたせる．今回はEによって出力される特徴ベクトルRからk個の特徴をランダムに抽出して，複数のDを構築し，それぞれのDの損失関数を最小化する．最終的には複数の損失の平均をとっている様子．

エンコーダの損失関数は式(3)（論文より引用）にて与えられる．第一項が$L_M$を最小化することを示し，第二項（と言っても∑だが）が複数のDの平均損失関数で，これは最大化するために符号が正である．

評価実験

実験設定

• 3つの公開データセット（Opp-G，Opp-L，USC-HAD）を用いた匿名化タスクで評価を行う．
• Eは3階のConvで実装し，Mはロジスティック回帰でやるらしい．重み係数ラムダはEpochで徐々に増加．
• Dは800unitsのMLPで実装される．

実験結果

• 右下以外の3表が個人認識の精度（低いほうが良い）．右下が行動認識の精度（高いほうが良い）．
• 多分横方向（$LR$，$MLP_1$，$MLP_2$，$DNN$）がDのモデル構造？なので，高性能なモデル（$DNN$）において個人認識の精度を抑えられていると，貢献が大きいと思われる．
• そう考えると，State of the artな手法に比べ，全体的にMARSが個人認識精度を下げられていることが確認できる．
• 一方，右下の行動認識精度に着目すると，3データセットどれもNoneの状態から大きな下落はない．
• 要するに，行動認識精度を下げずに，個人認識精度を下げる表現学習ができている！

まとめ

• Censoring Representation問題のAFLの手法をアンサンブル手法により改良した提案．
• アイデアはシンプルにも思えるが，やはり論文のレベル（しっかりとした検証）が高い．

所管

本日は前提知識（引用論文）があったので，1時間半くらいでまとまりました．松尾研究室から出る論文は論文の書き方としてすごい参考になるので今後もぜひ読んでいきたいところです．もっと積極的に学んでAdversarialな行動認識を研究していきたいなぁと思う次第です．

1. ユーザ敵対型ニューラルネットワーク: ウェアラブルセンサを利用した行動認識におけるユーザ汎化とプライバシーへの配慮のためのユーザ独立な表現の学習手法, 岩澤 有祐, 矢入 郁子, 松尾 豊, 人工知能学会論文誌, 32(4), 2017. ↩