A Unified Approach to Interpreting Model Predictions
様々なアプリケーションにおいてモデル予測の理由を理解する事は重要である。
しかし、高性能なモデルは多くの場合複雑な構造のモデルから成り立ち、
その理解は難しくなる。
従来様々な、こうした複雑なモデルに対する予測理解を行う手法が提案されてきた。
しかしそれら手法の間の関係は不明瞭で、対象モデルに応じて最適な理解手法は
変わってくる。
本論ではこの問題に対して、より統一的なフレームワークとしてSHAPを提案する。
SHAPは各入力特徴に対して、ある予測に関する重要度をassignする。
SHAPは各特徴の重要度に関する重み付き和として複雑なモデルを近似する。
このモデルはexplanation modelと呼び、SHAPはadditive feature attribution modelとしてこれを構築し、
従来の提案手法を一般化している。
ゲーム理論に基づき、このすべてのadditive feature attributionモデルクラスに対しては唯一の解を持つ事が示せる。
CyCADA; Cycle-Censistent Adversarial Domain Adaptation
Domain adaptionにおいてドメイン分類器を騙すような画像を生成させる
adversarial adaptation modelを用いる事でドメイン不変な
特徴を抽出する事が出来る。
この手法はしかし可視化する事が難しく、またpixel-level、あるいはlow-levelの
domain shiftに対応する事も難しい。
この問題に対して、従来研究ではさらにdomain間の再構成誤差を制約に加える
cycle consistencyを加える事で、ドメイン間の画像を合わせる事なく、
さらなる性能向上を可能にした。
本論ではさらに、pixel-levelとfeature-levelの表現に関して、
それぞれcycle consistencyを適用し、加えて特定のタスクに関する損失を組み合わせる
事でさらなる性能向上を実現した。
Learning Sparse Neural Networks Through L0 Regularization
deepnetに対する実際的なＬ０正則化手法を提案する。
Ｌ０正則化を行うことで、一部の重みが０となり、結果的に
ネットワークの枝刈りを行うことができる。
このような正則化は学習や推論を高速化可能で、
また汎化性能を向上させる事も可能である。
しかしながらＬ０項は微分不可なため、deepnetにそのままでは
入れ込む事が出来ない。
本論ではこれに対する手法として、
どのweightがゼロになるか選択が可能はnon-negative stochastic gates
を入れ込む事で実現する。
これは、パラメータに対してgateと呼ばれるbinary変数を掛ける。
このgateがonになる確率はベルヌーイ分布でモデル化する。
またこのbinary値をhard-sigmoid rectificationと組み合わせる事でsmoothingする。
そしてこのgateがonになっている数を制約として目的関数へ加える。
結果微分可能な形でＬ０型の制約を入れ込む事が可能になる。