FractalNet: Ultra-Deep Neural Networks without Residuals
フラクタル構造に基づくNNモデルを提案。ResNetの構造を用いずとも、それに比する性能を出せる。
この構造は自然な形で従来のNN構造に取り入れられてきた、Deep Supervision、student-teacher learning、nested structureが現れてくる。
Reducing the Model Order of Deep Neural Networks Using Information Theory
フィッシャー情報量に基づいてDLモデルを小さくする。
情報量自体は確率的最適化を行う際に２次の情報までを求める事で予測する。
この情報量に基づき、不要なパラメータを削除し、また高い情報量を持つパラメータに対してはより多くのビットをアサインする。
Deep Reinforcement Learning with Double Q-learning
overestimationはDQNで起こるといわれている現象で、Q関数の評価時に行動と状態価値を同時に入力した累積利得評価に基づくために、行動に対する状態価値評価が、直接的に評価できない事から生じるずれに起因する。
今回Q関数を２つにする事で、行動に対する状態価値評価と、全体の累積利得価値評価を分けるDouble DQNを提案して、それらを回避する。
Language Understanding for Text-based Games using Deep Reinforcement Learning
テキストゲームをRLにより学習する。
これらはすべてテキスト入力のみで成立し、それを元に正解行動を学習する。
これらはDQNのフレームワークで学習され、従来のBag-of－Words的な手法よりも高い性能を出せる。
Contrastive Structured Anomaly Detection for Gaussian Graphical Models
gaussian graphical model(GGM)に基づく異常検知手法を提案する。
異常を含まないデータによる精度行列推定値と異常を含む恐れのあるテストデータの精度行列推定値の差を監視する事で、GGMの構造的な異常を検知する。
この時、L1誤差を罰則項としてGGMの学習を行う事で、ロバストに構造変化だけを注目できる。