Decoupled Neural Interfaces using Synthetic Gradients
従来のfeedforward neural networkはback propagationによる誤差伝搬によって重みの更新がなされる。
これはすなわち、誤差が伝搬されてくるまでは更新が出来ずロックされたままの状態であるということになる。
本論では、このようなfeedforward-backpropの直列接続構造をdecoupleし、局所的な情報から誤差伝搬情報を予測し人工的に生成するモデルを導入する事で、feedforwardとbackprop更新を独立に並行して行う事可能にした。
この手法はネットワークの入力自身を予測する事にも応用可能である。
Deep-Anomaly: Fully Convolutional Neural Network for Fast Anomaly Detection in Crowded Scenes
本論では混雑した環境の動画に対する異常箇所の検知と同定を行う手法を提案する。
本論はfully convolutional netに基づいた手法を用い、temporalデータに対する適用方法と、教師なし学習手法へお拡張方法を提案し、ビデオに対する異常検知を可能にした。
性能改善のために、cascaded-out layer detectionを導入する。
これはカスケード構造を導入し、最初のステージで学習済モデルから見て異常、あるいは判断がつかない領域のみを次のステージに渡していく。
Deep Gaussian Processes
deepなgaussian process (GP)を導入する。
これはGPによる特徴表現を用いたdeep belief networkとなる。
１つのGPはここではGPLVMと一致する。
このモデルにおける推論には、approximate variational marginalizationを用いる。
これにより厳密なモデル尤度の変分下界を求める事が可能になり、これを利用する事でモデル選択を行う。
従来のdeep belief networkは大量データに対して利用されたが、本論ではベイジアンな扱いを行う事でより疎なデータに対しても適用可能になった。