A Deep Learning Approach to Unsupervised Ensemble Learning, ArXiv
deep learningのモデルがどのようにしてクラウドソーシングや教師なしアンサンブル学習へ適用出来るかを提示する。
条件付き独立な全ての分類器は、隠れ変数が１つのRBMと等価である事を示す。
これより、アンサンブル予測のための事後分布確率は代わりに学習したRBMで表す事が可能になる。
次に条件付き確率を満たさないケースでは、RBMベースのdeep learningモデルを考える事が出来る。
この時のモデル構成に関するヒューリスティクスを提案する。
Beyond Parity Constraints: Fourier Analysis of Hash Functions for Inference, ICML2016
ランダム写像は最近では、高次元データ分布の特性を推測するための手法としても使われる。
ランダム写像では、高次元データの特性を保ったまま、低次元で解析のしやすい空間に写像する事が主な目的であった。
しかしそれはrandom parity check codeに基づくhash関数のみを利用したものであった。
これは良く高次元データの特性を保存するが、安定せず、また解析も簡単ではない。
本論ではフーリエスペクトルに基づいた一般的なフレームワークを提案する。
このフレームワークの利用で新たに２つのハッシュ関数を提案し、それを用いた確率推論を行えるようにした。
Scalable Reinforcement Learning via Trajectory Optimization and Approximate Gaussian Process Regression
強化学習において、モデルフリーアプローチは基本的に人による教示が必要で、物理システムとの試行錯誤が何度も必要である。
モデルベースアプローチでは、データから環境のダイナミクスを直接学習する事で効率化を図る。
しかし高次元空間に対しては、計算効率が良くはなく、またモデルの近似精度が問題であった。
本論では、local trajectory optimizationとrandmom feature approximationに基づいた手法を提案する。
local trajectory optimization は非線形最適制御などで用いられ、最適なトラジェクトリに関して局所最適な制御ポリシーを適用する手法である。
この手法を用いる事で高次元空間に対して効率的な計算を可能にする。
従来手法では動的システムの陽な定義が必要であった。
本論ではデータを用いたGaussian Processに基づいてこれを実現する。
特に計算効率良くするために、カーネル関数近似に基づいたrandom feature mappingを組み合わせた高効率なGPを用いる。