Bidirectional Helmholtz Machines, ICML2016
Variational autoencoderなどのモデルは、トップダウンの生成モデルとボトムアップの推論モデルで成り立っている。
本論では、特に両モデルに対してconvert可能なモデルを提案する。
このモデルでは、さらに生成、推論モデルを近似する２つの近似モデルを用い、両モデルは互いに似た分布構造を持つようにして、さらにこの2つのモデルの幾何平均が実際に定義した提案モデルの分布に一致するようにする。
このモデルの尤度関数の下界は求められ、この下界に関して最適化を行う事で２つの分布間のBhattacharyya distanceを最小化するような正則化を行う事になる。
Partition Functions from Rao-Blackwellized Tempered Sampling, ICML2016
複雑でマルチモーダルな分布に対する分配関数を求める手法を提案する。
その手法はsimulated temperingを応用し、補助変数(inverse temperature) をパラメータに確率分布の谷を超えた別のモードへの遷移を確率的に可能にした事で、複雑な分布でも効率良くサンプリングする事が出来る。
この時、その遷移確率をパラメタライズする補助変数が多変量正規分布で表現出来る事を利用すれば、この変数は条件付き確率を用いたサンプリングに基づく平均値によって効率よく求める事が出来る。
この条件付き確率に基づくサンプリングはRao-Blackwellizedの定理に基づいた考え方を利用可能で、通常の確率分布を利用するMCMCよりも分散が小さく効率よく計算が出来る。
本論ではこのサンプリング手法を提案し、Rao-Blackwellized Tempered Samplingと呼ぶ。
Binary embeddings with structured hashed projections, ICML2016
疑似ランダム写像とsign関数を組み合わせて構築するバイナリハッシュ関数について考える。
ここで擬似ランダム写像とは、行列で示され、全ての要素が独立である必要はないが、ある一定量に渡っては独立な要素が分布している事（fixed budget of randomness) を満たす。
そのような行列は一般に、準二次、あるいは線形空間で表現可能で、写像の表現に必要なランダム変数の数を減らす事が出来る（次元削減的な考え？）。
本論では、様々な構造を持った写像とsign関数の組み合わせにおいて、高次元入力空間の角度を保持する事を示した。
この事実はJohnson-Lindenstrauss lemma、ユークリッド空間における高次元から低次元の写像において距離をほぼ保存したままにできるものがある、を一般化でき、いくつかのヒューリスティクスとしてしか情報の保存が知られていない写像構造についても説得力をもたせる事が可能になる。
またこれら構造的な写像はまた情報圧縮にも応用する事ができる。