Principal Geodesic Analysis for Probability Measures under the Optimal Transport Metric, NIPS2015
optimal transform distanaceとして知られるWasserstein distanceはある距離空間上で定義された確率測度を比較する上で有用である。
Wasserstein distanceが付与された確率測度空間をWasserstein spaceと呼ぶ。
本論ではこの空間上においてPCAを行うWasserstein principal geodesic analysis を考え、特に従来手法より一般的でスケーラブルな手法を提案する。
通常のPCAはユークリッド空間やヒルベルト空間上で行われるが、これはリーマン多様体上にも拡張する事が可能である。
この場合、ヒルベルト空間に対して定義出来る無限次元リーマン多様体を考えると、例えば一般化されたセントロイドであるFrechet mean周りでtangent spaceへの写像を行い、その上でPCAを行う手法がある。
しかしWasserstein spaceでは、多様体からtangent spaceへのexponential mapが定義出来ない問題があった。
従来研究では限定された条件においてそれに対処する手法が提案されてきた。
本論ではより一般的でスケーラブルな手法を提案する。
この手法では、Wassetstein distanceと多様体上の測地線計算の双方において近似計算を導入し、様々な測度に対して適用可能なアルゴリズムを提案する。
さらにvelosidy fieldを２つ定義し、その最適化問題として主成分を求める問題とする。
この最適化問題は非凸かつnon-smoothなので、そのsmoothな上界を用いて最適化する。
Copeland Dueling Bandits, NIPS2015
dueling bandit問題を扱う。
この問題では、通常のbanditとは違い、一度に２つの対象を選択し、どちらがより好ましいかが、確率的に選択され帰ってくる場合である。
この設定において従来研究では、Condorcet winner、ある対象が存在しそれはその他の全て対象より確率0.5より高い確率でより好ましいとなる、が存在する事を仮定し分析されてきた。
しかし現実においてはCondorcet winnerが存在しない場合は多い。
本論ではCondorcet winnerが必ずしも存在しない場合を考え、代わりにCopeland winner、ある対象に対して好ましいとされる確率が0.5より大きいその他の対象が最大となる、を扱う。
この場合、Copeland winnerは複数いる場合があり、それらを元にregretも計算される事となる。
A hybrid sampler for Poisson-Kingman mixture models, NIPS2015
事前分布がPoisson-Kingman分布になるようなBayesian nonparametric mixture modelに関するMCMCサンプリング手法を提案する。
提案手法では、モデルの無限次元因子の陽な表現法を低いメモリ、記憶領域にて実現する。
従来研究では、無限次元事前分布を有限次元分布に切り取る事で置き換えるconditional sampler、周辺化確率表現を通して無限次元表現を回避するmarginal samplerの2通りによりサンプリングが実現されていた。
しかしながらどちらの手法を無限次元を陽に考えないため、その性能に制限があった。
本論では広い範囲のbayesian nonparametric mixture modelをカバー出来るPoission-Kingman分布を利用したサンプリング手法を提案する。
この分布はnormalizedされたcomplete random measure(CRM)の一般化された分布であり、例えばPoisson processはCRMの一種である。
Poission-Kingman分布の良い特性としては、ほとんど確実に離散的であるという事である。
これは、この分布によりrandom partionを導入した時、互いに排他的な区分領域間においては互いに独立である事が言える事である。
これにより同じ領域に属するサンプルが得られた時に、それらのサンプルがある確率で同一のものとみなすモデルを導入可能になる。
またこのrandom partitionはまたexchangeabilityを持つため計算時に有用である。
この分布によるサンプリングはstick breaking processとの関連がある。
この分布は無限次元因子を陽に表す事になるが、実際の計算においては、各有限なpartition(cluster)に関する計算のみを行えば良い事になる。