Optimal Ridge Detection using Coverage Risk, NIPS2015
Density ridge検知問題に関して誤差測度として利用可能なcoverage riskコンセプトを提案する。
Density ridge検知問題では、ある空間における高密度領域を１次元曲線を用いて表示する事を目的とする。
従来手法では、mean shift algorithmを修正し、局所的な幾何構造を取り入れたsubspace constrained mean shift(SCMS)が提案されている。
Mean shift algorithmは各点を近傍点群平均値へ近づけていくアルゴリズムである。
SCMSは代わりに、勾配空間上をリッジへ到達するまで移動させる手法となっている。
SCMSはカーネル密度推定に基づいているために、バンド幅パラメータの設定が必要になってくる。
このパラメータ設定は重要で、適切でない値を用いると適切なリッジをうまく検知する事が出来ない。
本論ではこの問題に対処するために、coverage riskを提案する。
これは推定したリッジ曲線の近傍に真のリッジ曲線が含まれているかどうかのリスクを計算する。
この値はdata splittingやsmoothed bootstrappingにより推測可能で、これを最小化するようなハイパーパラメータを選択すれば良い事になる。
A Nonconvex Optimization Framework for Low Rank Matrix Estimation, NIPS2015
非凸最適化を通じた低ランク行列復元を考える。
凸最適化と比較し、実用的な性能は高いが、理論的な解析は限定的である。
本論では、projected oracle divergenceを定義し、それにより非凸最適化が全体最適へ収束するための十分条件を構築した。
ここでprojected oracle divergenceは非凸最適化を含む一般的な最適化手法においてその進展を評価する事ができる。
この十分条件によれば、gradient descent, coordinate descentなどの手法が、全体最適な低ランク表現を獲得できる事が分かった。
Fast and Accurate Inference of Plackett–Luce Models, NIPS2015
ペアワイズ比較や部分的なランキング情報を用いた推論は色々な領域で必要になってくる。
この時の一般的な公理として過程されるのがLuce’s choice axiomである。
この公理はある２つのアイテムに関するオッズは、それ以外のアイテムに依存しないというものである。
この公理にもとづいて、k-wayランキング問題に対するモデルであるPlackett-Luceモデルが提案されている。
このモデルに関して、ML推定値が、観測された選択に関するマルコフ連鎖の定常分布で表せる事を示す。
またこの２つのつながりから、マルコフ連鎖の観点からspectral methodによりML推定を解析し、新たなエラーレートを導出した。
加えて、spectral algorithmをchoice modelに適用する手法を提案、厳密にマルコフ連鎖を定義する事で、計算コストを増やすことなくより良い性能を得る事が出来た。
また提案手法を少し修正する事でiterativeな手法に拡張し、それはML推定値に収束する事を示した。