SDCA without Duality, Regularization, and Individual Convexity, ICML2016
Stochastic dual coordinate ascent(SDCA)は正則化項付きの凸関数和損失最小化問題において、一般的に用いられる最適化手法である。
本論では正則化項を陽に要求せず、かつ双対性に頼らない手法を提案する。
また期待損失が強凸性を持つのであれば、個々の損失が非凸であっても、線形収束を実現出来る事を示した。
Stochastic Quasi-Newton Langevin Monte Carlo, ICML2016
stochastic gradient MCMC, 例えばstochastic gradient langevin dynamicsなど、は大きなデータに対して事後分布MCMCをやるために有効である。
しかし従来手法では変数間に強い相関がある、変数同士でスケールが異なる、などすると、MCMCのmixing rateが悪くなる。
本論では、quasi newton methodの考え方を援用し、局所的な幾何構造を考慮する事でこの問題に対処した。
少量のサンプルとその勾配値に関する履歴を保持する事で、各点まわりの2次勾配情報を近似する事が出来る。
一方で次元に関して時間とメモリが線形オーダーにしか増えていかないようになっている。
Actively Learning Hemimetrics with Applications to Eliciting User Preferences, ICML2016
ユーザーの嗜好情報を元にアイテム間の距離を学習する。
この距離は、ユーザーがあるアイテムを別のアイテムに入れ替える際に感じるコストを示す。
対象の構造を考慮しない場合、単純にｎ個のアイテムに対しn^2オーダーのクエリが全アイテム間距離を知るために必要である。
本論では、対象構造を考慮し、能動学習に基づくクエリを行う事で少ないsample comlexityでアイテム間距離を学習する。
多くのタスクにおいて提案手法は最適なsample complexityを実現する。