Universal Correspondence Network
geometricあるいはsemantic matchingのための手法としてdeep learningに基づく新たなフレームワークを提案する。
従来手法はパッチベースの類似度計算により擬似的にCNNを用いて計算を行っていた。
本論では、deep learningによりgeometricあるいはsemantic matchingを可能にした特徴表現を学習する。
新たに提案するcorrespondence contrastive lossを用いた学習により計算のreuseを可能にし、高速な学習を実現した。
またpatch normalizationを模擬するspatial transformor netを用いる事で性能を大幅改善出来た。
Learning to Pivot with Adversarial Networks
データ生成プロセスに関連した推論問題は常に不確かさを抱えている。
いくつかの説明力の高いデータ生成モデルが存在する事は、そもそも対象システムの曖昧さを示唆している。
データ生成モデル族をパラメタライズするnuisance paramterに対する影響の受けにくさを示すpivotという指標を導入する事でよりロバストな推論を可能にした。
本論ではadversarial netを用いる事で推論モデルにおけるpivot propertyを向上させる事を可能にした。
結果学習されるモデルは結局最適性とnuisance parametersに対する独立性のトレードオフになり、その中でもminimaxの解が得られた。
Natural-Parameter Networks: A Class of Probabilistic Neural Networks, NIPS2016
Neural networkにおいてデータが十分でない場合、学習時に過剰適合に陥りやすい。
そのための対処法としてbayesian neural networkを用いる事は一つの手段である。
また別の問題として、データに応じて重みはニューロンの分布を適応的に変える事は難しい。
この対処としてはprobabilistic graphical modelが有効である。
上記問題に同時に対処する新たな手法として本論ではlight-weightなbayesian NNとしてnatural-parameter networks(NPN)を提案する。
NPNは任意の指数分布族を用いて重みやニューロンのモデル化を可能にする。
NPNが従来手法と異なる部分として、分布を入力とし、決定的に各層へfeedforwardさせる点がある。
この時マッチング計算のために分布を実際に生成（サンプリング？）する事のみが必要となるため効率的である。
これにより、中間層のuncertaintyも捉える事が可能になる。