Help us understand the problem. What is going on with this article?

機械学習論文読みメモ_79

More than 3 years have passed since last update.

Universal Correspondence Network
geometricあるいはsemantic matchingのための手法としてdeep learningに基づく新たなフレームワークを提案する。
従来手法はパッチベースの類似度計算により擬似的にCNNを用いて計算を行っていた。
本論では、deep learningによりgeometricあるいはsemantic matchingを可能にした特徴表現を学習する。
新たに提案するcorrespondence contrastive lossを用いた学習により計算のreuseを可能にし、高速な学習を実現した。
またpatch normalizationを模擬するspatial transformor netを用いる事で性能を大幅改善出来た。

Learning to Pivot with Adversarial Networks
データ生成プロセスに関連した推論問題は常に不確かさを抱えている。
いくつかの説明力の高いデータ生成モデルが存在する事は、そもそも対象システムの曖昧さを示唆している。
データ生成モデル族をパラメタライズするnuisance paramterに対する影響の受けにくさを示すpivotという指標を導入する事でよりロバストな推論を可能にした。
本論ではadversarial netを用いる事で推論モデルにおけるpivot propertyを向上させる事を可能にした。
結果学習されるモデルは結局最適性とnuisance parametersに対する独立性のトレードオフになり、その中でもminimaxの解が得られた。

Natural-Parameter Networks: A Class of Probabilistic Neural Networks, NIPS2016
Neural networkにおいてデータが十分でない場合、学習時に過剰適合に陥りやすい。
そのための対処法としてbayesian neural networkを用いる事は一つの手段である。
また別の問題として、データに応じて重みはニューロンの分布を適応的に変える事は難しい。
この対処としてはprobabilistic graphical modelが有効である。
上記問題に同時に対処する新たな手法として本論ではlight-weightなbayesian NNとしてnatural-parameter networks(NPN)を提案する。
NPNは任意の指数分布族を用いて重みやニューロンのモデル化を可能にする。
NPNが従来手法と異なる部分として、分布を入力とし、決定的に各層へfeedforwardさせる点がある。
この時マッチング計算のために分布を実際に生成(サンプリング?)する事のみが必要となるため効率的である。
これにより、中間層のuncertaintyも捉える事が可能になる。

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away