Deep Learningブームの元となったアルゴリズムを理解したい
ここ数年話題に上がらない日がないDeep Learningについて、
ここでは、第三次深層学習ブームを引き起こしたHinton教授のDeep Belief Networkの研究（RBM及び貪欲法の考え方をもとにした方法により、DBNの学習性能を向上させた）について
論文「A fast learning algorithm for deep belief nets(2006)」
https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf
を読み進めてみたいと思います
正直DBNについての知識は全くがないのですが、
とりあえず概要でも良いので、どのようなことが書かれているか
理解出来たらいいなあと思っております
とりあえずわからない単語が出てきたらその都度調べる方向で…
もうたぶんわからないことばかりで、ダメダメなので、
もしご指摘等ありましたらぜひお寄せください
Abstract
とりあえず翻訳してみまーす。本当にわからないんで、一文目から。
【原文1】
We show how to use “complementary priors” to eliminate the explaining away effects that make inference difficult in densely-connected belief nets that have many hidden layers.
【翻訳1】
正直全く意味がわからないのでGoogle翻訳しまーす。
隠れ層が多い"densely-connected belief nets"において、推論を困難にする解説効果を排除するために、"complementary priors"を使用する方法を示します。
ちょっと意味が分かりません…
とりあえず次も見てみます。
【原文2】
Using complementary priors, we derive a fast, greedy algorithm that can learn deep, directed belief networks one layer at a time, provided the top two layers form an undirected associative memory.
【翻訳2】
我々は"complementary priors"を用いて、高速貪欲アルゴリズムを導出する。
このアルゴリズムにより、上位2層が"an undirected associative memory"を形成するような"deep, directed belief networks"を学習することができる。
【原文3】
The fast, greedy algorithm is used to initialize a slower learning procedure that fine-tunes the weights using a contrastive version of the wake-sleep algorithm.
【翻訳3】
高速貪欲アルゴリズムは、"wake-sleep algorithm"とは対照的な方法により、重みを微調整するためのより遅い学習方法を初期化するために使用される。
【原文4】
After fine-tuning, a network with three hidden layers forms a very good generative model of the joint distribution of handwritten digit images and their labels.
【翻訳4】
微調整後、3つの隠れ層をもつネットワークは、手書き数字認識及びそのラベルとの"joint distrubution"の非常に良いモデルを生成する。
【原文5】
This generative model gives better digit classification than the best discriminative learning algorithms.
【翻訳5】
この生成モデルにより、(既存の)最良の識別学習アルゴリズムよりも優れた数字の分類が行える。
【原文6】
The low-dimensional manifolds on which the digits lie are modelled by
long ravines in the free-energy landscape of the top-level associative memory and it is easy to explore these ravines by using the directed connections to display what the associative memory has in mind.
【翻訳6】意味わからないのでとりあえずGoogle翻訳をもとにしています。
それぞれの数字が存在する低次元の多様体は、"top-level associative memory"の"free-energy landscape"における"long ravines"（「長い峡谷」？）でモデル化され、"associative memory"が念頭に置いているものを示すために"directed connections"を用いてこれらのravines"（「峡谷」？）を探索することは簡単である。
↑ちょっと意味がわかりません！
Abstractまとめ
とにかく、何を言っているのか全くわからないことがわかりました…。
とりあえずわかったことと言えば、
・この論文では、高速貪欲アルゴリズムという手法が提案されている。
・提案された手法には、"complementary priors"という考え方が使われている。
・提案された手法は、上位2層が"an undirected associative memory"を形成するような"deep, directed belief networks"に対して有効である。（これらの英単語が何を意味するのかは不明）
・提案された手法を使うと、手書き数字の認識（MNISTのことか？）において、既存手法よりも良い認識性能が得られる。
理解できていないワードがたくさんあるのですが、とりあえず本文中に4～5回出てきたら、調べてみようと思います。
とりあえず理解度はものすごく低いのですが、次回Introductionから先も目を通してみたいと思います。