自己符号化器,オートエンコーダ (autoencoder)
可視層(入力層&出力層)と隠れ層の2層からなるネットワーク.つまり,入力層と出力層が同じになるようなネットワークを意味する.ジェフェリー・ヒントンが考案.
エンコード:入力層⇢隠れ層における処理
デコード:隠れ層⇢出力層における処理
また,可視層よりも隠れ層の数が少ないことから,エンコードの際に次元削減を行っているといえる.
積層オートエンコーダ (stacked encoder)
ディープニューラルネットワークのようにすべての層を一気に学習するのではなく,事前学習とファインチューニングで構成される処理のこと.教師なし学習.
事前学習 (pre-trainning)
入力層に近い層から順番に学習させていく,逐次的な方法.
ファイン・チューニング(fine-turning)
事前学習で隠れ層の重みを調整し終え,最後に ロジスティック回帰層(シグモイド関数 or ソフトマックス関数による出力層) を足し,重みの調整をもすること.
深層信念ネットワーク (deep belief networks)
教師なし学習に,制限付きボルツマシン(restricted boltzman machine)という手法を用いたもの.ジェフェリー・ヒントンが積層オートエンコーダを提唱した2006年にこちらの手法も提唱されている.
見るべき解説動画
数式を交えた解説動画
ハンズオンによる説明