LoginSignup
0
2

More than 5 years have passed since last update.

『オートエンコーダ』で進化したニューラルネットワーク紹介 カプセルネットワークっぽい

Posted at

 

 はじめに

オートエンコーダの人気が落ちている!!
ということで
オートエンコーダを使った独自のニューラルネットワークを作ろうと思い立ち
考えついたものを書きます!!
まあ、昔からあったら教えてください…

 説明

まず、オートエンコーダを1つ用意します。(^^♪
無題.jpg絵が下手だと!!(センスがないな~~( ´∀` )
そんなことはどうでもいい!!!!
次にもう一つ用意します。(^^♪
3無題.jpg
時系列もつけていきます
番号が若いほど最近のものです。
時系列ごとにオートエンコーダをやるのは処理的に難しい。
なので過去のオートエンコーダを転移学習していこうと考えました。
4無題..jpg
その時重要なのは
過去のオートエンコーダに計算しているデータをそのまま入れること
現在のオートエンコーダは過去のオートエンコーダの重みwを変更することができない(ただし、影響として1つしかない層に現在のオートエンコーダの層の値に重みwを与えた値を足すことができる)
過去のオートエンコーダは影響を記録しすべてを計算する
過去、現在関係なく影響自体が与えられていないオートエンコーダは計算しない
そして現在の影響、重みwすべてが0に近くなるようにする
です。(キャラ崩壊中)
そうするとできるかぎり0にしたとき
無題.5.jpg
5と9は1と10という範囲でかかわりを持っており
また同じようなオートエンコーダの種類分布だとオートエンコーダをしなくても
影響を少しおなじものに与えるだけでデータを再現できそれにより次のものや
オートエンコーダを物の識別子に見立てられると考えています。

終わりに

数学の式を書かなかったので
次に投稿するときはがちがち図なしで書きます。
よくわからなかった
とか
数式で見てみたい
と思った人はストックしてください。
コメントに文句かいてもいいですよ。

0
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
2