# はじめに
オートエンコーダの人気が落ちている!!
ということで
オートエンコーダを使った独自のニューラルネットワークを作ろうと思い立ち
考えついたものを書きます!!
まあ、昔からあったら教えてください…
# 説明
まず、オートエンコーダを1つ用意します。(^^♪
絵が下手だと!!(センスがないな~~( ´∀` ))
そんなことはどうでもいい!!!!
次にもう一つ用意します。(^^♪
時系列もつけていきます。
番号が若いほど最近のものです。
時系列ごとにオートエンコーダをやるのは処理的に難しい。
なので過去のオートエンコーダを転移学習していこうと考えました。
その時重要なのは
過去のオートエンコーダに計算しているデータをそのまま入れること
現在のオートエンコーダは過去のオートエンコーダの重みwを変更することができない(ただし、影響として1つしかない層に現在のオートエンコーダの層の値に重みwを与えた値を足すことができる)
過去のオートエンコーダは影響を記録しすべてを計算する
過去、現在関係なく影響自体が与えられていないオートエンコーダは計算しない
そして現在の影響、重みwすべてが0に近くなるようにする
です。(キャラ崩壊中)
そうするとできるかぎり0にしたとき
5と9は1と10という範囲でかかわりを持っており
また同じようなオートエンコーダの種類分布だとオートエンコーダをしなくても
影響を少しおなじものに与えるだけでデータを再現できそれにより次のものや
オートエンコーダを物の識別子に見立てられると考えています。
終わりに
数学の式を書かなかったので
次に投稿するときはがちがち図なしで書きます。
よくわからなかった
とか
数式で見てみたい
と思った人はストックしてください。
コメントに文句かいてもいいですよ。