自分メモ
たまたま論文[https://arxiv.org/pdf/1712.03480.pdf] を読んでいたらカプセルネットワークの活性化関数を以下のものに変えているのを発見
微小項のイプシロンは勝手に追加している。実際にMnistにてどれぐらいこの活性化関数で精度が50epoch/500 epoch / 1000epochで変わるのかを以下試した(Routingは３のみ)。
50epo 500epo 1000epo
Squash関数 88.3% 94.5% 99.4%
提案関数 87.8% 95.7% 99.8%
やや不安定感もあるが、全体的に提案されている関数の方がよかった。