One pixel attack for fooling deep neural networks
最近の研究でdeepnetの出力は連続的ではなく、入力に対する小さな摂動に敏感である事が知られている。
ネットワークの推論を狂わせる微小摂動を生成する手法はいくつか提案されてきた。
本論では、遺伝的アルゴリズムに属するdifferential evolutionを利用して探索する事で選ばれる、
微小数のpixelに対する微小摂動を行うだけで
ネットワークの推論を狂わせる事が可能な摂動の生成手法を提案する。
この手法を利用した結果、多くの画像に対して、たったひとつのピクセルを摂動するだけでも、ネットワークの
クラス分類結果を変化させられる事が分かった。
またこうした摂動に対してロバストになる画像は少ない事が分かった。
First-order Methods Almost Always Avoid Saddle Points
本論では、幅広い一次オーダーの最適化手法に関して、それらがほぼ全ての初期化条件に関してsaddle pointを回避出来る事を示した。本論では、動的システムの観点から、Stable Manifold Theoremを利用する事で全所的なstabilityの解析を可能にした。
Dynamic Routing Between Capsules
capsuleとは物体やその部分などを表現するactivity vectorを持つニューロンのgroupで成り立つパラメータ表現である。
activity vectorの長さはさらに物体の存在、向きを表現している。
一つのactiveなカプセルは遷移行列を通したpredictionsにより次のカプセルのパラメータ表現を獲得する。
複数のパスから得られたpredictionsが同意する場合に、次のカプセルがactiveになる。
このカプセルネットワークを用いた多層パーセプトロンで分類器を学習し、MNISTに関してSOTAを達成。