A Random Matrix Approach to Recurrent Neural Networks, ICML2016
RNN、特に線形なRNNは様々なconfigurationにおける性能分析を通して、その質的洞察を得てきた。
対して本論では新たなランダム行列に基づく、特にecho-state netowrk(ECN)に基づいて量的洞察を与える。
ECNはreserviorと呼ばれる、ランダムに作成されその後固定して使われる接続行列（connectivity matrix)を用いてネットワークを構築する。
このECNは過剰適合のリスクを低減する事が出来るが、短期的な記憶能力しか持てない。
ECNの解析は行列が固定される事より難しくはなく、すでに様々な質的な洞察が得られており、特に作用素ノルムとスペクトル半径が重要な意味を持つ事がわかっている。
しかしより詳細な量的洞察はまだ得られておらず本論ではそれを扱う。
本論では内部ノイズを含むような線形ECNの平均二乗誤差に関連した理論解析を行った。
解析はランダム写像の理論に基づいて行われた。
Pliable Rejection Sampling, ICML2016
Rejection samplingは複雑な分布をサンプルするための技術の１つである。
この手法は、サンプルしたい対象の確率分布をすべて下側に包含するような、サンプル可能な提案分布を利用する。
提案分布によりサンプルされた点に対して、さらに０からサンプル点における提案分布確率値の間に一様サンプルを行い、それが
対象分布にお含まれる場合の採択する。
これにより採択されたサンプルの集合はそのまま対象分布を表現できる。
この手法はしかしながらサンプル採択率の低さにより、その実用性が制限されている。
提案手法では、カーネル密度分布を提案分布として利用し、この利用により、採択率の下限が保証できることを示した。
また得られるサンプルは高い確率でi.i.d.であり、対象分布から得られたものであるといえる。
CryptoNets: Applying Neural Networks to Encrypted Data with High Throughput and Accuracy, ICML2016
様々な分野で、データのprivacyやsecurityを担保した形でデータ処理を行うことが求められている。
本論では暗号化されていないデータに対して学習したNNモデルを、暗号化されたデータに適用可能な形に変換する手法を提案する。
そのために、homomorphic encryptionを導入する。
これは、特定に計算処理に関して、復号化を事前に行うことなくそのまま適用する事を可能にする。
特にleveled homomorphic encryption schemeでは、多項式計算を可能にするが、予めその最大次数を決めておく必要があり、その大きさでパラメータ数が決定される。
そのためいかに低い次数の多項式計算で対象モデルを構築するかが重要になってくる。
ここで本論ではNNモデルを用いてモデルの表現力を向上させ、またボトルネックであった非効率性についても改善する事ができた。