Adversarial Variational Optimization of Non-Differentiable Simulators
シミュレーターは複雑の現象をサンプルするための手法として広く使われている。
一般的にシミュレーションのプロセスは、物理などの理論を元に高く正則化され、少ないパラメータでパラメタライズされたモデルに基いて観測が生成される。
そのためパラメータの理解可能性も高い。
しかしこのプロセスで得られる観測の分布は基本的にuntractableであり、従来likelihood-freeなapproximate bayesian computationなどの手法が用いられてきた。
一方でGANにおける最適化では微分可能なNNによる生成器が用いられ、adversarial objeciveに対する最適化が行われる。
本論ではGAN最適化におけるNNによる生成器を微分不可能なシミュレーターで置き換える。
そして提案分布を用いた変分上界を用いてadversarial objectiveを最適化する。
結果、シミュレーターが現実の観測と遜色なくなるようなシミュレーターのパラメータが学習される。
Feedback Networks, CVPR2017
従来のCNNでは連続する特徴抽出とそれに続く決定を行う層によって成り立ってきた。
しかし、それとは別の逐次的な推論、つまり前回の推論結果をフィードバックする事で構築される特徴表現
を用いる事で推論を行う事も可能である。
この構造を用いた場合、まず高速な推論を得る事が可能になる。
そして推論は階層的な構造を持つようになる。
この構造はcurriculum learningと関係が深い。
Learning Transferable Architectures for Scalable Image Recognition
SOTAな画像分類モデルを作成するために、長い時間の構造探索やチューニングが必要になる事が多い。
本論ではこうしたeffortを減らすための手法としてNeural Architecture Searchを提案する。
この手法は小さなデータに対してネットワークのbuilding block構造を探索し、それがそのまま大規模データに
適用可能であるようにする。
そうする事でCIFAR-10などの比較的小さなデータで探索したbuilding blockに対して、それを積み重ねたモデルを用いてImageNetを学習したた頃SOTAを実現出来た。