Google Colaboratoryで始めるAdaNet

AdaNetという面白いAutoMLが出たのでGoogle Colaboratoryで動かせるようにしてみました。

Introducing AdaNet: Fast and Flexible AutoML with Learning Guarantees
https://ai.googleblog.com/2018/10/introducing-adanet-fast-and-flexible.html

[Dl輪読会]AdaNet: Adaptive Structural Learning of Artificial Neural Networks
https://www.slideshare.net/DeepLearningJP2016/dladanet-adaptive-structural-learning-of-artificial-neural-networks

AdaNetの理論

AdaNetとは、アンサンブル学習で行っていたサブネットワークのハイパーパラメータの探索やそのサブネットワーク(モデル)をどのように組み合わせればロスを最小化できるかを自動化する手法です。

精度

青い線はトレーニングセットの精度、赤い線はテストセットの精度です。x軸が学習ステップです。100万ステップごとに精度が良くなっていることがわかります。灰色と緑の線は、新しいサブネットワークを追加する前のアンサンブルの精度です。

Google Colaboratoryで動かす

以下にColaboratoryで動かせるものを置いております。(*.colab.ipynb)
現状、Python2でしか動かせません。('dict_values' object does not support indexingというエラーが出るため)GPU推奨(TPUも今後サポートするらしいです)

The AdaNet objective
Customizing AdaNet
MNIST