はじめに
- 自己紹介：UbuntuでPythonを書いてデータ分析とか異常検知してます。
- AutoMLの一つであるNAS(Neural Architecture Search)に興味があります。
- 「Neural Architecture Search研究のベストプラクティス」というpaperを翻訳しました。
- https://arxiv.org/abs/1909.02453
- イイネと思ったらぜひフォロー, thumbs-up&拡散をお願いします！
目次
- イントロ
- コードをリリースする時の3項目
- NAS手法を比較する時の8項目
- 詳細をレポートする時の3項目
- まとめ
イントロ
図:NAS論文数の推移
NASはホットトピックですが、AIの他の分野と比べて、実証評価の質は負けています。
再現性を高める為のチェックリストを作りました。
再現性は、分野の持続的な進歩に繋がります！
コードをリリースする時の3項目
①学習パイプラインを公開する
学習パイプラインはNNの構造より精度に寄与する事もある。
・最適化手法
・正則化手法
・学習エポック数
・活性化関数
・学習率調整手法
・Data augmentation手法
なども公開しよう。
②NASのコア部分のコードを公開する
自明。これがないと追試は不可能。
③コードが十分にきれいになるのを待たず、すぐ公開する
「コードが十分にきれいになる」時なんて、永遠に来ない。
NAS手法を比較する時の8項目
①同じデータセット+同じベンチマークを使おう
同じデータセットを使ったとしても、
・探索空間が違う
・最適化手法が違う
・正則化手法が違う
・ハイパラが違う
などの理由で正しく比較できない事がある。
以下のような、一貫したNASベンチマークを使おう!
例1：DARTS (Liu et al., 2019b)と同条件でやる
例2：NAS-Bench-101 (Ying et al., 2019)というベンチマークを使う
②Ablation Studiesをしよう
複数の工夫を適用するなら、一つ抜きで実施してみること。
そうしないと、どれが効いているかわからない。
③同じ評価手法を使おう
自明。
④処理時間-パフォーマンスの関数を作ろう
特定の処理時間におけるパフォーマンスを比較・評価することは非常に大切。
⑤ランダムサーチと比較しよう
baselineと比較することも大事。
探索空間を適切に設計すれば、実はランダムサーチはかなり有効な手法。
⑥結果の評価は何回かやってみよう
確率的手法なので同じ手法&データでやっても同じ結果が返るとは限らない。
NASの実験はお金がかかるけど、最近の手法はそこまででもないから安心。
訳注：CIFAR-10の探索コスト, テストエラー
NAS(Zoph&Le,2016)：GPU800台で28日, 2.65%
ENAS(Pham et al., 2019)：0.45[GPU台x日], 2.89%
ASNG-NAS(Akimoto et al., 2019)：0.11[GPU台x日], 2.83%
⑦tabular benchmarksを使おう
・NAS-Bench-101
・NAS-HPO benchmarks
などのtabular benchmarksは、GPUを使わずにNASの評価ができる！
⑧交絡因子をコントロールしよう
上記の項目以外にも、
・ハードウェア
・ライブラリのバージョン
などで結果に違いが出るので注意しよう。
apples-to-applesで評価すること！
訳注：同じ条件で適切に比較することをapples-to-applesという。
詳細をレポートする時の3項目
①ハイパラ最適化手法をちゃんと書く
「ハイパラ調整まで自動化してこそのNAS」みたいな風潮のせいで、
あいまいにしか書かない人がいるけどNG。
②時間計測はエンドトゥエンドで計測しよう
NASをスタートしてから最終的なNNを返すまでの時間を記録しよう。
例えば、train時に潜在的に学習していたNNをvalidation時に呼び出すモデルで、
validationの時間しか報告しないのはNG。
③実験のセットアップの全てを明示しよう
自明。
まとめ
「再現性は脚光に勝る(Reproducibility is ever more in the limelight)」