1. 概要
ディープラーニングでは、勾配降下法以外の最適化手法として、進化型最適化(EO: Evolutionary Optimizers)が注目されている。EOは、長期的なメタラーニングや非微分可能演算子の最適化など、従来は最適化が困難だった課題への適用に有効とされている。
この論文では、ディープラーニングに特化したEOベンチマーク(NEB)を構築しており、包括的な評価ができるようにしている。
*メタラーニング：学習アルゴリズム自体を学習させる手法
非微分可能演算子：微分ができれば勾配降下法が適用できるが、微分が定義できない関数や操作を示す
2. 新規性
ディープラーニングに特化したEOのベンチマークを初めて公開している。リソース割り当てや適合度関数調整、正規化、正則化、スケーラビリティなど、ディープラーニングをする上で重要なタスクを網羅している。(Apatch-2.0ライセンス下でオープンソース化)
3. 実現方法
NEB(NeuroEvoBench)ベンチマークの設計
・ ディープラーニングにおける代表的なタスクを網羅
BBO/Control/Vision/Sequenceの4種類のタスクに対応している。
・ 複数のEOと評価指標を採択
異なるタイプの最適化問題として、3つのEOから選択が可能となっている。
・ 計算効率とスケーラビリティを考慮
実験タイプではランダムサーチによるチューニングプロトコルが組み込まれており、コストに応じてDefault/Small/Medium/Largeを設定することが可能となっている。進化アルゴリズムの実行時間や計算資源に制限をかけるパラメータとなっている。
4. 結果
図は9つのNeuro Evolutionタスクに対して9種類のEOアルゴリズムを示しており、5回の試行で平均化されており中央値のパフォーマンスが高いものが右側に来ている。一般的に用いられる遺伝的アルゴリズム(GA: Genetic Algorithm)は戦略進化(ES: Evolution Strategy)よりもパフォーマンスが低くなっていることから、ESの方がより効果的な最適化手法であることが示唆されている。メタラーニングを取り入れたEOアルゴリズムは、従来のEOアルゴリズムよりも優れた性能を発揮することが示されている。
ニューラルネットワークの重みの更新をEOで評価できるようにしている。
Paper URL: https://openreview.net/forum?id=s6qtLyR6uJ
last updates: May. 17 2024