Abstract

訳文

この研究では, 新しいネットワーク設計のパラダイムを提示する. 我々の目標は, ネットワーク設計の理解を促進し, 設定を越えて一般化する設計原理を発見することである. 個々のネットワークインスタンスの設計に焦点を当てるのではなく, ネットワークの母集団をパラメータ化したネットワーク設計空間を設計する. 全体的なプロセスは, ネットワークの古典的な手動設計に類似しているが, 設計空間のレベルにまで高められてる. 我々の方法論を用いて, ネットワーク設計の構造的側面を探求し, RegNet と呼ばれる単純で規則的なネットワークからなる低次元の設計空間に到達した. RegNet のパラメトリー化の核心的な洞察は驚くほど単純である. RegNet 設計空間を分析し, 現在のネットワーク設計の実践とは異なる興味深い知見を得た. RegNet デザイン空間は, 幅広いフロップレジームで動作するシンプルで高速なネットワークを提供する. 同等のトレーニング設定とフロップの下で, RegNet モデルは一般的な EfficientNet モデルを上回る性能を示し, GPU 上では最大 $5$ 倍の高速化を実現した.

原文

In this work, we present a new network design paradigm. Our goal is to help advance the understanding of network design and discover design principles that generalize across settings. Instead of focusing on designing individual network instances, we design network design spaces that parametrize populations of networks. The overall process is analogous to classic manual design of networks, but elevated to the design space level. Using our methodology we explore the structure aspect of network design and arrive at a low-dimensional design space consisting of simple, regular networks that we call RegNet. The core insight of the RegNet parametrization is surprisingly simple: widths and depths of good networks can be explained by a quantized linear function. We analyze the RegNet design space and arrive at interesting findings that do not match the current practice of network design. The RegNet design space provides simple and fast networks that work well across a wide range of flop regimes. Under comparable training settings and flops, the RegNet models outperform the popular EfficientNet models while being up to 5x faster on GPUs.