2017年に発表されたSwish。ReLUより性能が良いと言う記事を見かけたので、論文を読んでみることに

結論

最初から結論をいうと、知りたかったなんでReLUより性能が良かったかという理由はあまり記載されてなかった。関数のsmoothnessが大切だという記載はあったが。「ランダムに活性化関数を実験ベースでReLUと比較して精度が良かったのがSwishだった」という内容の論文だった。

実験の結果

Mobile NASNet-AではSwishが一番結果が良いことが分かる。

さらに複数モデルで比較した場合に、Swishは他の活性化関数よりほとんどの場合outperformしてる事が分かる。
モデルによっても多少差があるようだ。

SEARCHING FOR ACTIVATION FUNCTIONS https://arxiv.org/pdf/1710.05941.pdf