2017年に発表されたSwish。ReLUより性能が良いと言う記事を見かけたので、論文を読んでみることに
結論
最初から結論をいうと、知りたかったなんでReLUより性能が良かったかという理由はあまり記載されてなかった。関数のsmoothnessが大切だという記載はあったが。 「ランダムに活性化関数を実験ベースでReLUと比較して精度が良かったのがSwishだった」という内容の論文だった。実験の結果
Mobile NASNet-AではSwishが一番結果が良いことが分かる。
さらに複数モデルで比較した場合に、Swishは他の活性化関数よりほとんどの場合outperformしてる事が分かる。
モデルによっても多少差があるようだ。