目的

藁にも縋る思いで、、、活性化関数Mishを試してみた。
（実際は、もう少し気楽に、、、しかし、なんかすばらしいものないかな。。。という思いにて。）

Mishとは

Mishとは、以下のような形をした活性化関数です。

出典：https://github.com/digantamisra98/Mish

使ってみた結果

上記のgithub
(https://github.com/digantamisra98/Mish)
のコードを使いました。

具体的には、
https://github.com/digantamisra98/Mish/tree/master/Examples%20and%20Benchmarks

の
cifar-10-resnext-50-mish.ipynb
のコードを動かしました。

ジュピターノートの使い方がわからないので、このINのコードを
はぎとって、動かしました。

コードの変更点１(動かすという意味では、1行のみ変更。)

動かすという意味では、1行のみ変更。
以下をコメントアウト

# print(os.listdir("../input"))

コードの変更点２（自分のノートパソコン都合で、3行変更）

りっぱなパソコンの場合は、この変更は不要。
ワタシのは、立派ですが、凄く立派ではないノートPCで、
Geforce GTX 1050Ti
なので、

resnext-50

を動かすには、メモリが足らないようです。

**バッチサイズを極端に小さくしました。16にしました。**元は、128か64だったと思います。

def get_training_dataloader(train_transform, batch_size=16, num_workers=0, shuffle=True):

def get_testing_dataloader(test_transform, batch_size=16, num_workers=0, shuffle=True):

batch_size = 16

コードの変更点３（cifar10を対象としているので、augmentationが足らないと思ったので。）

augmentationを適当に増やしました。

    transforms.RandomCrop(32,padding=8),
    transforms.ColorJitter(brightness=0.5),

以下も1/10にしました。

learning_rate = 0.0001

結果発表！！　accuracyの結果(cifar10)

一日ぐらい動かしましたが、epochは、まだ、50程度。

Test accuracy: 0.9025..

⇒普通な結果。あと1日ぐらい動かしてみますが。。。

Epoch 40/100.. Time per epoch: 1337.4019.. Average time per step: 0.4280.. Train loss: 0.3072.. Train accuracy: 0.8935.. Top-3 train accuracy: 0.9848.. Test loss: 0.3861.. Test accuracy: 0.8870.. Top-3 test accuracy: 0.9823
Epoch 41/100.. Time per epoch: 1338.3242.. Average time per step: 0.4283.. Train loss: 0.3007.. Train accuracy: 0.8952.. Top-3 train accuracy: 0.9858.. Test loss: 0.3657.. Test accuracy: 0.8917.. Top-3 test accuracy: 0.9829
Epoch 42/100.. Time per epoch: 1340.5420.. Average time per step: 0.4290.. Train loss: 0.2975.. Train accuracy: 0.8958.. Top-3 train accuracy: 0.9865.. Test loss: 0.3853.. Test accuracy: 0.8913.. Top-3 test accuracy: 0.9821
Epoch 43/100.. Time per epoch: 1340.4637.. Average time per step: 0.4289.. Train loss: 0.2878.. Train accuracy: 0.8994.. Top-3 train accuracy: 0.9864.. Test loss: 0.3520.. Test accuracy: 0.8999.. Top-3 test accuracy: 0.9856
Epoch 44/100.. Time per epoch: 1338.6670.. Average time per step: 0.4284.. Train loss: 0.2824.. Train accuracy: 0.9005.. Top-3 train accuracy: 0.9869.. Test loss: 0.3827.. Test accuracy: 0.8941.. Top-3 test accuracy: 0.9839
Epoch 45/100.. Time per epoch: 1330.7962.. Average time per step: 0.4259.. Train loss: 0.2768.. Train accuracy: 0.9018.. Top-3 train accuracy: 0.9876.. Test loss: 0.3541.. Test accuracy: 0.9025.. Top-3 test accuracy: 0.9845

Mishに関するコメント（感想？）

煽ったような技術記事をみて試したのだが、それほど、興味を引くような結果は得られていない。
例えば、検出精度を追及する際に、これが大きく貢献するような気は、ちょっと、しませんでした。
例えば、ReLUで105層のものが、Mishで102層で同じ性能が出るとか、そういったレベルに感じる。最高性能は、条件フリーだと同じぐらいでは？？（すみません、何の根拠もないですが。。。）

まとめ

今回、cifar10を対象にしましたが、
cifar10のようなシンプルな問題の場合、
さすがに、活性化関数ぐらいでは、すばらしいことは起きませんね。。。

もうすこし、世間の評価を待ちたいと思います。

今後

特別、予定なし。
コメントなどあれば、お願いいます。