DeepMind Perceiver (in PyTorch) 動かしてみた。MNISTですが。。
以下のgithub
https://github.com/louislva/deepmind-perceiver
動かした結果
まだ、トレーニング中です。。。。
（都合により、PCを一度止めますが、もう、3epoch目に入っていて、精度も上がっていたので、うまく動くきるのは間違いありません、別途、再開させます。）
10epochにしました。
0.9612 でましたー！(MNIST)。いいんじゃないでしょうか。
もしかすると、Transformerよりいいのかも。。。期待！！！
C:_perceiver_mnist\deepmind-perceiver-master>python perceiver_mnist.py
EPOCH 0 [LEARNING RATE: 0.0031622776601683794; ACCURACY: 0.1028]
0.511: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [17:00<00:00, 1.84it/s]
EPOCH 1 [LEARNING RATE: 0.0031622776601683794; ACCURACY: 0.8363]
0.405: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [16:55<00:00, 1.85it/s]
EPOCH 2 [LEARNING RATE: 0.0031622776601683794; ACCURACY: 0.8999]
0.255: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [16:57<00:00, 1.84it/s]
EPOCH 3 [LEARNING RATE: 0.001; ACCURACY: 0.922]
0.134: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [17:22<00:00, 1.80it/s]
EPOCH 4 [LEARNING RATE: 0.001; ACCURACY: 0.939]
0.062: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [17:08<00:00, 1.82it/s]
EPOCH 5 [LEARNING RATE: 0.001; ACCURACY: 0.9436]
0.095: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [16:57<00:00, 1.84it/s]
EPOCH 6 [LEARNING RATE: 0.00031622776601683794; ACCURACY: 0.9448]
0.154: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [16:55<00:00, 1.85it/s]
EPOCH 7 [LEARNING RATE: 0.00031622776601683794; ACCURACY: 0.9554]
0.084: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [16:57<00:00, 1.84it/s]
EPOCH 8 [LEARNING RATE: 0.00031622776601683794; ACCURACY: 0.9557]
0.011: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [16:54<00:00, 1.85it/s]
EPOCH 9 [LEARNING RATE: 0.00010000000000000002; ACCURACY: 0.9556]
0.021: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [16:54<00:00, 1.85it/s]
EPOCH 10 [LEARNING RATE: 0.00010000000000000002; ACCURACY: 0.9607]
0.031: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [16:56<00:00, 1.84it/s]
EPOCH 11 [LEARNING RATE: 0.00010000000000000002; ACCURACY: 0.9615]
0.115: 100%|███████████████████████████████████████████████████████████████████████| 1875/1875 [16:57<00:00, 1.84it/s]
0.9612
C:_perceiver_mnist\deepmind-perceiver-master>
まとめ
Perceiverを動かしてみたかったので。
まだ、途中なので、特にコメントありません。
簡単に、普通のしょぼいPCで動くようなので、是非。