備忘録ですが、いつもやっている気がする。。。何度やっても何か躓く。。
ただし、少しずつ進化しているかも。。世の中
今回は参考①を中心に参考にしています。
【参考】
⓪【将棋AI】「将棋AIで学ぶディープラーニング」を読む♪～Chainer環境構築
①Keras-TensorFlow-GPU-Windows-Installation (Updated: 12th Apr, 2019)
②pip で OpenCV のインストール
###やったこと
（０）不必要なものを減らして空き容量を１５GB程度まで増やす
（１）Anacondaをダウンロードしてインストール
（２）Update Anaconda
（（３）Visual Studio 2015 Community Editionをインストール）
（４）Cudaをダウンロードしてインストール
（５）Cudnnをダウンロードしてインストール
（６）AnacondaのPythonを3.6環境に変更する
（７）conda activate keras-gpu
（８）mnist_mlp.pyを動かす
（９）pip install matplotlib, pip install sklearn, pip install
opencv-pythonなどをインストール
（１０）chainer-gpuインストール
###（０）不必要なものを減らして空き容量を１５GB程度まで増やす
これ途中で止まると結局最初からやり直しになるから、十分確保して始めることをお勧めします。
なお、環境が錯綜するといろいろ弊害がある可能性があるので、前回インストールしたものは、サクッとアンインストールすることをお勧めします。
###（１）Anacondaをダウンロードしてインストール
Anaconda Distribution
18／5／2019現在は、Anaconda 2019.03 for Windows Installerで、Python3.7です。
なお、最新バージョンをダウンロードして後でpython3.6に変更します。
###（２）Update Anaconda
AnacondaPromptから以下を入力して最新化します。
condaPrompt.
>conda update conda
>conda update --all
驚くほど、いろいろ変わります。
###（（３）Visual Studio 2015 Community Editionをインストール）
この工程がありません。
今回は入れていませんが、前回の環境が有効になっているようなので、必要ないのかどうかは不明ですが、参考①にはありません。
###（４）Cudaをダウンロードしてインストール
ここは以前と変わりません。
Cudaバージョンは、CUDA Toolkit 10.1 Update 1 Downloadです。
windows-x86_64-10-exe_localをダウンロードします。
インストール時間は１時間程度（目安）かかります。
###（５）Cudnnをダウンロードしてインストール
登録が面倒ですが、登録すればダウンロードするだけです。
バージョンは以下のとおりです。
Download cuDNN v7.5.1 (April 22, 2019), for CUDA 10.1
そしてある意味、ここ変わりました。
D:\cudnn-10.1-windows10-x64-v7.5.1.10
などのDirに解凍します。そして、この配下のcuda-binを環境変数を編集を実行してPATHに追加します。
そして、変更したら
echo %PATH%
※CUDAへの上書きは必要ないようです
###（６）AnacondaのPythonを3.6環境に変更する
command.
conda create -n keras-gpu python=3.6 numpy scipy keras-gpu
これも結構変わりますが、時間は短いです。
###（７）conda activate keras-gpu
コマンドはconda Promptから実行します。
command.
(base) C:\Users\user>conda activate keras-gpu
これを実行するとconda Promptが以下のように変わります。
before.
(base) C:\Users\user>
after.
(keras-gpu) C:\Users\user>
###（８）mnist_mlp.pyを動かす
KerasもTensorflow-gpuも明示的にはインストールしていませんが、これで以下のアプリが動きます。簡単とは言え、４０ｓで終わり、精度もなかなかです。
keras/examples/mnist_mlp.py
###（９）pip install matplotlib, pip install sklearn, pip install opencv-pythonなどをインストール
グラフやちょっと機械学習、そして何よりOpenCVは必須なので入れます。
簡単に以下のコマンドですんなり入ります。
(keras-gpu) C:\Users\user\ObjectiveNuro>pip install matplotlib
(keras-gpu) C:\Users\user\ObjectiveNuro>pip install sklearn
(keras-gpu) C:\Users\user\ObjectiveNuro>pip install opencv-python
###（１０）chainerインストール
また、将棋AIをやりたいので、Chainerも入れます。
以下のとおり、Chainerは最新版のchainer-6.0.0が入りました。
しかし、Cupyは入っていません。。。
Successfully installed chainer-6.0.0 filelock-3.0.10 typing-3.6.6 typing-extensions-3.7.2
(keras-gpu) C:\Users\user\ObjectiveNuro>python
Python 3.6.8 |Anaconda, Inc.| (default, Feb 21 2019, 18:30:04) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import cupy
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'cupy'
>>> import chainer
>>>
ということで、Cupyをインストールしました。
以下のようにたくさん怒られましたが、インストールできました。
WARNING: Subprocess output does not appear to be encoded as cp874
/ WARNING: Subprocess output does not appear to be encoded as cp874
done
Stored in directory: C:\Users\user\AppData\Local\pip\Cache\wheels\27\5a\67\bfaf1d3ad99e17b134c31cf0b2ac352b7491d64d36134b4379
Building wheel for fastrlock (setup.py) ... | WARNING: Subprocess output does not appear to be encoded as cp874
WARNING: Subprocess output does not appear to be encoded as cp874
/ WARNING: Subprocess output does not appear to be encoded as cp874
done
Stored in directory: C:\Users\user\AppData\Local\pip\Cache\wheels\73\2b\fe\8bdf21b8ebdc58dfafa3a0935767d2ae9c8f68e49d04c5a190
Successfully built cupy fastrlock
Installing collected packages: fastrlock, cupy
Successfully installed cupy-6.0.0 fastrlock-0.4
そして、無事にchainer版train_mnist.pyがGPU上で動きました。
ただし、以下のとおりなので、cuDNNは失敗しているみたいです。
⇒ということで、通常環境でCuPyとChainerを入れなおした結果、おまけの最後のように無事にエラーは消えました。
Please reinstall CuPy after you install cudnn
(see https://docs-cupy.chainer.org/en/stable/install.html#install-cudnn).
'cuDNN is not enabled.\n'
###おまけ
>python mnist_mlp.py
Using TensorFlow backend.
60000 train samples
10000 test samples
WARNING:tensorflow:From C:\Users\user\Anaconda3\envs\keras-gpu\lib\site-packages\tensorflow\python\framework\op_def_library.py:263: colocate_with (from tensorflow.python.framework.ops) is deprecated and will be removed in a future version.
Instructions for updating:
Colocations handled automatically by placer.
WARNING:tensorflow:From C:\Users\user\Anaconda3\envs\keras-gpu\lib\site-packages\keras\backend\tensorflow_backend.py:3445: calling dropout (from tensorflow.python.ops.nn_ops) with keep_prob is deprecated and will be removed in a future version.
Instructions for updating:
Please use `rate` instead of `keep_prob`. Rate should be set to `rate = 1 - keep_prob`.
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
dense_1 (Dense) (None, 512) 401920
_________________________________________________________________
dropout_1 (Dropout) (None, 512) 0
_________________________________________________________________
dense_2 (Dense) (None, 512) 262656
_________________________________________________________________
dropout_2 (Dropout) (None, 512) 0
_________________________________________________________________
dense_3 (Dense) (None, 10) 5130
=================================================================
Total params: 669,706
Trainable params: 669,706
Non-trainable params: 0
_________________________________________________________________
WARNING:tensorflow:From C:\Users\user\Anaconda3\envs\keras-gpu\lib\site-packages\tensorflow\python\ops\math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and will be removed in a future version.
Instructions for updating:
Use tf.cast instead.
Train on 60000 samples, validate on 10000 samples
Epoch 1/20
2019-05-18 19:40:29.684671: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX AVX2
2019-05-18 19:40:29.871613: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1433] Found device 0 with properties:
name: GeForce GTX 1060 3GB major: 6 minor: 1 memoryClockRate(GHz): 1.7335
pciBusID: 0000:01:00.0
totalMemory: 3.00GiB freeMemory: 2.43GiB
2019-05-18 19:40:29.878198: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1512] Adding visible gpu devices: 0
2019-05-18 19:40:30.405281: I tensorflow/core/common_runtime/gpu/gpu_device.cc:984] Device interconnect StreamExecutor with strength 1 edge matrix:
2019-05-18 19:40:30.409132: I tensorflow/core/common_runtime/gpu/gpu_device.cc:990] 0
2019-05-18 19:40:30.410497: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1003] 0: N
2019-05-18 19:40:30.411980: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1115] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 2116 MB memory) -> physical GPU (device: 0, name: GeForce GTX 1060 3GB, pci bus id: 0000:01:00.0, compute capability: 6.1)
2019-05-18 19:40:30.971229: I tensorflow/stream_executor/dso_loader.cc:152] successfully opened CUDA library cublas64_100.dll locally
60000/60000 [==============================] - 3s 53us/step - loss: 0.2452 - acc: 0.9249 - val_loss: 0.1012 - val_acc: 0.9707
Epoch 2/20
60000/60000 [==============================] - 2s 27us/step - loss: 0.1037 - acc: 0.9684 - val_loss: 0.0931 - val_acc: 0.9733
Epoch 3/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0743 - acc: 0.9771 - val_loss: 0.0802 - val_acc: 0.9785
Epoch 4/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0601 - acc: 0.9814 - val_loss: 0.0737 - val_acc: 0.9801
Epoch 5/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0507 - acc: 0.9847 - val_loss: 0.0821 - val_acc: 0.9785
Epoch 6/20
60000/60000 [==============================] - 2s 28us/step - loss: 0.0445 - acc: 0.9868 - val_loss: 0.0865 - val_acc: 0.9789
Epoch 7/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0370 - acc: 0.9891 - val_loss: 0.1013 - val_acc: 0.9758
Epoch 8/20
60000/60000 [==============================] - 2s 25us/step - loss: 0.0331 - acc: 0.9902 - val_loss: 0.0960 - val_acc: 0.9801
Epoch 9/20
60000/60000 [==============================] - 2s 25us/step - loss: 0.0312 - acc: 0.9908 - val_loss: 0.0964 - val_acc: 0.9817
Epoch 10/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0294 - acc: 0.9916 - val_loss: 0.0891 - val_acc: 0.9802
Epoch 11/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0257 - acc: 0.9930 - val_loss: 0.0942 - val_acc: 0.9822
Epoch 12/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0264 - acc: 0.9928 - val_loss: 0.0946 - val_acc: 0.9820
Epoch 13/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0233 - acc: 0.9934 - val_loss: 0.1079 - val_acc: 0.9811
Epoch 14/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0219 - acc: 0.9938 - val_loss: 0.0978 - val_acc: 0.9831
Epoch 15/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0199 - acc: 0.9944 - val_loss: 0.1021 - val_acc: 0.9828
Epoch 16/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0210 - acc: 0.9940 - val_loss: 0.1109 - val_acc: 0.9813
Epoch 17/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0192 - acc: 0.9947 - val_loss: 0.0997 - val_acc: 0.9831
Epoch 18/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0186 - acc: 0.9953 - val_loss: 0.1085 - val_acc: 0.9830
Epoch 19/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0187 - acc: 0.9951 - val_loss: 0.1135 - val_acc: 0.9819
Epoch 20/20
60000/60000 [==============================] - 2s 26us/step - loss: 0.0200 - acc: 0.9950 - val_loss: 0.1159 - val_acc: 0.9838
Test loss: 0.11590634980594598
Test accuracy: 0.9838
>python train_mnist.py -g 0
C:\Users\user\Anaconda3\envs\keras-gpu\lib\site-packages\chainer\backends\cuda.py:143: UserWarning: cuDNN is not enabled.
Please reinstall CuPy after you install cudnn
(see https://docs-cupy.chainer.org/en/stable/install.html#install-cudnn).
'cuDNN is not enabled.\n'
Device: @cupy:0
# unit: 1000
# Minibatch-size: 100
# epoch: 20
epoch main/loss validation/main/loss main/accuracy validation/main/accuracy elapsed_time
1 0.191225 0.11152 0.941917 0.9644 9.78808
2 0.0748072 0.0944838 0.976016 0.9714 12.9273
3 0.0492318 0.0654779 0.984065 0.9796 16.0494
4 0.0343065 0.0732255 0.989165 0.9793 19.1852
5 0.0295044 0.0734612 0.990148 0.9793 22.3522
6 0.0247848 0.0943174 0.991898 0.9777 25.5636
7 0.0231668 0.0842453 0.992265 0.9798 28.7199
8 0.0156254 0.110529 0.994799 0.9732 31.8454
9 0.0176786 0.114648 0.993748 0.9758 34.9805
10 0.0152345 0.079431 0.994615 0.9836 38.1459
11 0.011109 0.0769602 0.996415 0.9825 41.2668
12 0.0152396 0.121492 0.995532 0.9789 44.3852
13 0.0110979 0.100953 0.996216 0.9813 47.4914
14 0.0107481 0.0838874 0.996532 0.9828 50.6697
15 0.00976045 0.111761 0.996999 0.9792 53.8031
16 0.0112281 0.0990215 0.996566 0.9807 57.014
17 0.0120273 0.0895522 0.996849 0.9814 60.2077
18 0.00841965 0.0982618 0.997599 0.9809 63.3512
19 0.00829624 0.106039 0.997515 0.9805 66.5261
20 0.00973309 0.089214 0.997083 0.9828 69.6759
Chainer-gpu環境
通常の環境でcupyとChainerをインストールすると、cuDNNのエラーが消え、１０％程度速くなりました。
>python train_mnist.py -g 0
Device: @cupy:0
# unit: 1000
# Minibatch-size: 100
# epoch: 20
epoch main/loss validation/main/loss main/accuracy validation/main/accuracy elapsed_time
1 0.187907 0.0998692 0.9427 0.9685 9.84457
2 0.072782 0.0879277 0.97665 0.972 12.8331
3 0.0481786 0.0700986 0.984382 0.9797 15.6598
4 0.0339355 0.0739472 0.988765 0.9791 18.4719
5 0.0294084 0.0685768 0.990415 0.9812 21.2692
6 0.0242083 0.0775707 0.992032 0.9795 24.0988
7 0.0184116 0.115758 0.993832 0.9712 26.9162
8 0.0195167 0.0967818 0.993532 0.9787 29.7348
9 0.0143791 0.0879228 0.995632 0.9802 32.6102
10 0.0165612 0.0826924 0.994549 0.9823 35.4114
11 0.0131159 0.0921784 0.996115 0.9807 38.2368
12 0.0102195 0.0954736 0.997099 0.9812 41.0551
13 0.0142131 0.112369 0.995582 0.9784 43.8236
14 0.0128743 0.108042 0.996665 0.9816 46.6102
15 0.00885911 0.0942717 0.997232 0.9827 49.4152
16 0.0105739 0.109479 0.996965 0.982 52.2094
17 0.0124391 0.0934018 0.996299 0.9845 55.0255
18 0.00904854 0.083856 0.997532 0.985 57.8454
19 0.00706091 0.126763 0.997849 0.9786 60.6811
20 0.0109141 0.0873466 0.996699 0.9843 63.4866