やりたいこと

せっかくPCに2枚GPUがあるので、マルチGPUでDeepLearningしてみたい！
ということで、Chainerでやってみました。

環境

実行環境は下記の通りです。

OS: Windows 10 Pro
CPU: Intel Xeon E3-1240v3 3.40GHz
メインメモリ: 24GB(4GBx2, 8GBx2)
GPU 0: NVIDIA GeForce GTX 1050 Ti 4GB
GPU 1: NVIDIA Quadro K2000 2GB
Disk: Samsung SSD 860 EVO 500GB
python=3.6.8
chainer=5.3.0 (condaで入れた)
cupy-cuda100=5.4.0 (pipで入れた)

OSライセンス付、GPU(K2000)付の中古PCを約3.2万円で購入し、モニタ1万円未満、GPU(GTX1050Ti) 2万円未満、SSD 1万円未満、メモリ16GB 1万円未満の総額約8万円です。
なぜかcondaではcupy=4.1.0しか入らなかったので、アンインストールしてpipで入れなおしました。

実行

GitHubからChainerのbranch v5をクローンし、/examples/mnist/ を試してみます。

> git clone -b v5 https://github.com/chainer/chainer.git
> cd chainer/examples/mnist

CPU: Intel Xeon E3-1240v3 3.40GHz

> python train_mnist.py
GPU: -1
# unit: 1000
# Minibatch-size: 100
# epoch: 20

Downloading from http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz...
Downloading from http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz...
Downloading from http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz...
Downloading from http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz...
epoch       main/loss   validation/main/loss  main/accuracy  validation/main/accuracy  elapsed_time
1           0.188287    0.0964475             0.942783       0.9711                    48.1507
2           0.0740424   0.092968              0.976533       0.9704                    84.4993
3           0.0471156   0.0895041             0.9851         0.9737                    120.279
4           0.0368677   0.0782165             0.988          0.9766                    154.746
5           0.0272672   0.0831235             0.991333       0.977                     188.724
6           0.02559     0.0846559             0.99175        0.9786                    224.771
7           0.0204407   0.0845285             0.99305        0.9796                    258.854
8           0.0201815   0.0869562             0.9936         0.978                     293.897
9           0.016543    0.0926294             0.994783       0.9777                    328.331
10          0.0141709   0.0804844             0.995367       0.9821                    362.436
11          0.0118971   0.080963              0.99615        0.9823                    396.654
12          0.012708    0.084998              0.9962         0.9809                    430.591
13          0.0135935   0.0925437             0.995783       0.9803                    467.608
14          0.0108333   0.098339              0.996567       0.9804                    503.071
15          0.0098921   0.123784              0.996867       0.9795                    537.966
16          0.0143277   0.0788444             0.9964         0.9831                    572.556
17          0.00864772  0.090874              0.997117       0.984                     604.493
18          0.011913    0.0743239             0.996917       0.9843                    635.828
19          0.00436262  0.107345              0.99865        0.983                     667.157
20          0.00707226  0.0903141             0.998217       0.9837                    698.653

GPU 0: NVIDIA GeForce GTX 1050 Ti 4GB

> python train_mnist.py --gpu 0
GPU: 0
# unit: 1000
# Minibatch-size: 100
# epoch: 20

epoch       main/loss   validation/main/loss  main/accuracy  validation/main/accuracy  elapsed_time
1           0.189976    0.0892177             0.942833       0.9735                    12.0189
2           0.0752845   0.0832106             0.976366       0.9741                    16.1882
3           0.0471824   0.0665943             0.984682       0.98                      19.9812
4           0.034498    0.0805068             0.989182       0.977                     23.9403
5           0.0285627   0.0817467             0.990881       0.9791                    27.7564
6           0.0246776   0.0762155             0.991915       0.9808                    31.5498
7           0.0209579   0.0818291             0.993148       0.9803                    35.3837
8           0.0173544   0.0905734             0.994382       0.977                     39.4301
9           0.0153213   0.0809816             0.995099       0.9824                    43.419
10          0.0141218   0.081298              0.995582       0.9817                    47.2647
11          0.0122369   0.0851226             0.995982       0.9811                    51.1495
12          0.0152793   0.0824623             0.995365       0.9828                    55.0064
13          0.0127705   0.087196              0.996265       0.9811                    58.7889
14          0.01036     0.0989774             0.996733       0.9814                    62.6396
15          0.00783721  0.0930669             0.997566       0.9805                    66.3864
16          0.0120825   0.0977217             0.996332       0.9799                    70.1693
17          0.00943458  0.121491              0.997449       0.9799                    74.0379
18          0.0117653   0.0909474             0.996516       0.9825                    77.9659
19          0.00977425  0.0968582             0.997549       0.9829                    81.7787
20          0.0117059   0.113914              0.996666       0.9794                    85.7096

GPU 1: NVIDIA Quadro K2000 2GB

> python train_mnist.py --gpu 1
GPU: 1
# unit: 1000
# Minibatch-size: 100
# epoch: 20

epoch       main/loss   validation/main/loss  main/accuracy  validation/main/accuracy  elapsed_time
1           0.19171     0.100066              0.94255        0.9696                    11.4576
2           0.0754682   0.0875764             0.976649       0.9738                    16.7115
3           0.0471999   0.0760614             0.984499       0.9785                    21.9246
4           0.0335111   0.0781458             0.989282       0.9759                    27.1607
5           0.0279633   0.0822519             0.990799       0.9778                    32.3802
6           0.025783    0.0711645             0.991965       0.9816                    37.601
7           0.0176336   0.0900763             0.994332       0.9792                    42.7692
8           0.0175025   0.0811717             0.994532       0.9809                    47.9583
9           0.0163443   0.104123              0.994765       0.9786                    53.2008
10          0.016325    0.0901095             0.994698       0.9805                    58.4468
11          0.0148685   0.0930068             0.995565       0.9808                    63.6781
12          0.0125574   0.0930329             0.996132       0.9812                    68.9363
13          0.0129305   0.095227              0.995966       0.9823                    74.184
14          0.0088038   0.118182              0.996949       0.9803                    79.4221
15          0.013182    0.101077              0.995799       0.9811                    84.649
16          0.0113774   0.090629              0.996616       0.9816                    89.8784
17          0.00734026  0.0970724             0.997716       0.9832                    95.1036
18          0.0116805   0.0985688             0.996632       0.9832                    100.348
19          0.00937403  0.102181              0.997116       0.9816                    105.602
20          0.00310589  0.116704              0.99895        0.9825                    110.866

マルチGPU (NVIDIA GeForce GTX 1050 Ti 4GB + NVIDIA Quadro K2000 2GB)

> python train_mnist_data_parallel.py
GPU: 0, 1
# unit: 1000
# Minibatch-size: 400
# epoch: 20

epoch       main/loss   validation/main/loss  main/accuracy  validation/main/accuracy  elapsed_time
1           0.279714    0.120431              0.919166       0.9613                    6.57181
2           0.0852208   0.0769835             0.974567       0.9749                    10.1082
3           0.0517447   0.0801815             0.983967       0.9737                    13.6456
4           0.03252     0.0904261             0.989734       0.9727                    17.1756
5           0.0225429   0.0669389             0.993167       0.98                      20.7171
6           0.0181462   0.0622369             0.9942         0.9822                    24.2495
7           0.0133678   0.0835941             0.995733       0.9765                    27.785
8           0.014366    0.0858466             0.9953         0.978                     31.3237
9           0.00786593  0.0903438             0.997534       0.9795                    34.8555
10          0.0089393   0.0749918             0.9968         0.9821                    38.3886
11          0.0072351   0.0788488             0.997867       0.9823                    41.9232
12          0.00581059  0.0780663             0.9983         0.9826                    45.4561
13          0.0120998   0.0941829             0.995334       0.9785                    48.9994
14          0.0116896   0.0939382             0.995967       0.9792                    52.5245
15          0.00721718  0.0831597             0.997733       0.9822                    56.0741
16          0.00422235  0.0846977             0.9986         0.9832                    59.6151
17          0.00593313  0.0860614             0.998133       0.9827                    63.1654
18          0.00420095  0.0804558             0.998767       0.9836                    66.7144
19          0.00655401  0.0929561             0.997733       0.982                     70.2485
20          0.00847227  0.0957024             0.997434       0.9821                    73.7951

結果まとめ

モデルは3層のMLPで、validation/main/lossが数epochで上がり出す過学習ですが、GPU 0単体に比べ約14%学習時間を短縮できました。
GPUメモリを合わせて6GB使えればGTX 1060並みなのでは？

xPU	elapsed_time
CPU	698.653
GPU 0	85.710
GPU 1	110.866
2GPUs	73.795

マルチGPUの指定方法

下記の通り、updater を StandardUpdater から ParallelUpdater にして、 devices= で指定するだけで、マルチGPUにできるようです。これは簡単！

シングルGPU train_mnist.py

    updater = training.updaters.StandardUpdater(
        train_iter, optimizer, device=args.gpu)

マルチGPU train_mnist_data_parallel.py

    updater = training.updaters.ParallelUpdater(
        train_iter,
        optimizer,
        # The device of the name 'main' is used as a "master", while others are
        # used as slaves. Names other than 'main' are arbitrary.
        devices={'main': args.gpu0, 'second': args.gpu1},
    )