背景
自前アプリなどで GPU で倍精度(fp64)計算の性能が必要だが, 倍精度性能高い NVIDIA GPU はお高い(GV100 など, Titan V でも eBay で中古 30 万円くらい)
GTX TITAN(Kepler, 6GB)が入手しやすく比較的安価(中古で 2.5 ~ 3 万円くらい)で倍精度性能高い(Spec では 1 TFlops くらいあります)のでとりあえず GTX TITAN で試してみます.
(ただし CUDA11 では deprecated 扱いであるので注意)
GTX TITAN は sm_35(GK110) になります. ECC はありません.
一応 fp64 も IEEE754-2008 準拠になっています.
GTX TITAN は 2021/04 時点でゲーミング系 GPU の最新である Ampere 系の 3090 よりも fp64 性能高いです.
A6000, RTX 3090 の倍精度性能のメモ
https://qiita.com/syoyo/items/46b9c7a890153d64acf6
2021/09/17 追記: Tesla P100 12 GB(Spec では倍精度 4.7 TF) が eBay で 10 万円以下も出始めました. P100 という手もありそうです(ただしファン(冷却)をどうするか考える必要がある).
倍精度設定
そのままでは倍精度にはリミットがかかっているので(消費電力の関係と思われる), nvidia-settings で倍精度を有効(フルスピード)にします.
(nvidia-smi --gom は TITAN では利用できない)
headless 環境だと nvidia-settings は動かないので, x11vnc あたり入れて設定する必要があります.
NVIDIA GPU の X11 headless setup + X11VNC/RDP 接続のメモ
https://qiita.com/syoyo/items/a14fa891b80bb82a4485
(x11vnc 経由で) nvidia-setteing を開くと, CUDA - Double precision があるのでこれにチェックを入れます!
(VNC で X11 立ち上がったら, コマンドラインで設定もできるでしょう)
CUDA
CUDA11 では deprecated 扱いです. 動きはするようですが最新の CUDA 関数使うと動かないかもです.
(後述する mixbench-cuda が sm35 に下げてコンパイルしたら動かなかった(途中で timeout error) -> ただ 3080 とかでもやっぱりダメだったので, コード自体になにか問題ありそう)
安定して計算したいのであれば OpenCL を使いましょう.
OpenCL
1.2 が使えます.
OpenCL 3.0 対応は Maxwell 以降でした.
3.0 で使われている advanced な機能不要であれば 1.2 でもよいでしょう
(1.2 だと十分枯れていて安定動作期待できそうですし)
benchmark
mixbench-opencl で試してみます.
nvidia-smi -pl 150 で 150W に powerlimit しての結果です(150 = 設定できる下限).
$ ./mixbench-ocl-alt
mixbench-ocl/alternating (v0.03-15-g514c757)
Use "-h" argument to see available options
------------------------ Device specifications ------------------------
Platform: NVIDIA CUDA
Device: GeForce GTX TITAN/NVIDIA Corporation
Driver version: 460.32.03
Address bits: 64
GPU clock rate: 875 MHz
Total global mem: 6051 MB
Max allowed buffer: 1512 MB
OpenCL version: OpenCL 1.2 CUDA
Total CUs: 14
-----------------------------------------------------------------------
Buffer size: 64MB
Workgroup size: 256
Workitem stride: NDRange
Buffer allocation: Device allocated
Timer: CL event based
Warning: Half precision computations are not supported
Loading kernel source file...
Precompilation of kernels... [>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>]
----------------------------------------------------------------------------- CSV data -----------------------------------------------------------------------------
Experiment ID, Single Precision ops,,,, Double precision ops,,,, Half precision ops,,,, Integer operations,,,
Compute iters, Flops/byte, ex.time, GFLOPS, GB/sec, Flops/byte, ex.time, GFLOPS, GB/sec, Flops/byte, ex.time, GFLOPS, GB/sec, Iops/byte, ex.time, GIOPS, GB/sec
0, 0.000, 39.66, 0.00, 216.57, 0.000, 83.00, 0.00, 206.98, 0.000, 0.00, -nan, inf, 0.000, 39.77, 0.00, 215.98
1, 0.129, 38.13, 28.16, 218.22, 0.065, 83.07, 12.93, 200.36, 0.258, 0.00, inf, inf, 0.129, 38.82, 27.66, 214.35
2, 0.267, 37.04, 57.98, 217.43, 0.133, 79.82, 26.90, 201.78, 0.533, 0.00, inf, inf, 0.267, 36.79, 58.38, 218.91
3, 0.414, 36.03, 89.40, 216.05, 0.207, 78.03, 41.28, 199.54, 0.828, 0.00, inf, inf, 0.414, 36.02, 89.42, 216.09
4, 0.571, 34.41, 124.80, 218.41, 0.286, 73.13, 58.73, 205.55, 1.143, 0.00, inf, inf, 0.571, 34.26, 125.36, 219.37
5, 0.741, 34.18, 157.06, 212.03, 0.370, 73.13, 73.42, 198.22, 1.481, 0.00, inf, inf, 0.741, 27.84, 192.84, 260.33
6, 0.923, 33.70, 191.16, 207.09, 0.462, 70.70, 91.12, 197.42, 1.846, 0.00, inf, inf, 0.923, 25.87, 249.06, 269.81
7, 1.120, 30.64, 245.32, 219.04, 0.560, 66.37, 113.26, 202.24, 2.240, 0.00, inf, inf, 1.120, 28.27, 265.90, 237.41
8, 1.333, 27.05, 317.58, 238.18, 0.667, 64.26, 133.66, 200.50, 2.667, 0.00, inf, inf, 1.333, 29.52, 291.03, 218.27
9, 1.565, 28.78, 335.76, 214.51, 0.783, 61.64, 156.78, 200.33, 3.130, 0.00, inf, inf, 1.565, 30.51, 316.69, 202.33
10, 1.818, 25.87, 414.98, 228.24, 0.909, 57.87, 185.54, 204.09, 3.636, 0.00, inf, inf, 1.818, 31.30, 343.00, 188.65
11, 2.095, 25.75, 458.69, 218.92, 1.048, 54.78, 215.60, 205.80, 4.190, 0.00, inf, inf, 2.095, 31.18, 378.82, 180.80
12, 2.400, 23.50, 548.26, 228.44, 1.200, 53.38, 241.37, 201.14, 4.800, 0.00, inf, inf, 2.400, 32.63, 394.90, 164.54
13, 2.737, 22.79, 612.40, 223.76, 1.368, 49.71, 280.83, 205.22, 5.474, 0.00, inf, inf, 2.737, 33.59, 415.59, 151.85
14, 3.111, 21.12, 711.79, 228.79, 1.556, 48.41, 310.51, 199.62, 6.222, 0.00, inf, inf, 3.111, 35.45, 424.09, 136.32
15, 3.529, 15.04, 1070.84, 303.40, 1.765, 44.44, 362.41, 205.37, 7.059, 0.00, inf, inf, 3.529, 36.44, 442.00, 125.23
16, 4.000, 20.59, 834.22, 208.56, 2.000, 43.93, 391.07, 195.53, 8.000, 0.00, inf, inf, 4.000, 40.19, 427.48, 106.87
17, 4.533, 19.46, 937.93, 206.90, 2.267, 41.89, 435.70, 192.22, 9.067, 0.00, inf, inf, 4.533, 39.57, 461.34, 101.77
18, 5.143, 18.48, 1045.75, 203.34, 2.571, 39.15, 493.65, 191.98, 10.286, 0.00, inf, inf, 5.143, 42.20, 458.00, 89.06
19, 5.846, 17.56, 1161.99, 198.76, 2.923, 36.45, 559.73, 191.49, 11.692, 0.00, inf, inf, 5.846, 47.26, 431.69, 73.84
20, 6.667, 17.27, 1243.57, 186.54, 3.333, 35.42, 606.26, 181.88, 13.333, 0.00, inf, inf, 6.667, 49.88, 430.51, 64.58
21, 7.636, 15.76, 1430.76, 187.36, 3.818, 33.51, 672.86, 176.23, 15.273, 0.00, inf, inf, 7.636, 49.44, 456.09, 59.73
22, 8.800, 15.32, 1542.01, 175.23, 4.400, 31.77, 743.55, 168.99, 17.600, 0.00, inf, inf, 8.800, 50.81, 464.89, 52.83
23, 10.222, 13.47, 1833.20, 179.33, 5.111, 31.30, 789.02, 154.37, 20.444, 0.00, inf, inf, 10.222, 49.46, 499.31, 48.85
24, 12.000, 11.19, 2303.48, 191.96, 6.000, 26.42, 975.50, 162.58, 24.000, 0.00, inf, inf, 12.000, 49.54, 520.14, 43.34
25, 14.286, 12.92, 2077.63, 145.43, 7.143, 25.24, 1063.65, 148.91, 28.571, 0.00, inf, inf, 14.286, 49.95, 537.37, 37.62
26, 17.333, 11.49, 2430.14, 140.20, 8.667, 27.63, 1010.33, 116.58, 34.667, 0.00, inf, inf, 17.333, 50.52, 552.65, 31.88
27, 21.600, 10.71, 2706.92, 125.32, 10.800, 28.39, 1021.33, 94.57, 43.200, 0.00, inf, inf, 21.600, 52.72, 549.90, 25.46
28, 28.000, 13.65, 2202.43, 78.66, 14.000, 27.42, 1096.26, 78.30, 56.000, 0.00, inf, inf, 28.000, 50.11, 599.97, 21.43
29, 38.667, 9.58, 3248.79, 84.02, 19.333, 27.54, 1130.52, 58.48, 77.333, 0.00, inf, inf, 38.667, 51.52, 604.41, 15.63
30, 60.000, 12.22, 2636.03, 43.93, 30.000, 26.20, 1229.61, 40.99, 120.000, 0.00, inf, inf, 60.000, 54.64, 589.55, 9.83
31, 124.000, 9.67, 3442.17, 27.76, 62.000, 28.33, 1174.94, 18.95, 248.000, 0.00, inf, inf, 124.000, 54.24, 613.67, 4.95
32, inf, 11.63, 2953.73, 0.00, inf, 30.08, 1142.37, 0.00, inf, 0.00, inf, -nan, inf, 54.74, 627.74, 0.00
--------------------------------------------------------------------------------------------------------------------------------------------------------------------
Voila! 1.1 TFLops くらい出ました!
(倍精度 off だと 250 GFlops くらい)
NVIDIA Tesla k20Xm 程度の性能が出ているのを確認できます.
4 枚挿したら 4.5 TFlops くらいの性能得られますね(P100 相当)
その他
調達した個体では
WARNING: infoROM is corrupted at gpu 0000:01:00.0
という warning が出ます.
NVIDIA GPU で infoROM is corrupted at gpu ワーニングのメモ
https://qiita.com/syoyo/items/f562e998f3cb7d30f44a
とりあえず無視でよさそう.
ECC
Titan 系(Titan V 含む)は ECC 対応ではありません.
したがってたまに計算が化ける可能性があります.
A6000 など Ampere 系 Quadro 相当だと ECC 対応していますが, 倍精度は弱いです.
倍精度つよめで ECC 対応が欲しい場合, 現状は Tesla シリーズのみになります.
K80 がコスパよいでしょうが, Tesla P100 16GB が eBay で各種費用入れて 20 万円くらいなので, P100 という手もあるでしょうか.
TODO
- eBay で K80(倍精度 1.5 x 2 = 3 Tflops ある)が 4~5 万円で売っているので K80 も試してみる(K80 = sm_37 はまだギリギリ CUDA11 サポートあるっぽい?)
- GTX TITAN でアプリが本当に倍精度性能がネックかどうか確認し, 倍精度がネックであれば TITAN V など調達を考える