@YusukeSuzuki@github さんの記事
http://qiita.com/YusukeSuzuki@github/items/1d8514045d8cc223879c
自分もクラウドではなくマルチGPUマシンを組む方向でいこうと思います。GTX 1080のメモリが8GBなのがネックでそれ以上のGPUは値段や発熱のハードルがあるのが悩みどころ。貯金をしながら最適解を探します。
自分の場合はGTX 1070(8GB)でとりあえずプロトタイプ計算を考えている。メモリが足りない場合に計算の条件を制約することで計算をできるようにしようとしている。
しかしながら２枚目のGPUが必要になるかもしれない。
そういう中で調べた情報を共有しておく。
1
GeForce GTX 1080/1070のSLIは実質2-wayまでに限定 3&4-wayはベンチマークのみで有効
GTX 10シリーズになってからSLIの制約が2-wayになった、という情報。
しかしながら、TensorFlowでマルチGPU時には1つのGPUとして見えるようにするSLIは不要、ということを書いている記事があった。（リンク先を失念したので要確認）。
2
GTX 1070 5枚の使用例
http://tatujin-dejimono.com/virtual_currency/sc-gtx1070/
色々詳しく記載されている。
3
GTX 970 4枚の使用例
https://hackaday.io/project/12070-32-tflop-deep-learning-gpu-box
hackadayという見覚えがあるところのプロジェクト。
4枚のGTX 970を使用してTensorFlowを実行。
I finally got tensorflow compiled from source and running with python3 cudnn version 5 and cuda toolkit 7.5 on the single GTX 970 that I currently have in this box.
その後、GTX 1080に変更したという情報はない。
注意点
今わかっている注意点
- 電源の問題
- GTX 1070にしてもTDP 150W
- 枚数が増えると使用している電源で安定動作できなくなる
- 排熱の問題
- 電気代の問題
- 上記2の例で月、13,500円程度と試算している。
- マザーボードのレーン数
- GPU一枚をx16で使うか、x8で使うか
4
I don't think SLI is used by CUDA scheduled work, only PCIe.
Titan X 4枚構成というすごいものを見たが、自分には関係ないだろう。