業務でAI向けのGPUサーバーを見積もったので、その際のメモを記載していく。
サーバー選定観点
サーバーを選定する際の観点には以下が挙げられる。
1.GPU
2.CPU
3.メインメモリ
4.ストレージ
5.ケース
6.電源
サーバー選定観点①GPU
GPUはAI開発にダイレクトに影響する。どのようなモデルを開発するか、投入データ量はどれくらいかを踏まえ、以下について検討する。
- GPUメモリ
GPUメモリのキャパシティ次第でAIモデルのサイズや、1stepで投入できるデータサイズ（バッチサイズ、1つあたりのデータサイズ）を制約するため - TFLOPS
処理速度の指標であるため - NVLinkやNVSwitch
GPUを複数基搭載する場合はNVLinkNやVSwitchを利用して性能向上させる
サーバー選定観点②CPU
CPUは入力データや教師データを前処理する際の処理速度に影響する。
- コア数及びスレッド数
同時に実行できる並列処理や並行処理の数に影響するため - L3キャッシュ
特に大規模データでの処理速度に影響するため - 搭載数
金額次第になるが可能であればマルチCPUを搭載して性能向上を図る
サーバー選定観点③メインメモリ
- メモリサイズ
教師データの投入サイズを制約するため
サーバー選定観点④ストレージ
- ストレージサイズ
プロジェクトごとに存在するデータ量や中間生成物、結果ファイル等を格納するため、大きいほど安心 - 搭載ディスク数
金額的に余裕があれば複数積むことを検討する。 - RAID
複数ディスクを搭載する場合は耐障害性や処理速度向上を考慮して、RAID構成を検討する
サーバー選定観点⑤ケース
設置予定箇所に合わせて選定する
- ケースの種類
ラックマウントケースやスタンドケースなど - 大きさ
2U、4Uなど - 重量
サーバー選定観点⑥電源
こちらも設置予定箇所に合わせて選定する
- 電源
100V、200Vなど - 消費電力
サーバー構成から消費電力を見積もっておく
AIのサーバー見積もり手順
おすすめの手順はオンライン見積もりサービスで金額感を参考にしつつ、各メーカーに問い合わせてみること。
オンライン見積もりサービス
-
GDEP Adavnce
筐体を指定できる。各パーツを細かく調整できる。 -
NTTPC COMMUNICATIONS
選択できる項目のバリエーションは多くないが、手軽に見積もりできる。