背景
2019 年コモディティ品で GPU 計算ノードを構築するメモ
https://qiita.com/syoyo/items/cffcd64aa09cdb042b5d
あたりで GPU 計算ノード(機械学習, レイトレ, マイニング)を構築している
2019 年からだいたい 2.5 年くらい連続稼働させていて(~10 nodes くらい), インシデントも多少たまってきたので記録です.
GPU の障害
1~2 週間連続稼働させているとエラーも出やすくなります.
Linux(Ubuntu) + GPU エラーメッセージ集
https://qiita.com/syoyo/items/0707daed0295db6a3ffa
GPU fallen of the bus がよく出ます: 熱暴走なり, メモリエラーが原因が多い模様. 基本リブートすれば治る.
機械学習などで長期間回すときは GPU エラーでるのを見越して学習できるようにするとよいでしょう(=> どうするのがいいのか... はまだノウハウがたまっていない)
エラーが出ると software reboot(/sbin/reboot)できないことが多い(プロセスが defunct. 特に AMDGPU の場合は defunct になりやすい)ので,
リモートで運用しているときなどはなにかしら物理リセットできる仕組みがあるとよいでしょう.
障害の記録
HDD, SSD
計算キャッシュをローカルに置く必要がありますので各ノードあたり SSD は必須でついています. HDD は optional.
それなりに壊れやすいです(bad sector とかではなくて, 完全に認識しなくなる状態. HDD の場合は回転ができていないとか). SSD も HDD も 2 年で 10% くらい?(10 個かって 1 個が 2 年で壊れる感じ).
少なくとも SSD は計算キャッシュ用とブート用は分けておいたほうがいいかもしれません.
CPU クーラー
完全に動かないという故障はないが, 簡易水冷だとファンの故障やガタツキはあり.
また, 簡易水冷の場合, 冷却液の蒸発という問題があるので, 持って 3~4 年というところでしょうか.
x399 マザーボードの故障.
稼働期間: 2 年と半年
原因: 焦げたにおいとともに電源が入らなくなった(電源ボタンおしてもすぐ落ちる)
焦げくさいにおいがするのでなにかが焼けているが, ヒートシンクで覆われている部分で発生しているようでよくわからない
=> ヒートシンクなど取り払ったところ, 固体コンデンサ?が破裂していました.
x299 + Tesla P100
たまに落ちる.
電源あたり? 故障ではなく動作不安定の模様.
ケースファン関連
安物は結構すぐ壊れます(もしくはがたついて音がひどくなる).
Noctua が安定していてかつ静音なので Noctua 推奨です(今のところ Noctua ファンは故障なし)
CPU
故障はまだない
GPU
故障自体はまだない.
ただ, 3080, 3090 でファン故障が出てきた.
(ものによっては 3 連ファン全部が故障)
メモリ
今の所故障(memtest で fail)はない.
別途, 2012 年くらいから通常デスクトップ用で使っていたのは 1 件メモリエラー発生した.
電源
故障というのはないが, 相性なのか下にあるように総利用量の影響か, 750 ~ 850W あたりの安めの電源では, 不安定になるというのはありました.
Corsair とかの 1000W 以上使っていればだいたい問題はない感じです(実利用ワットはその 7~8 割(=800W くらい)に収まるくらいに)
家庭や小規模事務所用の環境(~60A)だと, コンセントあたり 1500W に抑えても, たくさん電力使うと電流?(電圧?)が不安定になりやすいようです. マンションやビルなどの集合施設だと, 隣人の電気使用量も影響あるっぽい感じです(だいたい 9 AM とか 16 PM あたりの通常生活組(家庭、オフィス含む)が電気を多く利用するタイミングで不調というのが何度かありました)
それなりに質のよい電源を選んで使うのがよさそうでしょうか(GOLD 認証とかは電力効率なので質ではない: https://akiba-pc.watch.impress.co.jp/docs/sp/1154535.html)
別途, デスクトップ用 Corsair SFX 電源でファンが異音を出すようになった障害がありました(=> RMA で交換対応)
現時点でのまとめ
- HDD 故障 x 2
- SSD 故障 x 2
- x399 マザーボード故障 x 1
- 簡易水冷ファン, ケースファン関連(ガタツキ、ファンが回らないなど) x 3
- 3080 GPU ファン 3 つ全部故障 x 1