深層学習のGPU計算リソースに関してまとめます．
Kaggleに挑戦したい時期になると，クラウドリソースが選択肢に上がってくるのですが，どこが良さそうか，またベンチマークの理解に毎回時間がかかってしまっているので，必要な情報を簡単にまとめました．
ざっくり書いた程度ですが，時間があれば清書できればとは思います（）
計算速度に関して
GPUベンチマーク
一覧: https://www.hpc.co.jp/product/wp-content/uploads/sites/3/2022/07/GPU-list_A3.pdf
手法
FP16の半精度に落とすだけでなく，Tensor Float-32やAutomatic Mixed Precisionなどの手法が存在する．
TF32・AMPについて: https://www.slideshare.net/SaSakiKuninobu/a100-gpu-p4d
GPTとの会話: https://chat.openai.com/share/13c9d30d-7c38-4e52-86c7-a89d3c035e0c
Pytorch-TensorFloat: https://pytorch.org/docs/stable/notes/cuda.html#tensorfloat-32-tf32-on-ampere-devices
Pytorch-AMP: https://pytorch.org/docs/stable/amp.html
計測
計測記事: https://qiita.com/MotonobuHommi/items/f12a500d6c475ce59790
アーキテクチャ
Ampereについて: https://www.nvidia.com/ja-jp/data-center/ampere-architecture/
クラウドリソース
A4000
詳細が記述されているわけではないが，Ampereアーキテクチャの利点を活かしたTP32への展開や疎性計算によってかなりの高速化ができるGPUであるという認識．
webarena
URL: https://web.arena.ne.jp/indigogpu/
時間単価47円とコスパが良い．
A100
よく知られたバケモノ．H100が最近は出てきているようだが．．．
3大クラウド
AWS・Azure
最低8台から（？）．
大規模な計算を前提とする．
GPUの並列利用を行うときに候補に上がってくる？
GCP
1台からの利用が可能であるが，おそらくwebarenaより高価
その他
Colab
時間単価約140円．使い勝手は悪いがコスパはかなり良い．
webarena
時間単価341円．Colabの使い勝手が悪い場面でこちらが選択肢に上がってくる．