[PyTorch]CPU vs. GPU vs. TPU [ファインチューニング]

背景

つくりながら学ぶ！PyTorchによる発展ディープラーニングという本の1-5のファインチューニングをGoogle Colaboratoryでやってみました。(筆者GitHubで全てのコードが見られます)

注意点

• make_folders_and_data_downloads.ipynbの中身を1-5のipynb内で実行する必要があります。
• ipynbのフォルダにutilsフォルダを作成して中にGitHub内のutilsフォルダ内のファイルをコピペする必要があります。

実行結果

CPU

約10分かかりました。

GPU

20秒かかってないです。

TPU

こちらも約10分かかりました。

コメント

• GPUがものすごく速かったですね。ただ、CPUも思っていたよりは時間は必要ありませんでした。TPUはCPUとして扱われてしまってたことが敗因ですね。後で調べるとPyTorchでTPUを使いたい場合はそれが可能になるようにコードを書く必要があるということがわかりました。今度やってみます。
• 本では、AWS EC2のGPUを使わせようとしていましたが、この程度の処理なら無課金のGoogle Colaboratoryでも実際に動かせそうです。