※テキストをそのまま貼り付けており、失礼します。
##対象ニュース
https://preferred.jp/ja/news/pr20200512/
##前提
ChainerのTrainer・ExtensionsはPyTorchのIgniteに相当する。
「Preferred Networks、深層学習の研究開発基盤をPyTorchに移行」(2019/12/5)のChainerメジャーリリース終了のアナウンス時に、
合わせて、Chainer→PyTorch移行ガイドがリリースされていた。
https://chainer.github.io/migration-guide/
ただ、サンプルコードが少なく、実装が難しい面もあった。
Extensionsも移行していたが、一部のExtensionsは移行が難しかった。
ChainerはLinear層やConvolution層の入力サイズにNoneを指定できる。事前に計算しないで済む。
PyTorchは(Define by Runだが)指定する必要がある。
Optuna(ハイパーパラメータ最適化ツール)はChainerと依存関係はなかった。
##今回のアナウンスのポイントと私の理解
pytorch-pfn-extrasリリース。
Extensions ManagerとReporting。
⇒Extensionsの移行が容易になったと予想される。
パラメータサイズの自動推論(Lazy Modules)。
⇒Chainerのように、Linear層やConvolution層の入力サイズにNoneを指定できる。
今後、PyTorch本体のLinear層やConvolution層にマージされたら、更に大変うれしい。
分散スナップショット(Distributed Snapshot)。
⇒(私は分散学習していないので、どの程度恩恵があるか、分からない。)。
今回は、サンプルコードも提供されている。
⇒Thank you.
Optuna PyTorchエコシステムに公式登録。
⇒Optunaを安心して継続利用できる。
今後の予定。
ChainerRLのPyTorch版、2020年前半予定。
⇒今後も期待。