Vision Transformerのアップデート

6/20にVision Transformerのアップデートがありました。その関係で以前の公式実装を頼ると使うことができなくなりました。

URLに飛び、変更履歴を見るとNotebookでも変更が加わっています。

原因というか変更点はVision Transformerように作成されたvit-jaxというライブラリの中身になります。Hyperなどの一部のモジュールが削除されています。

対処法

自分の場合は記事を参考にfine tuningを行っていたためにコードをいじっていたものですからすぐに対応ができない状態でした。

もちろん本当は公式実装をみて変更を確認、修正するべきですがとりあえずの対応としてVision TransformerのGitHubから過去のcomitt(例えばこれ)のコードは過去の状態で使えるのでそれを利用しました。

しかし、理由があってアップデートされたものを過去のバージョンのまま使い続けるのは良いところ悪いところあると思うので時間ができ次第最新版の状態にアップデートします。