以前の記事でImageJ上でU-Netを行うプラグインを紹介しましたが、
ImageJ上で深層学習が出来る新しいプラグイン「Deep ImageJ」が登場しました。
ホームページ:https://deepimagej.github.io/deepimagej/
論文:https://www.biorxiv.org/content/10.1101/799270v2
開発元には、EPFL(スイス連邦工科大学ローザンヌ校)の名前がありました。
(EPFLというと、TurboRegという画像レジストのプラグインも個人的によく使っています。)
##インストール
通常のプラグインのインストール方法で可能のようです。以下からダウンロード出来ます。
https://deepimagej.github.io/deepimagej/download.html
##使用できるモデル
Instance Segmentation
Denoising
Isotropic Reconstruction
Super-Resolution
など、様々な用途のモデルがすでに公開されていて、使用できるようです。
現在13個のモデルがありました。以下からダウンロード出来ます。
https://deepimagej.github.io/deepimagej/models.html
##自分のモデルをエクスポートする
モデルのトレーニング自体はImageJで行うわけではなく、Pythonで行うようです。
tensorflow<=1.13でのモデルに対応しているようです。
Kerasを使用したモデルでも、変換をすることで可能です。(変換コード例はこちらに公開されています。)
トレーニングが終わったモデルファイルが出来たら、プラグインを通してBundledModelを構築するようです。
##感想
まだあまり使っていないので、今後分かったことがあれば追記します。
これまでいくつかDeepLearningを行うImageJ pluginはありましたが、総合的に様々なモデルが使用できるプラットフォームはすごいと思いました。