画像スタイル変換

画像のスタイル変換と言えば、Neural Image Style Transferで有名になった、かなり昔の技術です。

ゴッホの星月夜スタイルの画像とか有名ですよね。
古い実装ですが、私の著作でも紹介しています。

Cycle-GANによるスタイル変換

ところが、Neural Image Style Transferは逆伝播によって画像を生成するので、生成の度に異なるスタイル画像を指定可能であるものの、とても遅いという問題があります。
そこで、Cycle-GANで画像の変換タスクを予め学習させておき、そのGeneratorを使ってスタイル変換を行おう、という手法があります。
この手法のメリットは、実行速度が速いことで、例えばスマートフォンアプリなどのモバイルデバイスでも十分に実行可能な速度で画像のスタイル変換を行うことが出来ます。
一方、予めアニメ風ならアニメ風のスタイルを学習させる訳なので、その都度異なるスタイル画像を指定することは出来ません。

anime-style-transferを持ってきた

さて、Cycle-GANでもってスタイル変換を行うモデルですが、どうせ誰かが学習済みモデルを作成して公開しておいてくれるだろうと思ってみたのですが、GitHubで探してみたけど、以外とありそうで無い・・・
やっと見つけたのが、こちらのリポジトリです。
学習済みモデルも公開されているし、サンプル（↓）を見る限り、中々よさそう。

TensorFlowの学習済みモデル・・・が？

やったー！あった！と思っていざ使おうと思ったら、おや？環境構築が難しいぞ・・・。
学習済みモデルの.pb形式って、TensorFlowの遙か昔のバージョンのじゃ・・・？
色々と試行錯誤してみたものの、当時のTensorFlow環境を現在のサーバー上で再構築するのは、めちゃくちゃ大変と言うことがわかりました。
これは、折角モデルを公開してくれているのに、気軽に使うことが出来ないぞ・・・。

変換すべし

ということで、PyTorchおよびtensorflow2で使えるように、モデルファイルを変換しておきました。
自分で作ったモデルじゃないので、あまり偉そうに出来る話じゃないですが、もし何か需要があればご利用ください。