「PULSE」のポイント

今までとは評価ポイントが違う
- 超解像した後の画像じゃなくて、超解像した後にダウンスケールした画像で比較
今までの手法よりも超解像可能
超解像自体はStyleGANを使用（CelebA-HQで学習済み）

このGIFがイメージをつかみやすいです。

ソースコード

ソースコードはGithubにて公開されています。
今回はこれをそのまま使います。

インストール

Python 3.7上で、以下のモジュールをインストールしました。

Anaconda NavigatorのGUIからインストール
- matplotlib
- numpy
- pandas
- pillow
- scipy
- requests
コマンドラインからインストール
- pytorch
- torchvision
- cudatoolkit（今回は10.2を使用）

環境構築

超解像したい画像を入れておくフォルダを用意します。
ここではとりあえず「input」とします。

そこに超解像したい画像を入れます。（複数入れてもOK）
画像にはいくつか制限があります。

縦横のサイズは同じ
サイズは1,024の約数
フォーマットはPNG（RGB）

実行

> python run.py

で実行します。

エラー対応

ほとんどの画像で、以下のようなエラーになります。

Loading Synthesis Network
Optimizing
BEST (100) | L2: 0.0058 | GEOCROSS: 4.3057 | TOTAL: 0.7981 | time: 10.0 | it/s: 9.98 | batchsize: 1
Could not find a face that downscales correctly within epsilon

上記の例の場合、L2の最小値が「0.0058」なのですが、デフォルトの閾値が「0.002」になっており、それより近づかないとエラーになります。

対応方法としては、引数「eps」で閾値の値を変更します。

> python run.py -eps 0.005

実行結果

実行結果は「runs」フォルダに保存されます。
出力される超解像画像は1,024x1,024のpngになります。

外国人バイアスがむごい．．．
あと、正面顔じゃないとダメそう。

感想

実行は簡単ですが、実際に使おうと思うと、いろいろとやらなくてはいけないことがいっぱいありそうです。