iOSで超解像 - その2：waifu2x-metalをiOSに移植する #Swift

「その1」では、超解像とは、waifu2xとはなんぞや、という話から、そのMetal実装であるwaifu2x-metalでその威力について試してみました。

簡単におさらいすると、超解像とは、画像の解像度を高める技術のことで、100x100ピクセルの画像から200x200ピクセルの画像を生成する、というようなものです。

そしてwaifu2xは深層畳み込みニューラルネットワークを用いた超解像システムで、従来の補間処理によるリサイズとはまったく別次元の効果を発揮します。前回記事ではそのMetal実装であるwaifu2x-metalを手元の画像で試し、実際に効果があることを確認しました。

（左）従来法による拡大、（右）waifu2xによる拡大

（写真はitSnap様より特別に許可をいただき使用させていただきました¹）

waifu2x-metalはmacOSで動くように実装されていますが、MetalなのでiOSでも動作するはずです。

これをiOSでオンデバイスで利用できれば、アプリのUX改善にとってその効果は絶大です。たとえば、サーバーからは非Retinaサイズで取得しておいて、デバイス側でRetinaサイズに拡大して表示、ということが考えられます。画像のクオリティは維持しつつ通信量が4分の1になれば、通信速度というUXにおける大きなボトルネックが改善し、ネットのインフラが十分でない環境でもサクサク画像が表示されるようになる、というような効果が期待されます。

というわけで本記事「その2」では、waifu2x-metalをiOSに移植してみます。

修正点

ベースとなるアプリを作成
- MTKViewでMTKTextureを表示する
- 記事末尾の「iOS 11 Programming」にこのへんの基礎的な話を書いてます。
waifu2x-metalから必要なクラス・リソースファイルを持ってきてプロジェクトに追加する
- main.swift（waifu2xの実装）
- functions.metal（コンピュートシェーダ）
- scaale2.0x_model.json（CNNのパラメータが入ってる）
main.swiftをiOSで使えるよう修正
- 本質的な処理は修正不要だが、修正点自体はわりと多い

実行結果

まず、おなじみのmacOS High Sierraの画像を500x500に縮小し、実行してみました。

以下その際のログ：

32
32
64
64
Message from debugger: Terminated due to memory issue

最後のログに"Terminated due to memory issue"とある通り、GPU側のメモリ不足でクラッシュしました（iPhone X利用）。前回記事で試した通り、macOSで実行した際には540×810の画像でいけたのですが、iOSデバイスではこのサイズは（少なくとも現実装では）厳しいようです。

ちなみに以前に別記事に書いた方法でGPU側のメモリ使用量を見てみたところ、こんな感じでした。

32
allocated size: 159907840
32
allocated size: 436830208
64
allocated size: 856391680
64
allocated size: 1410334720
Message from debugger: Terminated due to memory issue

途中のCNNレイヤでメモリ使用量が約1.4Gに達し、果てています。このあともう3レイヤあるので、全然ダメなようです。

メモリ使用量を減らすといった処理の最適化は今回は置いておいて、もっと小さい画像で試してみます。

サイズは220x220です。以下のように、無事最後までiOSデバイス上で処理できました。

32
allocated size: 48332800
32
allocated size: 108101632
64
allocated size: 202080256
64
allocated size: 321912832
128
allocated size: 510001152
128
allocated size: 749895680
3
allocated size: 855851008

結果的にはmacOSと試したときと同じですが、iOSデバイス上で動いたよということで、処理前後のスクショを載せておきます。