RealESRGANのアニメ用モデルと写真用モデルを比べてみました

アニメにはアニメ用を使った方がいいの？

超解像モデルには、アニメ用に最適化されたものがあります。
写真用のモデルとどうちがうのでしょうか？
実際に同じデータで比べてみました。

画像をドロップするだけでモデルを試せるCoreMLのモデルを使って、画像を超解像して比較します。

モデルはGitHubからダウンロードできます。

オリジナル

アニメ用

写真用

サイズはオリジナルの4倍になっています。それぞれくっきりしましたが、アニメ用と写真用の結果の違いはぱっと見あまりないですね。

拡大してみます。
オリジナル

アニメ用

写真用

拡大してもほぼ分かりません。

実写ではどうでしょうか？

アニメ用

写真用

拡大

アニメ用

写真用

こちらは拡大してみると、アニメ用がだいぶん潰れてしまっているのが分かります。
アニメっぽい、細かいアーティファクトを潰す効果が出ています。

写真の超解像にアニメ用を使うと、ディテイルが潰れることがありそうです。
アニメの超解像には、今回のデータは違いが出にくかったですが、アニメ用のモデルはスムースにする効果があるようです。

🐣

フリーランスエンジニアです。
お仕事のご相談こちらまで
rockyshikoku@gmail.com

Core MLやARKitを使ったアプリを作っています。
機械学習／AR関連の情報を発信しています。