最新の超解像モデルReal ESRGANをiOSでつかう

#最新の超解像機械学習モデルがiOSでつかえる
320320

↓
超解像
↓

12801280

小さなサイズの画像を鮮明に、大きなサイズにしてくれる超解像モデル。
2021年発表のReal ESRGANもiOSで使える。

#機械学習モデルを扱うのは難しそう？

とはいえ、最新の機械学習モデルをつかうのはたくさん手順が必要なんじゃないの？

#変換済みのCoreML Modelをつかえばかんたん

Real ESRGANも変換済みのものがあります。これをつかえばすぐにiOSで超解像ができます。

#かんたん手順

CoreML-ModelsからReal-ESRGANのCoreMLモデルをダウンロードします。
プロジェクトにドラッグします。
Visionで実行します。

guard let model = try? VNCoreMLModel(for: real_esrgan(configuration: MLModelConfiguration()).model) else {fatalError("model initialization failed")}
let coreMLRequest = VNCoreMLRequest(model: model)
let handler = VNImageRequestHandler(cvPixelBuffer: pixelBuffer, options: [:])
try? handler.perform([coreMLRequest])
guard let result:CVPixelBuffer = coreMLRequest.results?.first as? VNPixelBufferObservation else { return }

これで1280*1280のサイズに超解像された画像が取得できます。

超解像をプレビューするだけなら、ダウンロードしたmlmodelファイルを開いてお手持ちの画像をドロップすると、
プレビューができます。

🐣

---

フリーランスエンジニアです。
お仕事のご相談こちらまで
簡単な開発内容をお書き添えの上、お気軽にご連絡ください。
[e-mail]

Core MLやARKitを使ったアプリを作っています。
機械学習／AR関連の情報を発信しています。

Twitter
Medium