画像をドロップするだけでアニメ画像をスケッチに変える機械学習モデルがかんたんにつかえる

アニメをきれいに線画にしたい

アニメから線だけ抽出できれば、ぬりえや２次創作などいろんなことに使える。

線だけ抽出することはできるのか？

ただモノクロにするだけではこうなる。

塗りつぶしはなくして線だけ抽出することはできるのか？

OpenCVでもできる。。。?

OpenCVでもスケッチ効果を作ることはできる。

これはこれで素敵だが、まだ塗りつぶしが残っている。

もっと線だけ抽出できるだろうか？

Anime2Sketchで解決

Anime2Sketchという機械学習モデルを使えば、かんたんに線画にできる。

さらに、CoreMLというiOS対応のモバイル形式にすれば、ドラッグ&ドロップで使え、アプリにも組み込める。
CoreML-Modelsからモデルファイルをダウンロードして、画像をドロップするだけ。

このように、かんたんにきれいに線画だけが抽出できる。

アプリに組み込むには、Visionリクエストをすれば良い。

do {
    let mlModel = try anime2sketch(configuration: MLModelConfiguration()).model
    let model = try VNCoreMLModel(for: mlModel)
    let request = VNCoreMLRequest(model: model)
    let handler = VNImageRequestHandler(ciImage: ciImage, options: [:])
    try handler.perform([self.sketchRequest])
    guard let result = self.sketchRequest.results?.first as? VNPixelBufferObservation else { return }
} catch let error {
    print(error)
}