OpenCV Advent Calendar 2016、12月9日の記事です。

はじめに

画像処理アプリのアイデアをサクッと形にしたい！

この記事はマルチプラットフォーム対応のOpenCVアプリを作りたい人向けにUnityを使用をする利点を紹介するために書きました。

Unityならマルチプラットフォームアプリが効率的に開発可能

一つのプロジェクトから複数プラットフォーム向けのアプリが出力できる

今更説明は不要かもしれませんが、Unityとは統合開発環境を内蔵し、複数プラットフォームに対応したゲームエンジンです。
コードはC#やjavascriptで記述でき、以下ような機能を利用したアプリケーションを効率的に作成可能です。

2D/3Dグラフィック
サウンド
UI
データ管理
WebCamera入力

プラットフォーム間の開発環境の差を気にすることなく、一つのプロジェクトを作成するだけで、デスクトップ/モバイル/VR/ゲームコンソール/Web/SmartTVなどの環境対応のアプリをいっぺんに出力可能。
基本的には無料で利用可能なので今すぐ始められます。

現時点でOpenCVをUnityで利用する方法

現時点でOpenCVをUnityで利用する方法を私が調べた範囲でまとめてみました。

「OpenCV for Unity」

OpenCV for Unity (https://assetstore.unity.com/packages/tools/integration/opencv-for-unity-21088)


対応バージョン	OpenCV 4.1.0
対応プラットフォーム	Windows, Mac, Android, iOS, Linux, Windows10 UWP, WebGL
価格	$95(消費税込み)
セットアップ難易度	AssetStoreからImportする。セットアップの詳細はUnityでOpenCVを利用した顔検出・画像処理アプリ事始めを参照。
API	OpenCVのJavaラッパーと同じAPIが使用できるので、既存のOpenCVのJavaのコードを参考にできる。API Reference
備考	Unity向けに開発されているので、UnityのTexture2DとOpenCVのMatとの変換などの便利メソッドも用意されている。他のサイトではUnity Editor上では動作しないという情報があったが、現在は問題無く対応している。WebGLプラットフォームに対応している。さらにUnity Cloud Buildでの動作も確認されている

「Emgu CV v4.x」

Emgu CV v4.x (https://assetstore.unity.com/packages/tools/ai/emgu-cv-v4-x-144853)


対応バージョン	OpenCV 4.1.0
対応プラットフォーム	Windows, Mac, Android, iOS, Windows10 UWP
価格	$399(消費税込み)
セットアップ難易度	AssetStoreからImportする。
API	Documentation
備考	OpenCLやTesseract OCRにも対応している。

「ネイティブプラグインを自作する」


備考	プラットフォームごとに自分でネイティブプラグインを自作する。C++で開発できる。使用したい機能だけビルドすればいいのでアプリサイズが小さくなる。プラグイン作成方法を学習する時間がかかる。

私の場合は、iOS、Android、WebGLやWindows UWP(Hololens)に対応していること、OpenCV Javaの既存コードを参考にできること、お財布事情、から「OpenCV for Unity」を選択しました。自分でネイティブプラグインを作成することも考えましたが、ただでさえビルドが大変なOpenCVを各プラットフォームでビルドするのは多くの時間と手間がかかりそうなので、サクッとお金で解決することにしました。

実際にOpenCV for Unityで作ったもの

同梱されている多くのサンプルコードを参考にしつつ、詰まった時はOpenCV Javaのコードを検索したりしてOpenCV初心者でもこのようなアプリを作ることが出来ました。製作時のTipsは下記にまとめてあります。

Unity Cloud Buildによる一括自動ビルド

アプリ製作中はデバッグの為に各プラットフォーム向けにビルドする必要が何度もあると思いますが、そのときに便利なUnityのサービスがUnity Cloud Buildです。OpenCVとは直接関係ありませんが、Unityで開発する場合は必須だと思うので紹介します。

Unity Cloud Buildとは

クラウド上でUnityプロジェクトをビルドしてくれるサービスです。
Windows/Mac/Linux/Android/iOS/WebGLに対応！
GitHub等のレポジトリを指定するだけでマルチプラットフォーム出力が可能になります。

超便利！ Unity Cloud Build の使い方

以下のような開発サイクルをとることで効率的なアプリ開発が可能になります。

プロジェクトを更新
レポジトリにpush
クラウド上で自動ビルド開始
ビルド完了をメールで通知
(複数の)プラットフォームでテスト
1に戻る

このサービスを利用するとマルチプラットフォーム対応アプリ開発やデバッグ作業も苦にならなくなります。

Unityで画像処理アプリを作成する利点

たとえばウェブカメラの入力画像から人物の顔検出を行い、検出された人物の頭部にネコミミを重ねて描画するデジタルインスタレーション作品をWindowsプラットフォーム向けに作成したとします。
そのアプリを同僚に向けて発表した際に「スマートフォンアプリにした方が面白い」とアドバイスされた場合、あなたはその期待にすぐに応えること出来るでしょうか？
Unityを使わないでアプリを制作していた場合、あなたはAndroidアプリを作成するためにJavaを、iOSアプリを作成するためにObjective-CやSwiftの学習から始めなければなりません。
さらに上司に「プロモーションのためにWebアプリとしてウェブサイト上で公開したい」などと言われた場合にはJavascriptの学習も必要になります。
一方、Unityを使ってアプリを制作していた場合なら、あなたはUnityエディタのビルド設定を変更するだけで目的を達成することができるのです。

まとめ

マルチプラットフォーム対応のOpenCVアプリを作成するならUnityがオススメです。

明日はhon_no_mushiさんの「freetype対応したまとめを(Harfbuzzも足したい！）」です。

マルチプラットフォーム対応のOpenCV画像処理アプリをUnityで効率的に作る方法