概要

SmartARを使って、サンプルを動かします
ARを検出してLive2Dの描画とかとかやってみます

モチベーション

UnityでARを使う方法として数日前にVuforiaを使ってみた
他の方法について調べたり、勉強会やプレゼンでSmartARが紹介されたりしたので試すことにした
　

この記事を一通りなぞるとできるもの

準備

軽く探して見つけた開発に関連しそうなリンク

SmartAR® SDK(公式)
SmartAR for Unityの補足情報とプラクティス
 SmartARというソニー製AR SDKを試してみる

用意するもの

SmartAR_SDK.zip
Live2D_SDK_Unity_2.1.00_1_jp.zip

環境やバージョンの詳細

SmartAR SDK 現在(2016/02/24)のバージョン 1.0.1（2016年2月15日）
Live2D Cubism SDK for Unity Version 2.1.00_1
Unity 5.3.2f1
Windows 10
Logicool HD Webcam C270

SDKのシンプルなプロジェクトを試してみる

SmartARのSDKをダウンロードして解凍すると、
以下のようにネイティブのプロジェクトとUnityのプロジェクト、Toolが展開される

SmartAR_SDK_Android.zip
SmartAR_SDK_iOS.zip
SmartAR_SDK_Unity.zip
SmartAR_Tool.zip

SmartAR_Tool.zipは、認識対象画像用辞書作成ツールが入っていました。
これは、認識したい対象の画像から辞書データを生成するもので、SmartARのライブラリに読み込ませることで対象物体の検出・トラッキングが可能になるようです。

ネイティブのプロジェクトも読もうかなと思いましたが、
今回はUnityでざっくり作ることを目標としているので、Unityについて見ていきます。
解凍すると直下にREADME.txtが入っているのでそれをざっくり読んでみます。
Documentフォルダ以下にAPI仕様書や概要、使用方法などのファイルがまとまっています。

Unityのプロジェクトを眺める

Document/SmartARSDK-Overview_j.pdf
Document/SmartARSDK-Unity_j.pdf
この辺を一通り読んで、今後に役立ちそうな情報のまとめと抜粋を。

Document/SmartARSDK-Overview_j.pdf

SmartAR SDKの概要、使用方法、参考情報についての資料

モード

SmartARでは2種類のモードがあるようです。

以下、モードについてはドキュメントある部分より抜粋
また、詳細については認識モードに関する補足も参考になるかと思われます。
また、それぞれのモードの処理の仕組みと、性能を引き出すための詳細が確認できます。

TargetTrackingモード

指定された認識対象をカメラ画像内から検出・追跡し、認識対象に対するSmartAR動作端末の位置と向きを推定するためのモード

SceneMappingモード

SmartAR動作端末を空間中で動かすことで、カメラ画像の変化とセンサー情報から、カメラに映った未知の空間の3D構造と、その空間内でのSmartAR動作端末の位置と向きを推定するモード

SmartARSDK-Unity_j/e.pdf

SmartAR SDK Unity Pluginの概要、使用方法についての資料
以下、この資料の内容を確認しながらなぞって実行していきました。

とりあえず、サンプルを実行したかったので、
2 対応環境・ビルド環境(p5)を確認して、問題なさそうだったので、
3 SmartARTM SDK Unity3D Plugin 概要(p6)を確認
7 サンプルアプリケーションの実行方法(p20)を読みました

SmartAR SDK Unity3D Pluginには2種類のプラグイン(.unitypackage)が用意されている

SmartAR_SDK_Unity/SmartAR/smartar_moving_target.unitypackage

カメラ位置を固定し、重畳オブジェクトの位置を移動します。
このPluginではSmartAR SDKの全ての機能を使用することができます。
ターゲットの位置を移動するのでターゲット配下のオブジェクトが増えるとパフォーマンスに影響が出ます。
また、重畳オブジェクトへの動的な操作やパーティクルの指定などの操作を行う場合に調整が複雑になり開発の難易度が上がる可能性があります。

SmartAR_SDK_Unity/SmartAR/smartar_moving_camera.unitypackage

重畳オブジェクトの位置を固定し、カメラの位置を移動します。
SmartAR SDKが移動するオブジェクトはカメラのみなのでsmartar_moving_targetよりもパフォーマンスに優れます。
また、SmartAR SDK が重畳オブジェクトの子オブジェクトに影響を与えないのでUnity 上での開発のしやすさも優れます。

実際に動かしてみる

トラッキングとパフォーマンスと、
簡単な検証のために、smartar_moving_camera.unitypackageを選択しました。
プラグインの読み込みと、Prefabの使い方は、Plugin の使用方法(p9)を見ながら
設定の詳細については、4 Plugin 共通コンポーネント(p10)以降を確認しながら行いました。
※軽い補足ですが、Plugin の使用方法(p9)の手順(4)ですが、Hierarchyの「SmartAR Camera」のInspectorにある、SmartARControllerとSmartAREffectorの設定を行う、かと思われます。

サンプルを実行する

インポート後に、Projectから、SmartAR/Sample/Scenes/sample_smartarを開きます。
シーンについては、含まれるサンプルアプリケーションについて(p16)以降に箇条書きで記されています。

実行！

※この時はRealSenseのカメラを使っていました
※うまく実行できない、クラッシュする場合は、
UnityEditor上で実行するための方法や、ビルドについての詳細が
7 サンプルアプリケーションの実行方法(p20)あたりに書いてありますので確認してみてください。

マーカを一度認識すると、このようにマーカの一部が隠れても正しく認識し続けてくれました。すごい。

既存プロジェクトへ追加、設定の仕方

SDKのインポート後、自分のプロジェクト（画面は新規から追加していきました）に追加していく場合はこのようになるかと思われます

今回は、Live2DのSDKのSampleApp1のハルを表示してみることにします。

SampleApp1のシーンを開いて、MainCameraを削除
SmartARのSDKをimport
ProjectのSmartAR/PrefabsにあるSmartAR CameraとSmartAR TargetをHierarchyに設置

　
SmartAR TargetのInspector/Target EffectorのTarget IDにsample01.v9.dicを設定

　
SmartAR Targetの子に、Live2Dのモデルを配置

　
SmartAR CameraのInspector/Smart AR Controller/Recognizer Settings/Targetsのsizeを1に変更してFile NameとIDをsample01.v9.dicに設定

　
追記、以下に不要な手順がありました

SmartAR CameraにProject/SmartAR/Sample/ScriptsにあるAppControllerをアタッチ
アタッチした、App ControllerのMy SkinにProject/SmartAR/Sample/Skins/Sample GUISkinを設定
アタッチした、App ControllerのSmart AR ControllerにHierarchyのSmartAR Cameraを設定します