まだ個人開発者向けには販売されていない HoloLens 2 ですが、
アメリカ出張中に本社のマーケティングチームの方からたまたま HoloLens 2 実機を数日間お借りする機会がありましたので、
その間に学んだことをここにまとめていきます。
最初に、開発者向けの 公式チュートリアル を進めていきます。
実際にやり進めて、わかりやすいようにスクショ満載で書きました！スクショは全部環境 (Unity, Visual Studio) を言語設定日本語にして撮りました。躓いたところもすべてこの記事に書いています
↑ 買ったばかりの Microsoft Surface Laptop に繋げてアプリデプロイ中の HoloLens 2
ちょうどアメリカ現地で新しいパソコン (Surface Laptop) も買ったので、
まっさらな環境に HoloLens 開発環境を構築していったので、記事にするのにちょうど良かったかも。
[翌日の追記] ↓ 公式チュートリアルページ、この記事を書いた日はこのスクショのように英語だったのですが、朝起きたら 2020/2/13 現在、日本語に翻訳されていました…。私が和訳した意味…でのそのまま記事書いていくよ！
HoloLens 2 開発に必要な環境
公式ドキュメントのこちらのページ と こちらのページ にまとまっています。
- Windows 10 SDK 10.0.18362.0 以降
- Unity 2019.1.14 (UWP Build Support (IL2CPP) も入れてね)
- HoloLens 2 実機または HoloLens 2 エミュレータ
- Visual Studio 2019 (コンポーネントは UWP, C++ でのデスクトップ開発, Unity でのゲーム開発を入れておいてね)
（HoloLens 2 実機は 開発者モードの有効化 を済ませておく必要があります）
HoloLens アプリ開発の流れ
HoloLens アプリを Unity で開発する場合、
- Unity からソリューションファイル (.sln) を吐き出す
- .sin を Visual Studio で開き、ビルドして UWP アプリにパッケージング (= HoloLens で動く形)
- Visual Studio から HoloLens にデプロイ
という形になるので、
まず Unity で作って、
VS でビルド、
というフローになります。
MRTK って何？
ところで、今からやる HoloLens 2 公式チュートリアルには
たくさん「MRTK」という言葉が出てくるので、先に簡単に説明しておきます。
MRTK とは、Mixed Reality Toolkit の略で、
Microsoft が オープンソースで開発している、
xR アプリを開発するときに便利な Unity 用のライブラリ です。
GitHub リポジトリ：
https://github.com/microsoft/MixedRealityToolkit-Unity
クロスプラットフォームのための構成になっており、HoloLens (MR) の他、VR や AR でも利用できる。
例えば、MRTK でプロジェクトを作っておくと、
シーンの修正をしなくても HoloLens 2 や HoloLens 1、Windows MR (VR) にアプリをビルドできる。
これは MRTK がデバイスを吸収してくれるから。便利！（MRTK の前身の HoloToolKit だとこれができなかった）
Unity での HoloLens アプリ開発には MRTK ほぼ必須
(* ゜▽゜ * っ)З「MRTK が xR 系のクロスプラットフォーム開発に便利ってことは分かったけど、でも私は HoloLens アプリだけだし使わない道もあるのかな？」
そんなことない！！！！！
MRTK 使わない HoloLens アプリ開発は修羅の道！！！！
MRTK を使おう！！！
例えば、ボタンを押す、という動作を作るとき。
[ボタンを押す動作] MRTK を ** 使わなかったら ** 、
- HoloLens 2 の API から、直接、手の入力イベント取って、
- 人差し指の位置をとって、
- アタリ判定を付けて、
- ボタン側にもアタリ判定付けて、
- ボタンに触れてから 10cm 押し込んだことをロジックで検出して
- イベントを起こす
(* ゜▽゜ * ; っ)З「なんか難しそうね」
[ボタンを押す動作] MRTK を ** 使ったら **
- シーンに PressableButton のプレハブを置く（終了）
(* ゜▽゜ * っ )З「え！一瞬じゃん！MRTK やば」
MRTK を使おう！！！ (2回目)
これからやるチュートリアルは MRTK を使うものとなっております
HoloLens 2 ハローワールド - 初めての HL2 空アプリとデプロイ
公式チュートリアル最初のページ をやっていきましょう。
原文が英語なので日本語にしながら読んでいきます。
Overview (チュートリアル概要)
In this first lesson, you'll learn about some of the capabilities the Mixed Reality Toolkit (MRTK) has to offer, start your first application for the HoloLens 2, and deploy it to the device.
この最初のレッスンでは、
Mixed Reality Toolkit (MRTK) が提供している機能のいくつかについて学び、
HoloLens 2 の最初のアプリケーション作ってデプロイしてみましょう！
とのことです。
Objectives (このチュートリアルの目標)
- HoloLens 開発用に Unity を構成します。(Configure Unity for HoloLens development.)
- アセットをインポートして、シーンをセットアップします。(Import assets and set up the scene.)
- スペーシャルマッピングメッシュ や ハンドメッシュ、フレームレート カウンターを可視化します。(Visualization of the spatial mapping mesh, hand meshes, and the framerate counter.)
01: Unity プロジェクトを新規作成
Unity Hub から「新規作成」
複数のバージョンの Unity が入っている方は、
「新規作成」の右のプルダウンからバージョンを指定しましょう。
（ちなみにこのチュートリアルは 2019.1.x 系 (2019.1.14 推奨) が指定されています。）
↓
テンプレートは「3D」
プロジェクト名は何でもいいけど例えば「MixedRealityBase」
で「作成」をクリックします
(この時、プロジェクトを保存する先の path が長過ぎないようにしましょう。ビルドするとき、255 文字の MAX_PATH 制限があるので、保存先は C:\src\project などなるべく短い path が安全です。めちゃ長いと後で Visual Studio でビルドするときに CS0006 errors を吐いてビルド失敗する場合があります。 (詳細))
Windows Mixed Reality 向けに Unity プロジェクトを設定しよう
「ファイル (File)」→「ビルド設定 (Build Settings)」
をクリックします
もしこんな警告が出てたら？
ビルド設定ウィンドウが出てきますが、
これがあなたの初めての HoloLens アプリ開発の場合、
こんな警告が書いてある場合があります。
Selected Visual Studio is missing required components and may not be able to build the generated project.
(選択されている Visual Studio は、必須のコンポーネントが足りておらず、ジェネレートされたプロジェクトをビルドできないかもしれません)
何か足りてないっぽいですね！
HoloLens アプリ開発のためには、
Visual Studio Installer の「編集」から
以下のコンポーネントを加える必要があります
詳しくは公式ドキュメントの「Install the tools」にまとまっています。
Build Settings (ビルド設定) ウィンドウ
「Universal Windows Platform」をクリックして、
右下の「Switch Platform」をクリックします。
HoloLens 2 (中で Windows 10 が走ってる) で実行されるアプリは、
Universal Windows Platform (UWP) アプリとなります。
Player Settings (プレイヤー設定)
同じくビルド設定ウィンドウの左下の「プレイヤー設定 (Player Settings)」をクリックし、
出てきたプレイヤー設定パネルの中の「XR セッティング (XR Settings)」タブをクリック、
中の「Virtual Reality Supported (VR サポート)」にチェックを入れます。
(ビルド設定ウィンドウが プレイヤー設定パネルの上に出てて、プレイヤー設定パネルが見えない場合があるので、その場合はビルド設定ウィンドウをドラッグして動かしましょう)
この「VR サポート」は何なのかと言うと、
立体視（左右の目で異なる画像をレンダリングする）を有効にすることを意味します。
なので VR でも AR でも MR でも有効にする必要があります。
もしこんな警告が出てきたら？
Must add at least one Virtual Reality SDK.
(最低ひとつ以上の Virtual Reality (VR) SDK を入れていなければなりません)
Virtual Reality SDK リストの下の「＋」ボタンから
「Windows Mixed Reality」を選択しましょう
すると、インポートが走り、警告が消えて、以下のような表示になります
Player Settings (プレイヤー設定)
また、同じくプレイヤー設定パネルの「XR セッティング (XR Settings)」のなかで
「ステレオ レンダリング モード (Stereo Rendering Mode)」を見てみます。
最初は「マルチパス (Multi Pass)」になっていますが、
これを「シングルパスインスタンス化 (Single Pass Instanced)」に変更します。
このレンダリングパイプラインスタイルは、HoloLens 2 で最もパフォーマンスが高くなります。
詳しくはこちらの Unity 公式ドキュメント『HoloLens のシングルパスステレオレンダリング』参照。
他にも Unity の環境設定に興味のある方はこちらのドキュメントもどうぞ。
→ Unity で推奨される設定 (Recommended settings for Unity) - Microsoft 公式ドキュメント
公開設定 (Publishing Settings)
同じパネル内の「公開設定 (Publishing Settings)」セクションを見ます。
この下の方の「Capabilities」一覧の中の
「Spatial Perception」(空間認識) にチェックが入っているのを確認します。
「Spatial Perception」(空間認識) を使用すると、
HoloLens 2 などの Mixed Reality デバイスでの空間マッピング (spatial mapping) メッシュを視覚化することができます。
note
今回は使用しませんが、よく使う他の capability としては
- 音声コマンド用に
Microphone - ネットワーク接続を必要とするサービスの場合
InternetClient
などがあります
（詳しい記事：UWP アプリ開発 - アプリ機能の宣言）
パッケージ名も編集
同じく「公開設定 (Publishing Settings)」セクションの中にある
「パッケージ名」も編集しておきましょう。
デフォルトでは必ず「Template3D」が入るようになっていて、
複数のアプリが同じパッケージ名だと
HoloLens 実機にインストールした時に
上書きされてしまいます。
結果
「HoloLens 2 に新しいデモアプリをビルドするたび、以前のアプリが消えていっていることに気づいた」
という事態になります。(morio36 さんのツイートより)
なので、ここで新しいパッケージ名を指定しておいた方が良いです。（例「MixedRealityBase」)
Mixed Reality Toolkit (MRTK) をインポートする
ついに MRTK (Mixed Reality ToolKit) を入れます！
2020/2/12 現在の最新のバージョンは MRTK v2.2 ですが、
このチュートリアルでは v2.1 が指定されているので、2.1 を使います。
リリース一覧ページ (https://github.com/microsoft/MixedRealityToolkit-Unity/releases) の
foundation package version 2.1.0 をダウンロードします。
探すのが大変でしたらこちら直リンクです→ Foundation.2.1.0.unitypackage (クリックしたらすぐにダウンロードされます)
ダウンロードが終わりましたら、Unity に戻ります。
「アセット (Assets)」
→ 「パッケージをインポート (Import Package)」
→ 「カスタムパッケージ (Custom Package)」
先ほどダウンロードした Microsoft.MixedReality.Toolkit.Unity.Foundation.2.1.0.unitypackage を選択して開きます。
次のポップアップで「インポート (Import)」をクリックして、選択したパッケージの Unity プロジェクトへのインポートを開始します。
スクショにある通り、すべてのアイテムがチェックされているのを確認してください。
もし上のような「Apply Mixed Reality Toolkit Default Settings?」というダイアログが出てきたら
「Apply」をクリックしてください。
MRTK は、インポート時に、自動的に、あなたのプロジェクトに足りない設定を検知して、推奨される設定に修正してくれます。（便利だね！）
私の場合 Spatial Awareness Layer の設定が足りてなかったので上のようなポップアップが出ましたが、人 (設定) によって出るものが違いますし、出ない人もいます。
Mixed Reality Toolkit (MRTK) を構成する
現在のシーンに Mixed Reality Toolkit を追加するには、
メニューバーから Mixed Reality Toolkit > Add to Scene and Configure を選択します。
（もし Mixed Reality Toolkit をインポートした後にこのメニュー項目が表示されない場合は、 Unity を再起動してください。）
また、この時にプロファイルを選択するポップアップが出ますが
その中の『DefaultHoloLens2ConfigurationProfile』をダブルクリックしてください。
（プロファイルについての詳細が知りたい方は こちら）
シーン保存
うまく MRTK が入ると、シーンにいくつか新しいアイテムが増えたりしています。
Before
- Directional Light
- Main Camera
After
- Directional Light
- MixedRealityToolkit [new!]
- MixedRealityPlayspace [new!]
というわけで、このシーンを名前を付けて保存しましょう。
「ファイル (File)」→「別名で保存 (Save As ...)」
プロジェクトの Assets フォルダの下に「BaseScene」などの名前で保存しましょう。
アプリのビルド
「ファイル (File)」→「ビルド設定 (Build Settings)」
をクリックします
今保存した名前のシーンがチェックされてる状態で、
「シーンを追加 (Add Open Scenes)」→「ビルド (Build)」
ビルド成果物をどこに保存するか聞かれるので、
新しくフォルダを作ります。
「App」という名前でフォルダを作り、選択します。
すると、ビルドが開始されます。
もしビルドがコケたら？
ビルドが失敗した場合は、
ビルドを再試行するか、
Unity を再起動して再ビルドしてください。
もし、エラーメッセージ：
"Error: CS0246 = The type or namespace name “XX” could not be found (are you missing a using directive or an assembly reference?)"
(エラー：CS0246 =型または名前空間名「XX」が見つかりませんでした（usingディレクティブまたはアセンブリ参照がありませんか？）)
などが表示された場合は、Windows 10 SDKをインストールする必要があります （10.0.18362.0）
Unity から Visual Studio へ
ビルドが完了したら、先ほど指定した新しいフォルダー App を開きます。
MixedRealityBase.sln をダブルクリックして、
Visual Studio で開きます。
なんかダイアログが出てきた場合
ソリューションファイルをダブルクリックして Visual Studio を開いたら
このようなダイアログが出てくることがあります。
これは、あなたの Visual Studio に、
HoloLens 開発に必要なコンポーネントが足りなかった場合に出て来るもので
例えばこの場合、C++ Universal Windows Platform tools が足りてなかったようです。
「インストール」を押します。
ウィンドウの右下の「Install」を押して、インストールを開始します。
Visual Studio で開いた！
このようなプロジェクトの構成になっています。
VS でビルドしてみる
Visual Studio でビルドしてみましょう。
MixedRealityBase (Universal Windows) プロジェクトを右クリックして
ビルド (Build) をクリックします。
エラーが出た？
私の場合、ここで以下のようなエラーが出ました。（エラー無くビルド通った方は読み飛ばしてください）
MSB8020 The build tools for Visual Studio 2017 (Platform Toolset = 'v141') cannot be found. To build using the v141 build tools, please install Visual Studio 2017 build tools. Alternatively, you may upgrade to the current Visual Studio tools by selecting the Project menu or right-click the solution, and then selecting "Retarget solution". MixedRealityBase C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\MSBuild\Microsoft\VC\v160\Microsoft.CppBuild.targets 382
プロジェクトのターゲットバージョンと合っていなかったようです。
指示通りにターゲットバージョンを上げます。
MixedRealityBase (Universal Windows) プロジェクトを右クリックして
"Retarget solution" (ソリューションを再ターゲットする) をクリックします。
するとこのようなダイアログが出ます。
エラーメッセージではターゲットが v141 だけど云々と言っていたので、このダイアログでは v142 にターゲット上げると言っているので、良さそうですね。
「OK」を押します。
そしてまたビルドをしてみましょう。
今度は通ったはずです。
HoloLens 2 へのデプロイの前準備
まず、HoloLens 2 を「開発者モード」を有効にしておく必要があります。
Windows 10 はセキュリティがしっかりしているので、普通はストアからしかアプリが入れられないようになっています。(何度も言いますが HoloLens には Windows 10 が入っています)
なので、Visual Studio からオレオレアプリをインストールさせるためには「開発者モード」にする必要があるのです。
HoloLens 2 の
「設定 (Settings)」→「For developers」→「Use developer features」のトグルを on
詳しいやり方はこちら『Using Visual Studio to deploy and debug』
HoloLens 2 へのデプロイ
実機へのデプロイは 2 パターンあります。
- USB ケーブルでつないだ有線デプロイ
- wifi デプロイ（PC と HoloLens が同じネットワーク内にある必要がある）
個人的に、1番目の有線デプロイのほうが、簡単だし無線に比べ時間もかからないので好みです。
（それぞれの詳しいやりたい方は こちらを参照のこと）
また、Visual Studio Installer で USB ドライバ入れておきましょう。
そして USB ケーブルで、HoloLens 2 と開発 PC を繋げます。
開発 PC が HoloLens を検知したら、Visual Studio のデプロイ先に「デバイス」が選べるようになります。
「Release」「ARM」「Device」
を設定して、実行します。（"Device" ボタンを押す）
（HoloLens 2 の CPU は ARM なので、ARM を選択する必要があります。逆に、エミュレータで実行している方は、エミュレータを動かしている今のあなたのパソコンは x86 CPU だと思うので、そのさいは x86 を選択します）
HoloLens 2 で実行！
FPS のパフォーマンスバーが出てる！
これは MRTK 入れたらデフォルトでついてくるもので、デバッグにとても役立つツールです。
写真撮ってるから FPS 落ちてるけど、普段は 60 FPS を保てています。
ということで、初めての HoloLens 2 ハローワールド、完了です！
やったー！
次回
次は UI の作成と MRTK もっと触ってみる回です！お楽しみに
（公式ドキュメント： https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch2）
参考資料
- 【公式】What is the Mixed Reality Toolkit
- 【公式】公式チュートリアル Initializing your project and first application
- 【公式】Using Visual Studio to deploy and debug - HoloLens と Visual Studio の接続など
- 標準機能で超便利！「Device Portal」でHoloLensのMR映像をPCに共有しよう！ - HoloLens のスクショ撮るときに見ました