HoloLens 2でVuforiaを使い物体の移動に追従させる

はじめに

HoloLens2を用いた物体検出をマーカーで実装しようと思い始めた．
結局うまくいっていないが，調べたことなどを記しておく．

動作確認できていない

前提

環境

項目	値
OS	Windows 11
Unity	2020.3.44f1, 2021.3f1
デバイス	HoloLens 2
Visual Studio	2022
MRTK	2.8.3
Vufolia	Vuforia Engine 10.19

手順

1. Vuforiaのセットアップ

• Vuforia Developer Portalにログインし，Target Managerへ移動し「Add Database」する．
• データの保存先を選択できるので今回はDeeviceを選択する．

• Add Target から画像を追加．
• 今回はいらすとやでゴーグルの画像をダウンロードした．
• 画像の例だとpngだが，透過画像だとエラーを出されるのでペイントアプリでjpgに変換した．

• Licence ManagerでGet Basicからライセンスを取得する．
• 今回は「HoloLesMarkerTest」という名前で作成した．
• 後で表示された文字列を使用する．

2. Unity

プロジェクトのセットアップ

• プロジェクトを作成．

• Vuforia Engine, MRTK からunitypackageをダウンロード
• Assets / Immport Package / Custom Package... からインポートする

MRTK

• MRTKの画面が出たらApplyを押す．
• 画面はエディター上部のMixed Reality Toolkit / Utilities / Configure Unity Projectで出せる．
• Build Settings でPlatformを以下のように設定する．
• error CS8124: Tuple must contain at least two elements.が表示された場合は以下のように修正する．

public UnityEvent OnTargetFound = new();
public UnityEvent OnTargetLost = new();

↓

public UnityEvent OnTargetFound = new UnityEvent();
public UnityEvent OnTargetLost = new UnityEvent();

Vuforia．

• メニューからWindow / Vuforia Configration．
• 先ほど取得したライセンス文字列を入力する．

作りこみ

• Mixed Reality Toolkit / Add to Scene And Configure..
• Image Targetの作成

• 以下のように設定．

項目	値
Type	From Database
Database	作成したデータベース
ImageTarget	作成したターゲット

• パッケージをインポート．
• Target ManagerからDownload Databaseでダウンロードできる．

• マーカー認識時に表示したいオブジェクトを作成し，Image Targetの子オブジェクトにする．

• MixedRealityPlayspaceの子にあるMain Cameraに以下のコンポーネントを追加．

• Vuforia Behaviour，Default Initialization Error Handler．

• PackageManagerから以下をインポート(Packages: Unity Registryにしないと表示されない)．

• Windows XR Plugin，XR Plugin Management．

• Edit / Project SettingsからXR Plug-in ManagementのWindows Mixed Realityにチェック

• Player Settings / Player / Publish Settings / CapbilitiesのWebCamにチェックを入れる

ビルド

• Add Open Scenesでシーンを追加．
• ビルドする．

エラー解決

ConsoleにMRTKのエラーが出ている場合

• MixedRealityToolkitオブジェクトでプロファイルのクローンを行う
• エラーが出ている個所のプロファイルをクローンする
• 赤い個所をTry Repairで解決する
• IMixedRealityInputDeviceManager data providerのエラーを参考にした

Refeence rewriter

• 以下のエラーが発生

Reference Rewriter found some errors while running with command "--target=Temp\StagingArea\Data\Managed\Microsoft.MixedReality.Toolkit.Async.dll"

Reference rewriter: Error: method `System.Boolean UnityEngine.Texture2D::Reinitialize(System.Int32,System.Int32,UnityEngine.TextureFormat,System.Boolean)` doesn't exist in target framework. It is referenced from Vuforia.Unity.Engine.dll at System.Void Vuforia.Image::ResizeTexture(UnityEngine.Texture2D,System.Int32,System.Int32,UnityEngine.TextureFormat).

• 無視してOK
• こちら](https://github.com/microsoft/MixedRealityToolkit-Unity/issues/8839)参考
• Build画面から直接ビルドできるRemote Deviceだとビルドできないが，Visal Studioでビルドできる
  

アプリ起動後に落ちる

試したこと

• Open XRに切り替えたらビルドできた
• 白い画面がずっと表示される
• Windows Mixed Realityに戻す
• Build時のアーキテクチャをARM64に変更
• Visual StudioでARM64にしてビルド
• また落ちるようになる
• ログを見る

Windows Mixed Reality specific camera code has been moved into Windows Mixed Reality Camera Settings. Please ensure you have this added under your Camera System's Settings Providers, as this deprecated code path may be removed in a future update.

• このサイトに行きつく．
• ログにエラーがないが落ちる．
• unityのversionを2021.3.33f1iに変えてみる．
• Assetsをreimport allする．
• プロジェクトの作り直し，バージョン変更など行ったが気づけば研究室に籠ること時刻は午前三時．
• 萎えたので帰ります．

その他のエラー解決

• UnityでHoloLens2アプリをデプロイする手順とよくあるトラブルのまとめ

おわりに

他の人のプロジェクトをクローンするのが早いのかもしれません．
それをやっても自分の環境では正常に動作しませんでした．
多分どこか間違えているのだろうけど頭が回らないので別日にリトライします．

動作確認プロジェクト