はじめに

こんにちは、やえがし(@Gassy_kk)です。
UnityとARKit2.0で「English探偵」というアプリを作成したので、使用した技術などについてご紹介します。

作成したアプリ

現実空間のモノを英語名で喋って答える知育アプリになります！
イメージ的にはリアルレイトン教授です(認識したモノに対応するナゾが現れても面白そう...)

Twitterに投稿した動画です

使用した技術について

主な使用技術は以下の通りです

ARKit2.0
Google Cloud Speech Recognition

ARKit2.0

現在UnityARKitプラグインはAssetStoreに存在しないのですがBitbucketからダウンロードすることができます。
https://bitbucket.org/Unity-Technologies/unity-arkit-plugin

現実の物体を検知する為にはARReferenceObjectを使います。
UnityARObjectAnchorというサンプルシーンで学習することができ、Anchorへの理解を深めると自分の作りたいものに近づけられると思います！
こちらのサイトを参考にさせていただきました。
https://jyuko49.hatenablog.com/entry/2018/08/06/091115

Google Cloud Speech Recognition

声をテキストとして出力する必要があったので今回は**Google Cloud Speech Recognition [VR\AR\Desktop\Desktop]**というAssetで実装しました。
購入後は従量課金制なのですが500回ほどリクエストを送っても料金は発生しませんでした。
https://assetstore.unity.com/packages/add-ons/machinelearning/google-cloud-speech-recognition-vr-ar-desktop-desktop-72625

断念したこと

問題の作成をローカルで完結させる。
ARReferenceObjectがScriptableObjectで作成されている為、実機環境での書き込みができなかった。(何かいい方法があれば教えてください！)
オブジェクト認識表現を矢印以外のものにしたかった。
オブジェクトが光るとか背景がぼやけるとか...
工数が一気に増えるし技術的にも難しそうだった

さいごに

自分で考えたアイデアを形にしていくのは今回が初めてでしたがとても楽しかったです！作っている過程を楽しむことができて最後までモチベーションが途切れませんでした。
また、ユーザーに気持ちの良い体験をしてもらうためにはどんなUI/UXが適切か？という課題が大きく残りました。今回はARと音声認識を組み合わせて現実空間とのインタラクションを可能にしてみたのですが、ARは周辺領域と組み合わせることで色々な可能性を見せてくれそうです。
まだまだ発展途上な領域なので引き続き研究していきます！