ロボット・マルチプレイ開発を実現する仮想化技術 Unity + Photon + ROS2 + Oculus Quest2 + 箱庭！(3/3)

ロボット・マルチプレイ開発を体験する

前回で，複数 PC からクラウド環境(Photon)にオンラインで入って，ロボット・マルチプレイ開発できるようになりました．

最終回となる今回は，これまで構築してきた箱庭クラウド環境に，箱庭アバターでログインできるようにします！臨場感のある箱庭 VR 体験ができるようになります！レッツダイブ！

1 回目：TOPPERS/箱庭に複数のロボット(TB3)を自由に配置して動かす
2 回目：Photon対応版箱庭を複数のパソコンで起動して，ロボット・マルチプレイする！
3 回目：Photon&Oculus対応版箱庭使って，複数人で箱庭VR空間にダイブする！(本記事)

なお，この３連載記事内容は，オープンソースカンファレンス2022 Nagoya にて紹介しますので，興味のある方はぜひご参加ください．

箱庭クラウド環境にダイブする上で必要なモノ

箱庭クラウド環境にダイブするためには，本連載の２回目の環境構築ができている必要があります．

その上で，今回の新たに必要となる機器は，以下の Oculus が必要となります．

• ハード：Oculus Quest2
• リンクケーブル：oculus quest 2用 ケーブル

また，Oculus と PC 間で通信できるように Oculus Link をインストーしておく必要があります．Oculus Link のインストール方法はこちらをご参照ください

アーキテクチャ

ここで，箱庭VR体験向けのアーキテクチャは下図のようになります．

２回目の記事で，２台のPCから Photon サーバー通して，ロボット・マルチプレイ開発できるようになっていました．上図の拠点2と3が Photon サーバーにつながっている構成です．

この構成に対して，画面左下の箱庭アバター(拠点1)というものが，同様に Photon サーバーにログインして，箱庭 VR 空間上で，箱庭クラウド環境で動いているロボットたちを観察します．

ロボット・マルチプレイ開発向け箱庭リポジトリ

この３連載記事をまとめたリポジトリを以下で公開しました．

リポジトリ構成としては，以下のようになります．

• １回目の記事：ロボット・マルチプレイ開発をローカルPCで実現する
  • multiplay-local
    • hakoniwa-ros-simulatorの main ブランチを submodule で参照しています．
• ２回目の記事：ロボット・マルチプレイ開発を複数拠点のPCで実現する
  • multiplay-photon
    • hakoniwa-ros-simulatorの photon ブランチを submodule で参照しています．
• 本記事：箱庭VR空間にダイブして，開発中のロボットを観察する
  • oculus-photon
    • 箱庭 VR 体験するための Unity 環境や箱庭アセットなどを管理しています

箱庭 VR 体験するためのセットアップ

ここでは，ロボット・マルチプレイできる環境を構築されていることを前提として，箱庭 VR 体験をする上で必要なセットアップ手順を説明します．

ロボット・マルチプレイできる環境を構築されていない方は，２回の記事を参照頂き，環境構築をお願いいたします．

セットアップ手順は以下の通りです．

1. ロボット・マルチプレイ開発向け箱庭リポジトリをクローン
2. 箱庭モデルのインストール
3. Unity の Oculus Integration をインストール
4. Photon の App ID PUN を設定

なお，今回の解説向けに動作確認した環境構成は以下の通りです．

• Windows 11/WSL2 Ubuntu 20.04.3 LTS
• Unity 2021.3.0f1
• Unity Hub：3.1.2

ロボット・マルチプレイ開発向け箱庭リポジトリをクローン

任意のディレクトリ上で，ロボット・マルチプレイ開発向け箱庭リポジトリをクローンしましょう．

$ git clone --recursive https://github.com/toppers/hakoniwa-ros-multiplay.git

なお，今回は，/mnt/c/project 直下にクローンしました．

クローンが終わったら，hakoniwa-ros-multiplayディレクトリができていますので，移動して，ls してみましょう．

$ cd hakoniwa-ros-multiplay
$ ls
multiplay-local  multiplay-photon  oculus-photon  README.md

箱庭モデルのインストール

次に箱庭モデルをインストールするために，以下のコマンドを実行しましょう．

$ bash oculus-photon/install.bash

• 補足
  • Unityモデルは git 上で管理するには大容量になるバイナリファイル等がありますので，そういったものは，ダウンロードして取得して展開する方針としております．

Unity の Oculus Integration をインストール

まず，Unity Hub を起動しましょう．

次に，画面右上の「開く」をクリックして，先ほどクローンしたディレクトリをたどり，「hakoniwa-ros-multiplay/oculus-photon/avator」を選択します．

• 補足
  • 環境によりますが，自分の環境ですと，Unity 起動するのに数分かかりますので気長に待ちましょう．

Unity起動するとこうなります．

画面下を見ると，赤字でエラー出てますが，Oculus Integration パッケージがインストールされてないためです．というわけで，いざインストールです．

こちらから，「Unityで開く」をクリックし，インストールします．

クリックすると，Unityのパッケージマネージャが起動し，Oculus Integration 画面が現れますので，ダウンロードして，インポートしましょう．

インポートボタンを押下すると，以下のダイアログが出てきますので，インポートします．

• 補足
  • ここでも数分待ちます・・

インポート中にいくつか確認ダイアログが出てきますが，一連の対応内容は以下の通りです．すべて終了すると，再起動して，画面下にあったエラーが消えます．

• Yes
  • 
• Use OpenXR
  • 
• Ok
  • 
• Restart
  • 
• Upgrade
  • 
• Restart
  • 

ここから，Unityのプロジェクト設定です．まずは，[Edit]->[Project Settings...]をクリックしましょう．

画面左下の[XR Plugin Management]を選択すると，[Install XR Plugin Management]ボタンがありますので，クリックします．

インストール終了後，中央にある[Oculus]にチェックを入れます．

最後に，Unityのプロジェクトビューの「Scenes」を選択して，「HakoniwaAvator」シーンをクリックしましょう．

画面中央に，いつもの箱庭シミュレーション空間が現れます．

Photon の App ID PUN を設定

２回目の記事でやったように，PhotonUnityNetworking設定で， App ID PUN を設定しましょう．

メニューの[Windows]->[Photon Unity Networking]->[PUN Wizard]をクリックしてください．

そうすると，以下のダイアログがポップアップされますので，Locate PhotonServerSettingsをクリックしましょう．

インスペクタビューが開きますので，(T.B.D)となっているApp ID PUN に，登録したアプリケーションIDを入力してください．

以上でセットアップは終了です！お疲れ様でしたー．

箱庭アバター使って，箱庭 VR 空間にレッツダイブ！

箱庭 VR 空間にダイブするために，まずは，ロボット・マルチプレイを Photon 上で実行してください(参照：２回目の記事)．

次に，Oculus Qeuest 2を装着して，PC 操作開始します．
先ほどセットアップしたUnityエディタ上で，シミュレーション開始します．

うまくいくと，箱庭 VR 空間にダイブします．Oculus Quest2 備え付けのTouchコントローラを使って，方向転換および移動できます．

• 方向転換
  • 右Touchコントローラの「アナログスティック」を左右にふる
• 移動
  • 左Touchコントローラの「アナログスティック」を移動したい方向に向ける

ダイブした風景はこんな感じです．

なお，箱庭アバターは，以下の記事と同様な方法で作成しました．

この記事の背景的なところ

「IoT（Internet of Things、モノのインターネット）は情報技術（IT）の総合格闘技です」という名文句が示す通り，IoT のような複雑なシステム開発では，様々なエンジニアが様々な技術領域を横断して開発します．

こういう背景に対して，TOPPERS / 箱庭WG では，『箱庭』 という新しいシミュレーション環境の構築を目指しています．この箱庭空間ができれば，様々なエンジニアが同じ仮想空間に集まって，ワイワイ議論しながら実証実験できるようになります．ただ，箱庭コンセプトを実現するのはなかなか大変なことだと思っており，出来るところから順番にやっています．

なお，ここ数年の活動のサマリはこちらをご参照ください．

• https://www.toppers.jp/newsletter/newsletter-2111.pdf
  • 上記記事の「箱庭 WG の活動紹介」のところです

お知らせ：箱庭もくもく会

TOPPERS箱庭WGでは，もくもく会を不定期に開催しています．
本記事の内容を実際に試してみたい方や試してみたけど詰まっている方は，ぜひご参加ください．画面共有しながら参加者同士でサポートしたり，一緒に新しい機能を実装したりと”もくもく”しましょう．