LoginSignup
29
30

More than 3 years have passed since last update.

@Spritaro

OculusQuestをROSと通信させる

Posted at

はじめに

以前、OculusGoをROSと通信させていた者です。
最近Oculus Questを購入したので、さっそく使ってみたいと思います。

前回の執筆から1年以上経過してやり方もところどころ変わっているので、ソフトウェアのインストールからやり直します。今回使用するものは次の通りです。
- Unity 2018.4.6f1
- Android SDK, API Level 25
- Android SDK Build Tools
- Oculus Integration for Unity 1.39
- ROS# 1.5

1) Oculus Questの開発ができるようにセットアップする

  1. Oculus Quest自体のセットアップ

    • Device Setup - Oculus Questによると、以下の3つが必要です。
      • Oculus開発者に登録。
        • こちらからOrganizationを作成します。過去に作成したことがあれば不要です。
      • 開発者モードを有効化。
        • スマホのOculusアプリから、設定 > その他設定 > 開発者モードをON。
      • OculusGo ADB Driverのインストール
        • OculusGo ADB Drivers のzipファイルをダウンロード。
        • zipファイルを解凍した後、中のinfファイルを右クリックしてインストールを選択。

  2. Android開発用のセットアップ

    • Android SDK
      • Oculus Goと同様に、Oculus QuestはAndroidベースなのでAndroid SDKが必要です。まず、こちら からAndroid StudioをダウンロードしてPCにインストールします。
      • Android Studioを起動したら、画面右下のConfigureからSDK Managerを開いて、次のパッケージをインストールします。
        • Android SDK Platform, API level 25
        • Android SDK Build Tools
    • JDK (Java Development Kit)
      • Unity 2018.3.x以降にはOpenJDKベースのJDKが付属しているらしく、別途インストールする必要はないようです。

  3. UnityをPCにインストール

    • Oculusの Compatibility and version requirement によると、2019年8月現在、Unityのバージョンは2018.4 LTSなどが推奨のようです。
    • Unity Hub を使ってUnityをインストールします。Unity Hubのインストール画面右上のインストールボタンから2018.4 LTSの最新版を選択します。このときAndroid Build Supportモジュールを追加しておきます。インストールが完了するまでしばらく待ちます。
    • スクリーンショット 2019-08-15 22.49.20.png

  4. Unityプロジェクトの作成

    • Unity Hubのプロジェクト画面から新規作成ボタンを押してプロジェクトを作成します。適当なプロジェクト名と保存先を指定します。
    • スクリーンショット 2019-08-15 23.09.45.png
    • Unity本体が立ち上がったら、PlatformをAndroidに変更します。
      • File > Build Settings でBuild Settings画面を開く。
      • Platformの一覧からAndroidを選択。
      • 画面右下のSwitch PlatformボタンをクリックしてPlatformを変更。
      • スクリーンショット 2019-08-15 23.14.29.png

  5. Oculus Unity Integrationのインポート

    • Asset Storeから Oculus Integration for Unity をインポートします。（かなり時間がかかるので気長に待ちます。）

  6. Player Settingsの設定

    • Edit > Project Settings > Playerを選択してPlayer Settingsを表示します。
    • Other Settings
      • Package Nameを適当なものに変更します。com.[CompanyName].[ProductName]の形式です。
      • Minimum API LevelをAndroid 7.1 'Nougat' (API level 25)にします。
      • Scripting Runtime Versionが.NET 4.x Equivalentであることを確認し、Api Compatibility Levelを.NET 4.xに変更します。
    • XR Settings
      • Virtual Reality Supportedにチェックを入れます。
      • Virtual Reality SDKsの欄にOculusを追加します。

  7. カメラの設定

    • HierarchyウィンドウからMain Cameraを削除します。
    • ProjectウィンドウからAssets/Oculus/VR/Prefabsを開き、OVRCameraRigをHierarchyウィンドウにドラッグ＆ドロップします。
    • OVRCameraRigのOVR Managerスクリプトにある、Target DevicesをGer VR Or GoからQuestに変更します。

  8. コントローラの設定

    • ProjectウィンドウからAssets/Oculus/VR/Prefabsを開き、OVRControllerPrefabをHierarchyウィンドウのRightControllerAnchorの下にドラッグ＆ドロップします。
    • LeftControllerAnchorの下にはOVRControllerPrefabをドラッグ＆ドロップします。こちらはInspectorウィンドウでControllerのタイプをL Tracked Remoteに変更します。
    • スクリーンショット 2019-08-16 00.10.45.png
    • 両手のコントローラを認識させるためには、メニューバーからOculus > Tools > Remove AndroidManifest.xml を実行した後、 Oculus > Tools > Create store-compatible AndroidManifest.xml を実行してAndroidManifest.xmlを更新する必要があります。
    • 更新したAndroidManifest.xmlは一部修正が必要です。ProjectウインドウのAssets/Plugins/AndroidからAndroidManifest.xmlをエディタで開き、
      <category android:name="android.intent.category.INFO"/>
      を
      <category android:name="android.intent.category.LAUNCHER"/>
      に書き換えます。

  9. ビルドして実行

    • ビルドするシーンを選択。
      • File > Build Settingsを開き、Add Open Scenesをクリックして現在のシーンをビルドの対象とします。
    • USBケーブルでOculus QuestをPCと接続すると、PCからのアクセスを許可するかどうかのダイアログがOculus Quest内に表示されるので許可します。
    • Oculus QuestとPCを接続した状態で、Build And Runをクリックします。ビルド完了後にOculus Questを起動するとすぐに実行されます。
    • 再度実行するときは、Oculus Questの ライブラリ > 提供元不明のアプリ を開くと設定したPackage Nameがあるのでそれを選択します。

2) ROS#を使ってROSと通信する

  1. ROS#のインポート

    • こちらのリンク から、RosSharp.unitypackageをダウンロードします。
    • Assets > Import Package > Custom Packageから、先ほどダウンロードしたRosSharp.unitypackageを選択してインポートします。
    • ちなみに、Asset StoreからROS#をインポート することもできるらしいのですが、今のところUnity 2019.3.0以降にしか対応していないようです。

  2. RosConnectorの設定

    • Hierarchyウィンドウで右クリック > Create EmptyでGameObjectを作成し、名前をRosConnectorに変更します。
    • ProjectウィンドウからAssets/RosSharp/Scripts/RosBridgeClient/RosCommunicationを開き、RosConnectorスクリプトを先ほど作ったRosConnectorオブジェクトにアタッチします。
    • アタッチしたRosConnectorスクリプトのRos Bridge Server Urlを設定します。ROS側のPCのIPアドレス（例：192.168.13.100）とポート番号（デフォルト：9090）をあわせて、ws://192.168.13.100:9090のように入力します。

  3. ROS側のPCの準備

    • ROS#とROSの通信には RosBridge Server を使用します。
    • 以下のコマンドでROS側のPCにRosBridge Serverをインストールします。
      $ sudo apt-get install ros-<rosdistro>-rosbridge-server
    • 次のコマンドを入力し、RosBridge Serverを立ち上げます。
      $ roslaunch rosbridge_server rosbridge_websocket.launch

  4. Oculus Questで実行

    • Oculus QuestがROS側のPCと同じネットワークのWiFiに繋がっていることを確認します。
    • ROS側のPCでRosBridgeServerが立ち上がっていることを確認します。
    • Oculus QuestをUnity側のPCとUSBで繋げた状態で、UnityのFile > Build&Runを実行します。
    • ビルド完了後にOculus Questを起動して、ROS側のPCのターミナルにClient connectedと表示されたら成功です。

3) メッセージの送受信

カメラ画像の受信

  1. ImageReceiverの作成

    • Hierarchyウィンドウで右クリック > 3D Object > Planeで平面を作成し、名前をImageReceiverに変更します。
    • InspectorウィンドウでPositionを(0, 0, 10)に、Rotationを(90, 0, 0)に、Scaleを(-1, -1, 0.75)に設定します。

  2. RosConnectorの設定

    • ProjectウィンドウからAssets/RosSharp/Scripts/RosBridgeClient/RosCommunicationを開き、ImageSubscriberスクリプトをRosConnectorオブジェクトにアタッチします。
    • アタッチしたImageSubscriberスクリプトのTopicを/camera/color/image_raw/compressedに設定します。
    • ImageSubscriberスクリプトのMessageReceiverに、カメラ画像を映すImageReceiverオブジェクトをHierarchyウィンドウからドラッグ＆ドロップします。

  3. ROS側のPCの設定

    • 普通のWebカメラを使ってもいいのですが、今回はIntel RealSense D435iを使用しています。
      （RealSenseのセットアップ方法はここでは割愛します。）
    • RosBridge Serverを立ち上げます。
      $ roslaunch rosbridge_server rosbridge_websocket.launch
    • RealSenseノードを立ち上げます。
      $ roslaunch realsense2_camera rs_camera.launch

  4. 実行

    • UnityのBuild&Runを実行し、ビルド完了後にOculus Questを起動します。
      （起動後、ROS側のPCのターミナルにClient connectedと表示されるのにカメラ画像が受信できない場合、RosConnectorにImageSubscriberを2つアタッチしてビルドし直すと上手くいくことがあります。）

座標と姿勢の送信

  1. RosConnectorの設定

    • ProjectウィンドウからAssets/RosSharp/Scripts/RosBridgeClient/RosCommunicationを開き、PoseStampedPublisherスクリプトをRosConnectorオブジェクトにアタッチします。
    • アタッチしたPoseStampedPublisherスクリプトのTopicに適当なトピック名を設定します。
    • PoseStampedPublisherスクリプトのPublished Transformに、座標と姿勢を取得するオブジェクトをHierarchyウィンドウからドラッグ＆ドロップします。ヘッドセットはCenterEyeAnchor、右コントローラはRightControllerAnchor、左コントローラはLeftControllerAnchorです。
    • スクリーンショット 2019-08-16 10.09.56_.png

  2. 実行

    • ビルドしたアプリをOculus Questで実行した後、ROS側のPCで$ rostopic echo <設定したトピック名>を実行すると次のように表示されます。
      （Oculus Questは72FPSで動作しているのでトピックも72Hzで更新されるようですが、通信速度などによってはメッセージの送受信が間に合わなくなることがあるようです。）
    • スクリーンショット 2019-08-16 20.32.37.png

コントローラ入力の送信

  1. RosConnectorの設定

    • ProjectウィンドウからAssets/RosSharp/Scripts/RosBridgeClient/RosCommunicationを開き、JoyPublisherスクリプトをRosConnectorオブジェクトにアタッチします。
    • アタッチしたJoyPublisherスクリプトのTopicに適当なトピック名を設定します。
    • ProjectウィンドウのAssets/RosSharp/Scripts/RosBridgeClient/MessageHandlingからJoyAxisReaderスクリプトとJoyButtonReaderスクリプトを必要な数だけRosConnectorオブジェクトにアタッチします。
    • アタッチしたJoyAxisReaderスクリプトのNameに読み取りたいAxisの名前を、JoyButtonReaderのNameに読み取りたいButtonの名前を設定します。設定できる名前は Edit > Project Settings > Input > Axes から確認できます。TypeがJoystick AxisであればAxis、Key or Mouse ButtonであればButtonです。各入力のレイアウトは OVRInput を参照してください。
    • スクリーンショット 2019-08-16 20.24.11.png

  2. 実行

    • ビルドしたアプリをOculusQuestで実行した後、ROS側のPCで$ rostopic echo <設定したトピック名>を実行すると次のように表示されます。
    • スクリーンショット 2019-08-16 20.38.32.png
29
30
7

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
29
30