DonkeyCarのマイシミュレータを作ろう

はじめに

自動運転ミニカーバトル参加者がシミュレーションを活用できるように極力シンプルな構成で構築しました。ネット上にあるリソースを組み合わせることで構築しております。ですので、サンプルコードを参考にしながら構築、読み解くことで改良も出来ると思います。ぜひ、ご活用くださいませ。また、不明点などあれば、問い合わせ頂ければと思います。

できること

• 某自動車会社有志団体主催の自動運転ミニカーバトル2022大会・2023大会のコースをシミュレーションし、DonkeyCarを実機レスで動作させ、ロジック検証・データ取りを自宅で行う。
• 使えるセンサ：カメラ、距離センサ、IMU、車速センサ　など（追加が必要であれば要実装）

想定する読者

• DonkeyCarを一から環境構築を行い一連の手動・自動運転、学習を行った事がある
• DonkeyCarのVehicleクラスを使ったフレームワークを理解できる

　　参考：https://qiita.com/hara2dev/items/1c2c30a93c7fb8e9861d

• Pythonが理解できている
• ミニカーバトル2023の参加者
• マイシミュレータを作ろう座学編を見て頂いた方

役に立つ知識

• ROS２
• Unity、C#

テスト環境

CPU：Core i9-12900H
GPU：RTX 3050 Ti
メモリ：16GB LPDDR5-5200
OS:Windows11

推奨環境

• Unityが動作するスペックが必要です。
• 学習を行う場合、GPUが必要です。
  CPU:Core i5以上、GPU：RTX系、メモリ：16GB以上であれば動作すると思われます。
  （もっと低くても大丈夫かも・・・）

問い合わせ

不明点あると思いますので、ご質問はお気軽にTwitterやメッセージからお願いいたします。

Unity側環境の構築

1.Unityの環境構築

UnityHubをインストールし、Ver2021.3.24f1のUnityをセットアップします。
Start Your Creative Projects and Download the Unity Hub | Unity

インストール方法は、以下を参考にしてください。
初めてUnityをインストールする手順について＜Windows編＞ – Unity for Pro (unity3d.jp)

2.シミュレータ環境をクローンします。

以下からクローンもしくは、ダウンロードしてください。
https://github.com/taigamaru/donkey-my-sim/

<>Codeをクリックすると、URLとDownloadリンクが出てくるので、お好きな方法でソースコードをダウンロードしてください。

3.Unityを起動してシミュレータを起動する。

Unityを起動してください。
ProjectsのOpenをクリックして、先ほど取得したソースコードを開きます。

「donkey-my-sim」フォルダを選択してください。

Openをクリックし起動します。
初回の起動は、パッケージの展開があり、時間がかかります。
起動すると以下のような画面になるので、シミュレータのシーンを開きます。

projectウィンドウのAssets/ScenesフォルダにSampleScenes1をクリックしてください。

うまく開けると、以下のように、シーンが表示されます。

手前のコースが2022年のコースで奥側が2023年のコースになります。
2023年のコース側には、テキスト表示の補助表示が出てしまっているので、非表示にします。
Sceneウィンドウの一番右側にあるアイコン[Gismosスイッチ]をクリックして非表示にすることができます。

ここまででUnity側の環境構築は、終了です。

Ubuntu環境の構築

次にDonkeyCarが動作するUbuntu環境を構築します。

1.Windows Subsystem for Linux2 (WSL2)をインストールします。

（Windows10の場合）
　公式：以前のバージョンの WSL の手動インストール手順 | Microsoft Learn

（Windws11の場合）
　公式：WSL のインストール | Microsoft Learn
以下を参考にしてUbuntu20.04をインストールしましょう。
Windows11にWSL2＋Ubuntu20.04をインストールする | Asterisk::Asterisk (relaxes.jp)

2.ROS2をインストールします。

Unity環境とDonkeyCarプログラムの通信のベースとしているROS2をインストールします。
以下を参考にして、ROS２をインストールしましょう。
ubuntu20.04LTSへのROS2 Foxyのインストール - Qiita

3.Xserverをインストールします。(Windows11の場合は、不要になったみたいです。)

WSL環境でGUIを起動するために必要になります。
ROS2のツールを使わない場合は、スキップしてください。
以下を参考にして、Xserverをインストールしましょう。
WSL2＋Ubuntu 20.04でGUIアプリを動かす | AsTechLog (astherier.com)

4.ROS-TCP-Endopointをセットアップします。

以下より、ソースコードをzip形式でダウンロードしてください。
(クローン→チェックアウトでもOKです。)
ROS2版を使います、バージョンに注意してください。
GitHub - Unity-Technologies/ROS-TCP-Endpoint at ROS2v0.7.0

ダウンロードしたROS-TCP-Endpointを解凍して、ROS2インストール時に作った、ワークスペース内のros2_ws/srcにROS-TCP-Endpointを移動します。
WSL内のフォルダをエクスプローラーで開く場合は、以下を参考にしてください。
※zipをダウンロードする場合は、ファイ名が変わるので注意してください。
　（ROS-TCP-Endpoint-ROS2v0.7.0）

Ubuntu上でROS-TCP-Endpointをビルドします。
以下のコマンドを実行してビルドします。

cd ros2_ws
colcon build

ROS-TCP-Endpointの動作確認を行います。

source /home/ubuntu/ros2_ws/install/setup.bash
ros2 run ros_tcp_endpoint default_server_endpoint --ros-args -p ROS_IP:=<your IP address>

１行目でパスを通しています。起動毎に行う必要があるため、ROS2と同じように起動時に読み込むようにしましょう。

echo "source /home/ubuntu/ros2_ws/install/setup.bash" >> ~/.bashrc

２行目で起動しています。IP addressについては、今回１台のPC内で完結するため、127.0.0.1としましょう。

ros2 run ros_tcp_endpoint default_server_endpoint --ros-args -p ROS_IP:=127.0.0.1

起動すると以下のように表示されます。

5.image-transportをインストールします。

Unity側から圧縮された画像が送信されてくるため、圧縮＆解凍用のパッケージをインストールします。

sudo apt install -y ros-foxy-image-transport
sudo apt install -y ros-foxy-image-transport-plugins

以下のコマンドで起動します。

ros2 run image_transport republish compressed --ros-args -r in/compressed:=image/compressed -r out:=image_raw

オプションでinとoutを指定します。

今回の場合は、Unity側で圧縮されているため、inを圧縮されている画像イメージである、image/compressedを指定します。outは、image_rawと指定し、解凍したものをrepublishします。

ここまでの動作確認

ここまで読んでいただきありがとうございます。お疲れ様でした！
ここまででUnityの世界とUbuntuの世界がROS2の通信を使ってつながっています。
いったんここまでの環境構築が正しく行えているか動作確認を行いましょう。

1.Unityを起動して、シミュレーションを実行します。

画面中央にある、再生ボタンをクリックしてください。

2.ROS-TCP-Endpointを起動します。

ros2 run ros_tcp_endpoint default_server_endpoint --ros-args -p ROS_IP:=127.0.0.1

3.image-transportを起動します。

別ウインドウを開き、以下のコマンドを実行してください。

ros2 run image_transport republish compressed --ros-args -r in/compressed:=image/compressed -r out:=image_raw

4.Rvizを起動します。

Rvizは、ROSに付属している可視化ツールです。
Rvizを使うことでUnityから送信されたカメラ映像や通信しているスロットルやステアリングなどの制御信号を可視化します。
先ほどとは、別のウィンドウで「rviz2」コマンドで起動します。
起動したら、左下のaddボタンから画像を追加します。

以下のウィンドウでtopicを指定します。（By topicタブです。）

ここの画面上の/image_rawnの下のImageを選択します。
ここになければ、どこかで通信が出来ていない可能性があります。
　・各コマンドが実行できているか？
　・EndpointのIPがあっているか？
　・Unityのシミュレータが実行されているか？
　・ファイアウォールなどの設定は、適切か？
選択ができると、Unity上のシミュレータが送信している画像が左したに表示されます。

後編のDonkeyCar環境構築編に続く・・・