Open-RMFのcrowd sim(人の動きをシミュレーション空間に再現する)を試してみた

1. はじめに

　いままで「WSL2環境下で構築したOpen-RMFで複数ロボットとエレベータの連携をシミュレーションできる環境で遊んでみる　〇〇編」とか「Open-RMFで複数ロボットとエレベータの連携をシミュレーションできる環境で、オフィスビルにおける簡単な館内配送シミュレーションをしてみた　その〇」など、いくつかのOpen-RMF関連の記事を書いてきました。
　これまでのシミュレーションでは、ロボット配送がスムーズに行われる理想的な環境を想定していました。つまり、什器の配置や人の動きといった、実際の配送で起こりうる外乱は考慮していませんでした。
　什器については、traffic-editorを使ってシミュレーション環境にモデルを読み込むことで再現できることは知っていましたが、人の動きについてはどうすれば良いか調べていたところ、Open-RMFに「crowdsim」という機能があることが分かりました。この機能を使えば、シミュレーション空間に人々の動きを再現できるため、より現実に近い状況でロボットの動作を検証できるようになると考えられます。
　そこで、このcrowdsimを試行してみた、というのがこの記事の内容です。

2. 実行環境

CPU: CORE i7 7th Gen
メモリ: 32GB
GPU: GeForce RTX 2070
OS: Ubuntu22.04(WSL2ではなくPCに直接インストール)
ROS2: Humble

3. 人の動きのみを再現してみる

3.1 human laneの設定

WSL2の環境下において、Traffic-Editorを使って複数ロボットの移動をシミュレーションできる環境を構築してみたで構築した環境においてドアや什器やロボットを消して、外壁だけの環境をまず作成します。
　そして以下の図で赤枠で囲んだ"add human lane"をクリックした後に以下のように人が動く経路(灰色の経路、1個の経路が選択状態なのでくすんだ赤色をしています)を設定します。

crowd simに関する設定は以下の図で赤枠で囲んだ"crowd"のタブをクリックして表示される画面でできます。ここで経路の幅は以下の図で黄枠で囲んだ"crow"widthで変更できます。私が今回の記事を作成する際に参考にした[1]の設定では"width"を3にしています。今回の記事では検証をしていませんが、複数の人間の動きを再現する場合、幅を大きくすることで、人のモデル同士のすれ違いがスムーズにいくようです。

3.2 human_goal_set_nameの設定

前節で設定したhuman laneの頂点を選択した上で、画面右下にある"Add property"をクリックして、"human_goal_set_name"のプロパティを追加して以下の図の赤枠で囲んだところのようにそれぞれの頂点に名前を設定します。この記事では[1]を参考に、それぞれの頂点に"crowd_goal1"、"crowd_goal2"、"crowd_goal3"、"crowd_goal4"という名前を付けました。

3.3 enable_crowd_simの有効化とupdate_time_stepの設定

以下の図で赤枠で囲んだenable_crowd_simのところにチェックを入れ、黄枠で囲んだupdate_time_stepの設定はデフォルトの0.1にしました。

3.4 GoalSetsの設定

以下の図の赤枠で囲んだ"GoalSets"の"Edit"をクリックすると、黄枠で囲んだ画面が表示されます。この画面で、前節で設定した"human_goal_set_name"を"Goal Area"に追加し、idやcapacityを図のように設定します（設定値は[1]を参考にしました）。設定が完了したら、"OK"ボタンをクリックして画面を閉じます。なお、設定についての細かい解説は[2]に記載がありますので、詳細についてはそちらを参考にしていただきこの記事では省略させていただきます。

3.5 Statesの設定

以下の図の赤枠で囲んだ"States"の"Edit"をクリックすると、黄枠で囲んだ画面が表示されます。この画面において、ゴールの状態の名前や状態遷移やGoal Set idなどを図のように設定します。設定が完了したら、"OK"ボタンをクリックして画面を閉じます。なお、設定についての細かい解説は[2]に記載がありますので、詳細についてはそちらを参考にしていただきこの記事では省略させていただきます。

3.6 Transitionsの設定

以下の図の赤枠で囲んだ"Transitions"の"Edit"をクリックすると、黄枠で囲んだ画面が表示されます。この画面において、前節で設定した"States"についての設定をしていきます。

以下の図で赤枠で囲んだ"crowd_goal_state1"の"ToSate edit"の"edit"をクリックすると、以下の図の黄枠で囲んだ画面が表示されます。この画面において各stateの"Weight"に数値を設定することで、シミュレーションにおける人の移動先の割合を調整できるそうです。この記事での設定値は[1]を参考に設定しました。設定が完了したら、"OK"ボタンをクリックして画面を閉じます。なお、シミュレーションでは、この重みに基づいて人がランダムに移動先を選ぶ仕組みになっているそうです。ただし、私はドキュメントを十分に確認できていないため、この説明に誤りがある可能性があります。そのため、正確なことについては[2]の「Transitions」の項を参考にしていただきたくお願いします。

次に以下の図で赤枠で囲んだ"crowd_goal_state1"の"Condition edit"の"edit"をクリックすると、以下の図の黄枠で囲んだ画面が表示されます。ここの設定は[1]での設定をそのまま適用し、図のようにしました。なお、設定についての細かい解説は[2]の「Transitions」の項に記載がありますので、詳細についてはそちらを参考にしていただきこの記事では省略させていただきます。

3.7 AgentProfilesの設定

以下の図で赤枠で囲んだ"AgentProfiles"の"edit"をクリックします。

次に表示される画面において、赤枠で囲まれた部分の設定値を[1]に記載されている値に合わせ、図のように設定しました。設定が完了したら、"OK"ボタンをクリックして画面を閉じます。

3.8 AgentGroupsの設定

以下の図で赤枠で囲んだ"AgentGroups"の"edit"をクリックします。

次に表示される画面において、赤枠で囲まれた部分の設定値は[1]に記載されていた値を参考に図のように設定しました。なお、point_xとpoint_yの値は"crowd_goal1"の座標の値を入力しました。設定が完了したら、"OK"ボタンをクリックして画面を閉じます。

3.9 ModelTypesの設定

以下の図で赤枠で囲んだ"Modeltype"の"edit"をクリックします。

次に表示される画面において、赤枠で囲まれた部分の設定は[1]を参考に図のように設定しました。設定が完了したら、"OK"ボタンをクリックして画面を閉じます。

3.10 ビルドとシミュレーション結果

上記の手順が終わったら、以下のコマンドでビルドしました。

terminal

cd ~/rmf_ws
source /opt/ros/humble/setup.bash
export CXX=clang++
export CC=clang
colcon build 

そしてビルド完了後、以下のコマンドでシミュレーション環境を起動しました。なお、今回の環境はevtest_crowdという名前にしました。

terminal

cd ~/rmf_ws
source ~/rmf_ws/install/setup.bash
ros2 launch rmf_demos_gz_classic evtest_crowd.launch.xml use_crowdsim:=1

そしてシミュレーションした結果が以下の動画です。MaleVisitorPhoneという名前のモデルが一人で歩き回っている様子を再現できました。

4. 人が動く経路上にドアを設置してみる

人が動く経路上に以下の図で赤枠で囲んだところにヒンジ式のドアを設置してみました。

そしてシミュレーションした結果が以下の動画です。ドアはシミュレーション空間内では半透明の茶色い長方形として表現されています。MaleVisitorPhoneという名前のモデルが、ドアをすり抜けてしまうことが確認できました。Open-RMFのドアのpluginとcrowd simは連携していないようです。

5. 人が動くシミュレーション空間にロボット（tinyRobot）を追加してみる

人が動く経路上に以下の図で緑線で示したようにロボットの経路を追加しました。ちょうど漢字の「中」のような形です。

そしてシミュレーションした結果が以下の動画でして、人とロボットの接触が回避された場合です。衝突しそうになった時にtinyRobot側が止まる（減速する）ような様子が見られました。

そして衝突した場合が以下の動画です。衝突したどちらもその場で止まってしまいました。

6. 人が動くシミュレーション空間をロボット（tinyRobot）とエレベータが連携して複数階移動できる環境を追加構築した場合

以下の図のようにロボット（tinyRobot）とエレベータが連携して複数階移動できる環境を構築しました。単純に前章で構築した環境にエレベータを追加して2階に行けるようにしました。なお、この環境の構築の方法はWSL2の環境下において、Traffic-Editorを使って複数ロボットとエレベータの連携をシミュレーションできる環境を構築してみたに詳細がありますので、そちらを参照いただきたくお願いします。

そしてこの環境をビルドして、起動したところ以下の図のようになってしまい、人が消えてしまいました!!。

そしてエレベータを消し、2階も消して再ビルドしたところ、人がまた以下の図のようにシミュレーション環境に再現されました。そのため人が消えた原因はエレベータにあるようです。

この事象なんですが、WSL2の環境下において、Traffic-Editorを使って複数ロボットとエレベータの連携をシミュレーションできる環境を構築してみたで構築したシミュレーション環境に、crowd simのタブから人の通行経路を設定しても、人だけがシミュレーション空間に再現されませんでした。

7. まとめ　

　今回の試行により、crowd simの設定方法がある程度は理解できました。しかし、エレベータを追加するとシミュレーション空間から人が消えるという現象が発生したことから、Open-RMFにおいてはエレベータ（Lift plugin）とcrowd simは共存できない可能性があると考えられます。またドアも人はすり抜けてしまうことから、Open-RMFにおいてはドア（Door plugin）とcrowd simは共存できない可能性があることも考えられます。
　ただ、crowd simに関するドキュメントやQ&Aは英語でもほとんどないため、この事象が私の環境特有の問題なのか、それともバグなのかを断定することは難しい状況です。今後、さらなる調査を進めていく必要があると思います。

参考サイト

[1] https://github.com/open-rmf/rmf_demos/tree/humble?tab=readme-ov-file#airport-terminal-world
[2] https://github.com/FloodShao/crowd_simulation/blob/master/crowd_simulation_doc/crowd_simulation_usage.md