はじめに
以前書いた記事も面白いのでぜひご覧になってください！
AWS Robot Delivery Challenge 2022 に出場できなかった話
DodgeDrone Challenge とは?
詳しくはこちら
DodgeDrone Challengeとは、ロボットの国際学会であるICRA2022の中で行われたドローンの制御を競う研究目的のコンテストです。シミュレーターが用意されていて、その中で自分の書いたコードを動かしてドローンを飛ばします。
コンテストは終了しましたが、ソースコードは公開し続けるそうなので興味を持った方はぜひ動かしてみてください！！
ルール
動く球状の障害物が多数配置されているフィールド内でドローンが初期位置から60m先に到達するとゴールとなります。
State basedとVision basedの2部門があって、State basedはドローンの周りの障害物10個のの相対位置と半径の情報をもとにドローンの制御を行います。Vision basedはドローンの前方についているRGBDカメラの情報をもとにドローンの制御を行います。
また、各ローターのスラスト方向の力を司令できる制御器(SRT)とドローンに加わるスラスト方向の合力とドローンの角速度を司令できる制御器(CTBR)とドローンの速度司令ができる制御器の3つの制御器(LINVEL)が用意されています。
PPOを用いた強化学習のフレームワークが用意されていて、こちらを用いてドローンを動かすことも出来ます。(たぶんこちらがメイン)
作ったもの
ポテンシャル法
ゴールからは引力、障害物からは斥力が加わるようなポテンシャル関数を設計し、ポテンシャルの勾配を計算することによって、ロボットの経路を求める経路計画アルゴリズムです。古典的な方法とされています。
この方法のメリットとしては実装が容易であること、デメリットとしてはポテンシャルの停留点にロボットが行ってしまうと、そこから動けなくなってしまうことが挙げられると思います。
今回は障害物が球状であるので、比較的停留点が少ないと考えられます。
参考文献：https://www.mhi.co.jp/technology/review/pdf/511/511040.pdf
実装
以下ドローンの前後方向を$x$座標、横方向を$y$座標、高さ方向を$z$座標とします。
また、ドローンの位置$p_d$を$p_d=[x_d, y_d, z_d]^T$, 障害物$i$のの位置$p_i$を$p_i=[x_i, y_i, z_i]^T$, 半径を$R_i$とおきます。
ポテンシャル関数の設計
ドローンと障害物の相対位置からポテンシャルを計算します。
$x$座標に$\frac{1}{4}$をかけることでポテンシャルが$x$軸に長い楕円体となり、ドローンがスムーズに障害物を避けることができるようになります。
ドローンが$x$の正の向きに進むようにポテンシャルを設計します。
ドローンが $-3 \leq y \leq 3$, $0 \leq z \leq 10$ の範囲を維持するようにポテンシャルを設計します。
上記のポテンシャルを足し合わせてポテンシャル関数とします。
また、ドローンがポテンシャルの尾根から抜け出せるようにランダム項$\omega$を足します。
目標速度の計算
ドローンの目標速度をポテンシャルの勾配をもとに計算します。
勾配はドローンの前後左右上下の値をもとに差分法を用いて計算します。
結果
State basedの中で3位になることが出来ました！(分かりにくくてすみません)
まとめ
はじめは強化学習を頑張っていて、報酬関数をいろいろいじっていたのですが、うまくいかなかったので今回はポテンシャル法を実装しました。
1位と2位のチームは強化学習でドローンを飛ばしていて、報酬関数の設定の方法などとても勉強になりました！！