Mujoco MPCのビルドからサンプル実行まで

Mujoco MPCとは

動画↓

Mujocoシミュレータ内でMPCを実装したデモコード群です。

そもそもMujocoといえば強化学習のイメージが強いですよね。
ロボットが何度もトライ&エラーを経験しながら、徐々に優れた方策を獲得していく手法です。

例えばロボットアームが物体を掴みそこねて落としたり、４足歩行ロボットが段差を登れずひっくり返ったり…失敗を何度も重ねながら成長していきます。
そういった挙動の再現には高度な物理シミュレーターが必要で、世界中でよくMujocoが使用されています。

Mujoco自体は物理シュミレーターですので、モデルベースの古典制御や現代制御も普通に通用します。
環境構築が恐ろしく簡単だったので、学習分野だけでなく、制御工学の教材として非常に有用であると感じました。

今回はGoogle Deep Mindの Mujoco をインストール後、 Mujoco MPC (https://github.com/google-deepmind/mujoco_mpc) をソースからコンパイルして、モデル予測制御(Model Predictive Control)のサンプルを実行する所まで説明します。

そろそろ新学期なので、研究室に配属された学部3~4年生が研究の足がかりにできるよう、最大限平易な解説を目指します。

0. 環境

• Ubuntu 20.04
• Python 3.8 (Ubuntu20.04にデフォルトで入ってるやつ)
• pip

Python3.8はUbuntu20.04をインストールした時点でデフォルトで入っていますが、pipは設定次第では入ってないかもしれません。もしpipをお持ちでない方は、以下のようにapt経由でインストールしましょう。

$ sudo apt install python3-pip

これからセットアップの過程で様々なライブラリをインストールします。ご自身の開発環境が破壊されないか慎重に検討して下さい。
(dockerやpyenvのような仮想環境は本記事では扱いません。)

参考程度に私のPCスペックを記載しておきます。PC性能によってはコンパイルの速度やシミュレータの実行速度に悪影響が出るかもしれませんね。

• CPU: intel core-i9-9900 3.6GHz×16スレッド
• GPU: RTX 2080 Super
• RAM: 94GB

1. mujocoのインストール

では最初に、ターミナルを立ち上げて、

$ pip3 install mujoco
$ pip3 install -U scipy

を実行してください。
物理演算シミュレーターmujocoのインストールが完了します。

2行目のscipyのアップグレードは飛ばしても行けるかもしれませんが、念の為。私は必須でした。

2. Mujoco MPCに必要なライブラリのインストール

mujocoシミュレータ自体は上記だけでセットアップ完了ですが、MPCのデモには他にもソフトウェアが必要です。
以下のコマンドを実行して、依存ライブラリをインストールして下さい。

$ sudo apt install libgl1-mesa-dev libxinerama-dev libxcursor-dev libxrandr-dev libxi-dev ninja-build clang-12

aptはコンパイル済みのライブラリをダウンロードするコマンドです。
ソフトウェアを簡単に入手できる一方、ソースコードは入手しないため、機能を書き換えることが出来ないデメリットがあります。

一方で、肝心のMPCはコードを書き換えながら勉強・開発・研究することが目的のため、ソースコードをダウンロードし、手元でビルドします。

3. Mujoco MPCのソースコードの入手から、cmakeとninja build

次に、githubからソースコードをダウンロードします。

ソースコードを保存したいディレクトリに移動して、そこでgit cloneです。

$ cd ~/src
$ git clone https://github.com/google-deepmind/mujoco_mpc.git

今度はmujoco_mpcの中にビルドディレクトリを作り、その中でcmakeします。
この辺から公式のREADMEには一切書いてない、初心者殺しの暗黙テクになります。

通常のgccコンパイラではなく、clang-12とninja buildを使用します。

$ cd mujoco_mpc
$ mkdir build
$ cd build
$ cmake .. -G Ninja -DCMAKE_C_COMPILER:STRING=clang-12 -DCMAKE_CXX_COMPILER:STRING=clang++-12 -DMJPC_BUILD_GRPC_SERVICE:BOOL=ON
$ cmake --build .

最後の２行は結構時間がかかります。

ビルドが成功すると画面はこんな感じです。
2024年2月現在、warningが１件出ましたがデモは実行できました。

4. 犬のデモの実行

実行ファイルは mjpc という名前で、 build/bin ディレクトリ内に作成されています。
binディレクトリに移動し、実行コマンド(./)をしてみましょう。

$ cd bin
$ ./mjpc

シミュレータの画面が現れ、Unitree A1が現れます。
が、立っていません。

そこで、左の列の中から Agent タブの Plan ボタンを押します。
すると下の画像のようにピョコンと立ち上がります。

緑のマーカーがゴールとなっており、ロボットは頭部をここに合わせるよう歩きます。このマーカーはマウスで直接操作でき、リアルタイムでロボット犬と戯れることができます。これだけで幸せ。

また、Modesの中のflipボタンを押すと、その場でバックフリップします。

5. 倒立振子のデモの実行

左側のメニューの Task タブの中で、Model という項目を切り替えると、シミュレーション世界が変わります。
Cartpoleを選択してみました。

台車と振り子が現れました。先ほどの犬のデモ同様、Planボタンを押すと、制御が始まります。

犬のデモはマーカーのマウス操作でしたが、今回はTaskタブ内のGoalの値を操作することで、振り子の目標位置をリアルタイムで操作できます。

振り子の動作をよく観察すると、左にゴールが設定された場合は最初に一瞬右に台車が動き、振り子部分を慣性で左に傾けた後、その振り子をすくい上げるように台車が左に移動します。
時系列的に未来の振り子の動きを予測計算して、最適な動作を選択しているんですね。MPCの視覚化として非常に面白いです。

6. その他のデモ

以下、同様に Task タブの中で Model をいろいろ切り替えてみました。

6.1 ヒューマノイドの歩行

ちゃんと歩きます。

6.2 インハンド・マニピュレーション

右側の立方体をマウスで回転させると、ロボットハンドが掌の上でキューブを回転させます。

正直MPCで解けることに驚きました。モデル化の記述としては、質点+外力でしょうか。後でコード読んでみます。

ピンクのマーカーは直近の制御ステップでMPCが算出した、制御ホライゾンまでの指先の軌道かと思われます。

6.3 単腕マニピュレータ

Pick and Place の勉強に良さそうですね。

6.4 双腕ロボットアーム

机の上の緑色のキューブを赤いマーカーに合わせるタスクです。

関節変位に対するペナルティ項(重み)が小さいのか、遠い側のアームも常にフニャフニャ動きます。無駄に見えて、それがどこか生命を感じさせて、個人的には一番面白かったです。是非お試し下さい。

6.5 ルービックキューブ

流石にMPCでは解けないようで、MPCが1ステップ計算するのに270msも要しています。
これは強化学習の出番でしょうか…。

終わりに

MPCって本当にすごいのでは。
CNNに始まりLLMが人類を倒しつつある2024年ですが、改めて現代制御の強さを見ました。

CNNにしろ強化学習にしろ、学習系手法は必ず事前学習プロセスで時間が掛かります。１回あたり20時間とか。
しかもネットワークの構造や報酬関数の設定でかなり試行錯誤と微調整が必要で、調整→20時間→失敗→調整→20時間→…とか正直しんどいと思います。

もちろんモデル予測制御を使うだけでは研究にはなりませんから、多くの学生~研究者が未開拓の領域を日々掘削しているわけですし、Unitree H1なんかは強化学習で凄まじいロバスト性を獲得しています。

一方で今回は理想的なシミュレーション環境内でのデモなので、実世界でこれほどロバストかは未検証です。
まずはこれで勉強を積み、実機に搭載して検証でたいです。

学習系手法もモデルベースの制御も、どちらも大事だと感じました。