Isaac Sim ってどうなの？

はじめに

この記事ではIsaac SimやOmniverseを導入したいと考えている人に向けてIsaac Simで出来ることや要求される環境について解説していきます。

注意：Isaac Simの使い方やインストール方法はこの記事では解説していません。

そもそも Isaac Sim とは?

NVIDIAが開発しているロボットシュミレーション向けのOmniverse App(ここ重要)です。RTXを利用したフォトリアルなグラフィックスやROS2への対応など様々な特徴があります。

IsaacSim以外にもIsaacROSやIsaacSDKがありますが全て別物です。

検証環境

• インストール実行環境
  CPUはHyper Threadingや省電力系の機能を無効化し、クロックは3.2GHzに固定しています。

unit	specification
CPU	i9 7980XE
GPU	RTX3090
RAM	128GB
SSD	WD BLACK SN750
OS	Ubuntu 22.04

• NVIDIA Driver バージョン
  • 535
• Isaac Sim バージョン
  • 2022.2.1
• ROS2 バージョン
  • ROS 2 Humble

Isaac Simで利用できる機能

各種センサのシュミレート

• IMU
• LIDAR
• 接地センサ
  • 4足ロボットなどに使うような足裏センサ
• 超音波センサ

ROS2

ROS2メッセージをpub/subすることができます。コードを書いて実装することはなくOmniGraphというVisual Scripting Toolを利用する形になります。Pythonで書くisaac sim launchファイルのようなもので指定することもできます。

デフォルトで用意されているPublish可能なメッセージ
この他にも多数あります。

• Point Cloud
• Laser Scan
• IMU
• Image

Subscribe可能なメッセージ
この他にも多数あります。

• Joint State
• Twist

Replicator

機械学習に必要なデータセットを生成できます。実際にNVIDIAが出しているAIモデルにはReplicatorを使って生成されたデータを使って学習したモデルがあります。

• Depth Map
• SemanticSegmentation用のマスク画像
• 3D Bounding Box
• 2D Bounding Box
• RGB画像

Profiler

アクチュエータの動きなどを記録し再生することができます。イメージはRosbag。

Isaac Assets

高品質なロボットモデルが利用できます。この他にもOmniverse側のAssetsも利用できます。

• Unitree Go1 (４歩行ロボット)
• Franka (ロボットアーム)
• O3Dyn (４輪メカナムロボット)
• Transporter (４輪台車ロボット)
• Kaya (小型3輪オムニロボット)
• Carter V2 (２輪ロボット)

Isaac Example

IsaacSimの機能を試せるDemoが用意されています。(画像Leonardo Demo)

• Import Robots (URDFを読み込む)
• Sensors (各種センサーを試せる)
• Input Devices (Gamepatやキーボードからの入力を試せる)
• Manipulation (経路計画や動作計画(IsaacSDK関連のDemo))
• Multi-Robot
• ROS
• Quadruped (４足歩行ロボット(A1)の動作サンプル)

各種ファイルのインポート

読み込めるファイル形式

• USD
• URDF

要求されるPC性能

RTX3090 Power limit = 350W & RTX-Real-Time

Leonardo Demo
ロボットアームのシュミレーション。環境に対する負荷は平均的。

Viewport解像度	フレームレート(FPS)	VRAM使用量(GiB)	RAM使用量(GiB)
1280x720	82	3.8	23.2
1920x1080	73	4	23.4
3840x2160	26	5.7	23.7

BrownstoneDemopark
3Dオブジェクトが大量にあるシーン。

Viewport解像度	フレームレート(FPS)	VRAM使用量(GiB)	RAM使用量(GiB)
1280x720	53	8.8	23.3
1920x1080	30	9.2	23.4
3840x2160	9	12.1	31.9

Quadruped Example
A1の動作サンプル。物理演算が多いシーン。

Viewport解像度	フレームレート(FPS)	VRAM使用量(GiB)	RAM使用量(GiB)
1280x720	13	3.8	23.2
1920x1080	13	4	23.3
3840x2160	13	5.6	23.8

考察

• 全体的に4K解像度にすると一気にパフォーマンスが低下します。
• Leonardo DemoはView Portの解像度を192x1080程度にすれば、ほとんどの環境で動作することがわかりました。
• Quadruped Exampleでは、4脚の制御がボトルネックになっていると考えられます。

シーンの読み込み時間

Omniverse関連は読み込み時間が長いのでフリーズしたかと不安になる。だがNVIDIAを信じてゆっくり待とう。

読み込んだもの	読み込み時間(s)
Leonardo Demo	11.7
UR10 Palletizing	30.4
ROS/Office Scene	114.6
BrownstoneDemopark_Night	66.13

まとめ

IsaacSimとは
NVIDIAが推進するOmniverseを用いて構築されたロボットシミュレーションアプリです。NVIDIAによると、"Omniverseを使用すれば、多彩な機能を活用できます"とのこと。

IsaacSimの対象者は？
主にロボット研究を行っている人々が対象なのかなと思います。VRAMの使用量が増加するとフレームレートが下がる傾向があり、大規模なシーンでの使用は現実的とは言えません(この傾向がOVXなどのサーバーでは変わると思います)。しかし、ロボットと機械学習を組み合わせた研究や、制御理論を現実に適用する研究を行っている人々にとっては、大変有効なツールとなります。また、機械学習のデータを生成したい方にもおすすめです。

企業はどうすべきか？
企業には、リソースがあるならばOmniverseAppを一から構築することも視野に入れた方がいいと思いますがIsaac Simをそのまま使うor拡張するでもありだと思います。個人的にはUnityやUEよりも、シミュレータとしての相性は良いと思います（UnityやUEはゲーム向けの機能が多すぎるため）。

必要なPC性能

• VRAMが8GB以上あれば、初めて使う人でも問題ないでしょう。フレームレート制限やAsyncシミュレーションのオプションを使用すれば、VRAMが少ない環境やGPU性能が低い環境でも利用可能です。
• 自動運転や大規模な施設等をシミュレーションする場合は、NVIDIA OVX ServerやNVIDIA RTX A6000の導入を検討すべきです（旧Tesla系GPU環境のDGX Stationでは動作しません）。
• 物理演算が非常に多い、四足歩行ロボットのシミュレーションなどでは、CPUのパワーが不足する可能性があるため、高価なGPUは必要ありません。クロック周波数の高いCPUを選択するとより良い結果が得られます。
• 補足として、筆者の環境では、RTX3090とRTX3060 Max-Qの両方で動作確認を行っています。