NVIDIAはIssacでロボットの動作シミュレーションが可能な環境を提供している。
しかし、その中のライブラリのいくつは、実機で動作可能なライブラリである。
この記事では、それらの実機可能なライブラリを紹介する。
Isaac ROS cuMotion
Arm ロボットのハンドの姿勢を6軸で指定した時に、ロボットの各軸のパラメータを算出するモジュールらしい。
Isaac ROS Nvblox
Nvblox ROS 2 integration for local 3D scene reconstruction and mapping.
Isaac ROS Object Detection
isaac_ros_rtdetr: RT-DETR models
isaac_ros_detectnet: DetectNet models
isaac_ros_yolov8: YOLOv8 models
の３種類の検出器が用意されている。
AGX Orinでのperformance が書かれている。
isaac_ros_pose_estimation
これは、物体の姿勢を検出するもの。人の姿勢ではない。AGX Orinの実機で動作する。
Isaac ROS Nova
以下のセンサについて、データを保存したり再生したりすることができる。実機で動作する。
Hesai Pandar XT32 3D LiDAR
Leopard Imaging HAWK stereo camera
Leopard Imaging OWL monocular camera
Bosch BMI088 IMU
recorder
replayer
Isaac ROS Image Pipeline
Isaac ROS Visual SLAM
isaac_ros_dnn_stereo_depth
Isaac ROS Image Segmentation
Segment Anything もパッケージに含まれている。
付記
IsaacはIsaac Simとして有名なので、シミュレーションのためのライブラリばかりだと思われているようだ。
しかし、実際には、実機動作可能なライブラリがある。
それらのライブラリを使うと、シミュレーションと実機動作で共通のライブラリを使うことができる。
ROS（もしくはROS2)への対応ということ
- ROS（もしくはROS2)では、検出結果をメッセージとしてpublishするという枠組みにしたがっていること。
- そのモジュールは、ノードになっているこということ。