本記事の目的
本記事ではIntel RealSenceD435iの導入から、ROSとYOLO V3用いて物体認識を行う事を目的とした記事になっております。背景の理論的な説明はしていません。
環境
本記事は以下の環境で実験しています。
| 項目 | バージョン |
|---|---|
| Ubuntu | 18.04 |
| ROS | Melodic |
| IntelRealsense | D435i |
UbuntuやROSの環境構築は別途他のサイトをご覧ください.
RealSense SDKのインストール手順
- サーバーの公開鍵を登録
$ sudo apt-key adv --keyserver keys.gnupg.net --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE
- サーバーをリポジトリのリストに追加
$ sudo add-apt-repository "deb http://realsense-hw-public.s3.amazonaws.com/Debian/apt-repo bionic main" -u
- ライブラリをインストール
$ sudo apt-get install librealsense2-dkms
$ sudo apt-get install librealsense2-utils
- 必要に応じて、開発者およびデバッグパッケージをインストール
$ sudo apt-get install librealsense2-dev
$ sudo apt-get install librealsense2-dbg
- realsense viewerの起動
$ realsense-viewer
上記の作業を終えて、デバイスをUSB3.0に差し込んで、Stereo ModuleとRGB Cameraをoffからonにすると、以下の画像のように認識してくれるはずです。
ただしここで注意が必要です!!(私が躓いたポイントです...)
IntelRealSenseはUSB3.0に差し込まないと認識しません
なので必ずUSB3.0に差している事を確認してください
また私の様に仮想マシン(VMware)で動作確認を行おうと思っている人は、VMwareの設定でUSBの互換性を2.0から3.0に変えないとデバイス認識してくれないので注意してください
パッケージのアップグレード
パッケージのグレードアップも同時に行ってしまいましょう
$ sudo apt-get update
$ sudo apt-get upgrade
$ sudo apt --only-upgrade install librealsense2-utils librealsense2-dkms librealsense2-dev librealsense2-dbg
Realsense ROSのインストール
以下のコマンドを実行してインストールを行う
$ sudo apt install -y ros-melodic-ddynamic-reconfigure
$ cd ~/catkin_ws/src
$ git clone https://github.com/IntelRealSense/realsense-ros
$ catkin make
$ source devel/setup.bash
動作確認
以下のコマンドを実行してrviz上に3次元点群を表示する
$ roslaunch realsense2_camera demo_pointcloud.launch
以下の画像のように表示されれば成功！
次にカメラ画像を出力してみます
$ sudo apt install ros-melodic-rqt-image-view
$ roslaunch realsense2_camera rs_camera.launch
$ rosrun rqt_image_view rqt_image_view
以下のように左上の選択ボックスからトピック/camera/color/image_rawを選択して、下のように画像が表示されれば成功！
出力されているトピックは以下のデータです
/camera/color/camera_info
/camera/color/image_raw
/camera/color/image_raw/compressed
/camera/color/image_raw/compressed/parameter_descriptions
/camera/color/image_raw/compressed/parameter_updates
/camera/color/image_raw/compressedDepth
/camera/color/image_raw/compressedDepth/parameter_descriptions
/camera/color/image_raw/compressedDepth/parameter_updates
/camera/color/image_raw/theora
/camera/color/image_raw/theora/parameter_descriptions
/camera/color/image_raw/theora/parameter_updates
/camera/depth/camera_info
/camera/depth/image_rect_raw
/camera/depth/image_rect_raw/compressed
/camera/depth/image_rect_raw/compressed/parameter_descriptions
/camera/depth/image_rect_raw/compressed/parameter_updates
/camera/depth/image_rect_raw/compressedDepth
/camera/depth/image_rect_raw/compressedDepth/parameter_descriptions
/camera/depth/image_rect_raw/compressedDepth/parameter_updates
/camera/depth/image_rect_raw/theora
/camera/depth/image_rect_raw/theora/parameter_descriptions
/camera/depth/image_rect_raw/theora/parameter_updates
/camera/extrinsics/depth_to_color
/camera/extrinsics/depth_to_infra1
/camera/extrinsics/depth_to_infra2
/camera/infra1/camera_info
/camera/infra1/image_rect_raw
/camera/infra1/image_rect_raw/compressed
/camera/infra1/image_rect_raw/compressed/parameter_descriptions
/camera/infra1/image_rect_raw/compressed/parameter_updates
/camera/infra1/image_rect_raw/compressedDepth
/camera/infra1/image_rect_raw/compressedDepth/parameter_descriptions
/camera/infra1/image_rect_raw/compressedDepth/parameter_updates
/camera/infra1/image_rect_raw/theora
/camera/infra1/image_rect_raw/theora/parameter_descriptions
/camera/infra1/image_rect_raw/theora/parameter_updates
/camera/infra2/camera_info
/camera/infra2/image_rect_raw
/camera/infra2/image_rect_raw/compressed
/camera/infra2/image_rect_raw/compressed/parameter_descriptions
/camera/infra2/image_rect_raw/compressed/parameter_updates
/camera/infra2/image_rect_raw/compressedDepth
/camera/infra2/image_rect_raw/compressedDepth/parameter_descriptions
/camera/infra2/image_rect_raw/compressedDepth/parameter_updates
/camera/infra2/image_rect_raw/theora
/camera/infra2/image_rect_raw/theora/parameter_descriptions
/camera/infra2/image_rect_raw/theora/parameter_updates
/camera/realsense2_camera_manager/bond
/camera/rgb_camera/auto_exposure_roi/parameter_descriptions
/camera/rgb_camera/auto_exposure_roi/parameter_updates
/camera/rgb_camera/parameter_descriptions
/camera/rgb_camera/parameter_updates
/camera/stereo_module/auto_exposure_roi/parameter_descriptions
/camera/stereo_module/auto_exposure_roi/parameter_updates
/camera/stereo_module/parameter_descriptions
/camera/stereo_module/parameter_updates
/clicked_point
/diagnostics
/initialpose
/move_base_simple/goal
/rosout
/rosout_agg
/tf
/tf_static
YOLO V3による物体認識
YOLOはリアルタイムオブジェクト検出アルゴリズムです。YOLO(You Look Only Onse)の名前通り、このアルゴリズムでは検出窓をスライドさせるような仕組みを用いず、画像を一度CNNに通すことで、オブジェクトを検出することができます。
以下のサイトでYOLOのアルゴリズムを分かりやすく解説してくれています。
YOLO V3のインストール手順
以下のコマンドを順に実行してください。
$ cd ~/catkin_ws/src
$ git clone --recursive git@github.com:leggedrobotics/darknet_ros.git
$ cd ..
$ catkin_make -DCMAKE_BUILD_TYPE=Release
ただしここで注意が必要です!!
darknet_rosはSSH接続設定を行わないとcloneする事が出来ません
なのでSSH接続の設定を行ってからcloneするようにしてください
SSH接続については以下のサイトを参照してください。
YOLO V3のモデルのインストール
yolov2-tiny.weightsとyolov3.weightsはcatkin_makeすると自動的にダウンロードされます。
その他のモデルのダウンロード方法は以下のファイルを参照してください。
$ ~/catkin_ws/src/darknet_ros/darknet_ros/yolo_network_config/weights/how_to_download_weights.txt
設定ファイルを修正
使用するカメラのトピック名に応じて、設定ファイルを修正する必要があります。
今回は、Intel RealSense D435iなので、RGB画像のトピック名は、/camera/color/image_rawになります。なので、darknet_ros/darknet_ros/config/ros.yamlを修正します。
動作確認
以下のコマンドを順に実行します。
- 一つ目のターミナル
$ roslaunch realsense2_camera rs_camera.launch
- 二つ目のターミナル
$ roslaunch darknet_ros darknet_ros.launch
- 三つ目のターミナル
$ rosrun rqt_image_view rqt_image_view
上手く動作すれば、以下のように物体認識が出来ると思います。
fpsと精度は以下のような結果になります。
FPS:0.1
Objects:
laptop: 98%
tvmonitor: 93%
精度は良いものの、fpsがかなり低いです。(私のPCにはGPUがないため、CPUのみで動作しているためだと思われます)
動作速度を上げる
私の環境では、OpenCVとOpenMLがインストールされていたので、それらを用いて計算できるように設定を行う。darknet/Makefile を以下に変更
GPU=0
CUDNN=0
OPENCV=1
OPENMP=1
DEBUG=0
この状態に変更してcatkin makeを行い、もう一度実行した結果が以下になります。
fpsと精度は以下のような結果になります。
FPS:0.8
Objects:
tvmonitor: 74%
laptop: 53%
keyboard: 45%
fpsは0.1から0.8に上がりましたが、精度が悪くなりました。
まとめ
- Intel RealSenceD435iの導入から、ROSとYOLO V3用いて物体認識を行いました
- GPUを搭載していないマシンでは、やはりfps値がかなり低いです
- リアルタイム性の向上を狙うなら、GPU搭載のマシンを使う必要がありそうです
今後の予定
- 物体認識から様々な情報(トピック)が取得できているので、それらの値を用いて、何か面白い事をします(特定の人物を追いかけるロボットの作成など)
- 独自のオブジェクトを学習させて認識したいと思ってます
- Lidarとデプスカメラのセンサフュージョンをしたいと思ってます
- Jetson Nanoを使用したらどうなるかを検証します
参考記事