はじめに

　Node-RED Advent Calendar 2024の21日目です。

　English Version:

　去年はNode-RED MCUのノードの作成について書かせて頂きました。
　今年度から研究室に配属され、新たにUnreal Engine 5(UE5)とROSを使うことになりました。これらを通信して連携させるために、Node-REDも使っています。

　この記事ではUE5とROSとNode-REDの連携に関する概要について書きます。技術的な要素は私のホームページに書いているので、ご興味があればご覧ください。各項目で関連記事を載せています。

ソフトウェアについて

　使用するソフトウェアについて、簡単な概要と利用方針を紹介します。

Node-RED

　フロー型のプログラミングツールです。HTTP、WebSocket、TCP、UDP、MQTTなどの通信を利用することができます。IoTとも相性がいいです。
　私が使ったプラグインやソフトウェアだと、ROS側がWebSocket通信、UE5側がHTTP通信だったのですが、Node-REDを使えば通信を中継できました。

ROS

　ロボットを制御するためのソフトウェアです。UE5でもロボットアームの運動学の計算をすることはできるようですが、どうせなら実機と同じ計算の方が良いだろうということで使うことにしました。

Unreal Engine 5(UE5)

　ゲームエンジンです。特にGPUを活用したグラフィック処理を活かそうと思っています。現実で3Dスキャンしたデータを取り込むことができます。
　Node-REDと同様に、ブループリントでフロー型のプログラミングができます。

関連記事：Unreal Engine 5を使ってみる　その10（Scaniverse、点群データの取り込み）

Open Manipulatorで動作検証

全体の構成

　全体の構成は以下の図のようになっています。Open Manipulatorはソフトウェアが整っているので、このくらいの構成であればノーコードレベルで動作させることが可能です。

　ROSでOpen Manipulatorのジョイントの角度を計算し、その値を実機とUE5に同時に送信するようになっています。
　逆にUE5の入力をROSに送信して、実機を操作できるというのも確認しました。

　当初はWindows 10のノートPC、Windows 11のデスクトップPCでNode-REDを使って通信して、UE5とROSを起動するPCを分けて負荷を分散していました。
　最近はWindows 11、GPUがRTX3050のゲーム用ノートPCを使っているのですが、1台で処理できています。UE5を実行するうえではGPUが大事なようです。

Node-REDとROSの連携

ROS側

　WSL2でUbuntu 20.04をインストールし、ROS Noeticの環境を構築しています。
関連記事： WSL2を使ってみる　その３（Ubuntu 20.04、ROS Noetic、Open Manipulator）

　予めrosservice callでパラメータを送信して動かすことができるのは確認しました。この形式に合わせて、Node-REDで送信します。

　rosノードがROS Bridgeを起動している前提になっているので、実行しておく必要があります。
関連記事：WSL2のROSとWebSocket通信（ROS Bridge、Node-RED、Gazebo）

Node-RED側

　事前にturtlesimのカメをNode-REDで操作できることは確認していました。
関連記事：ROS1を使ってみる　その１（Turtlesim、Node-RED）

　全体のフローは以下のようになっています。ros callSrvノードを使っています。スライダーで操作できるようにしてみました。

関連記事：ROS1を使ってみる　その３（Open Manipulatorの操作、Node-RED）

　templateノードで先程rosservice callで送信した値になるようにしています。flow変数を使っているのは、スライダーの値を保持するためです。

　dashboardノードで以下のような画面を作成してみました。

実際の動作

　スライダーの値に合わせてジョイントが回転するようにしてみました。

Node-REDとUE5の連携

UE5側

　UE5のHTTP Requestを使うと、HTTP通信を扱うことができます。WebSocket通信もできるらしいというのは聞いています。

　他にもRemote Control APIなどがあるのですが、Node-REDと連携させるうえではHTTP Requestノードが一番使いやすかったです。JSON形式のデータを加工することもできます。
関連記事：Unreal Engine 5を使ってみる　その８（HTTP Request、Remote Control Web Interface、Node-RED）

　Open Manipulatorのモデルも作成しました。
関連記事：Unreal Engine 5を使ってみる　その７（Open Manipulator）

Node-RED側

　http in/out、requestノードを利用して通信します。
関連記事：Unreal Engine 5を使ってみる　その9（Remote Control API、Node-RED）

　Remote Control APIを使った場合の例ですが、こちらもROSとの連携と同様にスライダーで操作できるようにしました。APIの仕様に合わせたデータ形式になるように加工しています。

実際の動作

　UE5のRemote Control APIを使ったものですが、ジョイントの角度を操作できました。

UE5とROSの連携

　Node-REDとROS、Node-REDとUE5でそれぞれ通信できたので、UE5とROSの通信をNode-REDで中継することができました。

　以下の動画では処理を制限していたのでUE5側の動きが遅いですが、実機とほぼ同時に動かすことができました。

　以下の動画はROSのシミュレータとUE5の画面を並べています。

　ちなみにOpen Manipulatorは4軸＋エンドエフェクタで自由度が少ないのですが、6軸のモデルもMoveItのパッケージを作成して運動学の計算を行い、UE5で動作させることができました。自分で設計したロボットでも自由に動かすことができそうです。

ロボットのデジタルツインに向けて

　シミュレーションをするだけならROSのシミュレータでもできるのですが、私はUE5のグラフィックを活かして画像処理関連のソフトウェアを併用しつつ、ロボットのシミュレーションをしようと考えています。
　例えば光源の位置が変わると、以下の画像のように変化します。影も考慮して画像処理を行えそうです。

　UE5のSet View Target with BlendノードとTake High Res Screenshotノードを使うと、以下の動画のような画面で撮影を行うことができます。Quixel Megascansのリアルなモデルを利用しています。
関連記事：Unreal Engine 5を使ってみる　その12（Screenshot ）

　ロボットで物体を検出するときは、YOLOというソフトウェアを使ってリアルタイムに検出しています。
　UE5でもNode-REDでPythonを実行し、YOLOで物体を検出して、その結果を他のノードと組み合わせることができました。
関連記事：YOLOで物体検出　その２（Python、Node-RED）
Unreal Engine 5を使ってみる　その11（Pixel Streaming ）

　映像の3Dスキャンしたトマトの苗のデータは荒いのですが、最近他のプラグインで取り込むとScaniverseでスキャンしたまま表示させることができました。以下の画像は私のハニワです。

　YOLOの姿勢検出モデルを利用して、PC2台でそれぞれのカメラ映像から座標を取得し、3次元座標にしてUE5上の物体を動かすこともできました。簡易的な全身トラッキングができそうです。

　このトラッキングは、よくイベントでご一緒している@mshioji さんの記事がヒントになりました。２つのカメラでワークの位置をフィードバックしながらロボットを制御されています。
チトセロボティクスの「クルーボ」で産業用ロボットのビジュアルフィードバック技術を試してみた（２）

　光源色を変化させるとYOLOの検出結果が変わることも確認できました。現実には無さそうな状況ですし、トマトのモデルでリンゴを検出しているので、そもそも誤検出ではあります。

最後に

　
　Unreal EngineとROSを使い始めてまだ１年経っていないのですが、Node-REDに慣れていたおかげで連携させることができました。実装もローコードレベルです。
　今後もソフトウェアごとの得意な部分を活かして、ロボットのシミュレーションを行いたいなと思っています。