TL;DR
- 製造現場でフィジカルAIを使うには、E2Eの行動生成ではタクトタイムが遅く・不安定になりがち
- そこで「Teaching（固定ポーズへの線形補間移動）→ Motion Planning（認識＋IKによる粗接近）→ 模倣学習」のハイブリッド構成を実機（今回はSO-101）で構築
- パイプラインの実証は達成。
株式会社フィジカルAI総合研究所 取締役CTOの林幸一です。
製造業において、 タクトタイムの安定化・高速化は最重要事項 です。タクトタイムの安定は品質・納期の安定、つまり顧客からの信頼に直結し、タクトタイムの高速化は短納期・低コスト化に直結します。
一方で、人手不足への対処や熟練技能の保存という文脈から、製造業へのフィジカルAI適用が注目されています。ここで問題になるのが、End-to-EndのAIによる軌跡生成です。リアルタイム性に強いという利点はあるものの、行動生成が確率的であるという性質上、（現状の基盤モデルでは） タクトタイムが遅く、また安定しない という欠点があります。
そこで今回は、 定型で高速に実行できる区間は従来のロボット制御に、対象に応じた判断が必要な最終操作は学習済みポリシーに分担させるハイブリッド制御を構築しました。 SO-101ロボットアーム上で、Questによるデータ収録から、深度カメラとセグメンテーションによる対象検出、IKによる粗接近、模倣学習ポリシーによる最終操作までを、1つのシステムとして一気通貫で実行可能としました。
動作の様子は動画をご覧ください。
https://youtu.be/WGkKvc3q3rk
1. システム構成
- ロボット実機：SO-101 フォロワーアーム
- 教示デバイス：Meta Quest 3S
- カメラ：Realsense D405（手首）1台
- 学習・推論マシン：RTX5090
2. Teachingベース移動：決まった座標への線形補間
動画にあるように、初期姿勢から俯瞰姿勢への移動は、事前に教え込んだ関節角度を再現しています。各姿勢はYAMLに保存し、現在の関節角から目標の関節角まで線形補間して移動します。
今回のデモにおいて俯瞰できるような姿勢にしているのは、次のステップでカメラ画像を取得するためです。
この動作は、毎回同じ場所へ、高速に、再現性高く動いてほしい動作に利用します。実装としては、目標関節角をサーボへ一括送信するオープンループを既定とし、必要な場合だけエンコーダを見ながら寄せる閉ループに切り替えられるようにしています。
産業用ロボットのティーチングと本質的には同じものとなります。
3. Motion Planningベース移動：認識からIKによる粗接近
俯瞰する姿勢に移動後、手首に取り付けたIntel RealSense D405からRGB-D画像を取得し、SAM 2で対象を検出しています。検出した上面中心の3D位置を、実関節角からの順運動学を通じてロボットのベース座標系へ変換します。
接近対象点は、「把持対象ワークの上面から鉛直方向にオフセットを取った点」になります。これは、エンドエフェクタとワークの干渉を防ぎつつ、模倣学習ポリシーの初期位置変動を小さくするためです。
俯瞰姿勢から接近点までの経路は、TCP（エンドエフェクタの先端: Tool Center Point）から接近点の直線上にwaypointを置き、各点の位置IKを直前の関節角から解析的に解くことで生成します。
今回は拘束条件として、TCPのZ軸が鉛直軸と平行に、かつWristの回転を行わない。というものを追加しています。
T_base_tcp = FK(q_actual)
p_work_base = p_tcp_base + R_base_tcp * p_work_tcp
p_goal = ワーク上面中心 - スタンドオフ + 鉛直方向のリフト
4. Imitation Policy
粗接近が完了すると、制御が模倣学習ポリシーへ切り替わります。その判定は、ロボットとワークの距離が閾値内にあるかどうかで行います。
ポリシーにはACTを使い、Questによるテレオペレーションで収録したデータでファインチューニングしました。入出力は次の通りです。
| 項目 | 内容 |
|---|---|
| 入力 | 手首RGB画像 ＋ EE状態（位置xyz、姿勢rotvec、グリッパ） |
| 出力 | 絶対EE目標のチャンク |
ポリシーの出力はそのままロボットへ送らず、指数移動平均による平滑化と1 tickあたりの変位上限を挟んでから、IKで関節指令へ変換します。
まとめ
製造現場のタクトタイムと、対象物のばらつきへの柔軟性を両立させるため、Teaching・Motion Planning・模倣学習を組み合わせたハイブリッド制御を構築しました。
今回の主な学びは、フィジカルAIを製造現場へ持ち込むには、「全部をAIに任せる」のではなく、「AIが得意な部分だけをAIに任せる」設計が現実的だということです。今後はデータ品質の改善と成功率評価を進め、タクトタイムの定量評価へつなげていきます。
採用のお知らせ
株式会社フィジカルAI総合研究所では、こうしたフィジカルAIの技術開発を一緒に進めてくれるエンジニアを募集しています。
ロボット制御・機械学習・製造現場へのAI適用に興味のある方は、ぜひお気軽にご連絡ください。