TL;DR

- 製造現場でフィジカルAIを使うには、E2Eの行動生成ではタクトタイムが遅く・不安定になりがち
- そこで「Teaching（固定ポーズへの線形補間移動）→ Motion Planning（認識＋IKによる粗接近）→ 模倣学習」のハイブリッド構成を実機（今回はSO-101）で構築
- パイプラインの実証は達成。

株式会社フィジカルAI総合研究所取締役CTOの林幸一です。

製造業において、 タクトタイムの安定化・高速化は最重要事項 です。タクトタイムの安定は品質・納期の安定、つまり顧客からの信頼に直結し、タクトタイムの高速化は短納期・低コスト化に直結します。

一方で、人手不足への対処や熟練技能の保存という文脈から、製造業へのフィジカルAI適用が注目されています。ここで問題になるのが、End-to-EndのAIによる軌跡生成です。リアルタイム性に強いという利点はあるものの、行動生成が確率的であるという性質上、（現状の基盤モデルでは） タクトタイムが遅く、また安定しない という欠点があります。

そこで今回は、定型で高速に実行できる区間は従来のロボット制御に、対象に応じた判断が必要な最終操作は学習済みポリシーに分担させるハイブリッド制御を構築しました。 SO-101ロボットアーム上で、Questによるデータ収録から、深度カメラとセグメンテーションによる対象検出、IKによる粗接近、模倣学習ポリシーによる最終操作までを、1つのシステムとして一気通貫で実行可能としました。

動作の様子は動画をご覧ください。
https://youtu.be/WGkKvc3q3rk

1. システム構成

ロボット実機：SO-101 フォロワーアーム
教示デバイス：Meta Quest 3S
カメラ：Realsense D405（手首）1台
学習・推論マシン：RTX5090

2. Teachingベース移動：決まった座標への線形補間

動画にあるように、初期姿勢から俯瞰姿勢への移動は、事前に教え込んだ関節角度を再現しています。各姿勢はYAMLに保存し、現在の関節角から目標の関節角まで線形補間して移動します。
今回のデモにおいて俯瞰できるような姿勢にしているのは、次のステップでカメラ画像を取得するためです。

この動作は、毎回同じ場所へ、高速に、再現性高く動いてほしい動作に利用します。実装としては、目標関節角をサーボへ一括送信するオープンループを既定とし、必要な場合だけエンコーダを見ながら寄せる閉ループに切り替えられるようにしています。
産業用ロボットのティーチングと本質的には同じものとなります。

3. Motion Planningベース移動：認識からIKによる粗接近

俯瞰する姿勢に移動後、手首に取り付けたIntel RealSense D405からRGB-D画像を取得し、SAM 2で対象を検出しています。検出した上面中心の3D位置を、実関節角からの順運動学を通じてロボットのベース座標系へ変換します。

接近対象点は、「把持対象ワークの上面から鉛直方向にオフセットを取った点」になります。これは、エンドエフェクタとワークの干渉を防ぎつつ、模倣学習ポリシーの初期位置変動を小さくするためです。
俯瞰姿勢から接近点までの経路は、TCP（エンドエフェクタの先端: Tool Center Point）から接近点の直線上にwaypointを置き、各点の位置IKを直前の関節角から解析的に解くことで生成します。

今回は拘束条件として、TCPのZ軸が鉛直軸と平行に、かつWristの回転を行わない。というものを追加しています。

T_base_tcp = FK(q_actual)
p_work_base = p_tcp_base + R_base_tcp * p_work_tcp
p_goal      = ワーク上面中心 - スタンドオフ + 鉛直方向のリフト

4. Imitation Policy

粗接近が完了すると、制御が模倣学習ポリシーへ切り替わります。その判定は、ロボットとワークの距離が閾値内にあるかどうかで行います。

ポリシーにはACTを使い、Questによるテレオペレーションで収録したデータでファインチューニングしました。入出力は次の通りです。

項目	内容
入力	手首RGB画像＋ EE状態（位置xyz、姿勢rotvec、グリッパ）
出力	絶対EE目標のチャンク

ポリシーの出力はそのままロボットへ送らず、指数移動平均による平滑化と1 tickあたりの変位上限を挟んでから、IKで関節指令へ変換します。

まとめ

製造現場のタクトタイムと、対象物のばらつきへの柔軟性を両立させるため、Teaching・Motion Planning・模倣学習を組み合わせたハイブリッド制御を構築しました。

今回の主な学びは、フィジカルAIを製造現場へ持ち込むには、「全部をAIに任せる」のではなく、「AIが得意な部分だけをAIに任せる」設計が現実的だということです。今後はデータ品質の改善と成功率評価を進め、タクトタイムの定量評価へつなげていきます。

採用のお知らせ

株式会社フィジカルAI総合研究所では、こうしたフィジカルAIの技術開発を一緒に進めてくれるエンジニアを募集しています。
ロボット制御・機械学習・製造現場へのAI適用に興味のある方は、ぜひお気軽にご連絡ください。