深層模倣学習(deep imitation learning)
VIOLA
pdf VIOLA: Imitation Learning for Vision-Based
Manipulation with Object Proposal Priors
Abstractの和訳：
ロボット操作のための閉ループ視覚運動ポリシーを学習するためのobject-centricの模倣学習アプローチである VIOLA を紹介します。 私たちのアプローチは、事前にトレーニングされた視覚モデルからの一般的なオブジェクトの提案に基づいてobject-centricの表現を構築します。 VIOLA は、transformer ベースのポリシーを使用してこれらの表現を推論し、アクションを予測するためにタスクに関連する視覚的要素に注意を払います。 このようなオブジェクトベースの構造事前分布により、オブジェクトの変動や環境の摂動に対する深層模倣学習アルゴリズムの堅牢性が向上します。 VIOLAをシミュレーションおよび実ロボット上で定量的に評価します。 VIOLA は、成功率において最先端の模倣学習メソッドを 45.8% 上回っています。 また、ダイニングテーブルの配置やコーヒーの準備など、長期にわたる困難なタスクを解決するために、物理的なロボットへの導入にも成功しています。 その他のビデオとモデルの詳細は、補足資料とプロジェクト Web サイト (https URL ) でご覧いただけます。
github https://ut-austin-rpl.github.io/VIOLA/
学習後の推論で生成するものは、task space command (20 Hz) である。
目的の動作を達成できたかどうかを、異なるアルゴリズムと比較するには、シミュレーションを用いているようである。
このような動作の中では、乱数を利用しているため、異なる乱数の種を用いて動作させて評価しているようである。
カメラの設定がどのようであるのかが論文のAppendix に書いてある。
the RGB images from the workspace camera, RGB images from the eye-in-hand camera
の両方が使われている。
動画を見てみると、handのすぐ脇にカメラが取り付けてるのが見える。
Youtube Stanford Seminar - Interactive Imitation Learning: Planning Alongside Humans
Github 上にある imitation learning のリポジトリ
https://github.com/topics/imitation-learning
pdf Transformer-based deep imitation learning for dual-arm robot manipulation
pdf End-to-End Imitation Learning with Safety Guarantees using Control Barrier Functions
pdf End-to-End Differentiable Adversarial Imitation Learning
Universal Manipulation Interface
Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots
ハードウェアの特徴
HD1. Wrist-mounted cameras as input observation.
HD2. Fisheye Lens for visual context.
HD3. Side mirrors for implicit stereo.
HD4. IMU-aware tracking
HD5. Continuous gripper control.
HD6. Kinematic-based data filtering.
ポリシー
PD1. Inference-time latency matching.
PD1.1) Observation latency matching
PD1.2) Action latency matching.
PD2. Relative end-effector pose
PD2.1) Relative EE trajectory as action representation.
PD2.2) Relative EE trajectory as proprioception.
PD2.3) Relative inter-gripper proprioception
言語と関連付けられた模倣学習
【DL輪読会】Language Conditioned Imitation Learning over Unstructured Data