本記事は株式会社ロボケンが開発する汎用フィジカルAIプロジェクト「RoboMove」のご紹介記事です。宣伝目的の内容も含まれますが、Qiitaらしく技術的な中身にフォーカスして書いています。あらかじめご了承ください。

VLMと三角測量でロボットに「見て理解して動く」を実装する仕組みを調べてみた

はじめに：従来型ロボットの限界と「フィジカルAI」という発想

工場で稼働している産業用ロボットの多くは、あらかじめ教示（ティーチング）された座標と手順を忠実に再生する仕組みで動いています。部品が常に同じ位置・同じ姿勢で供給されることを前提に、アームの軌道を1mm単位でプログラムする。これは非常に高い再現性を持つ反面、次のような制約を抱えています。

部品の位置や向きが少しでもずれると認識できず、停止・エラーになる
1台のロボット＝1つの作業に特化しており、別の作業をさせるには再設定・再教示が必要
多品種少量生産や、日々レイアウトが変わる現場には向かない

こうした「決め打ち」のロボティクスに対して、近年注目されているのがフィジカルAI（Physical AI）という考え方です。これは、カメラなどのセンサーから得た情報をAIがその場でリアルタイムに解釈し、状況に応じて動作を組み立てる方式を指します。中でも、1つのAIモデルが複数の異なる作業に汎用的に対応できることを目指すものを、ここでは汎用フィジカルAIと呼びます。

労働力不足や多品種少量生産への対応、現場自動化ニーズの高まりを背景に、「見る→理解する→動く」というループを1つのAIで回せるロボットの実現が期待されています。株式会社ロボケンが取り組むRoboMoveは、この汎用フィジカルAIをシミュレーション上で検証しているプロジェクトです。本記事では、そこで使われている要素技術を掘り下げて紹介します。

RoboMoveが検証しているタスク：Pick & Place

RoboMoveでは、実機ではなくシミュレーション環境上で、以下のようなPick & Place（把持配置）タスクを繰り返し検証しています。

テーブル上に置かれた赤いキューブをカメラ映像から検出する
その3次元的な位置（X, Y, Z座標）を算出する
アームを移動させて正確につかむ
持ち上げて、隣にある白い皿まで運び、置く

一見シンプルなタスクですが、「見えているものが何かを理解し、3次元空間内での位置を割り出し、実際に体（アーム）を制御して目的を達成する」という、フィジカルAIの本質的な要素がすべて詰まっています。事前に座標をプログラムするのではなく、その都度カメラ映像から位置を推定し直す点が、従来型ロボットとの決定的な違いです。

なぜ実機ではなくシミュレーションなのか、という点は後述しますが、まずは中身を支える4つの要素技術を見ていきます。

要素技術1：マルチカメラによる視覚 — 死角をどう減らすか

RoboMoveでは、単一のカメラではなく3つの視点を組み合わせています。

カメラ	役割
正面カメラ	左右方向・奥行き方向の位置を把握
サイドカメラ	正面カメラでは捉えにくい高さ方向・奥行きを補完
手首カメラ（ハンドアイ）	グリッパーがキューブに接近する直前の精密確認

単眼カメラだけでは、奥行き方向の情報が失われやすく、対象物がアームやテーブルの陰に隠れる、あるいは特定の角度からは検出しづらいといった「死角」が発生します。視点を増やすことは、単純な冗長化ではなく、後述する三角測量による3次元位置推定の精度に直結する設計です。特に手首カメラは、アームがキューブに近づくほど視野が対象物にフォーカスされるため、最終的な把持精度を上げる「近接補正（refine）」の役割を担います。

要素技術2：Gemmaによる物体検出（VLM） — 画像とことばを結びつける

対象物の検出には、VLM（Vision-Language Model：視覚言語モデル）であるGemmaが使われています。VLMは画像認識モデルと言語モデルを組み合わせたもので、「赤いキューブはどこにあるか」といった自然言語のクエリと画像を突き合わせ、該当する領域をピクセル単位で特定できます。

従来の物体検出（例えば特定の色や形状だけを閾値処理で抽出する古典的な画像処理）と異なり、VLMは「赤い」「キューブ」といった意味的なカテゴリを理解した上で検出を行います。これにより、照明条件の変化や、キューブ以外の赤い物体が写り込んだ場合でも、文脈に応じた頑健な検出が期待できます。

RoboMoveの検証では、各カメラ映像に対する検出結果を可視化しており、

検出に成功したカメラ映像には緑色の枠
検出できなかったカメラ映像には赤色の枠

を表示することで、どの視点が有効に機能しているかを一目で確認できるようにしています。これは単なるデモ用の演出ではなく、マルチカメラ構成のうちどのカメラが実際に認識へ寄与しているかをエンジニアが検証するためのデバッグ手段としても機能します。

要素技術3：三角測量による3次元位置推定 — センサーフュージョンで誤差を縮める

VLMによる検出結果は、あくまで各カメラ画像上での2次元的な位置（ピクセル座標）です。これを実世界の3次元座標（X, Y, Z）に変換するために使われるのが**三角測量（Triangulation）**です。

三角測量の基本原理はシンプルで、位置と向きが既知の2つのカメラから同一の対象物を観測すると、それぞれのカメラ中心と対象物を結ぶ直線（視線ベクトル）が空間上のある一点で交差します。この交点が対象物の3次元位置です。理論上は2視点あれば位置は一意に定まりますが、実際にはカメラの校正誤差や検出誤差の影響で、2本の直線は完全には交わりません。そのため、最近接点や最小二乗的な近似によって「最も尤もらしい交点」を求めることになります。

RoboMoveでは、

正面カメラとサイドカメラの2視点の検出結果から、まず三角測量でおおよその3次元座標を算出
アームが対象物に近づいた段階で、手首カメラの検出結果を使って位置を近接補正（refine）
複数の推定値を統合するセンサーフュージョンによって、単一視点や単純平均よりも誤差を縮小

という手順を踏んでおり、最終的な位置推定誤差は数mm程度に収まるとされています。これは、遠距離では広い視野で大まかな位置を絞り込み、近距離では精度の高い局所観測で微修正するという、ロボティクスやSLAM分野でもよく使われる「粗から精へ（coarse-to-fine）」のアプローチと同じ考え方です。

要素技術4：把持から配置までの自律動作 — 6ステップと成否判定

3次元位置が求まった後、実際にキューブをつかんで運ぶ動作は、以下の6ステップに分解されています。

1. 接近   : キューブの推定位置の上空へアームを移動
2. 降下   : グリッパーを対象物に向けて下げる
3. 到達   : キューブの高さまでグリッパーが到達
4. 把持   : グリッパーを閉じる
5. 持ち上げ: アームを上昇させる
6. 判定   : 持ち上げが完了したか、把持が成功したかをAIが評価

ここで重要なのは、ステップ6の成否判定です。人間であれば「ちゃんとつかめているか」を視覚や力覚で瞬時に判断できますが、ロボットにおいてこれを自動化するのは簡単ではありません。RoboMoveでは、持ち上げ後の状態（キューブがグリッパーに保持されているか、落下していないかなど）をAI自身が評価し、成功・失敗を判定します。

この自己評価の仕組みがあることで、単に「決められた動作を実行して終わり」ではなく、「実行結果を認識し、次の行動判断（リトライや異常検知など）につなげられる」余地が生まれます。これはフィジカルAIが目指す自律性の重要な要素の1つです。

なぜシミュレーションで検証するのか

RoboMoveは現時点で実機ではなく、シミュレーション環境上での検証にとどまっています。これは技術的な制約というよりも、意図的なアプローチです。

実機でこうした検証を行う場合、1回の試行ごとにアームのセットアップ、キューブの再配置、失敗時の物理的なリカバリーが必要になり、時間・コスト・機体の摩耗といった負担が発生します。シミュレーションであれば、これらのコストをかけずに何千回もの試行を高速に繰り返すことができ、VLMの検出精度、三角測量のパラメータ、把持モーションの各ステップといった要素技術を独立して、かつ大量のデータで検証・改善できます。実機展開前の「机上検証」として、シミュレーションは合理的な選択と言えます。

従来型ロボットとRoboMove（汎用フィジカルAI）の比較

観点	従来型ロボット	RoboMove（汎用フィジカルAI）
座標の決め方	事前にティーチングした固定座標	カメラ映像からAIがその場で推定
位置ずれへの対応	想定外の位置ずれは検出不可・停止	ずれを認識し追従
対応タスク	1機＝1作業に特化	1モデルで多様な作業に対応（を目指す）
環境変化への強さ	弱い（再設定・再教示が必要）	自律的に適応することを目指す
検証段階	実機での量産運用が前提	現時点はシミュレーションでの技術検証

今後の応用可能性

RoboMoveはあくまでシミュレーション上での技術検証段階であり、実機での量産運用はまだ先の話です。その前提を踏まえた上で、こうした汎用フィジカルAIの技術が実用化された場合には、次のような領域への応用が期待されます。

製造・組立: 部品のピッキングや位置合わせの自動化
物流・倉庫: 荷物の仕分けや搬送作業の効率化
小売・サービス: 商品の陳列や補充作業の省人化
家庭・介護: 日用品の片付けや配膳の補助

いずれも、労働力不足や多品種少量生産といった社会課題と直結する領域であり、「固定プログラムに依存しない、環境変化に強いロボティクス」への需要は今後も高まっていくと考えられます。

まとめ

RoboMoveは、マルチカメラによる視覚、VLM（Gemma）による意味的な物体検出、三角測量とセンサーフュージョンによる3次元位置推定、そして6ステップに分解された自律把持と成否判定という4つの要素技術を組み合わせ、「見る→理解する→動く」というフィジカルAIのループをシミュレーション上で検証しているプロジェクトです。

派手な謳い文句を並べるのではなく、地に足のついた要素技術の積み重ねとして見ると、VLMや三角測量、センサーフュージョンといった個々の技術がどのようにロボティクスへ応用されうるのか、エンジニアとして学びの多い題材だと感じました。実機展開はまだ先の話ですが、こうしたシミュレーション検証の積み重ねが、将来的な現場自動化につながっていくのではないかと思います。

より詳しい情報は、株式会社ロボケンの公式サイトやお問い合わせ窓口をご確認ください。