ロボットに「ロビーを出て廊下をまっすぐ進み、右の給湯室に入って」と話しかけると、その通りに動く。ここまでは驚かない。驚くのは、その足元にLiDARも深度カメラも事前地図も無く、あるのは普通のRGBカメラ1台だけ、という点だ。Mistralが7月8日に公開したRobostral Navigateは、8BのVLM（Vision-Language Model、画像と言葉を同時に扱うモデル）でロボットの経路移動をこなす。オープンウェイトの旗手だったあのMistralが、初めてロボティクスに足を踏み入れた一台でもある。
なぜ「カメラ1台」がニュースになるのか
屋内を自律移動するロボットは、これまでセンサーの物量で押してきた。LiDARで周囲の距離を測り、深度カメラで壁との間合いを取り、SLAMであらかじめ部屋の地図を作っておく。精度は出るが、ハードは高くつくし、新しい建物に持ち込むたびに地図作りからやり直す羽目になる。
この「言葉で指示された経路を、地図なしの連続空間で辿る」課題は、研究の世界ではVLN-CE（Vision-and-Language Navigation in Continuous Environments）と呼ばれてきた。Robostralが評価に使うR2R-CEは、Matterport3Dの実測データ上に作られたその代表的なベンチマークで、「指示文を1本渡され、見たことのない部屋を連続的に歩く」設定を測る。ここでのスコアが素直に効いてくる。
Mistralの主張はこうだ。学習に使っていない環境（validation unseen）で成功率76.6%。既存のカメラ1台方式を9.7ポイント、深度センサーや複数カメラを積んだ多センサー方式すら4.5ポイント上回った。つまり、センサーを減らしたのに精度でも勝ったと言っている。学習済み環境（seen）では79.4%。
| 評価設定 | 成功率 | 対ベースライン |
|---|---|---|
| validation unseen（未知環境） | 76.6% | 単眼比 +9.7pt / 多センサー比 +4.5pt |
| validation seen（既知環境） | 79.4% | — |
仕掛けは「ピクセルを指差す」こと
面白いのは、なぜVLMがロボットを操縦できるのか、という部分だ。Robostralはゼロから作った専用モデルではなく、Mistralが持っていた「グラウンディング用のVLM」（画像の中の物を指し示したり、数えたり、位置を特定したりするのが得意なモデル）を出発点にしている。この「指し示す」能力がそのまま操縦インターフェースになる。
行動の出し方は二段構えだ。基本は、いま映っているカメラ画像の中で「次に向かうべき点」の画像座標と、そこでの向きを予測する。これはグラウンディングVLMが元々やっていた「画像内の座標を当てる」作業とほぼ同じで、だから既存能力を素直に転用できる。目標が視界の外に出てしまった時だけ、ロボット基準の相対的なズレ（「2m前進、1.5m左、25度左に旋回」のような数値）にフォールバックする。
指示: "ロビーを出て廊下を進み、右の給湯室へ"
入力: 現在のRGBフレーム 1枚 + 上の指示文
出力①: 画像座標 (x, y) + 向き ← 目標が見えている時
出力②: 前進/左右/旋回の相対変位 ← 目標が視界外の時
ここは強調しておきたい。ロボット制御を「新しい制御則」ではなく「VLMが得意なピクセル座標予測」の問題に翻訳し直したのが本質で、LLM/VLM畑のエンジニアが持っている道具立てがそのまま効く領域だということだ。
シミュレーションだけで作り、実機に効かせる
学習データはすべてシミュレーション由来で、実ロボットでの収集は無い。規模について公式ブログは約240万本の軌跡・35万シーンとしている一方、MarkTechPostの記事は約40万軌跡・6,000シーンと報じており、数字には食い違いがある。ここは一次情報であるMistral公式の値を採るのが妥当だろうが、桁が違う点は頭に置いておきたい。いずれにせよ「実機ゼロ、シミュレーションだけで学習し、そのまま現実に持ち込む」設計方針そのものが売りだ。
学習を回す上での工夫が二つ、地味だが実務的に効く。一つはプレフィックスキャッシュで、学習に流すトークンを22倍削りつつ学習シグナルは保つ、とMistralは書いている。連続移動のように前半の観測が延々と共通する軌跡では、この重複計算の圧縮が効く。もう一つが後段のオンライン強化学習で、CISPOというアルゴリズムを使い、試行錯誤からの復帰や探索的な振る舞いを学ばせて成功率をさらに3.2%押し上げた。
Robostral Navigate works on wheeled robots, legged robots and aerial platforms, and adapts to different robot sizes and body proportions.
車輪型・脚型・飛行型のいずれでも、機体サイズが違っても動く、というのが公式の言い分だ。単眼RGBという最小の入力に絞ったことが、逆にプラットフォームを跨ぐ汎用性を生んでいる、という理屈は筋が通る。
オープンウェイトの会社が、これは閉じた
見落としてはいけない点がある。Robostral Navigateは公開時点でオープンウェイトでも公開APIでもなく、エンタープライズ問い合わせ経由のアクセスに限られる。Apache 2.0で重みをばら撒いてきたMistralにしては珍しい振る舞いで、robotics=物理世界に触れる領域だからこその慎重さなのか、単に商用価値が高いからなのかは、現時点の公開情報からは判断できない。手元で試せるものではない、という前提は最初に押さえておくべきだ。
それでも、ここから持ち帰れる設計上の教訓は robotics に閉じない。既存のグラウンディングVLMが持つ「画像内の点を指す」能力を、そのまま行動の出力インターフェースに使い回すという発想は、GUI操作エージェントでも、画面上の要素をクリックさせる系のツール制御でも、そっくり応用が効く。新しい能力を一から学習させるより、モデルが既に持っている入出力の形に「タスクの側を寄せる」。Robostralが76.6%というスコアの裏でやっているのは、突き詰めればそういうことだ。
一次ソース: