「フィジカルAI」はなぜ急に流行ったのか — VLM・VLA入門

Posted at 2026-07-06

こんばんは、ダックスフントです。

「フィジカルAI」というワードを、ここ1〜2年でかなり頻繁に見かけるようになった気がします。
また、先日 AWS Summit Japan に現地参加したのですが、フィジカルAI関連の展示が結構多く、実際にロボットが動いているブースをいくつも見かけて驚きました。一方で、それらのロボットはぱっと見、物を掴んだり運んだりしていて、表面上は今までのロボットと何が違うのか、その時は分かりませんでした。
しかし、フィジカルAIについて色々学んでみると、「フィジカルAI」が最近よく聞かれるようになった背景に、LLMの技術をベースにした VLM・VLA の誕生でロボット業界への参入ハードルが大きく下がったことがあると知り、衝撃を受けました。

この記事では、フィジカルAIというワードがなぜ急に広まったのか、その理由と、中核にある VLM・VLA という2つのモデルの基礎を紹介いたします。

TL;DR

「フィジカルAI」というワードを広めたのは NVIDIA です。CES 2025 でのワールドモデル「Cosmos」発表と同時にバズりました
流行の裏には、LLM で培われた基盤モデルやスケール則という発想が、ロボットの世界にも持ち込まれてきたという技術的な土台があります
中核にあるのは、「画像と指示を入れるとテキストが出てくる」 VLM（Vision-Language Model）と、「画像と指示を入れると行動が出てくる」VLA（Vision-Language-Action Model）です
古典的なロボットは、工程ごとに専門家が設計する多段のパイプラインでした。それに対して、昨今のフィジカルAIでは、単一のモデル（ VLM や VLA ）への置き換えが進んでいます
ただし VLA はまだ発展途上です。去年末（2025年12月）のABEJA のテックブログによると、「LLMで言うところの GPT-2 くらい」のようです。LLM が数年で GPT-2 から GPT-4 まで進化したことを踏まえると、VLA も今後急速に進化していくと予想されます

1. そもそも「フィジカルAI」とは

これまでの生成AIは、テキストや画像といった「情報空間」の中で入出力が完結していました。それに対して「フィジカルAI」は、カメラやセンサーから得た情報をもとに物理世界を知覚し、状況を判断した上で行動を計画し、実際に身体（ロボットなど）を動かして環境に働きかけるところまでを担います。「AIに身体を与える段階」と表現されることもあり、これは強化学習やシミュレーション環境（Habitat, AI2-THORなど）の文脈で以前から使われてきた「embodied AI（身体化AI）」とほぼ同じ意味で使われることも多いです。そのため、「フィジカルAI」という言葉自体は新しい概念というより、embodied AI の研究に LLM 由来の基盤モデルの発想が拡張された概念だと捉えることができます。

2. なぜ急に流行ったのか

「フィジカルAI」がここ1〜2年で急に目に触れるようになったきっかけは、CES 2025 での NVIDIA の発表でした。ただ、これは表に見えている部分にすぎず、その裏には数年かけて積み重なってきた技術的な土台と、市場側の追い風という2つの要因があります。

2-1. きっかけは CES 2025 での NVIDIA の発言

このワードが一気に世の中へ広まったきっかけは、CES 2025 での NVIDIA CEO Jensen Huang の発言です。Huang は「知覚し、推論し、計画し、行動できる AI（AI that can perceive, reason, plan and act）」という言葉で「フィジカルAI」を説明し、同じタイミングでワールドモデル基盤「Cosmos」の発表も行いました。

NVIDIA の用語集では次のように説明されています。

"Physical AI lets autonomous systems like cameras, robots, and self-driving cars perceive, understand, reason, and perform or orchestrate complex actions in the physical world."
（訳：フィジカルAIは、カメラ・ロボット・自動運転車のような自律システムが、物理世界の中で知覚し、理解し、推論し、複雑な行動を実行または統括できるようにする。）

2-2. 技術的な土台が整ってきた

CES 2025 での発表は、あくまで表に見えている部分です。その裏には、数年かけて積み重なってきた2つの技術的な土台があります。

2-2-1. 基盤モデルという発想がロボットにも応用できるようになった

1つ目は、LLM を支えてきた基盤モデルと学習スケール則という発想が、ロボットの世界にも応用できる段階まで育ってきたことです。

基盤モデル：膨大なデータを用いて事前学習され、多種多様なタスクに幅広く適応できる大規模なAIモデル
学習スケール則：学習データとモデルサイズを大きくするほど性能が良くなる

たとえば基盤モデルとして構築されたLLMは、Web上のテキストデータへの事前学習で得た言語理解力や知識、思考力を備えていて、タスクが変わってもプロンプトを変えるだけでほとんど対応できます。従来の機械学習/深層学習モデルでは、タスクごとにゼロからモデルを設計し、ゼロから学習データを集めて学習させる手間が掛かっていましたが、LLMではそのような手間がほとんど必要なくなりました。
後ほど紹介する VLM や VLA も、こうした LLM の能力をベースに、プロンプトを元にロボットを制御するモデルです。ロボットの世界でも同じ理屈が働くようになったことで、タスクに合わせてモデルや学習データをゼロから用意する必要がなくなり、ロボット業界への参入ハードルはかなり下がったと言えます。

2-2-2. シミュレーション上で大量に学習・評価できるようになった

2つ目は、実機を使わずシミュレーション上で大量に学習・評価できるようになったことです。「物理世界でのデータ収集はコストが高い」というロボット開発最大のボトルネックが、少しずつ緩んできています。NVIDIA の Isaac Sim/Isaac Lab のようなシミュレーション基盤や、Cosmos が生成する合成データも、この部分（sim-to-real：シミュレーションで学んだ方策を実機に転移すること）を支えるものです。

2-3. 市場側の追い風

技術的な土台に加えて、市場側の動きもフィジカルAIの普及を後押ししています。

ヒューマノイドロボットの製造コストの低下: Bank of America Institute の調査では、2023年から2024年にかけて製造コストが約40%下がったという推計もあります
労働力不足による自動化ニーズ: 物流や製造業での労働力不足が、自動化への構造的な需要を生んでいます
ロボティクス分野への投資の急増: ゴールドマン・サックスは、2030年までのヒューマノイドロボットへの累計投資額が500億ドルを超えるとの見通しを示しています

3. VLM（見て理解するモデル）

VLA の前に、その土台となる VLM を紹介します。
VLM（Vision-Language Model）は、画像とテキストを1つのモデルで扱えるようにしたモデルで、マルチモーダルモデルとも呼ばれます。下図のように、テキスト（プロンプト）と画像を入力すると、テキストが出力されます。

VLM が対応できるタスクは、モデルの進化とともに広がってきました。最初は画像分類のようなシンプルなタスクが中心でしたが、徐々にキャプション生成や視覚的な質問応答、物体検出へと幅が広がり、直近ではロボットの行動計画に直結する空間推論やタスク分解まで担えるようになっています。代表的なモデルを、対応しているタスクとあわせて紹介します。

モデル	開発元	登場年	対応しているタスク
CLIP	OpenAI	2021	対照学習によるゼロショット画像分類の先駆け
LLaVA	Wisconsin-Madison ほか	2023	画像に関する質問応答・キャプション生成などの視覚対話
GPT-4o	OpenAI	2024	テキスト・画像・音声を統合したマルチモーダル対話
Gemini	Google DeepMind	2023〜	事前学習段階からのマルチモーダル理解、物体検出・空間推論
Gemini Robotics-ER 1.6	Google DeepMind	2025	物体検出・空間推論・タスク分解など、ロボット向けの空間理解タスクに特化

実際の動作イメージを掴むために、Gemini Robotics-ER 1.6の公式ドキュメントに載っている例を2つ紹介します。

①ノートパソコンを置くスペースを確保する

机の上に写っている物体の中から、ノートパソコンを置くスペースを作るためにどかすべき物体を予測させた例です。

プロンプト（日本語訳）

ノートパソコンを置くスペースを確保するためにどかす必要がある物体を指し示してください。
回答は次のJSON形式に従ってください。
[{"point": , "label": }, ...]
座標は [y, x] の形式で、0〜1000に正規化してください。

実行結果（出力されたテキスト）

[
  {"point": [672, 301], "label": "The object that I need to remove to make room for my laptop"}
]

出力された座標を画像上にプロットすると、机の上に置かれたノートを正しく指し示せていることが分かります。

②物体を動かすための軌跡を予測

カゴの近くに赤いペンが置かれた画像を入力し、「赤いペンを左側の整理箱の上まで動かすときの軌跡」を予測させた例です。

プロンプト（日本語訳）

赤いペンの上に点を1つ置き、続けて、赤いペンを左側の整理箱の上まで移動させる軌跡として15個の点を置いてください。
各点には軌跡の順序に沿ってラベルを付け、開始点（左手の位置）を「0」、最後の点を「」としてください。
回答は次のJSON形式に従ってください。
[{"point": , "label": }, ...]
座標は [y, x] の形式で、0〜1000に正規化してください。

実行結果（出力されたテキスト）

[
  {"label": "compostable", "y": 256, "x": 482, "y2": 295, "x2": 546},
  {"label": "compostable", "y": 317, "x": 478, "y2": 350, "x2": 542},
  {"label": "compostable", "y": 586, "x": 556, "y2": 668, "x2": 595},
  {"label": "compostable", "y": 463, "x": 669, "y2": 511, "x2": 718},
  {"label": "compostable", "y": 178, "x": 565, "y2": 250, "x2": 609}
]

出力された座標を画像上にプロットすると、赤いペンの軌跡が正しく予測できていることが分かります。

2つの例からは、VLM が単に物を検出するだけでなく、状況を踏まえて「何をすべきか」まで判断できることが分かります。①の例では、「ノートパソコンを置く」という目的から机の上で邪魔になる物を判断しており、これには LLM 由来の言語理解力や推論力が必要です。②の例では、ペンと整理箱の位置関係を理解した上で、その間をつなぐ連続的な軌跡を出力しており、ロボットアームの動作制御に直結する空間推論ができています。
これを古典的なパイプラインで実現しようとすると、①は邪魔な物を判定するロジック、②は経路を計画するモジュールを、それぞれ別途設計する必要があり手間がかかります。VLM の登場によって、こうした判断や推論まで1つのモデルに任せられるようになったことが、参入ハードルを下げた要因の1つです。

4. VLA（見て、聞いて、動くモデル）

VLA（Vision-Language-Action Model）は、VLM の出力に行動を足したモデルです。VLM の出力はあくまでテキスト（キャプションや回答）ですが、VLA はそこに行動を生成する部分を追加し、「画像と自然言語の指示を入れると、ロボットの行動が出てくる」というパターンを学習します。VLA は事前学習済みの VLM をベースに、画像や言語指示、ロボットの動作データを組み合わせた大規模データでファインチューニングされています。

VLA が行動をどう出力するかはモデルによってさまざまですが、多くのモデルに共通するのが「アクションチャンク（Action Chunk）」という工夫です。1ステップ分の行動を出力するたびに推論をやり直すのではなく、数十ステップ先までの行動をまとめて1回の推論で出力する方式で、動きが滑らかになるうえ、推論回数が減る分だけ実行速度も上げられます。たとえば π0 は、このアクションチャンクによって最大50Hzという高い頻度でモーターを制御できます。

代表的なモデルを紹介します。

モデル	開発元	登場年	特徴（ひとこと）
RT-2	Google DeepMind	2023	VLAという言葉を確立、行動をトークン化
OpenVLA	Stanford ほか	2024	オープンソース、7B
π0	Physical Intelligence	2024	連続動作生成、器用な操作
Helix	Figure AI	2025	ヒューマノイド向けデュアルシステム
GR00T N1	NVIDIA	2025	オープンなヒューマノイド基盤モデル

「VLA という言葉」を確立したのは RT-2 です。インターネット規模の視覚言語データで学習した VLM をそのままロボット制御に組み込むことで、未知の物体や状況にも対応できる汎化性能を目指しました。OpenVLA はこの流れをオープンソースで追いかけたモデルで、7B という比較的小さなサイズでも、大規模モデルに迫る性能を報告しています。

π0 は、洗濯物をたたむといった器用な操作を、1つのモデルだけで可能にしたパターンです。Physical Intelligence の公式ブログでは、π0 事前学習の流れが紹介されています。

Web 上のデータで事前学習した VLM をベースにする
Open X-Embodiment という、複数ロボットの動作データを集めたデータセットで学習する
さらに URSe や Franka、Trossen など、形状の異なる7種類のロボットから収集した独自データセット（π データセット）でも学習する

このように複数のロボットのデータをまとめて学習することで、π0 は1つのモデルのまま、洗濯物をたたむ、コーヒーを淹れる、買い物袋に荷物を詰める、テーブルを片付けるといった幅広いタスクに対応できるようになります。新しいタスクについては、ゼロから学習し直す必要はなく、プロンプトを変えるか、ファインチューニングすることで適応させられます。
中でも洗濯物をたたむタスクは象徴的です。布のような形が定まらない物体は、状態をどう表現するかという時点でつまずきやすいため、古典的なロボットの設計では実現が難しいタスクとされてきました。それを π0 は、状態の設計や工程の分割をモデルに委ねることで可能にしています。実際に洗濯物を畳む動作は公式ブログの動画で確認できます。

VLA と似た枠組みに、VLN（Vision-and-Language Navigation）と呼ばれるモデルもあります。VLA がアームなどによる物体の操作を対象にするのに対し、VLN は画像と自然言語の指示から移動経路を予測するモデルで、ロボットやドローンの自動航行への応用が期待されています。VLA に比べるとまだ公開情報は少ないですが、今後注目しておきたいモデルです。

5. 古典的なロボットと VLA、パイプラインの違い

従来の古典的なロボット制御のパイプラインと、VLA を使った現代のフィジカルAIのパイプラインの違いを、次の表に整理しました。

観点	古典的なパイプライン	VLA を使ったパイプライン
構成	知覚→状態推定→計画→制御の複数行程のパイプライン	単一モデルによる一括処理
設計方法	工程ごとに専門家がモデル・手法を個別に設計	VLM、VLAのプロンプトエンジニアリング、ファインチューニング
入力形式	各工程ごとのモデル・手法に依存	画像 + プロンプト
出力形式	各工程ごとのモデル・手法に依存	テキスト、アクションチャンク（行動）
弱点・課題	各工程の誤差が累積して大きな誤差が発生しやすい	推論負荷が高く、リアルタイム制御が難しい場合がある
得意な場面	役割が明確でデバッグしやすい定型タスク	未知の物体・状況への汎化、器用な操作

古典的なロボット制御は、知覚→状態推定→計画→制御という複数工程を繋いだパイプラインが主流でした。各工程では、カメラ画像から物体を検出する専門家、位置や姿勢を推定する専門家、動作を計画する専門家、モーターを制御する専門家がそれぞれ別々にモデルや統計手法を設計・調整する必要があり、ロボットを一気通貫で作るハードルはかなり高いものでした。また、各工程の誤差が後段に伝播して、大きな誤差として現れてしまう課題もありました。

これに対して VLA は、画像とプロンプト（自然言語の指示）を入力すると、知覚から行動計画までを1つのモデルが一括で担い、アクションチャンクとして行動を出力します。中間の表現も含めて全体を一括で最適化でき、事前学習済みの知識のおかげで未知の物体や状況にも対応しやすくなります。手作業でモジュール間のインターフェースを設計する必要もありません。

具体的に、「洗濯物をたたむ」というタスクを例にすると、それぞれ以下のようなパイプラインになります。

古典的なパイプライン

布のような変形物体は状態の表現自体が難しく、端や角を検出する知覚、把持点を推定する状態推定、サーボ制御による細かな動作調整といった複数のモジュールが必要になります。また、実行環境やタスクが変わるたびに、これを調整したり、一から設計し直す必要もあります。

VLA を使ったパイプライン

VLA（π0）では、カメラ画像と「洗濯物をたたんで」という指示を1つのモデルに渡すだけで、アクションチャンクが出力され、そのままたたむことができます。事前学習済みのモデルなので、新しいタスクに対応する際も基本的にはプロンプトを調整するだけで済みます。

もちろん古典的なパイプラインは個別のタスクに最適化できるメリットがあるため、どちらが一方的に優れているという単純な話ではありませんが、パイプラインの構造そのものがシンプルになったことは、VLA がロボット実装のハードルを下げた大きな理由の1つと言えます。

6. VLA の現状の課題

ここまでの内容でVLMやVLAは夢のようなモデルである印象があるかと思いますが、現時点ではいくつか課題を抱えています。

6-1. 推論が重く、リアルタイム制御が難しい

VLM や VLA は、LLM と同じく巨大な Transformer モデルをベースにしているため、推論に時間がかかり、リアルタイムでの高頻度制御が難しいという課題があります。OpenVLA の論文でも、50Hz で動く制御系に対応するには推論スループットの改善が重要だと指摘されています。また、VLA をファインチューニングする場合も、GPU がある程度必要になります。

6-2. 性能・汎化にはまだ限界があり、背景には学習データの不足がある

OpenVLA は既存の汎用ポリシーを上回る性能を示したものの、テストしたタスクでの成功率は概ね90%未満にとどまっており、汎化性能にも限界があります。この背景には、事前学習に使えるデータがまだ十分ではないという事情があります。実機でのテレオペレーション（遠隔操作）によるデータ収集にはコストと時間がかかり、Web規模のテキストで学習できる LLM ほどの量を集められていないのが実情です。

去年末（2025年12月）のABEJA テックブログでも、現状の VLA のレベルは「LLMに例えると GPT-2 くらい」という評価が有識者の間で共有されているとされ、「それっぽい応答（動作）は返ってくるけれど、指示をちゃんと理解していなさそう」という具体的な失敗の様子が紹介されています。

ただ、LLM が GPT-2 から GPT-4 まで数年で進化したことを踏まえると、VLA も同じように急速に性能を伸ばしていくことが期待できます。

まとめ・展望

この記事では、「フィジカルAI」というワードが急に広まった理由と、その中核にある VLM・VLA について紹介しました。

「フィジカルAI」を広めたのは NVIDIA。CES 2025 でのワールドモデル「Cosmos」発表を1つの節目に、一気に流行った
その裏には、LLM の基盤モデルやスケール則の発想がロボットに持ち込まれてきたという技術的な土台と、ヒューマノイドのコスト低下や労働力不足といった市場側の追い風がある
VLM は「見て理解する」役割、VLA はそこに「行動する」役割を足したモデル
古典的なロボットは工程ごとに専門家が設計する多段パイプラインだったが、現代のフィジカルAIでは、1つのVLA（画像と指示を入力すると行動が出力される）に置き換わりつつある
ただし VLA の実力は「LLMで言うところの GPT-2 くらい」という声もあり、まだ発展途上

まずは VLM と VLA の基本、それに古典的なパイプラインとの違いさえ押さえておけば、フィジカルAI関連のニュースをだいぶ正確に読み解けるようになると思います。また、OpenVLA や π0 の公式サイトではデモ動画が公開されているので、そちらを見てみるのもおすすめです。

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up