0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@fujimoooon

World Model と VLA、VLM をやさしく整理してみた

0
Posted at

はじめに

ロボットや身体を持つAI（エンボディドAI）の話をしていると、VLM・VLA・World Model（世界モデル） という、似ているようで違う3つの言葉がよく出てきます。

  • 「VLM と VLA って何が違うの？ A が付くだけ？」
  • 「World Model はさらに別物？」
  • 「別々に使うもの？ それとも一緒に使うの？」

この記事は、そんな疑問を持った初学者向けに、3つの違いと関係を、なるべく専門用語を避けてやさしく整理したものです。

この記事でわかること

  • VLM / VLA / World Model がそれぞれ「何をするもの」か
  • 3つの違い（役割・入出力）と、意外と地続きな関係
  • 単独で使うケースと、連携・併用するケース
  • 代表的なモデル・論文（出典リンク付き）

3行でまとめ（TL;DR）

  • VLM = 画像と言葉を見て「言葉で答える」モデル（見て・しゃべる）
  • VLA = その VLM に“手足”を付けて「行動する」ようにしたモデル（見て・動く）
  • World Model = 「次に何が起きるか」を予測する“頭の中のシミュレーター”

→ VLM と VLA は地続き、World Model は役割の違う相棒。最近は VLA と World Model を組み合わせるのが主流。

まずはざっくり：身体を持つAIがやっていること

ロボットが「タオルをたたんで」と言われて動くには、大きく3つのステップが必要です。

① 見る・理解する（カメラ映像＋言葉の指示を理解する）
② 考える・予測する（この後どうなりそうか想像する）
③ 動く（実際にモーターを動かす）

この「見て理解する・予測する・動く」のうち、どこを担当するかが3つのモデルを区別するカギになります。ざっくり対応させると:

  • VLM … ①見て理解する
  • VLA … ①見て理解する ＋ ③動く
  • World Model … ②予測する

では、順番に見ていきましょう。まずは一番の“土台”になる VLM からです。

VLM（Vision-Language Model）とは

ひとことで言うと

画像と言葉を受け取って、「言葉（テキスト）」で答えるモデル です。

身近な例え

写真を見せて「これ何が写ってる？」と聞くと、「机の上にリンゴが2つあります」と答えてくれる——あれが VLM です。ChatGPT に画像を貼って質問できるのも、裏で VLM が働いているから。GPT-4V や LLaVA、PaLI などが代表例です。

ポイント

  • 入力：画像 ＋ 言葉
  • 出力：言葉（テキスト）
  • ネット規模の画像・言語データで学習していて、「イチゴとは何か」といった世界の常識を持っている

VLM は「見て・言葉で答える」まではできますが、自分で体を動かすことはできません。ここに“手足”を付けたのが、次の VLA です。

VLA（Vision-Language-Action）とは

ひとことで言うと

「映像」と「言葉の指示」を受け取って、直接「ロボットの動作」を出力するモデル です。

VLM の末尾に A（Action＝行動） が付いているのがポイント。名前のとおり、VLA は VLM を土台にして、出力を「言葉」から「行動」に付け替えたもの、とイメージするとスッキリします。

身近な例え

カーナビの音声指示（言葉）と、フロントガラスから見える景色（映像）をもとに、ハンドルやアクセルを操作する運転手さんをイメージしてください。VLA はまさに「見て・聞いて・その場で動く」実行役です。

ポイント

  • 入力：カメラ映像（Vision）＋ 言葉の指示（Language）
  • 出力：行動（Action） ＝ロボットの動作コマンド
  • VLM が持っていた“常識”をそのまま引き継げる

VLA という枠組みを有名にしたのは Google DeepMind の RT-2（2023）です。RT-2 は、大きな VLM をロボットの動作データでも追加学習（co-fine-tune）し、動作を“言葉のトークン”として出力させるという作り方をしています1。つまり:

VLM（見て言葉で答える）＋ 行動出力 ＝ VLA（見て理解して動く）

その後、OpenVLA（オープンソース）2 や π₀（パイゼロ）3 といった汎用ロボット基盤モデルが次々と登場しています。

VLM → VLA の“系譜”イメージ

💡 VLA は VLM の“進化系・応用形”であって、まったくの別物というより地続き。VLM が持つ“世界の常識”ごと引き継げるので、ロボットが学習していない未知のモノや指示にも対応しやすくなる——これが VLA が強力な理由です1。

World Model（世界モデル）とは

ひとことで言うと

「この状態でこう動いたら、次はこうなる」を予測する“環境のシミュレータ” です。VLM/VLA とは毛色が違い、「見て答える／動く」ではなく「未来を予測する」役割を担います。

身近な例え

道を歩いていて前から自転車が来たとき、頭の中で「このまま進むとぶつかりそうだな」と未来を一瞬シミュレーションして、よけますよね。この“頭の中のシミュレーション能力”が World Model です。

ポイント

  • 入力：今の状態 ＋ とろうとしている行動
  • 出力：次に起きる状態（次のフレームの映像、物体の動きなど）
  • ロボットの体がなくても、「世界がどう振る舞うか」だけを学べる

World Model という言葉を広めたのは Ha & Schmidhuber の論文（2018）で4、その後 Dreamer シリーズが強化学習に応用して有名になりました56。最近の Dreamer 4 は、ゲーム（Minecraft）の世界を頭の中だけでシミュレーションし、実環境に一切触れずにタスクを解くところまで来ています7。

💡 なぜ便利？
実世界でロボットに何千回も試行錯誤させるのは、コストが高く危険です。World Model の“想像の中”で練習できれば、安全かつ低コストに学習できます。

違いを表で整理

VLM（Vision-Language） VLA（Vision-Language-Action） World Model（世界モデル）
役割 見て言葉で答える 行動の決定（実行役） 環境の予測（シミュレーター）
たとえるなら 目と口 目と口と手足（運転手） 未来を見る目
主な入力 画像 ＋ 言葉 映像 ＋ 言葉の指示 今の状態 ＋ 行動
主な出力 言葉（テキスト） 行動（動作コマンド） 次の状態（未来の映像など）
答える問い 「これは何？」 「次に何をすべき？」 「次に何が起きる？」
ロボットの体 不要 動作を出すので実機・シミュ前提が多い なくても学べる

覚え方

  • VLM = 目と口（見て・しゃべる）
  • VLA = 目と口と手足（見て・理解して・動く）＝ VLM＋行動
  • World Model = 未来を見る目（この後どうなるかを想像する）

ざっくり言うと、VLM は「見て答える人」、VLA は「行動する人」、World Model は「予言者」。そして VLA は VLM を土台に作られる、という関係です。

単独で使う場合

いずれも単独で研究・利用されます。

  • VLM 単独：画像の説明、図表の読み取り、視覚的な質問応答（GPT-4V など）
  • VLA 単独：π₀ や OpenVLA のように、それ単体でロボット制御の基盤モデルとして動く32
  • World Model 単独：動画生成、自動運転のシーン予測、強化学習の“夢の中での学習”（Dreamer など）7

ただし、VLA は「今この瞬間どう動くか」は得意でも、「その動作の数秒後にどうなるか」を明示的に予測する仕組みを持たないことが多いです。そこを World Model が補える——という発想から、両者を組み合わせる流れが生まれました。

連携・併用パターン（VLA × World Model）

2025〜2026年にかけて、VLA と World Model を統合する研究が急増しています8。代表的な組み合わせ方は次の3つです。

パターン① World Model を VLA の“想像力”として組み込む

VLA の中に「未来を予測する頭」を持たせて、動作の質を上げるアプローチです。DreamVLA は、包括的な世界知識を“夢見る（予測する）”ことで行動生成を助けます9。また 3D-VLA は、3Dの視覚・言語・行動を1つの生成的 World Model として一体化させています10。

パターン② World Model を“練習場（シミュレーター）”として使う

実世界での強化学習は高コストで危険なので、World Model の“想像の中”で報酬を確かめながら VLA を鍛えます。VLA-RFT は World Model を報酬付きシミュレーターとして使い、VLA を強化学習で微調整します11。

パターン③ 予測と行動を閉ループで一緒に学習する

映像 World Model と VLA ポリシーを**お互いに教え合う輪（クローズドループ）**にして、同時に賢くしていく方法です。World-VLA-Loop がこの例です12。

図：VLA と World Model の連携イメージ

VLA（土台は VLM）が「こう動こう」と考え、World Model が「そう動くとこうなるよ」と先読みし、その結果を VLA が受け取ってより良い行動を選ぶ——というイメージです。

まとめ

3つの関係を1行ずつで整理すると、こうなります。

  • VLM = 「見て言葉で答える」モデル（土台）
  • VLA = 「見て理解して動く」モデル（VLM ＋ 行動）
  • World Model = 「環境がどう振る舞うか」を予測するモデル

VLM と VLA は地続きで、VLA は VLM の上に“手足”を足したもの。World Model はそれらとは役割が違い、「次に何が起きるか」を予測する相棒です。ロボットに「見て・考えて・先を読んで・動く」を全部やらせたい流れの中で、VLA と World Model を組み合わせるのが今の大きな潮流になっています。

初学者としては、まず「VLM は答える、VLA は動く、World Model は予測する。VLA は VLM の進化系で、最近は World Model と仲良く連携している」と押さえておけば十分です。もっと深く知りたい人は、下のサーベイ論文から入るのがおすすめです813。

参考文献

VLA 系

World Model 系

連携・統合系（VLA × World Model）

サーベイ（さらに深く学びたい人向け）

この記事が「VLM・VLA・World Model、なんとなくモヤっとしてた」を晴らす助けになれば嬉しいです。間違いや補足があればコメントで教えてください 🙌

  1. A. Brohan, B. Zitkovich et al., "RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control," 2023. https://arxiv.org/abs/2307.15818 ／ プロジェクトページ: https://robotics-transformer2.github.io/ ↩ ↩2

  2. M. J. Kim et al., "OpenVLA: An Open-Source Vision-Language-Action Model," CoRL 2024. https://proceedings.mlr.press/v270/kim25c.html ↩ ↩2

  3. K. Black et al., "π₀: A Vision-Language-Action Flow Model for General Robot Control," 2024. https://arxiv.org/abs/2410.24164 ↩ ↩2

  4. D. Ha, J. Schmidhuber, "World Models," 2018. https://arxiv.org/abs/1803.10122 ↩

  5. D. Hafner et al., "Dream to Control: Learning Behaviors by Latent Imagination" (Dreamer), 2019. https://arxiv.org/abs/1912.01603 ↩

  6. D. Hafner et al., "Mastering Diverse Domains through World Models" (DreamerV3), Nature, 2025. https://arxiv.org/abs/2301.04104 ／ https://www.nature.com/articles/s41586-025-08744-2 ↩

  7. D. Hafner, W. Yan et al., "Training Agents Inside of Scalable World Models" (Dreamer 4), 2025. https://arxiv.org/abs/2509.24527 ↩ ↩2

  8. "World Models for Robotic Manipulation: A Survey," 2026. https://arxiv.org/abs/2606.00113 ↩ ↩2

  9. W. Zhang et al., "DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge," 2025. https://arxiv.org/abs/2507.04447 ↩

  10. H. Zhen et al., "3D-VLA: A 3D Vision-Language-Action Generative World Model," ICML 2024. https://arxiv.org/abs/2403.09631 ↩

  11. H. Li et al., "VLA-RFT: Vision-Language-Action Reinforcement Fine-Tuning with Verified Rewards in World Simulators," 2025. https://arxiv.org/abs/2510.00406 ↩

  12. "World-VLA-Loop: Closed-Loop Learning of Video World Model and VLA Policy," 2026. https://arxiv.org/abs/2602.06508 ↩

  13. "A Survey: Learning Embodied Intelligence from Physical Simulators and World Models," 2025. https://arxiv.org/abs/2507.00917 ↩

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?