障害物の前で、数秒待つ設計は間に合わない
金曜の午後です。倉庫のロボットが、通路にはみ出した荷物に近づきます。回避をクラウド上の大規模言語モデル（LLM）に聞き、返事が2秒後に届いたときには、すでに接触しています。バッテリーで動く小型の機体に、学習用のGPUサーバと同じ計算を載せることも、簡単ではありません。
画面の中のAIは、モデルを大きくし、データと計算を増やすことで性能を上げてきました。床の上に出ると、待ち時間、電力、故障、人や設備への接触が、性能の前に出てきます。
この記事では、判断も制御も1つの巨大LLMに寄せる設計を「LLM一神教」と呼びます。離れる、というのはLLMを捨てることではありません。指示の理解、手順、認識、動作、モーター、緊急停止を、別の場所に置くことです。
認識から制御までの層と、出力が次の世界を変えてしまう閉ループは、「ロボットのAIなんて昔からあったよね？」——それでもフィジカルAIが新しいと呼ばれる理由 に書きました。本稿は、その層を現場の遅延と電力にどう割り当てるかを見ます。
画面の外では、時間と電力と安全が先に来る
たとえば、倉庫で「A地点からB地点へ荷物を運ぶ」と頼むとします。文章の指示を手順に分ける仕事は、1秒や2秒かかっても作業全体は続きやすいです。移動中に障害物へ近づいたときの車輪の加減速は、その時間では遅いです。
必要な精度、推論の時間、消費電力、未知の状況への対応、止まったときの動き、学習と保守の費用。モデルを選ぶときに見る項目は、ベンチマークの点数だけではありません。
ここから先の戦略は5つです。置く場所を3層に分ける。要求を満たす小さい構成を選ぶ。現場の操作を学習データにする。近くの判断を残す。シミュレータと実機の差を戻す。先に、その考え方の材料として、昆虫の神経系の研究を置きます。
約139,000個のニューロンは、全部を1つに載せないヒントになる
2024年10月、FlyWireコンソーシアムは、ショウジョウバエの成虫（メス）の脳について、校正済みニューロン139,255個と、その間の化学シナプス約5,450万個の配線図を公開しました。論文は Neuronal wiring diagram of an adult brain（Dorkenwald et al., Nature）です。
この脳で、ハエは障害物を避け、餌を探し、状況に応じて動きを変えます。配線が分かったことと、その行動をコンピュータ上で再現できたことは、別です。論文が公開したのは接続の地図であり、あらゆる行動の完全なシミュレーションではありません。
同じ日に出た別の論文が、計算モデルを示しています。A Drosophila computational brain model reveals sensorimotor processing（Shiu et al., Nature）は、中枢脳のコネクトーム（12万5,000を超えるニューロンと、5,000万を超えるシナプス）と、神経伝達物質の予測から、leaky integrate-and-fire という単純な神経モデルを作りました。糖や水を感じるニューロンをモデル内で活性化すると、摂食の開始に関係するニューロンが予測できます。触角の清掃（antennal grooming）の回路も、機械感覚の入力から狭い範囲のニューロンとして予測しています。摂食側の一部は、光遺伝学と行動実験で確認されています。
混同しない方がよい点が1つあります。生物のニューロン数と、AIモデルのパラメータ数は、同じ尺度ではありません。139,255個だから小型モデルで足りる、という結論にはなりません。研究が残している問いは、別のところにあります。目的の違う処理を、短い感覚運動の経路として分けている、という設計です。
目的ごとに、処理を分ける
ハエは、人間のような言語知識を持って飛びません。飛ぶ、歩く、餌を探す、といった生存に必要な行動に、回路が寄っています。工場で特定の傷だけを見つける仕事も、世界知識を全部載せたモデルが先に要るとは限りません。
見えたものに合わせて、その場で動きを直す
障害物が見えるたびに、倉庫全体の在庫を推論し直す必要はありません。センサーの値が変わったら、進行方向と速度をすぐ修正する。上位の計画は、その修正が何度も失敗したときに見直せば足ります。
計算だけで身体を代替しない
生物の行動は、神経系だけでは成立しません。感覚器、筋肉、体の形、床や空気との接触が、動きの一部です。ロボットでも、カメラの位置、関節の遊び、グリッパーの摩擦が、モデルの出力を変えます。知能を筐体の外のAPIだけに置くと、この差が見えなくなります。
計画はLLMに、停止は別の回路に
倉庫ロボットに戻ります。「赤い箱をB地点へ」という指示の理解と、作業順の組み立てには、LLMやVLMが向きます。VLMは Vision-Language Model の略で、画像と文章を一緒に扱うモデルです。
箱の検出は、軽量な画像認識で足りることがあります。腕や車輪の動きの生成には、VLA（Vision-Language-Action。画像や文章からロボットの動作を出すモデル）、模倣学習、強化学習が候補になります。関節を周期的に追従させる部分は、PID制御やMPC（モデル予測制御）のような従来の制御が、いまも速いです。人が近づいたときの電源遮断は、学習モデルの推論結果を待たない独立した安全系に残します。
| 処理 | 向く技術 | 主な役割 |
|---|---|---|
| 作業指示の理解 | LLM、VLM | 人の指示を手順に分ける |
| 作業順の決定 | LLM、計画アルゴリズム | どの順で運ぶかを決める |
| 物体の検出 | 軽量な画像認識 | 対象がどこにあるかを出す |
| 動作の生成 | VLA、模倣学習、強化学習 | 腕や移動の動きを出す |
| モーター制御 | PID、MPCなど | 指令に関節を追従させる |
| 緊急停止 | 独立した安全制御 | 危険な動作を電源側で止める |
2025年6月、Google DeepMind は Gemini Robotics On-Device を発表し、ロボット上でVLAを動かす方向を示しました。2026年7月の Gemini Robotics 2 では、On-Device 2 を、ネットワーク遅延や接続がない環境向けの効率的なVLAとして置いています。製品ページでも、ローカル実行とネットワーク制約が前提です（Gemini Robotics On-Device 2）。公開時点では trusted testers 向けで、一般のAPIから誰でも呼べるモデルではありません。
計画、動作生成、機体上の推論を分け、通信が細くても動く構成へ寄せています。3つのモデルの役割の詳細は、前出のアーキテクチャの記事に譲ります。
先に書くのは、処理ごとの遅延予算
クラウド、エッジ、制御の3層に分ける
クラウドに集約すると、学習、複数拠点の分析、モデルの配布は楽になります。フィジカルAIでは、通信の遅れ、回線断、消費電力、止めたあとの挙動が、集約の損得を変えます。
分け方の目安は次のとおりです。クラウドでは、大規模な学習、ログの分析、その日の作業計画を持ちます。エッジでは、カメラの認識、その場の判断、動作の生成を実行します。リアルタイム制御では、モーター、姿勢、衝突回避をミリ秒の周期で回します。
4足歩行で考えると、上位は「あの地点まで行く」という目標を持ち、学習済みの歩行方針が関節の動きを出し、その下の制御器がモーターを回します。上位のモデルが止まっても、下の安全制御が姿勢を保つか、その場で停止できることが条件です。
許容遅延は、処理の名前とセットで書きます。作業計画は秒単位でよいことがあります。姿勢制御はミリ秒の周期になります。数字は現場の安全要件で置き換えてください。次のYAMLは、そのメモの型です。
# 遅延予算のメモ。数値は例であり、安全規格の値ではない。
# ロボットには接続しない。
placements:
- name: work_planning
budget_ms: 2000
where: cloud_or_edge
on_timeout: replan
- name: object_detection
budget_ms: 50
where: edge
on_timeout: slow_down
- name: motor_servo
budget_ms: 5
where: realtime_controller
on_timeout: hold_last_safe_command
- name: emergency_stop
budget_ms: 10
where: independent_safety
on_timeout: cut_power
配置を決めたあとに、速い処理がクラウド側へ戻っていないかを見ます。次のスクリプトは、その点検用です。Python 3.10以上で、追加ライブラリなしで動きます。実機の制御ループではありません。
# 設計メモの点検。モーターと緊急停止をクラウドへ置いたら警告する。
BUDGETS = {
"work_planning": {"budget_ms": 2000, "where": "cloud_or_edge"},
"object_detection": {"budget_ms": 50, "where": "edge"},
"motor_servo": {"budget_ms": 5, "where": "realtime_controller"},
"emergency_stop": {"budget_ms": 10, "where": "independent_safety"},
}
CLOUDISH = {"cloud", "cloud_or_edge"}
def placement_warnings(assignments: dict[str, str]) -> list[str]:
warnings = []
for name, spec in BUDGETS.items():
where = assignments.get(name, spec["where"])
if spec["budget_ms"] <= 10 and where in CLOUDISH:
warnings.append(
f"{name}: {spec['budget_ms']}ms の処理を {where} に置いています"
)
return warnings
if __name__ == "__main__":
print(placement_warnings({
"motor_servo": "cloud",
"emergency_stop": "cloud",
}))
エッジ側の計算機が、どこまで載るかの例が NVIDIA Jetson Thor です。2025年8月25日に開発者キットと量産モジュールの一般提供が始まり、ロボティクス向けのAIコンピュータとして、最大2,070 FP4 TFLOPS、メモリ128GB、電力の枠130Wと発表されています。前世代の Jetson Orin と比べ、AI計算は最大7.5倍、エネルギー効率は最大3.5倍、という数字も同じ発表のものです（NVIDIA Newsroom）。これはベンダーの公称値です。自社のモデルが、その電力で何ミリ秒かを測る作業は別に残ります。
要求を満たす、いちばん小さいモデルを選ぶ
部品の傷を、決まった形だけ見つける仕事があります。この条件なら、巨大なマルチモーダルモデルより、小さい画像認識の方が、速度と費用で合うことがあります。障害物を避けるだけの移動なら、言語モデルが要らないこともあります。従来の制御で仕様を満たすなら、そこが候補です。
未知の荷物や、指示の言い換えだけを、上位のVLMへ上げる。いつも使う経路は軽いモデルに残す。ソフトウェアの責務分割と同じで、1つのブラックボックスに全部の判断を入れない、という分け方です。毎ステップで重い世界モデルを回さない実装の話は、【技術解説】次世代ロボットAI「MolmoAct2」は、なぜ“ワールドモデル全面依存”を避けたのか にあります。
比べる項目は、精度、推論時間、電力とメモリ、未知状況、障害時の止まり方、学習から保守までの費用です。いちばん高い点数のモデルを、初期値にしない。要求を満たす最小の構成から試し、足りない処理だけ上のモデルへ上げます。
人の操作を、次の学習データにする
LLMは文章や画像から学べます。ロボットの動作は、関節の角度、モーターの状態、把持力、対象の位置と、カメラ画像をセットで扱います。コップの形や材質が変わると、同じ軌道では失敗します。
LeRobot は、Hugging Face が公開しているロボティクス向けの枠組みです。人がロボットを動かし、映像と動作を記録し、そのデータで方針（ポリシー）を学習し、機体で実行します。この流れは模倣学習です。報酬関数を最初から設計しなくても、見せた作業を覚えられることがあります。公式ドキュメントは、最初の方針として ACT（Action Chunking with Transformers）を勧めています。軽い模倣学習で、細かい手さばきから入る、という位置づけです。
データがHub上にあり、GPUとLeRobotの導入が済んでいるときの学習コマンドは、次のような形です。引数の詳細は、使っている版のドキュメントに合わせてください。
# 実機への展開は、速度制限と非常停止がある環境で行う。
lerobot-train \
--dataset.repo_id=${HF_USER}/your_dataset \
--policy.type=act \
--output_dir=outputs/train/act_your_dataset \
--policy.device=cuda
模倣学習は、見せていない状態で失敗します。落とした、掴み損ねた、という結果だけでは次の学習に足りません。そのとき見えていた画像、選んだ動作、失敗した時点が残ると、追加データを作れます。
収集、モデルの配布、監視、権限、監査まで含めた備えは、フィジカルAI時代に、IT技術者は何を準備すべきか に整理してあります。本稿で書くのは、失敗の瞬間を学習の入力に戻す、という記録の中身です。MLOps（学習、評価、配備、監視を継続する仕組み）に、センサーと動作の履歴が加わります。
1台に全部を持たせず、近くの判断を残す
広い倉庫を、全部できるロボット1台で回すと、管理画面は単純になります。その1台が止まると、作業も止まります。小型を複数にして役割を分けると、並列に運べることと、1台の故障をほかで埋めることがあります。
中央は、注文と在庫から仕事を割り当てます。各ロボットは、自分の位置と周囲の障害物で、局所の進路を決めます。同じ通路を使うときは、優先順位を調整する交通の仕組みが要ります。通信が切れても、衝突回避と停止は各機体で動くようにしておきます。
マイクロサービスで培った分割は、ここに使えます。APIのタイムアウトと違い、遅れた判断は床の上の接触になります。台数が増えると、割り当てと全体の最適化が新しい仕事になります。
シミュレータの成功を、実機の差で戻す
4足歩行を強化学習で覚えるとき、実機で何万回も転ばせるのは現実的ではありません。物理シミュレータ上の多数の環境で、並列に学習します。画面の中で歩けても、実機のモーター遅れ、床の摩擦、センサーのノイズで、同じ方針が崩れることがあります。この差は Sim-to-Real Gap と呼ばれます。
差を小さくする代表例が、ダイナミクスランダム化です。学習中に、質量や摩擦などの物理パラメータをばらつかせ、1つの床だけで通用する方針を避けます。Xue Bin Peng らの Sim-to-Real Transfer of Robotic Control with Dynamics Randomization（ICRA 2018）が、その系統の論文です。実機から取ったデータでシミュレータ側を直す作業も、セットで残ります。
回す順番は、シミュレーション、実機での評価、差の分析、モデルの修正、再学習です。実機の試験では、速度制限、立入制限、緊急停止を先に置きます。歩けた映像より、人が入れる区域で何が起きるかの方が、試験の条件です。
ロボットを買う前に比べられること
一度に全部は覚えられません。従来の開発から広げるなら、順番を切った方が続きやすいです。
モデルを部品として比べる
最初に見るのは、LLM以外の向き不向きです。画像認識、強化学習、模倣学習、VLAが、どの失敗に強いか。推論の時間、メモリ、電力の測り方も、ここで持ちます。ロボットの購入はまだ要りません。公開モデルと公開データで、精度と実行コストを並べるところから始められます。
センサーと制御の言葉を持つ
次は、センサーとアクチュエータの関係です。アクチュエータは、電気の信号を物理的な動きに変える装置で、ロボットではモーターが典型です。座標系、運動学、フィードバック制御、PID、状態推定が、会話の土台になります。
フィードバックが分かると、AIの出力の位置も分かります。一度判断して終わり、ではありません。動いた結果を見て、次の指令を変えます。
シミュレータで歩かせてみる
物理シミュレータで、4足に前進歩行を学習させる課題が、この段階の題材になります。最初はランダムな関節運動です。前進した距離や、倒れなかった時間を報酬にすると、歩き方に近づいていきます。強化学習の報酬、観測、行動の幅を、画面の中で一度体験できます。
遅延と取り付け位置で、挙動が変わることを見る
最後に、実機かエッジデバイスで、シミュレータに出にくい問題を見ます。推論が遅れると制御が揺れます。カメラの取り付けが数センチずれると、認識の精度が落ちます。モデル単体の点数と、システムとしての挙動が、ここで分かれます。
棚の位置を変えないと、ロボットは人の動線にぶつかる
これまでのAI導入の多くは、今の業務に機能を足す形でした。問い合わせをチャットボットにする、文書の下書きを生成する、といった使い方です。それ自体は有効です。フィジカルAIでは、作業の場の形まで変えないと、ロボットが人の動線に乗ります。
物流センターなら、人が歩く前提の棚間隔のまま、ロボットの幅だけを合わせても、回避と待ちが増えます。棚の間隔、置き方、人とロボットの分担、複数台の運行を、一緒に見直すことになります。
要るのはモデルの知識だけではありません。業務の流れ、アーキテクチャ、データ、ネットワーク、セキュリティ、安全設計を、同じ図の上に載せることです。AIを作る人と、システムを分ける人が、別の会議で別の遅延を決めていると、現場で数字が合いません。
最初の半年は、比較表と小さな実験で足りる
導入を切るなら、次の粒度が扱いやすいです。
| 期間 | 重点 | 具体的にやること |
|---|---|---|
| 0〜6か月 | 技術の見取り図 | LLM、VLM、VLA、従来制御を、同じ作業で遅延と電力まで比べる |
| 6〜12か月 | 小さな検証 | シミュレータと、エッジ上の推論で PoC を1本にする |
| 1〜2年 | 現場の記録 | センサーと失敗のログを、再学習に戻せる形で貯める |
| 2〜3年 | 業務との統合 | 複数のモデルとロボットを、作業全体の流れに載せる |
最初の対象は、現場にすでにある1つの遅れや事故です。その作業にAIが要るかを先に見ます。従来の自動化で仕様を満たすなら、モデルを足さなくて済みます。足す場合も、巨大モデルが要るのか、小さいモデルで足りるのかを、遅延予算の表で見ます。効果が出た範囲だけ、次の作業へ広げます。
持っているモデルの大きさより、組み合わせて動かせるか
大きい汎用モデルを作る競争は、画面の中では有効でした。床の上では、時間、空間、エネルギー、安全が、モデルの外側に残ります。
高度な推論と計画には、大きいLLMやVLMを使います。現場の認識と動作には、軽いモデルやVLAを使います。周期の速い追従と停止には、従来の制御と独立した安全系を使います。この3つが、同じ作業の中で同時に動く状態を設計できるかが、技術者の仕事になります。
最初の成果物は、新しいロボットである必要はありません。1つの作業について、処理ごとの遅延、置く場所、タイムアウト時の動きを1枚に書いたとき、巨大モデルに寄せていた判断のいくつかは、別の層へ移せます。
作成日: 2026-10-12