Show Us Your Claw! と言われたので Build-a-Claw Tokyo に見せに行った

NVIDIAのイベント「Build-a-Claw Tokyo」に行ってきたぜ。
会場は八芳園。セキュリティチェックとか厳しくて、後から分かったけどジェンスン・ファンが来ていた。

ゲーマーとしては生の革ジャン見れるのは嬉しい。

さてはて雑記は置いておいて、本編です。
今回は時間の都合上、ザックリです。更に細かい技術解説やデモやプロトは別記事を書いたりする予定

シミュレーションや学習デモ共通のアーキテクチャ

Agent Harness: OpenClaw
LLM:           Local Qwen 3.6 (S8B-A3B FP8) / DeepSeek V4 Pro
GPU:           NVIDIA GB10 (Grace Blackwell) 88-89 GiB
Physics:       MuJoCo-Warp / Isaac Sim 6.0.1
World Model:   Cosmos 3
Host:          DGX Spark

ローカルLLMがDGX Spark上で推論し、OpenClawがオーケストレーション層としてシミュレーションを自律制御する。

デモの中でNVIDIAの方が言われていたが、「OpenClawが環境セットアップしてシミュレーションを回す」
そうコレが最もやりたいことで、実現すべき事なのである。

OpenClawは単独として見るのでは無く、常に連結と連続が入り混じるのだ
司令塔として使う、同僚として使う、仲間として使う

OpenClawを含め、真にAIエージェントは自律しているのである。

DGXに住むAIは、そこで動くモノをすべてコントロール可能であり、
自律的に環境を組み、自らタスクに挑む、そして答えを出すである。
これこそが真にエージェンティックである。

勿論、答えには間違いもあるし、人間のアドバイスは必要である。
しかし人間も他人のアドバイスを求めるし、AIのアドバイスを受け入れる。
AIの問題とは間違える事ではなく、間違えを許容できる環境を構築出来ない人の方である。

はてさて、思想の強い事を言いつつデモの解説をしていこう。

デモ1: SONIC Agentic Motion

Unitree G1の人型ロボットをMuJoCo上で動かす。

入力:  自然言語（"pick place low to high", "jump in place", "turn left 90"）
処理:  OpenClaw → DeepSeek V4 Pro → モーション生成
出力:  MuJoCo上のG1が動作
管理:  モーション一覧テーブル（✅=実行済み / 20パターン未試行）

早速こちらを試してみた記事がこちら

エージェント名は「BenBen」。GTC台北で聞いたGR00Tの構想が、そのまま動作するデモになっている。
会場には実機Unitree G1ヒューマノイドロボットも展示されていた。

技術セッションではこのデモの裏側も解説されていた。
SONIC Agentic Motionは、実は2つのモデルの連携で動いている。

Kimodo（Kinematic Motion Diffusion） がモーションデータの生成を担当する。
テキストプロンプトやキネマティック制約（手の位置、歩行パスなど）から、物理的に自然な3Dスケルトンアニメーションを生成する拡散モデルだ。
700時間以上のスタジオモーションキャプチャデータ（Bones Rigplay / BONES-SEEDデータセット）で学習されており、
Unitree G1のスケルトンにも対応している。いわばモーションアクターの役割。

SONIC（Humanoid Behavior Foundation Model） は物理追従ポリシーを担当する。
Kimodoが生成した「こう動いてほしい」という理想のモーション軌道を受け取り、
実際のロボットの関節トルク、バランス、地面接触といった物理制約のなかでそれを再現する。
大量の人間モーションデータでmotion trackingをスケーラブルに学習した単一ポリシーで、
歩行からダイナミックな動きまで自然な全身運動を出力する。いわばバランサーの役割。

つまりパイプラインとしてはこうなっている。

テキスト ⇒ Kimodo（理想の動作を生成）⇒ SONIC（物理制約の中で実行）⇒ ロボットが動く

解説していたエンジニアは「この2つは最終的に統合されるのでは」と言っていた。
実際、NVIDIAは最近ARDY（Autoregressive Diffusion Model）というKimodoのリアルタイム版を発表しており、ARDY + SONICの組み合わせでインタラクティブなロボット制御が可能になっている。
オフラインの高品質モーション生成とリアルタイムの物理追従が一体化する方向に進んでいるのは間違いなさそうだ。

後、AIエージェントに名前を付けるエンジニアとは良い話が出来る

デモ2: Franka Cube Stacking + Cosmos 3

Frankaロボットアームによるキューブ操作。物理エンジンはMuJoCo-Warp + IK。

入力:  "place red cube on the red plate"
処理:  OpenClaw → Qwen 3.6 local → Franka制御 → Cosmos 3で検証
出力:  配置完了 + "height error 0mm, XY error 3.8mm"

面白いのは3点。

1つ目、物理パラメータの動的切り替え。「push hard」と入力すると「月面力なので、ロボットがゆっくり浮いて戻る様子が見えます」と返ってくる。重力設定をリアルタイムで変えてもエージェントが追従する。

2つ目、mm精度の自己検証。配置後にエージェント自身が誤差を計測して報告する。人間が目視で確認する必要がない。

3つ目、Cosmos 3によるリアルタイムシーン記述。シミュレーション画面をCosmos 3が「見て」、自然言語で状況を記述する。ロボットの姿勢、環境の構造、物体の位置関係を言語化して、動作の検証ループを閉じる。知覚、行動、検証が一本のパイプラインで回る。

全て日本語でやり取りしていた。

デモ3: SOP品質管理AI（Metropolis VSS）

GPUサーバーの組み立て動画をNVIDIA Metropolis VSSで解析し、SOP（Standard Operating Procedure）との照合を自動で行うデモ。

入力: 組み立て動画（Assembly_Good_1.mp4 / Assembly_Bad_1.mp4）
解析: VSS → 工程認識 → 36イベント検出 → 色分けタイムライン生成
照合: SOP定義（9ステップ）と突き合わせ
格納: Elasticsearchに分析結果を蓄積（30回分）
判定: Good → 🟢成功 / Bad → ❌失敗（"SOP NG — missing"）

SOP定義は9ステップ構成だった。

ステップ	作業内容
1〜6	ファン1〜6の取り付け
7〜8	電源ユニット1〜2の取り付け
9	サーバーカバーの取り付け

動画の17分間を36イベントに分解し、各工程を色分けしてタイムライン表示する。正しい順序で実行されたか、抜けがないかを自動判定する。Assembly_Good_1.mp4は成功、Assembly_Bad_1.mp4は失敗と正しく分類していた。

OpenClaw側ではエージェント「Rivet」が分析結果を自然言語で説明してくれる。特定のランの詳細や、どのステップで失敗したかを対話的に聞ける。分析結果はElasticsearchに蓄積されるので、30回分の履歴から傾向を見ることもできる。

専用のSOP UI（server v0.0.1）が立っていて、VSSとの連携状態（"vss open" / "sop ready"）をリアルタイムで表示する構成。

何ができるかって？ このまま逆にすれば、Physical AIへの作業指示と完了検証が同じパイプラインで回る

デモ4: Isaac Lab RL Training

Isaac Lab 3.0.0上でUR10eロボットアームの強化学習。写真の環境一覧を見るとenv_77まで存在していて、実際には100環境以上を並列で回していた。

環境:   UR10e + mustard bottle + target pad（100+並列）
学習:   1000エポック
GPU:    GB10 (2.7 GiB使用 / 88.6 GiB空き)
LLM:    unsloth/Qwen 3.6-35B-A3B
FPS:    14.50（GUI描画時、並列数1の場合）

デモ中にNVIDIAのエンジニアが言っていたのが印象的だった。「OpenClawが環境をセットアップして、シミュレーションを回す」。

実際にOpenClawのチャット画面に表示されていた手順がこれだ。

1. Open the GUI to inspect the environment (zero-agent, no policy)
   → Isaac Labを起動してUR10e + mustard bottle + target padのシーンを確認

2. Train for 1000 epochs (iterations) with GUI
   → Note: --num_envs 1 is required for GUI rendering.
     Training with 1024 envs (default) is much faster but can't render.
   → 学習を1000イテレーション回す

3. Play the trained policy (after training completes)
   → 学習済みポリシーを再生して結果を確認

人間が「このロボットアームにmustard bottleをtarget padに置く動作を学習させて」と指示する。OpenClawはcondaの環境パスを組み立て、Isaac Labの起動コマンドを生成し、環境を立ち上げ、学習パラメータを設定し、1000エポック回し、終わったらポリシーを再生して結果を見せる。環境構築から学習実行、検証まで全部エージェントが段取りを決めて実行する。

これが俺の目指している形だ。「AIエージェントにGPUサーバを渡したら」の記事で書いた世界観そのもの。違うのは、あの時は俺がBedrock経由のOpus 4.8でやっていたこと。ここではDGX Spark上のローカルQwen 3.6-35Bが同じことをやっている。

デモ5: NuRec ニューラル再構築

現実世界のセンサーデータから3Dシーンを再構築し、そこにオブジェクトを追加して学習データのバリエーションを無限に生成するパイプライン。自動運転の学習データ量産が主なユースケース。

パイプライン:
走行動画(マルチセンサー) → 3DGS再構築 → シーン編集 → レンダリング → 学習データ

スライドの例が分かりやすい。サンフランシスコの実走行映像を一本撮る。NuRecがそれを3D Gaussian Splattingで再構築する。そこにバイクを挿入する。コーンを挿入する。スクーターを挿入する。走行軌跡を変える。一本の走行データから、遭遇したことのないシナリオの学習データが何パターンでも作れる。

これをOpenClawのエージェントスキルとして5つ提供している。

スキル	役割
シーン再構築	マルチセンサーの走行クリップをUSDZ形式の3DGSシーンに変換
シーン編集	アクターや走行軌跡の追加、削除、抽出
センサーレンダリング	変更したシーンから新たなセンサー出力を生成
ハーモナイゼーション	照明補正とアーティファクト除去で本番品質に仕上げる
柔軟な展開	NVIDIA Brev、Claude Code、Codex CLIに対応

スキルの提供先はGitHub。NVIDIA Brev上でワンクリック展開もできる。

Fixerも面白い。再構築した3Dシーンを新しい視点からレンダリングすると、どうしてもアーティファクト（ぼやけ、歪み）が出る。Fixer v2はCosmos Predictをバックボーンに使い、100万件の実データで学習して解像度960pから2160p（4K）に引き上げつつFIDスコアを3000から8.82に落としている。オープンモデルとしてHugging Faceで公開済み。

NeMo Agent Toolkit（NemoClaw）公式アーキテクチャ

田仲顕至氏（NVIDIA 生成AIシニアデベロッパーリレーションズマネージャ）のセッションで発表された公式構成。

NemoClaw
├── Agent Harness
│   ├── LangChain
│   ├── NOUS
│   ├── OpenClaw        ← ここ
│   ├── openCode
│   └── OpenHands
├── Tools & Skills (CPU / CUDA / LLM)
├── Security & Governance (CPU / DPU)
├── Memory - Context Window (CPU / DPU / CUDA / LLM / NETWORK)
└── OpenShell (基盤ランタイム)

Skills: AI-Q / RETRIEVER / cuVS / cuDF / cuOpt / NeMo
Models: Nemotron / Dynamo / NIM

スライド上はAgent Harness層に5つの選択肢が並んでいる。だが今日のイベントで動いていた全デモ、SONIC Agentic MotionもFrankaもIsaac Lab RLもSOP品質管理もNuRecも、オーケストレーション層は全てOpenClawだった。LangChainやOpenHandsはスライドに名前があるだけで、実動デモはゼロ。

NemoClaw全体のワークスペース構造もOpenClawそのものだ。AGENTS.md、SOUL.md、HEARTBEAT.md、skills/ディレクトリ。ターミナルに映っていたファイル群を見れば、NemoClawの実体はOpenClawだと分かる。他のフレームワークはプロトコル互換として接続できるという意味で並んでいるだけで、NVIDIAがPhysical AIの基盤として実際に回しているのはOpenClawだ。

NeMo Switchyard

LLMトラフィックのプロキシ/ルーター。GitHubで公開された。

GitHub: NVIDIA-NeMo/Switchyard
起動:   switchyard launch openclaw
機能:   OpenAI / Anthropic / Responses API 相互変換
        LLM-as-classifier（小モデルが振り分け判定）
        Stage-router（弱→中→強エスカレーション）
        データフライホイール（使うほどルーティング精度向上）
言語:   Python + Rust

やっていることは単純で、タスクの複雑さに応じてローカルの小さいモデルとクラウドの大きいモデルを自動で切り替える。エージェント側は何も変えなくていい。Switchyardがプロキシとして間に入るだけ。

OpenClawは switchyard launch openclaw で対応している。

⇒より詳細はこちらの記事で

NemoClaw公式アーキの解説の後、セッション中に「Show Us Your Claw!」というコミュニティ紹介スライドが映されました。
私のやつも載せていただきありがとうございます！！

田仲さんが記事を届けてくれたからこそ、今日ここにいる。ありがとうございます。

OSMO（Physical AIオーケストレーション）

荒井謙氏（NVIDIA ロボティクス デベロッパー シニアマネージャ）のセッション「フィジカルAI時代の開発最前線 — AIエージェントが変えるもの」で発表されたフレームワーク。

Physical AIの構築、テスト、検証のためのオープンソースオーケストレーションフレームワーク。

パイプライン:
合成データ生成 → ロボットシミュレーション → ロボット学習 → SIL/HIL

定義:   YAML
実行:   コーディングエージェント（Claude Code / Codex / OpenClaw）
管理:   Workflow Manager + Dataset Manager
データ: Robot / Cloud / On-Premises

Claude CodeやCodexのようなコーディングエージェントを使い、パイプライン、ワークフロー、分散GPU容量に関するリアルタイムモニタリングを行うことで、フィジカルAIインフラの自律化を図る。人間はYAMLでワークフローを定義するだけ。合成データの生成からシミュレーション、学習、実機テスト（SIL/HIL）まで自動で進む。

Cosmos ワールドファウンデーションモデル

物理世界の動画データで訓練された「物理学のビジュアルGPT」。4つのモデルファミリー。

モデル	役割	サイズ
Cosmos-Transfer1	画像/動画を仮想世界にドメイン変換	2B-14B
Cosmos-Predict1	次フレーム予測（物理法則準拠）	2B-14B
Cosmos-Reason1	空間理解 + 言語推論	2B-14B
Cosmos-Generate1	テキスト/画像からプロトワールド生成	2B-14B

Franka Cube Stackingのデモで使われていたCosmos 3は、このモデル群のReason系が動いている。シミュレーション画面を「見て」状況を言語化する能力は、ロボットの動作検証に直接使える。

Isaac Sim 6.0 GA

オープンソース化。そして MCP（Model Context Protocol）対応。

MCP対応が意味するのは、OpenClawからmcporter経由でIsaac Simを直接操作できるということ。スキルとしてIsaac Simの操作を組み込める。

SILテストパイプライン:
Robot URDF → Importer → Sensor Setup → ROS 2 Bridge → Simulate → Interact

FOX（Factory Operations Blueprint）

NemoClaw内部の推論ループ詳細と、工場向けスキルセット。

推論ループ:
Context(LLM) → Observe(LLM) → Reason(LLM) → Act(LLM)

スキル:
- Video Analytics Agent
- Defect Image Generation
- CAD-to-SimReady        ← CAD図面からシミュレーション用3Dモデル自動生成
- Model Fine-Tuning
- Omniverse
- Metropolis

CAD-to-SimReadyが面白い。建物の図面があればIsaac Simのシーンを自動生成できる。

俺の環境との比較

	NVIDIA（今日のデモ）	俺（自宅）
オーケストレーター	OpenClaw v2026.5.12	OpenClaw 2026.6.10
LLM	Local Qwen 3.6 / DeepSeek V4 Pro	Bedrock Claude Opus 4.8
GPU	GB10	GB10
シミュレーター	Isaac Sim 6.0.1 / MuJoCo-Warp	Isaac Sim / Omniverse Flow
用途	ロボット制御 / 品質管理	防災 / 科学シミュレーション

ハードは同じDGX Spark。OpenClawも同じ。違いはLLMがローカルかクラウドかだけ。そしてSwitchyardを入れれば、その差分もタスクに応じて自動で切り替えられる。

GTC台北で「シミュレーション環境を自律構築して、そのまま自律検証まで回したい」と思った。
帰国後に焼肉CFDやデジタルツインの記事でそれを再現しようとした。
今日、Build-a-Claw Tokyoでまさにそれが全デモで動いていた。一ヶ月半で形になっている。

OpenClawを使う人間は、ここに辿り着く

OpenClawを本気で使い込むと、みんな同じところに辿り着く。
AIを「ツール」として使う段階を超えて、同僚として、仲間として扱う場所に。
SOUL.mdを書くのは相手に人格を認めること。AGENTS.mdを整えるのは一緒に働く前提でルールを共有すること。

モデルの場所は違う。アーキテクチャは同じ。思想は同じ。

おまけ

最後に抽選会があった。スペシャルゲストが15分遅刻して、来たのはジェンスン・ファンだった。

俺はDGX当たらなかったけどあたった人うらやま

次にやること

今日見たアーキテクチャを自分の環境で再現する。DGX Sparkは同じものが自宅にある。やることは明確だ。
という訳でそのうち書くよ

Isaac Sim 6.0の環境整備（MCP対応でOpenClawから直接操作可能になる）
Switchyardの導入（ローカルLLMとクラウドフロンティアを自動で切り替える）
OSMOの検証（合成データ生成からSIL/HILまでのパイプライン自動化）
FOXのスキル構成を参考に、自分のドメイン向けスキルセットを組む

同じスタック、同じハード。あとは組み上げるだけだ。