はじめに
VR空間の中にラジコンの運転席を作り、席に座ってWASDやカーソル操作で実機を動かすラジコンを作りました。
このプロジェクトのプログラムは、OpenAI CodexでGTP-5.6 Luna xhighを使って作成しています。
この記事も、CodexでGTP-5.6 Luna xhighを使った対話を通じて構成・執筆しています。
構成は、次の3つのプロジェクトに分けています。
- XRiftワールド:VR内の運転席と操作UI
- Elixir製WebSocketサーバー:XRiftとマイコンの中継
- AtomVM/Elixirファームウェア:XIAO ESP32-S3でGPIOを制御
この記事では、部品の接続からWi-Fi設定、WebSocket通信、VR操作までを順番に説明します。
完成品
完成したラジコンの動作は、次のX投稿で紹介しています。
完成した構成
最終的な通信経路は次のとおりです。
XRift rc-world
⇄ WebSocket /ws
PC上のrc-ws-server
⇄ WebSocket
XIAO ESP32-S3 / AtomVM
⇄ GPIO
L298N
⇄
左右2個のモーター
プロジェクトはGitHubで公開しています。
各技術の役割
各技術の説明
XRift
XRiftは、WebXR対応の3D空間を作るプラットフォームです。
本記事では、運転席・操作パネル・カメラモニターをワールド内に配置します。
座席への着席状態とWASDやカーソル入力を使ってラジコンを操作します。
XRift公式ドキュメント
AtomVM
AtomVMは、BEAM系のコードをマイコン上で動かす実行環境です。
本記事ではElixirファームウェアをXIAO ESP32-S3で実行します。
Wi-Fi、WebSocket、GPIOを担当し、受信した命令をモータードライバーへ出力します。
AtomVM公式ドキュメント
Elixir
Elixirは、Erlang VM上で動作する並行処理向けの言語です。
本記事では、AtomVM側のファームウェアとPC側のWSサーバーに使います。
プロセスとパターンマッチを利用して、接続や切断を扱いやすくします。
Elixir公式サイト
WebSocket
WebSocketは、接続を維持したまま双方向にデータを送れる通信方式です。
XRiftとPC、PCとマイコンの間で操作命令と状態をリアルタイムに交換します。
接続切断時には停止命令を送るなど、安全側へ戻す処理も組み込みます。
MDN WebSocket API
VDO.Ninja
VDO.Ninjaは、ブラウザーのカメラ映像をWebRTCで共有できるサービスです。
本記事では、カメラ映像をrc-worldの3Dモニターへ表示するために使います。
ラジコン操作用のWebSocketとは分離しているため、映像だけを独立して確認できます。
VDO.Ninja公式サイト
使用した部品
- Seeed Studio XIAO ESP32-S3
- Grove Shield for XIAO
- L298Nモータードライバー
- F130 DCモーター 2個
- モーター用電源
- USB-Cケーブル
- ラジコン用シャーシと車輪
XIAO ESP32-S3とGrove Shieldについては、次の資料を参考にしました。
モータードライバーの配線
今回はL298Nの2系統を、左モーターと右モーターに1系統ずつ割り当てました。
| XIAO / Grove Shield | L298N |
|---|---|
| D0 / GPIO1 | IN1 |
| D1 / GPIO2 | IN2 |
| D2 / GPIO3 | IN3 |
| D5 / GPIO6 | IN4 |
| GND | GND |
モーターは次のように接続します。
左モーター → OUT1 / OUT2
右モーター → OUT3 / OUT4
ENA → ジャンパー
ENB → ジャンパー
モーター用電源には単三電池4本を接続し、Grove Shieldからは取らず、L298Nへ別に接続します。XIAOとL298NのGNDは共通にします。
L298Nと3Vモーターの注意点
ESP32-S3の5V端子とL298Nの5V端子を接続し、L298Nのロジック電源として使用しています。L298Nの5V端子はモーター用電源ではないため、モーター電源は別系統から供給します。
モーターの制御値
左右のモーターは、次のJSONメッセージで制御します。
{"type":"motor_set","left":1,"right":1}
値の意味は次のとおりです。
-
1:前進 -
-1:後退 -
0:停止
例えば、前進・後退・旋回は次のように表現できます。
| 操作 | left | right |
|---|---|---|
| 前進 | 1 | 1 |
| 後退 | -1 | -1 |
| 左旋回 | -1 | 1 |
| 右旋回 | 1 | -1 |
| 停止 | 0 | 0 |
AtomVMファームウェア
マイコン側は、専用のElixirプロジェクトであるatomvm-rc-carを使います。
主な役割は次のとおりです。
- Wi-Fiへ接続する
- WebSocketサーバーへ接続する
-
motor_setを受信する - GPIO1、GPIO2、GPIO3、GPIO6を切り替える
- 接続失敗時や切断時にモーターを停止する
GPIOは、L298NのIN1〜IN4へ接続しています。モーターへGPIOから直接電力を供給することはありません。
ビルド
cd atomvm-rc-car
mix deps.get
mix atomvm.check
mix test
mix atomvm.packbeam
AtomVMのESP32-S3用イメージを書き込んだ後、アプリケーションを書き込みます。
mix atomvm.esp32.install --chip esp32s3
mix atomvm.esp32.flash
Wi-Fi設定とNVS
Wi-FiのSSID、パスワード、WSサーバーのアドレスは、ソースコードへ埋め込まず、USBシリアルから入力します。
入力した値はESP32のNVS(Non-Volatile Storage)へ保存します。NVSはESP32内蔵フラッシュを使った不揮発性のキー・バリュー保存領域です。
そのため、通常の再起動や電源OFFでは設定が消えず、次回起動時に自動的に読み出されます。
設定変更時は、USBシリアルで次のように入力します。
screen <シリアルポート> 115200
起動後5秒以内に、次を入力します。
r
Enter
続けて、次の値を入力します。
Wi-Fi SSID: <Wi-Fi SSID>
Wi-Fi password: <Wi-Fiパスワード>
WS server IPv4 address (this PC): <PCのLAN側IP>
パスワードはGitHubへ保存されません。ただし、NVSの内容はアプリ側で暗号化していないため、実機を物理的に読み取られる可能性がある場合は注意が必要です。
設定後のログは次のようになります。
Wi-Fi connected: ...
WebSocket connected
Elixir製WebSocketサーバー
rc-ws-serverはPC上で動作するElixir製のWebSocketサーバーです。Cowboyを使い、/wsエンドポイントでクライアントを受け付けます。
主な役割は、XRiftとAtomVMの間でメッセージを中継することです。サーバー自身がモーターを制御するのではなく、受信したメッセージを別のクライアントへ渡します。
起動
cd ws-server
mix deps.get
mix test
PORT=4000 mix run --no-halt
開発時の接続先は次の形式です。
ws://<PCのLAN側IP>:4000/ws
同じPCのブラウザーで確認する場合は、localhostを使えます。別のVR端末から接続する場合は、localhostではなくPCのLAN側IPを指定します。
XRiftワールド
rc-worldは、XRift内にラジコン用の席と操作パネルを表示するプロジェクトです。
席に座っている間だけ、WASDまたはカーソル操作をラジコン命令として扱います。
画面には次の情報を表示します。
- WS接続状態
- 車体接続状態
- 着席状態
- 現在の操作指示
- 左右モーターの状態
- 入力元
WS接続先は、VITE_RC_WS_URLで指定します。
同じPCでローカル確認する場合は、次のように起動できます。
cd rc-world
npm install
VITE_RC_WS_URL=ws://localhost:4000/ws npm run dev
別のVR端末から同じLAN経由で接続する場合は、PCのLAN側IPを指定し、開発サーバーもLANから接続できるように起動します。
VITE_RC_WS_URL=ws://<PCのLAN側IP>:4000/ws npm run dev -- --host 0.0.0.0
ワールドでカメラ映像を表示する
このワールドでは、カメラ映像をVDO.NinjaからWebRTCで受信し、空間内の3Dモニターへ表示します。
今回のカメラ映像の経路は、ラジコン操作用のWebSocketとは別です。
カメラ配信端末
↓ WebRTC
VDO.Ninja
↓ WebRTC
rc-worldのVDO.Ninja Receiver
↓ VideoTexture
XRift空間内の3Dモニター
つまり、カメラ映像はrc-ws-serverやAtomVMを経由しません。WSサーバーが停止していても、VDO.Ninjaの映像受信だけを確認できます。
配信側の準備
カメラを接続したPCやスマートフォンでVDO.Ninjaを開き、カメラ映像を配信します。配信側で作成した視聴用URLを使います。
視聴用URLは、次のようにviewを含む形にします。
https://vdo.ninja/?view=<VIEW_ID>&room=<ROOM_ID>
実際の記事や公開リポジトリには、個人用のVIEW_ID、ルーム名、パスワードを掲載しません。
ワールド側で接続する
- XRiftワールド内の「VDO.Ninja 視聴URL」入力欄を選択する
- VDO.Ninjaの視聴用URLを入力する
- 「VDO.Ninjaに接続」を選択する
- 3Dモニターに「映像を受信中」と表示されることを確認する
ローカル開発ではブラウザーの入力ダイアログを使い、XRift上ではTextInputを使います。ワールドはURLからview、room、passwordを読み取り、VDO.Ninja SDKへ渡します。
受信処理では、音声を無効にした状態で映像だけを取得し、HTMLVideoElementをThree.jsのVideoTextureへ変換して3Dモニターのマテリアルへ設定します。
XRiftの権限設定
VDO.NinjaのWebRTC接続に必要なドメインを、xrift.jsonのpermissions.allowedDomainsへ追加しています。
{
"permissions": {
"allowedDomains": [
"vdo.ninja",
"*.vdo.ninja",
"wss.vdo.ninja",
"turnservers.vdo.ninja",
"stun.l.google.com",
"stun.cloudflare.com"
]
}
}
映像が表示されない場合
- 視聴用URLに
viewが含まれているか確認する - 配信側のカメラが動作しているか確認する
- ルーム名とパスワードが一致しているか確認する
- XRiftへ公開する場合はHTTPS環境を使う
- ワールドの表示が「映像を受信中」になるまで待つ
この初期実装では、単一の視聴映像を受信し、音声は受信しません。
動作確認
次の順番で確認します。
- WSサーバーを起動する
- AtomVMを起動する
- AtomVMのログでWi-Fi接続を確認する
-
WebSocket connectedを確認する - XRiftワールドを起動する
- ラジコン席に座る
- W/A/S/Dまたはカーソルボタンを操作する
- モーターの状態表示と実機の動作を確認する
ワールド側で車体: 未接続と表示されている場合、WSサーバーは起動していてもマイコンが接続できていません。この状態では、安全のため操作ボタンとキー入力を無効にしています。
トラブルシューティング
Wi-Fiは接続できるがWebSocketに接続できない
マイコンが保存しているWSサーバーのアドレスを確認します。PCのIPアドレスが変わった場合は、NVSの設定を再入力します。
マイコンから見たlocalhostはマイコン自身を意味するため、PC上のWSサーバーへ接続する場合はPCのLAN側IPを入力します。
Wキーを押してもワールドの表示が変わらない
次の3条件を確認します。
- ラジコン席に着席している
- WS接続が確立している
- 車体が接続済みになっている
このワールドでは、車体未接続時にモーター命令を送らない安全設計にしています。
モーターが回らない
- L298NのGNDとXIAOのGNDが共通か確認する
- モーター電源をGrove Shieldから取っていないか確認する
- L298Nの電源端子とモーター電圧を確認する
- F130とL298Nの電圧降下を確認する
- まずモーターの代わりにLEDなどでGPIO出力を検証する
セキュリティと運用上の注意
今回の初期構成は、信頼できる同一LAN内での開発を前提にしています。
- 開発時は
ws://を使用する - 外部公開時はリバースプロキシでTLS終端し、XRiftからは
wss://を使用する - WSサーバーに認証を追加するまで、インターネットへ直接公開しない
- SSID、パスワード、個人のIPアドレスをソースや記事へ掲載しない
- GPIOからモーターへ直接給電しない
今後の改善
今後は次の改善を予定しています。
- TB6612FNGまたはDRV8833への変更
- PWMによる速度制御
- WebSocketの認証
- WSS対応
- バッテリー電圧の監視
- モーターや車体の状態表示
まとめ
XRift、Elixir、AtomVMを組み合わせることで、VR空間の操作UIと実機のGPIO制御をWebSocketで接続できました。
3つのプロジェクトを分離したことで、次のような構成になっています。
- XRiftは操作画面に集中する
- Elixirは通信中継に集中する
- AtomVMはマイコンとGPIO制御に集中する
VR側の表示、サーバー側の通信、マイコン側のハードウェア制御を分離できるため、今後のモータードライバー変更や操作方法の追加にも対応しやすい構成です。