1. はじめに
前回の記事(【LangGraph×ラズパイ】AIエージェントでロボット(PiCar-X)を自律制御してみた)では、LangGraphを使って「ロボット自身がカメラ画像を見て状況を判断し、自律的に動く仕組み」を作りました。
当時は「エージェントが自分で考えて動いた!」と感動したのですが、実機で実験を重ねるうちに実用面で完全に絶望しました。
なぜLLM直接制御ではダメだったのか?
-
判断が遅すぎて激突する(約1Hz)
- 静止画撮影 → LLM API呼び出し → JSONパース → 走行指令、の流れで1秒以上かかります。秒速数十cmで進むロボットにとって、1秒前の判断で走り続けるのは目隠し運転と同じで、障害物を見つけたときには既に突っ込んでいました。
-
Wi-Fiが瞬断すると止まらない
- ネットワーク越しの制御なので、電波の途切れやAPIレート制限に引っかかると、直前の「前進」コマンドのまま机の脚にダイブします。「安全をネットワークの向こう側に委ねてはいけない」と身をもって知りました。
-
マルチエージェント化の挫折
- 前回「次は走行・視覚・音声を分けたマルチエージェントを作りたい」と書いたのですが、実際に試すとモデル呼び出しのオーバーヘッドでレイテンシがさらに倍増。エッジロボットには完全な過剰設計でした。
「フレーム単位のリアルタイムな操舵判断にLLMを使ってはいけない」
これが前回の最大の反省でした。そこでアーキテクチャを根本から見直し、「Rustによるミリ秒単位の安全層」+「ラズパイ単体で動くエッジCNN推論」+「自作MLOps基盤」 へと全面刷新しました。
2. 新アーキテクチャ:体(Rust)と脳(Python)の完全分離
まず最初に行ったのが、「リアルタイム制御」と「高次の意思決定」の物理的な分離です。
設計の割り切り
-
安全はラズパイ単独で担保する
- ラズパイ側で動くRustの反射ループ(40Hz)が超音波(15cm未満で強制停止)、段差センサー(落下防止)、指令の有効期限(TTL 400ms)を常時監視します。
- 危険検知からモーター停止までは最大20ms以内。PCがフリーズしてもWi-Fiが切れても、ラズパイが単独で即座にブレーキをかけます。
-
LLMにはハンドルを握らせない
- LLMが出すのは「右へ進んで」「おまかせ」といった大まかな意図(
intent)だけに限定しました。モーターを直接回す権限は持たせず、危険な状況ならラズパイ側がLLMの指示を拒否します。
- LLMが出すのは「右へ進んで」「おまかせ」といった大まかな意図(
【GUI 1】統合コントローラー(会話・状態監視・緊急停止)
PC上でエージェントとの対話やロボットの状態を一覧できるPySide6アプリです。
※各GUIおよび各機能は全て一から自作しています。
会話ごとにセンサー値をプロンプトへ注入することで、LLMがツールを呼び出さなくても「今バッテリーが7.4Vで、前方に障害物がある」といった状況を即座に把握して受け答えできるようにしています。
3. エッジ推論と自律走行MLOps基盤
1秒かかっていた自律走行ループをリアルタイムにするため、4層の軽量CNNをラズパイ上でエッジ推論させる構成に変更しました。
3.1 条件付き模倣学習によるモデル設計
NVIDIAのPilotNetに着想を得て、画像から直接ステアリング角を予測する小型CNN(パラメータ数約10万)を設計しました。
ここで工夫したのが、**行きたい向き(intent)によって出力ヘッドを分岐させる「条件付き模倣学習」**です。
RGB画像 (3, 120, 160)
│
├── 畳み込み層 × 4 (Conv2d + BatchNorm + ReLU)
├── AdaptiveAvgPool2d((4, 4)) -> 1024次元
├── Linear(1024 -> 128) + ReLU + Dropout(0.3)
│
├── [頭 any] : Linear(128 -> 32) -> Tanh -> 操舵角 (-1.0〜+1.0)
├── [頭 left] : Linear(128 -> 32) -> Tanh -> 操舵角 (-1.0〜+1.0)
├── [頭 right] : Linear(128 -> 32) -> Tanh -> 操舵角 (-1.0〜+1.0)
└── [頭 blocked (補助タスク)]: Linear(128 -> 32) -> 前方塞がり確率 (0.0〜1.0)
単に特徴ベクトルに意図を足すだけだとモデルが意図を無視しがちだったため、全結合層の先で意図ごとに出力ヘッドを完全に分けました。さらに共通特徴量から「前方が塞がっているか」も同時に予測させ、超音波が死角になる物体への減速に役立てています。
ラズパイ5上でRustの tract-onnx を使って実行したところ、推論時間の中央値は8.1ms(約15Hz追従) を達成。1秒かかっていた世界から一転、滑らかに走りながら障害物を避けるようになりました。
3.2 【GUI 2】データ収集:ゲームパッド操縦と15fps同期記録
自律走行の成否は教師データの質で決まります。綺麗なデータを集めるため、ゲームパッド(コントローラー)で手動操縦しながら記録するGUIを作りました。※ラズパイを起動していないためカメラなどの接続は切れています。
- スティックの倒し量に応じて毎秒60°のスムーズな操舵角を生成
- 走行中に
L/Rボタンを押すことで「左へ曲がる意図」「右へ曲がる意図」をリアルタイム付与 - カメラの常時配信(15fps)と操舵角・センサー値を1フレーム単位で完全同期してJSON Linesに記録
3.3 Data-Centric AI:光流(オプティカルフロー)で異常データを自動除外
集めたデータをそのまま学習に突っ込むと、モデルの挙動がおかしくなりました。車輪が空転して壁に突っかかっている時のデータや、停止中のデータが混ざっていたためです。
しかし、このロボットにはタイヤの回転数を測るエンコーダがありません。そこで、カメラの光流(Lucas-Kanade法)と超音波の変化から実際の動きを推定するアルゴリズムを組みました。
- 前進指示を出しているのに画像の拡大率が0(壁スタック)
- 直進指示なのに景色が横に激しく流れている(横滑り・スリップ)
- 停止中や後退中のフレーム
これらを自動検出し、学習用データセットから容赦なく除外するようにしました。モデル構造をいじるよりも、このデータクレンジングを入れた瞬間の方が明らかにモデルの走行安定性が上がりました。
3.4 【GUI 3】データビューア:光流の可視化とアノテーション
自動除外されたフレームや走行データを手作業で確認・修正するためのビューアも作成しました。

走行ログをコマ送り再生しながら、操舵角グラフや推定角速度の波形を同時に確認できます。「ここは壁に当たって止まっている」「ここは人が介入した」という箇所にタグを付けたり、学習から除外したりできます。
生データは書き換えず、アノテーション情報だけを別ファイルとして保存するイミュータブルな設計にしています。
3.5 【GUI 4】Web管理画面(Control Center):完全な来歴管理とデプロイ
モデルの学習、評価、実機へのデプロイを管理するため、FastAPIでWebダッシュボードを作りました。
============================================================================================================
PiCar-X Model Registry & Benchmark
============================================================================================================
Model Version | Epochs | Batch | Val Loss | MAE (Norm) | MAE (Deg) | Artifacts | Data | Commit
------------------------------------------------------------------------------------------------------------
v006 | 15 | 32 | 0.0575 | 0.1328 | ±4.7° | PTH+ONNX | f1eaaabf | b8b2f5d*
============================================================================================================
-
完全な来歴(Lineage)の可視化:
「走行データ → アノテーション → 学習設定 → 交差検証 → 実機走行ログ」をすべてハッシュで一本鎖に結合。どのモデルがどのデータから生まれたかを100%追跡できます。 -
ワンクリックデプロイと即時ロールバック:
ブラウザから承認ボタンを押すと、ONNXモデルがラズパイへ転送され、シンボリックリンクの切り替えで即座に実機へ反映されます。挙動が怪しければ1秒で前のバージョンに戻せます。
AIの力を借りて必要なデスクトップアプリ、Webアプリ、GUIを自作し個人開発ですが、このGUI群のおかげで「データ収集 → 確認 → 学習 → デプロイ」のサイクルが爆速で回るようになりました。
4. 最大の苦労点:機体の歪みがデータを汚染する
今回の開発で一番の学びは、「アルゴリズム以前に、ハードウェアの物理特性が機械学習を破壊する」 という事実でした。
ハードウェアの狂いはソフトウェアだけでは救えない
実機を走らせて痛感したのが、モーターの個体差やギアのガタつき、前輪のアライメントの狂い、さらには左右のタイヤの摩擦の違いといったハードウェアの物理的な問題でした。ステアリングを真っ直ぐ(0°)に指示していてもどうしても車体が片側に寄ってしまい、ソフトウェア側で補正値を当てても走行を重ねるうちにズレが生じてしまいます。
「ソフトでなんとか吸収できるだろう」と考えていたのですが、これがMLOpsに致命的な毒をもたらしました。
- 車体が自然と片側に寄ってしまうため、手動運転する人間は「真っ直ぐ走らせるために、無意識に逆方向へハンドルを切り続ける」
- その結果、収集されたデータセットが**「前方が開けているのに不自然にハンドルを切っているフレーム」**ばかりになる
- これを学習したモデルは、**「何もない直線でも常に片側へ曲がりたがる癖」**を身につけて大暴走
「Garbage In, Garbage Out」とはよく言いますが、ハードウェアの物理的な狂いそのものが学習データを汚染する元凶だったのです。ソフトやモデルをいくら改善しても、土台となるハードウェアが真っ直ぐ走らない限り限界があることを痛感しました。
センサーの物理的な死角
- 布や椅子の脚を検知できない超音波: 布やカーテンは超音波を吸ってしまい、細い椅子の脚は反射波が返ってこないため、目の前にあるのに「前方は何もない(無限遠)」と判定されます。
- 黒いマットを崖と判定する床センサー: 赤外線反射式の床センサーは、黒いカーペットを「床が抜けた(段差)」と誤認して急停止を連発します。
これらはルールベースのセンサー処理だけでは限界があり、CNN側の補助タスク(画像から前方が塞がっているかを当てるヘッド)を併用することでカバーを試みています。
5. オフライン評価の罠と「人の介入頻度」
モデル開発の初期は、オフライン検証データの「MAE(平均絶対誤差)」を小さくすることに全力を注いでいました。「MAE ±4.7°まで下がった!完璧だ!」と思って意気揚々と実機にデプロイしたところ、まったく走れずにその場で立ち往生しました。
なぜMAEは当てにならないのか?
- 直進が大部分を占めるデータセットでは、「画像を見ずに常に舵角0°を出し続けるダミーモデル」が一番MAEが良くなってしまいます。
- データクリーナーで外れ値を削りすぎると見かけのMAEは下がりますが、本当に必要な「急ハンドルで障害物を避ける貴重なデータ」まで削ぎ落とされてしまいます。
真の実走指標:10分あたりの人の介入頻度
そこで、自動運転業界で使われている**「人の介入頻度(Interventions per 10 min)」**を最重要指標に据えました。
// interventions.jsonl の抜粋
{
"timestamp": 1731761938.5,
"type": "human_takeover",
"reason": "obstacle_near",
"duration_s": 2.4,
"user_steering": 0.65
}
自律走行中に危険を察知して人間がコントローラーを操作すると、自動で「人の介入」として記録されます。「10分間に何回人間が助け舟を出したか」を数え、この数字が減ることだけをモデル採用の合格基準としました。
人間が介入して切り抜けたデータはそのまま次の学習データ(失敗からのリカバリーデータ)になるため、走らせれば走らせるほど賢くなるループが回るようになります。
6. まとめ
LangGraphを使ったLLM自律エージェントの実験から始まり、最終的に**「Rust安全層 + 15Hzエッジ推論 + MLOps基盤」**という構成にたどり着きました。
今回の教訓
- 秒単位の思考(LLM)とミリ秒単位の反射(Rust/CNN)を混ぜてはいけない
- モデルを複雑にする前に、光流や状態推定でゴミデータを捨てる方が100倍効く
- ハードウェアの狂いは学習データを汚染する(AI以前に足回りのキャリブレーションが最重要)
次回の展望
次回の展望として、ソフトウェア面だけでは吸収しきれない足回りなどのハードウェア側の改善を進めていく予定です。また、現在の超音波や床センサーの数や種類だけでは死角の多さに限界を感じているため、必要に応じてセンサーの追加や見直しも行い、家の中を安全に自律走行しながら人と自然に対話するロボットを目指します。



