Autoware Foundation の Robotaxi Working Group で進めているベンチマーク作業を、私個人の視点でまとめた記事です。数値は 2026 年 10 月 7 日時点で GitHub Issue に投稿された速報値で、Autoware Foundation の公式な結果ではありません。評価条件の統一はまだ途中なので、最終的な数値は今後公開する論文で更新します。
概要
Autoware Foundation では、カメラ画像から自車の将来軌跡を直接出力する End-to-End 自動運転モデルとして AutoE2E と METEOR を開発しています。この 2 つが公開済みの E2E モデルの中でどこにいるのかを知るため、ドイツで収録された KITScenes Multimodal の validation split を使い、開ループの軌跡誤差 ADE と FDE を同じデータでそろえて測りました。対象は AutoE2E の 4 チェックポイント、METEOR、Qwen-Drive-1.0、Alpamayo 1.5、Drive-JEPA、VAD、UniAD です。
117 シーン、11,035 サンプルの密な評価では我々が開発している AutoE2E が 1 秒から 3 秒の ADE で最小でした。一方で Qwen-Drive-1.0 が、3 秒 FDE と 5 秒の ADE、FDE で AutoE2E を上回りました。5 秒 FDE では誤差が 21.6% 小さくなります。
評価の途中で、AutoE2E 側が公開した検証データの正解軌跡に 0.17 度から 0.36 度の回転ずれがあることも見つかりました。
1. 背景
E2E 自動運転モデルは、論文ごとに報告しているベンチマークが違います。Qwen-Drive-1.0 は NAVSIM と Waymo Open Dataset の E2E ベンチマーク、Drive-JEPA は NAVSIM、VAD と UniAD は nuScenes の数値を出しています。METEOR は TIER IV 社内の validation split でしか精度を測っておらず、公開ベンチマークの数値を持っていません。AutoE2E も、これまでは自前のチェックポイント同士を比べていただけでした。
KITScenes Multimodal は、KIT の MRT が Karlsruhe、Frankfurt、Sindelfingen で収録した欧州都市部のデータセットです。9 台のカメラと 7 台の LiDAR に加えて、Lanelet2 形式の HD マップが 62 km² 分付いています。
2. 比較対象
表 1 は、比較したモデルと今回の評価で与えた入力の一覧です。
表 1. 比較対象のモデルと評価時の入力
| モデル | 規模 | 主な学習データ | 今回の入力 | 出力する軌跡 | 予測長 |
|---|---|---|---|---|---|
| AutoE2E nuPlan Epoch 4, 5 | BEVFormer V2 R50 ベース | nuPlan | 6 カメラ、HD マップ、oracle ルート | 1 本 | 6.4 s |
| AutoE2E KITScenes Epoch 5, 7 | 同上 | nuPlan の後に KITScenes train | 6 カメラ、HD マップ、oracle ルート | 1 本 | 6.4 s |
| METEOR v157 | 54M | TIER IV の走行データ、日本が中心で一部米国 | 8 カメラ構成に変換した KIT 画像、自車速度、単一フレーム | 3 本と信頼度 | 3 s |
| Qwen-Drive-1.0 | 4B | NAVSIM、OpenScene、WOD-E2E、PhysicalAI-AV | 前方 3 カメラ | 複数 | 5 s |
| Alpamayo 1.5 | 10B | 社内データを含む 80,000 時間の走行データと公開データ | 前方 3 カメラ | 複数、順位なし | 6.4 s |
| Drive-JEPA perception-free v1 | ViT-L | NAVSIM | KIT 原画像、コマンドなし | 1 本 | 4 s |
| VAD-Base stage-2 | - | nuScenes | 6 カメラ、4 フレーム、自車運動、正解から作った高レベルコマンド | コマンドごとに 1 本 | 3 s |
| UniAD | - | nuScenes | 調査中 | - | 3 s |
AutoE2E は、カメラ画像から作る BEV 特徴を BEVFormer V2 R50 T8 の公式重みで初期化し、軌跡を学習する段階では凍結しています。出力は 10 Hz の加速度と曲率で、6.4 秒先までの軌跡になります。HuggingFace には nuPlan で学習した Epoch 4 と 5、そこから KITScenes で fine-tuning した Epoch 5 と 7 を置いています。
KITScenes val のルートは、記録された未来の走行軌跡から事後的に再構成したものです。どちらへ曲がるかという正解の情報を含むので、この記事では oracle ルートと呼びます。実際の走行で使うルート計画の性能を表す値ではありません。
METEOR は TIER IV が開発した 54M パラメータの surround-view マルチタスクモデルです。BEV レーン、深度、3D 検出、occupancy など 12 のタスクと E2E 軌跡を 1 回の推論で出力し、Jetson AGX Orin の INT8 推論で約 70 ms で動きます。公開版は時系列メモリを外した単一フレームのモデルで、HD マップもルートも使いません。パラメータ数は Qwen-Drive-1.0 の約 74 分の 1、Alpamayo 1.5 の約 185 分の 1 です。
Qwen-Drive-1.0 は Qwen3.5-4B の構造を変えずに、BEV 知覚ヘッドと Planning Expert を後付けした VLM ベースのモデルです。Alpamayo 1.5 は Cosmos-Reason2 をバックボーンにした 10B の VLA モデルで、複数の軌跡をサンプリングしますが順位は付けません。
SimForge も対象に入っていますが、まだ結果が投稿されていないのでここでは扱いません。
3. 評価プロトコル
3.1 指標
ADE は、予測軌跡と正解軌跡の各時刻の L2 距離を、指定した予測長まで平均した値です。FDE は、指定した予測長の時刻 1 点での L2 距離です。どちらも単位はメートルで、小さいほど良い値です。
複数の軌跡を出すモデルでは 2 種類の値を分けました。1 つはモデル自身が選んだ 1 本で採点する top-1 で、順位を持たない Alpamayo 1.5 では最初のサンプルを top-1 としています。もう 1 つは、候補のうち正解に最も近いものを後から選ぶ best-of-K です。best-of-K は正解を見て選んでいるため、実車では再現できない oracle 指標として扱います。
3.2 評価母集団
AutoE2E が公開した KITScenes Val v3.5 には 140 シーンが入っていました。このうち 23 シーンは KIT 側で overlap_train_val に分類されているので除外し、KITScenes 公式の val split と一致する 117 シーンを使います。この対応は Arseni10Lk さんがエピソード ID を突き合わせて確認しました。
117 シーンから、表 2 の 2 つの母集団を作っています。
表 2. 評価母集団
| 名前 | サンプル数 | 選び方 |
|---|---|---|
| 密な評価 | 11,035 | 10 Hz の全サンプル |
| キーフレーム評価 | 202 | 過去 4 秒を確保できる frame 40 を起点に、9 秒間隔で重ならない窓を取る |
キーフレーム評価で未来が 4 秒以上残るのは 200 サンプル、5 秒以上残るのは 186 サンプルです。202 サンプルのうち AutoE2E が HD マップとルートの両方を使えるのは 161 サンプルで、残る 41 サンプルは HD マップだけになります。
画像の扱いでも一度つまずきました。最初に共有したデータは AutoE2E の学習形式に合わせて 512×512 の正方形に縮めた画像で、他のモデルはこの縦横比を前提にしていません。atanasko さんの指摘を受けて、AutoE2E 以外のモデルは KIT-MRT の原画像を直接取得し、各モデル本来の前処理を通す方針に変えました。
3.3 正解軌跡の回転ずれ
Arseni10Lk さんが METEOR を評価している途中で、v3.5 の正解軌跡 trajectory_xy_m が、KIT の poses.txt から計算した軌跡に対してわずかに回転していることに気づきました。ずれの角度はシーン内でほぼ一定で、調べた 10 シーンでは -0.17 度から -0.36 度の範囲でした。確認した例では、5 秒先の点が横方向に 0.20 m から 0.34 m ずれています。
原因は v3.5 を作ったときの座標変換です。ローカル座標を UTM と WGS84 を経由して自車座標に戻す古い実装で、UTM グリッド基準の yaw を真北基準の緯度経度の差分にそのまま当てていました。球面近似による小さな残差もここで加わります。その後のコミット c44be718 で poses.txt のローカル姿勢から直接変換する実装に切り替えましたが、v3.5 のデータは作り直していませんでした。
AutoE2E はこのずれた正解で学習しているので、出力もずれと整合します。正しい車両座標で予測する他のモデルは、予測距離に回転角の正弦を掛けた分だけ横にずれて採点されます。表 3 は、同じ予測を 2 つの正解で採点したときの差です。
表 3. v3.5 の正解で採点した ADE から poses.txt の正解で採点した ADE を引いた値 [m]
| モデル | 母集団 | 1 s | 2 s | 3 s | 5 s |
|---|---|---|---|---|---|
| Qwen-Drive-1.0 top-1 | 11,035 サンプル | +0.010 | +0.016 | +0.021 | +0.025 |
| Alpamayo 1.5 top-1 | 11,035 サンプル | +0.011 | +0.017 | +0.019 | +0.020 |
| 等速直線モデル | 10 シーン 680 サンプル | +0.015 | +0.023 | +0.028 | - |
影響は 3 秒先で 2 cm から 3 cm 程度です。小さく見えても、AutoE2E だけが得をする向きの偏りなので放置できません。今後の比較表は、poses.txt @6fde0034 から現行の直接変換で作った正解に統一します。v3.5 の正解による値はレガシーの再現用トラックとして分け、2 つの定義を 1 つの順位表に混ぜないと決めました。
次の 4.1 節と 4.2 節の表は、全モデルを v3.5 の正解で採点したレガシートラックの値です。
4. 結果
4.1 密な評価
表 4 は、各モデルが自分で選んだ 1 本の軌跡で採点した結果です。各セルの左が ADE、右が FDE で、単位はメートルです。
表 4. 密な評価、11,035 サンプル、top-1 軌跡
| モデル | 1 s | 2 s | 3 s | 5 s |
|---|---|---|---|---|
| AutoE2E KITScenes | 0.147 / 0.285 | 0.373 / 0.924 | 0.745 / 2.020 | 1.941 / 5.565 |
| Qwen-Drive-1.0 | 0.183 / 0.366 | 0.438 / 1.007 | 0.785 / 1.893 | 1.710 / 4.363 |
| Alpamayo 1.5 | 0.198 / 0.427 | 0.568 / 1.464 | 1.143 / 3.011 | 2.584 / 6.333 |
| Drive-JEPA perception-free v1 ※1 | 0.205 / 0.420 | 0.510 / 1.191 | 0.934 / 2.328 | - |
| METEOR v157 | 0.222 / 0.483 | 0.622 / 1.535 | 1.208 / 3.168 | - |
| VAD-Base stage-2 ※2 | 0.357 / 0.667 | 0.748 / 1.572 | 1.242 / 2.821 | - |
| 等速直線モデル | 0.209 / 0.464 | 0.603 / 1.521 | 1.190 / 3.131 | - |
※1 正解の定義が投稿に書かれていません。予測長は 4 秒までで、4 秒の ADE は 1.482 m、FDE は 3.829 m です。
※2 正解から作った高レベルコマンドに対応する軌跡を選んでいます。
1 秒と 2 秒の ADE では、AutoE2E KITScenes の 2 つのチェックポイントが上位 2 つを占めました。1 秒は Epoch 7 の 0.135 m、2 秒は Epoch 5 の 0.373 m が首位で、3 秒でも Epoch 5 の 0.745 m が最も小さい値です。
予測長が伸びると順位が入れ替わります。Qwen-Drive-1.0 の 3 秒 FDE は 1.893 m で、Epoch 5 の 2.020 m を下回りました。5 秒では ADE が 11.9%、FDE が 21.6% 小さくなっています。3 秒 ADE の差は 0.040 m しかありません。表 3 の偏りを考えると、poses.txt の正解で採点し直したときにここの順位が入れ替わってもおかしくありません。
KITScenes を学習せずにそのまま適用した zero-shot のモデルに限ると、Qwen-Drive-1.0 がすべての予測長で最小です。1 秒から 3 秒の ADE ではその次に AutoE2E nuPlan Epoch 5 が続き、Drive-JEPA より 5.1%、8.1%、2.1% 小さい値です。3 秒 FDE だけは Drive-JEPA の 2.328 m が nuPlan Epoch 5 の 2.423 m を下回りました。
METEOR の top-1 は、どの予測長でも等速直線モデルに負けています。ADE の差は 1 秒で 6.2%、3 秒で 1.5% です。VAD は正解由来のコマンドを与えても、ADE ではすべての予測長で等速直線モデルに届いていません。
4.2 候補を後から選んだ場合
表 5 は、複数の軌跡を出すモデルを正解に最も近い候補で採点した oracle 指標です。
表 5. 密な評価、11,035 サンプル、best-of-3
| モデル | 1 s | 2 s | 3 s | 5 s |
|---|---|---|---|---|
| Qwen-Drive-1.0 | 0.179 / 0.358 | 0.431 / 0.979 | 0.767 / 1.829 | 1.648 / 4.164 |
| Alpamayo 1.5 | 0.145 / 0.272 | 0.321 / 0.697 | 0.566 / 1.312 | 1.215 / 2.821 |
| METEOR v157 | 0.182 / 0.384 | 0.494 / 1.195 | 0.945 / 2.395 | - |
| VAD-Base stage-2 | 0.294 / 0.548 | 0.637 / 1.373 | 1.113 / 2.603 | - |
top-1 を best-of-3 に置き換えたときの改善幅は、モデルごとにばらつきます。3 秒 ADE で見ると Qwen-Drive-1.0 は 2.3% しか変わらず、候補同士がほぼ重なっています。Alpamayo 1.5 は 50.5% 下がって 0.566 m になり、表 4 のどの top-1 よりも小さい値です。METEOR は 21.8%、VAD は 10.4% 下がりました。
4.3 キーフレーム評価
表 6 は 202 キーフレームでの結果です。METEOR の正解は poses.txt から作っており、密な評価とは正解の定義も違います。
表 6. キーフレーム評価、202 サンプル
| モデル | 選択 | 1 s | 2 s | 3 s | 5 s |
|---|---|---|---|---|---|
| Qwen-Drive-1.0 | top-1 | 0.143 / 0.193 | 0.329 / 0.705 | 0.565 / 1.397 | 1.337 / 3.602 |
| Qwen-Drive-1.0 | 候補の最小 | 0.135 / 0.180 | 0.320 / 0.675 | 0.547 / 1.326 | 1.277 / 3.413 |
| Alpamayo 1.5 | top-1 | 0.161 / 0.348 | 0.482 / 1.289 | 1.020 / 2.820 | 2.534 / 6.449 |
| Alpamayo 1.5 | 候補の最小 | 0.108 / 0.191 | 0.222 / 0.444 | 0.377 / 0.838 | 0.877 / 2.184 |
| AutoE2E nuPlan Epoch 4 | 1 本 | 0.185 / 0.372 | 0.464 / 1.119 | 0.892 / 2.328 | 2.219 / 6.110 |
| AutoE2E nuPlan Epoch 5 | 1 本 | 0.176 / 0.339 | 0.431 / 1.055 | 0.854 / 2.302 | 2.232 / 6.318 |
| AutoE2E KITScenes Epoch 5 | 1 本 | 0.147 / 0.296 | 0.380 / 0.933 | 0.744 / 1.980 | 1.883 / 5.477 |
| AutoE2E KITScenes Epoch 7 | 1 本 | 0.140 / 0.308 | 0.414 / 1.074 | 0.848 / 2.307 | 2.078 / 5.856 |
| METEOR v157 | top-1 | 0.219 / 0.484 | 0.630 / 1.574 | 1.240 / 3.282 | - |
| METEOR v157 | best-of-3 | 0.176 / 0.379 | 0.495 / 1.219 | 0.966 / 2.494 | - |
キーフレーム評価では、1 秒 ADE を除くすべての値で Qwen-Drive-1.0 の top-1 が最小で、3 秒 ADE は 0.565 m でした。1 秒 ADE だけは AutoE2E KITScenes Epoch 7 の 0.140 m が最小です。母集団を変えたときの動きも気になります。AutoE2E KITScenes Epoch 5 の 3 秒 ADE は、密な評価とキーフレーム評価で 0.745 m と 0.744 m とほぼ変わりません。それなのに Qwen-Drive-1.0 は 0.785 m から 0.565 m まで下がりました。この差が母集団から来るのか、評価スクリプトの条件差から来るのかはまだ特定できていません。2 つの母集団の値を 1 つの表に混ぜていないのはこのためです。
AutoE2E でルートを作れなかった 41 キーフレームの誤差は、ルートを使えた 161 キーフレームとほとんど変わりませんでした。KITScenes Epoch 5 の 3 秒 ADE は、ルートありで 0.745 m、ルートなしで 0.740 m です。サンプルが別なので因果関係は言えませんが、oracle ルートが短い予測長の誤差を大きく押し下げている様子は見えません。
4.4 UniAD (WIP)
nuScenes で学習した UniAD をそのまま適用すると、1 秒 ADE が 4.760 m、3 秒 ADE が 13.226 m と、他のモデルより 1 桁大きい誤差になりました。同じレポートに載っている等速直線モデルの 1 秒 ADE は 0.165 m なので、モデルの能力よりも画像の前処理か座標変換に問題がある可能性が高いと見ています。この等速直線モデルの値は表 4 の 0.209 m とも違い、母集団がそろっていない可能性もあります。担当の Nishad-Sahu さんが調査中のため、比較表には入れていません。
5. 考察
5.1 AutoE2E の位置
KITScenes での fine-tuning は val ではっきり効いています。nuPlan Epoch 5 を KITScenes で追加学習すると、密な評価の ADE は 1 秒で 24.6%、3 秒で 18.6%、5 秒で 15.5% 下がります。
ただし、この優位は学習したデータセットの上で、HD マップと oracle ルートという他のモデルにない入力を使って得たものです。前方 3 カメラだけを使う zero-shot の Qwen-Drive-1.0 が、3 秒 FDE と 5 秒では AutoE2E を上回りました。zero-shot どうしで nuPlan Epoch 5 と並べると差はさらに開き、5 秒 ADE は 1.710 m 対 2.295 m です。
test split も同じ傾向です。val の 1 秒で最良だった KITScenes Epoch 7 は test の 2 秒以降で最下位になり、Epoch 5 も 2 秒と 3 秒で nuPlan Epoch 5 に抜かれました。KITScenes への fine-tuning で得た改善のうち、別のシーンでどれだけ残るのかはまだわかりません。
現時点の AutoE2E は、対象のデータセットで fine-tuning すれば 1 秒から 3 秒の予測で上位に並びます。しかし学習していない環境への汎化と 5 秒先の予測では、Qwen-Drive-1.0 に届いていません。Qwen-Drive-1.0 の計画用の学習データは NAVSIM、OpenScene、WOD-E2E、PhysicalAI-AV を合わせて約 283 万サンプルあり、nuPlan だけで学習した AutoE2E との差は主にデータの量と多様さから来ていると私は見ています。この見立ての検証はこれからです。長い予測長の改善と、学習データを nuPlan 以外へ広げることが AutoE2E の次の課題になります。
5.2 METEOR の位置
METEOR の top-1 は、KITScenes では等速直線モデルを超えられていません。ところが best-of-3 で採点すると、3 秒 ADE が等速直線モデルより 20.6% 小さくなり、AutoE2E nuPlan Epoch 5 の top-1 とほぼ同じ水準になります。3 秒 ADE は 0.945 m と 0.915 m、3 秒 FDE は 2.395 m と 2.423 m です。3 本の候補の中に妥当な軌跡があり、信頼度による選択がこの環境では外れています。
選択が外れる理由として、いま有力なのは 3 つです。1 つ目は走行環境の違いです。METEOR の学習データは日本の左側通行が中心で、KITScenes はドイツの右側通行です。2 つ目はカメラ構成の変換です。METEOR は約 30 度の前方狭角カメラを含む 8 カメラ構成を前提にしているので、狭角カメラは KIT の前方カメラを切り出して合成し、後方の狭角カメラは黒画像で埋めました。3 つ目は運転コマンドがないことです。ただし Arseni10Lk さんが正解から作った直近の右左折コマンドを与えて試したところ、3 秒 ADE の改善は約 6% にとどまりました。コマンドだけでは説明できません。
METEOR は 54M パラメータで、Jetson AGX Orin 上で約 70 ms で動くことを狙ったモデルです。規模が約 2 桁違う VLM と並べれば不利なのは承知のうえで、候補を生成する力は nuPlan 版の AutoE2E と同じ水準にあります。伸ばすべきは候補を選ぶ部分です。右側通行のデータで選択ヘッドを再学習することと、METEOR のロードマップにある時系列履歴を使うモデルの学習が次の打ち手になると考えています。
6. 今後の予定
まず全モデルの予測を poses.txt 由来の正解で採点し直し、密な評価の 11,035 サンプルを正式な比較表にします。HD マップとルートが使える 161 キーフレームに絞った表も作り、AutoE2E の入力条件による差を見積もります。nuPlan v1.1 test はキーフレームの選び方を決めてから、同じ比較を行います。
AutoE2E KITScenes Epoch 5 の予測軌跡は KIT のラボに提出し、公式評価と公開ベンチマークに載せてもらう予定です。各モデルの予測軌跡も HuggingFace に公開して、他の人が同じ母集団で自分のモデルを比べられるようにします。ここまでの内容は論文にまとめて arXiv に投稿します。
謝辞
この比較は Issue #210 のコントリビューターの作業で成り立っています。Qwen-Drive-1.0、Alpamayo 1.5、AutoE2E のキーフレーム評価は atanasko さん、METEOR の評価と正解軌跡のずれの発見は Arseni10Lk さん、Drive-JEPA は HassanAliAnsari さん、UniAD は Nishad-Sahu さんが担当しました。CodeName-Detective さんと ZaynabEM さんは、キーフレームの定義とシーン ID の照合を詰めてくれました。全体の取りまとめは m-zain-khawaja さんです。
参考文献
[1] AutoE2E Publication, Benchmarking and Code Cleanup, autowarefoundation/auto_e2e Issue #210
https://github.com/autowarefoundation/auto_e2e/issues/210
[2] AutoE2E
https://github.com/autowarefoundation/auto_e2e
https://huggingface.co/AutowareFoundation/auto_e2e
[3] METEOR
https://github.com/tier4/METEOR
https://huggingface.co/AutowareFoundation/meteor
[4] The Road Ahead in Autonomous Driving: The KITScenes Multimodal Dataset
https://arxiv.org/abs/2606.02956
https://github.com/KIT-MRT/kitscenes
[5] Qwen-Drive-1.0: An Initial Step towards a Vision-Language Foundation Model for Autonomous Driving
https://arxiv.org/abs/2609.00111
[6] NVIDIA Alpamayo 1.5
https://huggingface.co/nvidia/Alpamayo-1.5-10B
[7] Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving
https://arxiv.org/abs/2601.22032
[8] VAD: Vectorized Scene Representation for Efficient Autonomous Driving
https://arxiv.org/abs/2303.12077
[9] Planning-oriented Autonomous Driving
https://arxiv.org/abs/2212.10156
[10] Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving?
https://arxiv.org/abs/2312.03031