生成AIを用いて自動運転の論文「Hidden Biases of End-to-End Driving Models (2023)」を読んでみた

Posted at 2024-12-01

はじめに

生成AIを用いて自動運転の論文「Hidden Biases of End-to-End Driving Models (2023)」の内容を(なるべく)把握してみました。(生成AIが)論文の記載内容を始めから最後まで読んで、実際にどのような記載があるのかを把握します。

(論文の分かりやすい解説記事は見るのですが、実際の論文までチェックしないので、生成AIを使って内容を把握してみました。)

従来のEnd-to-End自動運転にある二つのバイアス（横方向追従の強い帰納バイアス、マルチモーダル予測の平均化による減速）を考慮し、性能を向上させるTransFuser++ (TF++) 手法を提案している事が分かりました。
CARLAシミュレーション環境を用いた実証的な評価がメインで、ニューラルネットワーク構造の詳細等の内容はありませんでした。
(その他、末尾の「分かったこと」章を参照)

以降で、ChatGPTに聞いてみた例を記載します。

他例: 同類の方法を使って読んでみた結果

対象の論文

論文: (自動運転に関する論文)

[2306.07957] Hidden Biases of End-to-End Driving Models
https://arxiv.org/abs/2306.07957
(PDF: https://arxiv.org/pdf/2306.07957)

質問時の各章節の区切り部分

論文の中にある各章節を、下記のように区切って、部分毎に生成AIに内容を質問していきます。

Abstract
---
1.-Introduction
---
2.-Related Work
---
3.-Hidden Biases of End-to-End Driving
---
3.1. A shortcut for recovery
---
3.2. Improved pooling and data augmentation
---
3.3. The ambiguity of waypoints
---
3.4. Scaling up to TransFuser++
---
4.-Comparison to State of the Art
---
5.-Conclusion

生成AIへの質問方法

生成AIを活用して、知りたい記事・論文の1節分(適度な長さ)のテキストをコピー＆ペーストして、その下に質問内容を「①～ ②～ …」と番号付きで書いて、生成AIに渡せば、全質問に一発で的確に回答してくれるので、非常に良好でした。記事全体を読む必要なく、知りたい点の情報だけを収集できます。

生成AIへの質問例:

(論文・記事の各章節を貼り付け)

上記の内容に関して下記の質問に回答下さい: (である調で記載、一般的な推測を回答に混入しない事、元文の記載内容に基づいて忠実に回答、回答量は長くなってもOK)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載、既存手法があれば引用元を記載)

※各章節に応じて、適宜下記の質問を追加。

続けて下記の質問に追加で回答下さい:
②具体的な処理方法の記載があれば説明下さい。(簡略化せずに全て記載、既存手法があれば引用元を記載)
③改良点・工夫点・テクニック等の記載があれば説明下さい。
④メカニズムの解明・なぜそうなるのか等の記載があれば説明下さい。(記載がなければ回答不要)
⑤性能が向上した記載があれば説明下さい。(具体値があれば記載、対応する図/表番号があれば各文末に記載)
⑥比較の記載があれば違いを表でまとめて下さい。(下に解説を記載、対応する図/表番号があれば明記)
⑦上記⑥以外で表に出来そうな部分があれば表でまとめて下さい。(下に解説を記載、対応する図/表番号があれば記載)
⑧具体的な数値の記載を全て列挙して、表にまとめて下さい。(必ず正しく数値を抜き取る事、|数値|説明|の表へ)
⑨具体的な変数名(数式用の記号)の記載を全て列挙して、表にまとめて下さい。(|変数名|説明|次元・型|の表へ)
⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)
⑪関連研究の参照番号を全て列挙して、表にまとめて下さい。(元文にある内容のみ記載・類推して付け足しは不要、|参照番号|概要説明|の表へ、関連するもの同士でまとめて並べ替え)
⑫難解用語を全て列挙して、表にまとめて下さい。(必ず正しく抜き取る事、|用語|説明|の表へ)

※回答が長くなりそうな場合は、適宜、分けて質問: ②③④⑤、⑥⑦⑧⑨、⑩⑪⑫
※各章節に応じて、その章節内で明らかに不要な質問は、適宜除外。

※その他、不明点があれば、適宜、ピンポイントで質問。

質問内容は、始めに「①要旨は何か」に絞って1つだけを質問し、得られた回答内容に応じて、適宜質問を追加するようにしました。また、表で表した方が素早く把握できるので、必要であれば、記事を表に変換するような質問を追加しています。

論文・記事を貼り付けるテキストの長さは、1節分程度の量にとどめた方が、良い回答が得られました。生成AIの回答の文量が多くなってくると、回答が長くなり過ぎないように、生成AIが勝手に(適度に)端折り始めてしまい、重要な点が回答から抜けてしまう可能性が高くなります。

事前知識

機械学習についてある程度知っていないと、生成AIに質問しても、その回答内容だけでは理解できないと思います。生成AIの回答は、論文の内容をあまり変えずに、要点をそのまま掻い摘んで回答するような形になっています。

自動運転の論文についての分かりやすい解説記事(下記)等を事前にチェックして、中核部分の内容をあらかじめ分かっていると、理解しやすいと思います。生成AIは実際の細かい処理方法自体を分かりやすく説明してはくれない傾向があります。

注意点

論文のテキスト内容だけを貼り付けて、生成AIに質問しています。論文の中の図・表の部分は貼り付けていません。図・表の内容は生成AIの回答には含まれず、別途論文を見る必要があります。

以降で、生成AIの回答内容が読みにくい・分かりづらい場合は、論文の本文でも同じように書かれてあり、論文の本文を読んでも同じように分かりづらいことが多くあります。論文では、既存研究等があるため、多くの説明を省略・一言だけサラッと書かれてある等、同種の研究に取り組む人でなければ、なかなか全容の理解に辿りつくのは難しい側面があります。この点は、生成AIの回答性能が悪いのではなく、論文という性質上、生じるものと考えています。

生成AIに質問

以降で、ChatGPTに実際に聞いてみた例を記載します。

生成AIへの質問＆回答の全容

生成AIへの質問＆回答の全容・詳細:

Abstract

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) Abstract End-to-end driving systems have recently made rapid progress, in particular on CARLA. Independent of their ma- jor contribution, they introduce changes to minor system components. Consequently, the source of improvements is unclear. We identify two biases that recur in nearly all state-of-the-art methods and are critical for the observed progress on CARLA: (1) lateral recovery via a strong in- ductive bias towards target point following, and (2) longi- tudinal averaging of multimodal waypoint predictions for slowing down. We investigate the drawbacks of these bi- ases and identify principled alternatives. By incorporating our insights, we develop TF++, a simple end-to-end method that ranks first on the Longest6 and LAV benchmarks, gain- ing 11 driving score over the best prior work on Longest6.

上記の内容に関して下記の質問に回答下さい: (である調で記載、一般的な推測を回答に混入しない事、元文の記載内容に基づいて忠実に回答、回答量は長くなってもOK)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載、既存手法があれば引用元を記載)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

記載内容: 本章では、近年急速に進展しているエンドツーエンド型の自動運転システムに関する分析と、それに伴う改善点について述べられている。特に、シミュレーションプラットフォームCARLAでの進展について触れ、既存手法における重要な改善要因が曖昧である点を問題視している。また、現行手法のバイアスを特定し、その欠点を明らかにした上で、代替手法としてTF++を提案し、性能向上の結果について報告している。
要旨:
- エンドツーエンド型自動運転システムはCARLA上でのパフォーマンス向上が顕著であるが、従来の手法ではシステムのマイナーなコンポーネントに変更が加えられており、具体的な改善要因の明確化が困難である。
- 既存手法に共通する二つのバイアス（横方向のターゲットポイント追従に対する強い帰納バイアス、およびマルチモーダルなウェイポイント予測を平均化することによる減速）が、CARLAでの進展において重要な役割を果たしていると指摘されている。
- 上記のバイアスによる欠点を指摘し、それに代わる理論的に適切な手法を提案している。
- 新たに提案されたTF++手法により、CARLA上のLongest6およびLAVベンチマークで先行研究の最高スコアを上回る成果（Longest6において11ポイントのドライビングスコア向上）を達成している。

1. Introduction

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 1. Introduction End-to-end driving approaches have rapidly improved in performance on the CARLA leaderboard [1], the de-facto standard for fair online evaluation. Driving scores have in- creased from under 20 [10, 28] to over 70 [35, 41] in just two years. However, why recent systems work so well is not fully understood, as both methods and training sets dif- fer largely between submissions. Rigorous ablations are ex- pensive due to the large design space of driving systems and the need to simulate large amounts of driving for evaluation. In particular, recent methods trained with Imitation Learning (IL) have shown strong performance [7, 9, 12, 35, 41]. They are trained using offline datasets, yet they can sur- prisingly recover from the classic compounding error prob- lem of IL [27, 33], as indicated by their high route comple- tions [9, 12, 35, 41]. While they do not utilize HD maps as input, they are provided with map-based GNSS loca- tions in the center of the lane (spaced 30 m apart on av- erage) called target points (TPs) that describe the route the car should follow. TPs were introduced as an alternative form of conditioning signals to convey driver intent [10,28]. Prior work [14, 15] used discrete navigation commands or NCs (i.e. follow lane, turn right, ...) instead. In this paper, we show that TP conditioned models re- cover from the compounding error problem because they use geometric information contained in the TP to reset steer- ing errors periodically (at every TP). This makes them im- plicitly rely on accurate map information, even though they are otherwise HD map free. Steering directly towards a TP is a shortcut [17] that these IL methods learn to ex- ploit. When methods accumulate enough steering error to be out of distribution during deployment, we observe that they steer towards the nearest TP. When the TP is close, this has the effect of driving back to the lane center, where it is in distribution again. This is illustrated in Fig. 1a. However, when the TP is far away, this shortcut can lead to catas- trophic steering errors (e.g. cutting a turn). We show ex- amples of this behavior for various SotA architectures in Section 3.1. We demonstrate that the shortcut problem is intrinsically related to the decoder architecture and that a transformer decoder [38] can mitigate it. Another common aspect of the current SotA is that they use waypoints (future positions of an expert driver) as out- put representations [9, 12, 41]. We point out that this is an ambiguous representation as the future velocity is multi- modal, yet the model commits to a point estimate. This is il- lustrated in Fig. 1b. We show that this ambiguity can some- times be helpful due to the continuous nature of waypoints: the network can continuously interpolate between modes. We propose an alternative that explicitly predicts the un- certainty of the network via target speed classification, and show that interpolating between target speeds weighted by the uncertainty reduces collisions. Our controlled experi- ments also cover important but sometimes neglected details in the training of end-to-end driving systems, such as aug- mentation, training schedules, and dataset size. In particu- lar, we revisit the idea of shift and rotation augmentations to aid recovery [2,6]. These were common in early IL methods for CARLA with control outputs [15], but are harder to im- plement with waypoint outputs and not used by the current SotA. We find that they yield significant improvements. Using these insights, we develop TransFuser++ (TF++), which sets a new SotA on the Longest6 [12] and LAV [9] benchmarks. Two of the ideas we apply, transformer de- coder pooling and path-based outputs instead of waypoints, have been used in Interfuser [35]. However, these are pre- sented as minor details, and their impact is not studied in isolation as in our work. TF++ is significantly simpler than Interfuser, yet outperforms it by a large margin on Longest6, as we show in Section 4. We use ∼4× less data, 1 camera instead of 4, and do not require complex heuristics to extract throttle and brake commands for our path output. Contributions: • We show that target point conditioned models learn a shortcut that helps them recover from steering errors. • We point out that the waypoint output representation is ambiguous, but its continuous nature helps models collide less by interpolating to slow down. • Using the insights gained from controlled experiments, we propose TransFuser++ which places first on the Longest6 and LAV benchmarks. Code, data, and models are available at https://github.com/ autonomousvision/carla garage.

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

記載内容: 本章では、エンドツーエンドの自動運転システムにおける進展と、特にCARLAプラットフォーム上での高いパフォーマンス向上について説明されている。最新手法の改善の具体的要因が不明瞭である現状を指摘し、典型的なバイアスや設計上の問題を分析する。また、新たな手法「TransFuser++ (TF++)」を提案し、そのパフォーマンスをベンチマーク上で評価することで、従来手法よりも大幅な性能向上を実証している。
要旨:
- CARLAリーダーボード上でのエンドツーエンド自動運転システムのドライビングスコアは、ここ2年で20未満から70以上へと大幅に向上したが、各手法の方法論やトレーニングデータセットが異なるため、性能向上の原因が明確ではない。
- 現在の模倣学習（Imitation Learning: IL）に基づく手法は、オフラインデータセットで学習しているにもかかわらず、クラシックな累積エラー問題を克服しており、従来使用されていた高精度地図（HDマップ）なしで高いルート完了率を達成している。
- ターゲットポイント（TP）を用いた手法は、これに含まれる幾何情報を利用し、定期的にステアリングエラーをリセットしているため、暗黙的にマップ情報に依存している。これにより、従来の手法における「最短ルート」への偏りが生じている。
- 既存の最先端手法（SotA）は、将来位置（ウェイポイント）を出力表現として使用するが、速度がマルチモーダルであるため、この表現は曖昧である。その連続的な性質が減速において衝突回避に役立つことも指摘されている。
- これらの課題を踏まえ、新たに提案した「TF++」手法により、Longest6およびLAVベンチマークにおいて従来手法を上回る成果を達成している（データ使用量は4分の1、カメラ数は1台と簡素化され、スロットルやブレーキの出力抽出に複雑なヒューリスティックを使用しない）。

▼質問(人間)
回答が短い。端折り過ぎで、文脈が分かりにくい。

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

記載内容: 本章は、エンドツーエンドの自動運転システムにおける最近の進展に関して述べ、特にCARLAプラットフォーム上での性能向上に焦点を当てている。エンドツーエンドの模倣学習（IL）を用いた最新のシステムが、異なる手法やトレーニングデータセットを用いて高い評価スコアを達成しているが、その性能向上の要因が完全には解明されていないことを指摘する。また、ステアリングエラー回復のためにシステムが依存するバイアスや設計上の問題点についても詳細に分析している。これに基づき、TF++と呼ばれる新しい手法を提案し、その実験的検証を通じて従来の手法に対する性能優位性を示している。
要旨:
- CARLAのリーダーボードにおけるエンドツーエンド自動運転システムの評価スコアは過去2年間で急速に向上しており、20未満から70以上に上昇している（参考文献[1], [10], [28], [35], [41]）。
- しかし、各システムが異なる手法やデータセットを用いているため、性能向上の原因が明確に特定されていない。また、広範な設計選択肢と膨大な評価データが必要であることから、各要素の詳細な検証が行いにくい点が課題となっている。
- 近年の多くの手法は、模倣学習（IL）を用いてオフラインデータで学習されており、理論的には「累積誤差（compounding error）」問題に直面するはずだが、実際には高いルート完了率を示し、問題を克服しているように見える（参考文献[7], [9], [12], [35], [41]）。
- 高精度地図（HDマップ）は用いないが、平均30メートル間隔で車線の中心に位置する地図に基づくGNSSポイントである「ターゲットポイント（TP）」を利用して車両の進行方向を示す方法を取っている（参考文献[10], [28]）。これは、従来の「ナビゲーションコマンド（NC）」に代わる方法である（参考文献[14], [15]）。
- 本論文では、TPを条件とするモデルがステアリングエラーからの回復を行うのは、TPに含まれる幾何情報がエラーを定期的にリセットするためであり、TPへ直接ステアリングすることがショートカットとして機能することを示している（参考文献[17]）。車両が分布外の位置に偏った場合、最寄りのTPへステアリングすることで、再び車線中心に戻る。この挙動は図1aで示されている。しかし、TPが遠方にある場合、このショートカットによりカーブを切りすぎるなどの重大なステアリングエラーが発生する可能性がある。
- また、最新のSotA手法が将来の位置（ウェイポイント）を出力表現として使用する点にも着目し、この表現が将来速度の多様性を反映しているため、曖昧さを内包していることを指摘している。この曖昧さは連続的なウェイポイントの性質によって補われ、モデルがモード間で連続的に補間することで衝突を回避する助けになる場合もある（図1bに示されている）。
- このようなバイアスや設計上の問題を踏まえ、本研究では新たに「目標速度の分類」によってネットワークの不確実性を明示的に予測し、目標速度間の補間を行うことで衝突を減少させる手法を提案している。
- さらに、本研究の制御実験ではデータ拡張、トレーニングスケジュール、データセットサイズなどの要素についても検討している。特に、復元性向上のためのシフトや回転のデータ拡張について再評価しており、これらの手法は制御出力を用いる初期のCARLA向けIL手法では一般的であったが（参考文献[2], [6], [15]）、ウェイポイント出力を使用する現在のSotA手法では難しいとされ使用されていない。このデータ拡張は性能向上に有効であることが示されている。
- これらの知見を基に、新たに開発した「TransFuser++（TF++）」手法がLongest6およびLAVベンチマークで新たなSotAを達成し、従来の最先端手法であるInterfuserを大幅に上回っていることを示した（詳細はSection 4に記載）。TF++は、データ量を約4分の1に削減し、4台のカメラではなく1台のカメラのみを用い、複雑なヒューリスティクスを用いずにスロットルやブレーキコマンドを出力する簡素な構成となっている。

▼生成AIの回答(ChatGPT-4o)
⑧難解用語の列挙

用語	説明
CARLA	自律運転のシミュレーション環境で、エンドツーエンド自動運転システムの評価に用いられるプラットフォーム。
End-to-End Driving	センサーから取得したデータを直接、車両制御出力（例えばステアリングやスロットルなど）に変換する自律運転手法。
Driving Score	CARLAリーダーボードでの自動運転システムの性能評価スコア。
Imitation Learning (IL)	人間の運転データを模倣する形でモデルを学習させる手法。
Compounding Error Problem	模倣学習において、モデルの小さな誤差が積み重なることで誤差が増大し、分布外の状況に陥る問題。
GNSS	Global Navigation Satellite Systemの略称で、衛星測位システムにより車両の位置情報を提供。
Target Points (TPs)	車線中心の位置を示す座標で、平均30メートル間隔で提供され、車両の進行方向を指示する役割を果たす。
Navigation Commands (NCs)	従来用いられていた進行指示の方法で、「車線に従う」「右折」などの指示を与える手法。
Steering Error	ステアリング操作による進行方向の誤差。
Out of Distribution	モデルが訓練時に見たデータから大きく外れた状態。
Transformer Decoder	トランスフォーマーモデルのデコーダー部分で、特に自己回帰的に出力を生成する際に用いられるアーキテクチャ。
Waypoints	車両が進行する予定の未来位置の集合で、通常エキスパートドライバーの動作をもとに設定される。
Multimodal	将来位置や速度など複数の選択肢が存在することを指し、どの進行方向も有効な出力となりうる状態。
Continuous Interpolation	異なるモード間で連続的に位置や速度を補間すること。
Target Speed Classification	目標速度を複数のクラスに分けて分類し、ネットワークの不確実性を明示的に予測する手法。
Data Augmentation	データの多様性を増すためにデータに変換を加える手法で、モデルの汎化性能を向上させる目的で用いられる。
Shift and Rotation	画像やデータを水平移動や回転させるデータ拡張の一種で、訓練中の復元能力向上を目的としている。
Longest6	CARLA上で評価されるエンドツーエンド自動運転システムのベンチマークの一つ。
LAV	CARLA上で評価される別のベンチマークで、精度や安全性を評価するために用いられる。
Heuristics	経験的なルールや仮説に基づいて判断や操作を行う手法。
Path-based Output	車両の進行経路そのものを出力として扱う方法で、ウェイポイントの出力に代わるもの。

⑪関連研究の参照番号

参照番号	概要説明
[1]	CARLAリーダーボードを基準とした自律運転システムのオンライン評価標準。
[2], [6]	シフトや回転を用いたデータ拡張に関する初期研究で、制御出力を用いる模倣学習手法において回復を促すために使用されている。
[7], [9], [12], [35], [41]	模倣学習を用いた自律運転システムで、オフラインデータで学習されるが高いルート完了率を示している手法。
[10], [28]	CARLAでの模倣学習において、ナビゲーションの目的を伝えるためにターゲットポイント（TP）を利用する方法を導入した研究。
[14], [15]	従来のナビゲーションコマンド（NC）を用いた手法で、進行方向を「車線に従う」「右折」などの指示で表現する手法を採用。
[17]	TPへの直接ステアリングを行う「ショートカット」効果に関する研究。
[27], [33]	模倣学習における「累積誤差問題」を提起した研究。
[38]	トランスフォーマーデコーダーの活用に関する研究で、エンドツーエンド運転モデルの設計においてショートカット問題の軽減を目的として採用されている。

2. Related Work

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 2. Related Work IL for autonomous driving dates back over 30 years [26]. It regained traction with the seminal works of [4, 6, 14] and the release of CARLA [16], a 3D simulator used in numerous recent research advances in autonomous driv- ing [10, 11, 15, 19, 25, 34, 37, 43]. Early IL approaches evaluated in CARLA used a discrete navigation command (NC) [8, 10, 15], but their performance is not competitive to modern approaches [9, 12, 35, 41] which predict waypoints conditioned on TPs. In this work, we revisit an idea used in early systems but neglected in modern TP-conditioned methods: geometric shift augmentations [6, 10, 15, 27]. LAV [9] supervises waypoint outputs with additional data by making predictions for other nearby agents in the scene. Their waypoints are initially generated with NC con- ditioning. These are then refined using a GRU [13]. They observe a large (+50) improvement in route completion from this refinement. Our findings suggest that the refine- ment module improves steering primarily through TP con- ditioning, which is only provided to the refinement GRU. TCP [41] observes that waypoints are stronger at collision avoidance than directly predicting controls, but sometimes suffer at large turns. They leverage the strength and miti- gate the weaknesses of these two representations by creat- ing a situation dependent ensemble. Our study suggests that the waypoints are better at collision avoidance due to an im- plicit slowdown when the car is uncertain. PlanT [31] in- vestigates planning on CARLA by processing object bound- ing boxes with a transformer. Its sensorimotor version dif- fers from other SotA models in that it is trained in two stages (not end-to-end). In our setting, we find that end-to-end training is crucial. We show that their observations about dataset scale also hold for end-to-end models. TransFuser [12,28] is a simple, well-known and widely used baseline for CARLA. We provide an explanation for the large differences in route completion between the target point conditioned TransFuser architecture and its NC condi- tioned baselines [8, 10, 15]. Further, we propose modifica- tions to its architecture, output representation and training strategy which lead to significant improvements. Interfuser [35] regresses a path for steering, predicts object density maps, and classifies traffic rule flags. This representation is converted by a forecasting mechanism and hand designed heuristics into control. Like our proposed method, it uses a transformer decoder for pooling features, and disentangles future velocities from the path in the out- put. While these ideas were already present, they were not studied or discussed as significant. Our work adds to the lit- erature by showing that these design choices are indeed crit- ical to performance and providing explanations as to why. Furthermore, our final system is simpler and significantly outperforms Interfuser on Longest6. ReasonNet [36], ThinkTwice [22] and CaT [42] are concurrent end-to-end driving approaches that all use TP conditioning and waypoints as output representation.

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

何についての記載か?
本章は自動運転における模倣学習（IL: Imitation Learning）の先行研究について述べている。特に、CARLAという3Dシミュレーション環境を利用した最新の研究や、模倣学習における目標ポイント（TP: Target Points）やナビゲーションコマンド（NC: Navigation Commands）を用いた手法、幾何学的なシフト拡張などが取り上げられている。加えて、他の自律運転システム（LAV、TCP、PlanT、TransFuser、Interfuser、ReasonNet、ThinkTwice、CaT）との比較が行われ、特に性能面における改良や改善点についても触れられている。

要旨

ILの歴史的背景とCARLAの貢献: 模倣学習の概念は30年以上前から存在しているが、[4, 6, 14]の先行研究とCARLAの登場[16]により、近年再び注目を集めている。CARLAは多くの研究で自律運転システムの評価に活用され、特に3Dシミュレーションを用いた自動運転の開発が進んでいる[10, 11, 15, 19, 25, 34, 37, 43]。
NCとTPの違い: 初期のCARLA上でのIL手法は離散的なナビゲーションコマンド（NC）を利用していたが[8, 10, 15]、現代の手法では目標ポイント（TP）に基づくウェイポイント予測が一般的であり[9, 12, 35, 41]、性能が大幅に向上しているとされる。
幾何学的シフト拡張の再評価: 本研究ではTPを基にした現代の手法では軽視されがちであった、初期の模倣学習において用いられた幾何学的シフト拡張（例えばシフトや回転）[6, 10, 15, 27]の効果を再評価している。
LAVの改良: LAV[9]では、周囲のエージェントの予測データを活用してウェイポイントを補完し、GRU[13]を用いたリファインメントによりルート完了率を50以上向上させている。この改善は、TPがリファインメントGRUに与えられることでステアリング性能を向上させたと述べている。
TCPの強みと弱点: TCP[41]は、直接的な制御予測よりもウェイポイントによる衝突回避性能が優れているが、大きなカーブでの動作が難しいことを指摘している。TCPは状況依存型のアンサンブルを用いてこの弱点を補う手法を採用している。
PlanTによる計画手法: PlanT[31]は、CARLA上で物体のバウンディングボックスをトランスフォーマーで処理する計画手法を研究しており、Sensorimotorバージョンが従来の最先端モデルと異なり、エンドツーエンドではなく2段階で訓練されることを特徴としている。本研究では、エンドツーエンドの訓練が重要であることを示しており、データセットの規模に関する観察も一致している。
TransFuserの解釈と改良: TransFuser[12,28]はCARLAの代表的なベースラインであり、TPに基づくTransFuserアーキテクチャとNCベースのベースライン[8, 10, 15]でのルート完了率の大きな差異に関する説明を行っている。また、アーキテクチャ、出力表現、トレーニング手法の改良を提案し、性能向上を達成している。
Interfuserのアプローチと本研究の貢献: Interfuser[35]は、オブジェクト密度マップの予測や交通ルールフラグの分類を行い、制御にフォーキャストメカニズムとヒューリスティックスを組み合わせている。本研究では、トランスフォーマーデコーダーのプーリング機能や、未来速度の分離が性能に与える影響が重要であることを示している。また、提案システムはInterfuserを上回る性能を示している。
他のエンドツーエンド運転手法との関連性: ReasonNet[36]、ThinkTwice[22]、CaT[42]などのTPとウェイポイントを出力表現として用いる最新のエンドツーエンド運転手法についても関連性が言及されている。

▼質問(人間)
⑪関連研究の参照番号を全て列挙して、表にまとめて下さい。(元文にある内容のみ記載・類推して付け足しは不要、|参照番号|概要説明|の表へ、関連するもの同士でまとめて並べ替え)

▼生成AIの回答(ChatGPT-4o)
関連研究の参照番号一覧

参照番号	概要説明
[4], [6], [14]	模倣学習の初期の重要な研究。自動運転における模倣学習の基礎を築き、再注目される契機となる。
[8], [10], [15]	初期のCARLAで評価された手法。ナビゲーションコマンド（NC）を使用するが、現代の手法と比較して性能が劣るとされる。
[16]	3Dシミュレーション環境CARLAのリリースにより、多くの自動運転研究に活用されるようになる。
[9], [12], [35], [41]	現代の目標ポイント（TP）を用いた方法であり、性能が向上している手法。特に衝突回避や大きなカーブでの動作についての研究が含まれる。
[6], [10], [15], [27]	初期のシステムで用いられた幾何学的シフト拡張手法に関する研究。現代のTPを基にした手法では軽視されがちであるが、本研究で再評価される。
[9]	LAV（Learning from Autonomous Vehicle）手法に関する研究。追加データを用いたリファインメントにより、ルート完了率が+50改善されると報告される。
[13]	LAVにおいて、リファインメント処理に用いられるGRUに関する研究。
[41]	TCP（Traffic-Controlled Predictors）の手法に関する研究。ウェイポイントの利点と欠点を調整するための状況依存型アンサンブルを提案。
[31]	PlanT手法に関する研究。物体バウンディングボックスをトランスフォーマーで処理することでCARLA上での計画を行い、Sensorimotor版が2段階訓練を特徴とする。
[12], [28]	TransFuserの研究。CARLAでの代表的なベースラインであり、TP条件付きとNC条件付きの違いに関する評価や改善を試みる。
[35]	Interfuser手法の研究。オブジェクト密度マップの予測や交通ルールフラグの分類などの特徴があり、フォーキャストメカニズムとヒューリスティックスを組み合わせて制御を行う。
[36], [22], [42]	ReasonNet、ThinkTwice、CaTなど、TP条件付きおよびウェイポイント出力を特徴とするエンドツーエンド運転手法。

3. Hidden Biases of End-to-End Driving

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 3. Hidden Biases of End-to-End Driving We consider the task of urban navigation from point A to B [12]. The goal is to complete routes with dense traffic, multiple lanes and complex geometries (e.g. roundabouts) without incurring infractions. Along the way, the agent encounters manually designed pre-crash traffic scenarios. Each route is a list of GNSS coordinates called target points (TPs) which can be up to 50 m apart (∼30m on average). Metrics: We use the CARLA online metrics. Route Com- pletion (RC) is the percentage of the route completed. In- fraction Score (IS) is a penalty factor starting at 1.0 that gets reduced multiplicatively for every infraction. Our main metric is the Driving Score (DS) which multiplies RC with the IS. Where insightful, we report infraction per kilometer metrics. For a comprehensive description, refer to [12]. Baseline: As a baseline, we reproduce TransFuser [12]. This is a simple method representative of current SotA driv- ing systems on CARLA. The main differences in our repro- duction are a 360° field of view (FOV) LiDAR to enable safe lane changes and a dataset where the expert is driv- ing 2× faster to speed up evaluation. A list of other minor changes is provided in the supplementary material. Benchmark: For all experiments in this section, we train on CARLA towns 01, 03, 04, 06, 07 and 10. We use the 16 validation routes from LAV [9] in the withheld towns 02 and 05 for evaluation. In order to reduce the influence of training and evaluation variance which can be large in CARLA [5, 12], every experiment reports the average of 3 training seeds, evaluated 3 times each. We additionally re- port the training standard deviation for the main metrics.

上記の内容に関して下記の質問に回答下さい: (である調で記載、一般的な推測を回答に混入しない事、元文の記載内容に基づいて忠実に回答、回答量は長くなってもOK)
①何についての記載か? + 要旨は何? (要旨は箇条書きで記載、既存手法があれば引用元を記載、図・表の参照があれば記載)

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

記載内容
　本節では、都市環境におけるエンドツーエンド運転モデルの課題と、それに関連する隠れたバイアスの特定について述べている。また、CARLAシミュレーター上でのベンチマークに基づき、TransFuserを代表とする既存のエンドツーエンド運転システムの性能評価を行う。
要旨
- 都市内の移動タスクにおけるエンドツーエンド運転モデルの性能を、CARLAシミュレーターを用いて評価する。
- ナビゲーションにはターゲットポイント（TP）を使用し、運転経路には交通量の多い環境や複雑な交差点を含むルートが設定されている。
- 評価には「Route Completion（RC）」「Infraction Score（IS）」「Driving Score（DS）」といったCARLAの標準的なメトリクスを用いる。
- 評価実験のベースラインとして、代表的なエンドツーエンド運転手法であるTransFuserを再現し、その性能を改良版と比較する。
- 再現実験では、360°の視野を持つLiDARや、高速運転データを追加することで、評価がより迅速かつ安全に行えるよう調整している。
- ベンチマークとして、異なるCARLAタウンの学習および評価環境を設定し、変動要因の影響を抑えるために複数のシードで平均化した結果を報告している。

3.1. A shortcut for recovery

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 3.1. A shortcut for recovery While current SotA CARLA methods have fundamen- tally different architectures [9,12,35,41], they are all trained with conditional IL using fixed pre-recorded datasets. The evaluation task involves challenging routes which are ∼1.5km long, so it would be expected that these meth- ods suffer from compounding errors, a well-known prob- lem for IL [33]. Geometric shift augmentations [6] are a common approach to teach IL methods how to recover from such compounding steering errors [6, 15]. Surprisingly, even though such augmentations are not employed by SotA methods on CARLA, they report high RCs, demonstrating that they are not prone to this expected failure mode. All the aforementioned methods condition their predic- tions using the next target point (TP) along the route. To understand the importance of the TP, we train 2 versions of our reproduction of TransFuser: one with the original TP conditioning and another with a discrete (NC) condi- tion. This is a one hot vector that indicates whether the car should follow the lane, turn right at the next intersection, etc. It contains no geometric information about the center of the lanes, but still removes the inherent task ambiguity of inner-city driving [14]. For the NC conditioned model, we also implement shift and rotation augmentations by collect- ing augmented frames during data collection. We deploy a second camera in the simulator, that changes its position and orientation randomly at every time-step. The output labels are transformed accordingly for training the model (implementation details and examples can be found in the supplementary material). The results are shown in Table 1.

Cond. Aug. DS ↑ RC ↑ Dev ↓
NC - 32 ± 8 56 ± 12 0.86
NC ✓ 35 ± 3 54 ± 4 0.99
TP - 39 ± 9 84 ± 7 0.00
Table 1: Conditioning and Augmentation.

We observe a significant difference in RC of 28 points
when switching between TP and NC conditioning. The TP
conditioned model has 0 route deviations per km (“Dev”),
which indicates that it never takes a wrong turn or drives
too far away (more than 30m) from the lane. However, this
is not the case for NC conditioned models. While we do
see a small improvement in DS with augmentation, its RC
is still unsatisfactory. This indicates that the geometric in-
formation regarding the lane center available with the TP
aids recovery in SotA IL methods, prompting further inves-
tigation. We inspect the TransFuser and LAV [9] models by
constructing situations where the car is forcefully steered
out of lane. Fig. 2 visualizes these scenarios with the cam-
era, LiDAR and ground truth HD maps. For TP conditioned
models, the predicted waypoints (shown in blue) extrapolate
towards the nearest TP (red) even though the situation is out
of distribution. This shows that one reason for their strong
route following is that the bird’s eye view (BEV) TP resets
steering errors periodically: methods learn to steer towards
nearby TPs because the expert trajectory in the dataset al-
ways goes through them. This has the effect that TP condi-
tioned methods periodically drive back to the center of the
lane, resetting any accumulated errors. Furthermore, it sug-
gests that SotA IL approaches strongly rely on pre-specified
geometric information regarding lane centers for recovery.
We identify this as a form of shortcut learning, which
can be useful when the car is close to a target point, but
can also lead to catastrophic steering errors when the target
point is further away. An example would be directly ex-
trapolating to a target point behind a turn, which leads to
cutting the turn. In Fig. 3a and Fig. 3b, we show instances
where this happens for TCP [41] and TransFuser [12] in a
validation town at nighttime. TransFuser also predicts the
BEV segmentation as an auxiliary task, which we overlay
in the figure (gray: route, yellow: lane marking). For TCP,
we render the ground truth map and omit the LiDAR, since
it does not use LiDAR and does not predict BEV segmenta-
tion. Both methods predict waypoints that are tilted towards
the TP instead of following the street. As a result, they drive
into the opposing lane. We refer to this as the TP shortcut.

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

記載内容
　本節では、エンドツーエンド運転においてルート回復がどのように行われるか、特にTP（ターゲットポイント）条件付きモデルが「TPショートカット」に依存していることについて説明する。また、従来の手法と比較した際のTP依存の特性について検証し、これが「ショートカット学習」として機能する様子を実験結果や図を用いて具体的に示している（表1および図2、図3）。
要旨
- 現在の最先端（SotA）のエンドツーエンド運転モデルでは、ターゲットポイント（TP）を用いた条件付き訓練が行われており、これがルート回復に重要な役割を果たしている。
- ルート回復では通常、運転モデルに累積する誤差（コンパウンディングエラー）を修正する技術としてジオメトリ的シフト拡張法が使用されるが、CARLAでのSotA手法には未だ広く実装されていない。
- 本研究では、TransFuserモデルを再現し、ターゲットポイント（TP）条件付きとナビゲーションコマンド（NC）条件付きの二種類のモデルを用いて、異なる条件での効果を比較する実験を行っている（表1に詳細結果）。
- 実験結果として、TP条件付きモデルはRC（Route Completion）が28ポイント高く、ルート偏差がゼロとなり、高い回復能力を示している。
- しかし、TP依存によるショートカット学習は、時に致命的な操舵エラーを引き起こすリスクがある。具体的には、曲がり角の向こう側にあるTPに直接外挿を行うことで、結果的に旋回を省略して対向車線に入り込むケースが生じる（図3aおよび図3bで実例を示す）。
- このようなショートカット学習は、TPが近くにある場合は有用であるものの、TPが遠くにある場合には操作ミスの原因となり得ると結論づけられる。

▼質問(人間)
回答が短い。端折り過ぎで、文脈が分かりにくい。

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

記載内容
　本節は、最先端の自動運転手法における「回復」性能の仕組みを説明し、特にターゲットポイント（TP）に基づく条件付き制御と、従来のナビゲーションコマンド（NC）に基づく制御の比較を通じて、エンドツーエンド運転のルート回復の実現方法を探究している。これにより、TP情報が運転モデルにどのような回復効果をもたらすかを定量的に示し、また、それがもたらす「ショートカット学習」についても解説している。結果は、表1や図2、図3を通じて視覚的に提示され、SotA手法がTPを活用したルート回復に依存していることを確認している。
要旨
- SotA運転モデルの構造と訓練方法
  現在のCARLAで使用される最先端のエンドツーエンド運転モデル（LAV [9]、TransFuser [12]、Interfuser [35]、TCP [41] など）は、いずれも固定された事前収録データセットを用いた条件付きイミテーションラーニング（IL）で訓練されている。
  - 各モデルには異なるアーキテクチャが採用されているが、共通して次のターゲットポイント（TP）を用いた予測条件付けが行われている点が特徴である。
  - この手法により、長距離走行での誤差が蓄積しにくく、回復が可能となっている。
- 従来のジオメトリシフト拡張の役割とCARLAでのSotA手法の回復性能
  エンドツーエンド運転では従来、ジオメトリシフト拡張[6]などを用いて、累積誤差（コンパウンディングエラー）の修正能力を強化する手法が一般的であるが、CARLAの最先端手法には未実装である。
  - これにも関わらず、CARLAでのSotA手法は高いルート完了率（RC）を報告しており、累積誤差による失敗が少ないことを示している。
  - この原因として、SotA手法がTP情報に依存してルート回復を行っている点が挙げられる。
- TP条件付きとNC条件付きモデルの比較（表1）
  本研究では、TransFuserを再現したTP条件付きモデルと、NC条件付きモデルの2種類を訓練し、回復能力の比較実験を行った（表1に結果を記載）。
  - TP条件付きモデルは、RCが28ポイント高く、ルート偏差がゼロであり、NC条件付きモデルよりも優れたルート回復を実現している。
  - NC条件付きモデルでは、ジオメトリ的シフトと回転の拡張を実施したが、回復性能の改善には限界があり、TP条件付きモデルの回復能力には及ばなかった。
- TP依存による「ショートカット学習」効果
  本研究では、TP条件付きモデルの高いルート回復性能が、いわば「ショートカット学習」として機能していることを確認した。
  - TP条件付きモデルは、鳥瞰図（BEV）上のTPに近づくことで操舵誤差が定期的にリセットされる。このため、モデルはデータセット上で目標TPに向かって操舵することを学習し、累積する操舵エラーを修正できる。
  - ただし、この学習方式はTPが近い場合には有効であるが、TPが遠い場合には「ショートカット」問題が生じやすく、特に見通しの悪いカーブで、カーブを無視してTPに向かって外挿することで、対向車線に入り込むリスクが発生する（図3aおよび図3bに事例を示す）。
- 図2および図3：TP依存によるルート回復のビジュアル解説
  図2では、TransFuserおよびLAVモデルを用いて、意図的にレーンから外れた状況を作り出し、TP依存でどのように回復するかを可視化している。青色の予測ウェイポイントがTP（赤色）に向かって外挿され、事前データセット内の道を辿るような動作を示している。
  図3aおよび3bは、TCPおよびTransFuserが夜間の検証タウンで「TPショートカット」によって対向車線に進入するケースを視覚的に示し、TP依存による誤差回復の利点と欠点を併せて説明している。

▼質問(人間)
続けて下記の質問に追加で回答下さい:
⑦表に出来そうな部分があれば表でまとめて下さい。(下に解説を記載、対応する図/表番号があれば記載)
⑩図/表があれば、各図/表は何を主張するためのものかを説明下さい。(掲載理由・注目ポイント等)

▼生成AIの回答(ChatGPT-4o)
⑦ 表に出来そうな部分

以下に、本節の主要な比較と特徴を表形式でまとめる。表1では、異なる条件付けおよび拡張技術による運転スコア（DS）、ルート完了率（RC）、ルート偏差（Dev）を示しており、TP条件付きが回復性能で優位である点が強調されている。

条件付け手法	拡張技術	Driving Score (DS) ↑	Route Completion (RC) ↑	Route Deviation (Dev) ↓	対応する図表
NC	なし	32 ± 8	56 ± 12	0.86	表1
NC	あり	35 ± 3	54 ± 4	0.99	表1
TP	なし	39 ± 9	84 ± 7	0.00	表1

表1の数値より、TP条件付きモデルはRCおよびDevにおいて大きな優位性を持つことがわかる。特に、TP条件付きでのDevがゼロである点は、TP情報によりルートの逸脱がなくなることを示している。

⑩ 図/表の主張と掲載理由

表1：Conditioning and Augmentation
- 主張・掲載理由
  表1は、異なる条件付け手法（TP条件付きおよびNC条件付き）と、データ拡張（ジオメトリ的シフトおよび回転）の有無が、DS、RC、Devの各メトリクスに及ぼす影響を数値的に比較している。
- 注目ポイント
  TP条件付きがNC条件付きと比較してRCで28ポイントも優れており、ルート偏差がゼロである点は、TP情報の有効性を示す強力な証拠である。また、NC条件付きにデータ拡張を適用しても、TP条件付きには及ばないことから、TP情報の特異な回復効果が確認できる。
図2：TP依存のルート回復例（鳥瞰図表示）
- 主張・掲載理由
  図2は、TP条件付きモデルがルート逸脱から回復する際の具体例を視覚的に示す。青色の予測ウェイポイントが、事前に設定されたTP（赤色）に向かって外挿され、データセット内の理想的な軌道に沿うように運転行動を補正する様子を示している。
- 注目ポイント
  TP条件付きモデルは、通常の操作範囲外でもTP情報を基準として逸脱からの復帰を試みることが視覚的に理解できる。この鳥瞰図の視点から、TPが定期的に方向をリセットする仕組みが確認できる。
図3aおよび図3b：TPショートカットにおける運転誤差例
- 主張・掲載理由
  図3aおよび3bでは、TransFuserおよびTCPが夜間の検証タウンで「TPショートカット」により対向車線に進入してしまうケースを示している。具体的には、カーブの先にあるTPへ直線的に向かおうとする結果、カーブを曲がりきれず、対向車線に進入する事例が視覚的に表現されている。
- 注目ポイント
  TP条件付きが近くのTPに向かって単純に外挿してしまう「ショートカット学習」の弊害が確認できる。特に図3aのTCP、図3bのTransFuserの予測ウェイポイントがカーブの先を直線的に指向しており、この偏向が「カーブを曲がりきれない」リスクを示している点が注目ポイントである。

3.2. Improved pooling and data augmentation

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 3.2. Improved pooling and data augmentation One design choice which differs across SotA architec- tures is the pooling applied between the encoder and de- coder. In Fig. 4, we summarize these. In particular, Trans- Fuser [12] and LAV [9] employ global average pooling (GAP) followed by an MLP. InterFuser [35] pools features via the cross-attention mechanism of a transformer decoder. Finally, TCP [41], which has two decoders, uses GAP for one decoder and attention-based pooling for the other. As shown in Fig. 4, the networks are encouraged to learn spatially meaningful feature grids through auxiliary convo- lutional decoders that predict outputs such as BEV semantic segmentation. However, GAP does not maintain the spatial information in the features. Fig. 3b shows the BEV road segmentation predicted by TransFuser overlaid by its Li- DAR input. Unlike the waypoints, the BEV predictions are quite accurate. This indicates strong features coming from the encoder. Nevertheless, the final conditional waypoint predictions focus on the TP signal in this situation. We hypothesize that the GAP operation makes it difficult for the downstream decoder to utilize the strong BEV features. Note that attention-based pooling, such as the transformer decoder of Interfuser, preserves spatial information through the use of positional encodings. We compare the original TransFuser GAP approach with the spatially preserving design of Interfuser in Table 2. For the latter variant, we remove the GAP operation and MLP in TransFuser. We then process the 8×8 BEV feature grid as tokens with a transformer decoder. Implementation details can be found in the supplementary material.

Pooling Aug. DS ↑ RC ↑ Stat ↓
GAP + MLP - 39 ± 9 84 ± 7 1.04
Transformer Decoder - 43 ± 6 93 ± 3 0.55
Transformer Decoder ✓ 49 ± 8 90 ± 4 0.10
Table 2: Pooling and augmentation.

After replacing GAP with the transformer decoder, the
RC increases by 9 points and collisions per km with static
objects (“Stat”) reduce by a factor of 2. Static objects (such
as poles) only occur outside lanes in CARLA, implying that
the network manages to stay in the lane far more consis-
tently. Fig. 3c provides qualitative evidence that the trans-
former decoder can succeed in situations where GAP failed
due to the TP shortcut (additional examples in supplemen-
tary). In addition, we investigate the inclusion of shift and
rotation augmentations designed to aid lateral recovery (as
described in Section 3.1). Collisions with the static envi-
ronment are reduced further by a factor of 5 indicating that
augmentation provides strong benefits.

▼生成AIの回答(ChatGPT-4o)
① 何についての記載か? + 要旨は何?

本節は、エンコーダーとデコーダー間の特徴プーリング手法およびデータ拡張による性能の向上について述べている。現在のSotA（最先端）モデル間では、プーリング手法の選択が異なり、各手法の空間情報保持の違いがモデルの出力に影響を及ぼしている。また、これらの違いがデータ拡張手法と組み合わせることでどのようにルート完了率（RC）や静的物体との衝突率に影響を与えるかを比較している。要旨は以下の通りである。

SotAのモデルはエンコーダーとデコーダー間で異なるプーリング手法を採用しており、特にGlobal Average Pooling (GAP) とアテンションベースのプーリングに分かれる【12,9,35,41】。
GAPは空間情報を保持しないため、デコーダーがBEV特徴を活用することが難しくなる可能性がある。これに対し、InterFuserなどが用いるアテンションベースのプーリングは空間情報を保持する【35】。
TransFuser【12】のGAPをアテンションベースのトランスフォーマーデコーダーに置き換えることで、RCが9ポイント向上し、静的物体との衝突率が半減する（表2、図3c参照）。
シフトおよび回転のデータ拡張技術の導入により、さらに静的物体との衝突が大幅に減少する。
この結果、トランスフォーマーベースのプーリングとデータ拡張が、空間情報の保持と回復能力向上に重要であることが示される。

▼質問(人間)
回答が短い。端折り過ぎで、文脈が分かりにくい。
本件を記憶下さい。前回の質問に再度回答下さい。

▼生成AIの回答(ChatGPT-4o)
①何についての記載か? + 要旨は何?

この節は、「エンコーダとデコーダの間のプーリング手法とデータ拡張の改良」に関する記載である。主に、プーリング手法の違いがエージェントの運転行動に与える影響、およびデータ拡張が車両の復帰能力を向上させる効果について説明している。主な要旨は以下の通りである。

プーリング手法の種類とその影響
- SotAアーキテクチャでは、エンコーダからデコーダへの特徴抽出の際、異なるプーリング手法が使用されている。具体的には、TransFuser [12]とLAV [9]はグローバルアベレージプーリング (GAP) を用いてMLPに接続し、InterFuser [35]はトランスフォーマーデコーダのクロスアテンション機構を使用して特徴をプーリングし、TCP [41]はデコーダごとに異なるプーリング手法を採用している (片方はGAP、もう片方はアテンションベースのプーリングを使用)。
グローバルアベレージプーリング(GAP)の課題とトランスフォーマーデコーダの優位性
- GAPは空間的な情報を保持しないため、デコーダがエンコーダから抽出された空間的に強い特徴（BEVセグメンテーション）を十分に活用することが難しい。これに対し、トランスフォーマーデコーダのアテンションベースのプーリングは位置情報を保つため、空間的な情報を維持しつつエージェントの運転行動に寄与できることが示唆されている。
プーリング手法の比較とその性能評価 (表2)
- GAPを使用した元のTransFuserアプローチと、空間的情報を保つトランスフォーマーデコーダのアプローチを比較したところ、後者はルート完遂率 (RC) が9ポイント上昇し、静的物体 (Stat) との衝突率も半減した。
シフト・回転拡張の有効性
- また、シフトおよび回転によるデータ拡張を導入した際、Stat衝突率がさらに5分の1まで減少し、拡張が車両の復帰能力向上に有効であることが確認された。
関連図表
- 図3bおよび図3cでは、BEVセグメンテーションの予測とトランスフォーマーデコーダの空間保持特性を比較し、トランスフォーマーデコーダがGAPよりも効果的に状況に適応する様子を示している。表2には、プーリングと拡張手法の違いに基づく各指標の数値が示されている。

▼生成AIの回答(ChatGPT-4o)
⑦ 表に出来そうな部分

プーリングとデータ拡張手法の違いによる各指標の数値を、下記の表に整理する。対応する図/表番号は表2である。

プーリング手法	データ拡張	DS (↑)	RC (↑)	Stat (↓)
GAP + MLP	-	39 ± 9	84 ± 7	1.04
トランスフォーマーデコーダ	-	43 ± 6	93 ± 3	0.55
トランスフォーマーデコーダ	✓	49 ± 8	90 ± 4	0.10

解説

この表は、プーリング手法とデータ拡張の有無による運転パフォーマンス指標の違いを示すものである。
DSはDriving Score、RCはRoute Completion率、Statは静的物体との衝突頻度であり、これらの指標において、トランスフォーマーデコーダとデータ拡張の組み合わせが最も良好な性能を示している。

⑩ 図/表があれば、各図/表は何を主張するためのものかを説明

図3b (BEVセグメンテーション予測の正確性)
図3bは、TransFuserモデルによるBEVセグメンテーション予測結果をLiDAR入力と共に重ねたものである。この図の意図は、TransFuserのエンコーダがBEVセグメンテーションという空間的に強い特徴を捉える能力があることを視覚的に示すことである。BEV予測の精度は高いが、GAPによりこの情報がデコーダでの運転行動にうまく利用されていない可能性が指摘されている。
図3c (トランスフォーマーデコーダによる復帰性能の改善)
図3cは、トランスフォーマーデコーダを使用した場合の予測性能を示すものであり、GAPでは失敗したシナリオでトランスフォーマーデコーダが成功する例を示している。この図の注目ポイントは、空間的情報を保持することによって、トランスフォーマーデコーダが道路からの逸脱や静的物体との衝突を回避できることを示唆することである。
表2 (プーリング手法とデータ拡張の性能比較)
表2は、GAPとトランスフォーマーデコーダという異なるプーリング手法とデータ拡張の有無による各性能指標 (DS, RC, Stat) の比較を数値で示している。主張ポイントは、トランスフォーマーデコーダを用いることで空間情報を保持し、復帰性能が向上すること、さらにデータ拡張により静的物体との衝突が大幅に減少することである。

3.3. The ambiguity of waypoints

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 3.3. The ambiguity of waypoints Waypoints are used in many SotA systems as out- puts [9, 12, 41]. They are obtained by recording an expert driver’s GNSS locations at fixed time intervals (e.g. 0.5s) and transforming them into a local coordinate frame. The model is then trained to predict future waypoints, typically with an L1 regression objective. Waypoints entangle both the path and the future velocities of the vehicle. The ve- locity after a specific time interval extracted from the way- points is used by a downstream controller as a target speed. In Fig. 5, we plot a histogram comparing the target speeds of the expert algorithm (i.e. training dataset) to those extracted from TransFuser (best model in Table 2). Inter- estingly, the distributions are quite different. By design, the expert chooses one of four target speeds: 29, 18, 7, or 0 km/h. These values cover behaviors needed for city driv- ing, corresponding to four situations: regular driving, slow- ing down in intersections, slowing down near pedestrians, and stopping. In contrast, for TransFuser, the predicted tar- get speeds cover the entire 0-29 km/h range. While the future path that our expert follows is deter- ministic and unambiguous (center of the lane, lane change at pre-defined locations), future velocities are multi-modal. As both are jointly represented by waypoints, this leads to an ambiguous entangled representation. However, existing methods which utilize this entangled waypoint representa- tion predict only point estimates (i.e., a single set of way- points) as output, hence only a single mode is modeled. From Fig. 5, we observe that the waypoint based TransFuser model indeed interpolates between modes, a behavior that is expected when modeling multi-modal outputs determin- istically. We illustrate this behavior in detail using the ex- amples of (1) approaching an intersection with a green light (Fig. 6a), and (2) a cyclist cutting into the vehicle’s path (Fig. 6b). TransFuser slows down in these situations since it is uncertain, e.g., the light may turn red in Fig. 6a. The car stops in time in Fig. 6b because of the decreased speed. While this averaging is indeed beneficial in some situ- ations, an entangled representation is undesirable as it is less interpretable and does not explicitly expose uncertainty. Moreover, when stopped (all waypoints collapsed to one location), the steering signal is undefined which requires additional heuristics in the controller. To resolve this, we disentangle the future velocities from the path by sampling the expert’s position at fixed distances instead of fixed time intervals for training a (deterministic) path predictor. How- ever, when predicting the path instead of time-dependent trajectories, one requires an additional method to determine a target speed for the car. We propose to predict the tar- get speed by simple classification using an additional MLP head. We incorporate the prediction uncertainties into the final output by using a confidence weighted average of the predicted target speed as input to the controller. Note that this is just one example of how the resulting confidence es- timates may be leveraged by a vehicle controller.

Output DS ↑ RC ↑ Veh ↓ Stat ↓
Waypoints 49 ± 8 90 ± 4 0.70 0.10
Path + Argmax 40 ± 1 88 ± 2 1.25 0.03
Path + Weighted 50 ± 3 88 ± 1 0.83 0.02
Table 3: Output representation.

Compared to the waypoint representation, naively con-
verting the predicted classes to a target speed via the most
likely class (Argmax) increases vehicle collisions (“Veh”),
as seen in Table 3. Employing the proposed weighting
(Weighted) achieves lower collisions. Moreover, the path-
based model steers better as indicated by the lower static ob-
stacle collisions (“Stat”). The disentangled representation
achieves the same driving score as the entangled waypoint
representation, providing an alternative with a simpler and
more interpretable controller: (1) it eases design since it has
identical parameters to the controller in the expert, (2) it has
access to an unambiguous path representation even when
driving slowly, and (3) it explicitly exposes and makes use
of uncertainties with regard to target speeds.
Fig. 6c shows a qualitative example. The car is slowing
down due to its uncertainty. The lower target speed allows
it successfully merge behind the cyclist.

▼生成AIの回答(ChatGPT-4o)
① 何についての記載か? + 要旨は何?

記載内容:
本節では、車両運転システムにおける「ウェイポイント」の使用に関する問題点と、それに対する改善策が述べられている。ウェイポイントは、専門家の運転データから得られた位置情報を基に未来の位置を予測するために使用されるが、これが車両の進行方向と速度に関する情報を複雑に結びつけてしまうことで、予測における曖昧さや不確実性が生じることが指摘されている。
要旨:
- ウェイポイントの問題点:
  - ウェイポイントは、経路と速度が結びついた形で表現されるため、進行方向（経路）と速度の予測に曖昧さを引き起こす。
  - 既存の手法（例：TransFuser）はこの曖昧な表現をそのまま利用しており、単一の予測結果（ポイント推定）のみを生成するため、モードが適切にモデル化されない。
  - 速度は4つの定義されたターゲット速度（29, 18, 7, 0 km/h）で設定されるが、TransFuserでは予測されたターゲット速度が0～29 km/hの範囲に広がる。
- 解決策の提案:
  - ウェイポイントの結びつけを解き、進行経路（パス）と速度（ターゲット速度）を別々に予測する方法を提案。これにより、より直感的で解釈可能な結果を得る。
  - 進行方向は固定距離ごとにサンプルを取って予測し、ターゲット速度は別のMLPヘッドを用いて分類することで予測する。
  - 速度予測には信頼度加重平均を使って不確実性を反映させる。
- 実験結果と評価:
  - ウェイポイントによる予測と提案手法（パス予測と加重）の比較結果が表3に示され、加重平均による速度予測が最も低い衝突率（「Stat」と「Veh」）を実現した。
  - 提案された手法は、従来のウェイポイントを使った方法と同じドライビングスコアを得る一方で、より解釈しやすく設計も簡単であり、ターゲット速度に対する不確実性を明示的に扱えるという利点がある。
既存手法の引用:
- 従来手法（TransFuser [12]）では、ウェイポイントが進行経路と速度を結びつけた「複雑な表現」として使われ、そのまま予測に使用される。
- TransFuserでは、速度の分布が専門家のターゲット速度（29, 18, 7, 0 km/h）とは異なり、0～29 km/hの範囲で予測されることが指摘されている。
図/表の参照:
- 図5: 予測されたターゲット速度と専門家アルゴリズムによる速度分布の比較。
- 図6a: 交差点で信号が青の時に車両が減速する例。
- 図6b: 自転車が車両の進行方向に割り込む際の減速の例。
- 図6c: 信頼度加重平均を使ったターゲット速度予測により、自転車の後ろに適切に車両が合流する例。
- 表3: 出力表現に基づく各性能指標（DS, RC, Veh, Stat）の比較。

▼生成AIの回答(ChatGPT-4o)
⑦ 表に出来そうな部分

出力表現	DS (Driving Score) ↑	RC (Recovery Count) ↑	Veh (車両衝突数) ↓	Stat (静的障害物との衝突数) ↓	特徴
Waypoints	49 ± 8	90 ± 4	0.70	0.10	ウェイポイントによる経路・速度の同時予測
Path + Argmax	40 ± 1	88 ± 2	1.25	0.03	経路予測において最も確率の高い速度クラスを使用
Path + Weighted	50 ± 3	88 ± 1	0.83	0.02	信頼度加重平均を用いた経路予測による速度予測

解説:
表3に基づき、出力表現ごとの各性能指標の比較を表にまとめた。具体的には、運転スコア（DS）、回復カウント（RC）、車両衝突数（Veh）、静的障害物との衝突数（Stat）がそれぞれの手法においてどのように変化するかを示している。Waypoints方式では運転スコアと回復カウントが高い一方、静的障害物との衝突数が低いが、車両衝突数は他の手法に比べてやや多い。Path + Weighted方式では、信頼度加重平均により、衝突数を低減しつつも運転スコアの向上が見られ、全体的なパフォーマンスが最も良好であることがわかる。

⑩ 図/表があれば、各図/表は何を主張するためのものか

図5: トレーニングデータとして用いられる専門家アルゴリズムのターゲット速度と、TransFuserモデルが予測するターゲット速度の分布を比較している。この図は、従来のウェイポイント手法で予測される速度が、専門家アルゴリズムの設計意図に沿わない速度分布を持つことを示しており、ウェイポイント表現の曖昧さによって生じる予測のばらつきが明示されている。
図6a: 交差点に差し掛かる状況で、信号が青であるにもかかわらず車両が減速する例を示している。この減速は、信号が赤になる可能性に備えるためであり、TransFuserが不確実な状況で平均的な挙動を示すことがわかる。これにより、ウェイポイント表現の予測における曖昧さが確認できる。
図6b: 自転車が車両の進行方向に割り込む際、車両が減速して停止する例。この図は、TransFuserが不確実性のある状況において、速度を低減させる反応を示す点を強調しており、ウェイポイントによる表現の曖昧さが減速挙動に影響を与えることを示唆する。
図6c: 信頼度加重平均を使ってターゲット速度を予測した場合の例で、車両が自転車の後方に適切に合流する様子を示している。この図は、提案された信頼度加重平均方式が、曖昧さを緩和し、ターゲット速度の予測精度を向上させる点を示しており、他の方式と比較して適切な合流挙動を提供できることを主張している。
表3: 出力表現に基づく各手法の性能を定量的に比較し、Waypoints方式とPath + Argmax、Path + Weightedの異なるアプローチがそれぞれの指標に及ぼす影響をまとめている。

3.4. Scaling up to TransFuser++

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 3.4. Scaling up to TransFuser++ By incorporating these insights, we obtain a significantly improved version of TransFuser [12] that we call Trans- Fuser++ (Fig. 7). We now describe two important imple- mentation changes compared to [12] that involve scaling.

wo stage Frozen DS ↑ RC ↑ Veh ↓

- 50 ± 3 88 ± 1 0.83
  ✓ - 54 ± 1 92 ± 5 0.79
  ✓ ✓ 44 ± 6 97 ± 1 1.21
  Table 4: Two stage training.

Training schedule: We observe no benefits from simply
doubling the number of training epochs for a single training
stage. However, in Table 4, we double the training time with
a two-stage approach. First, we pre-train the encoder with
only the perception losses (2D depth, 2D and BEV seman-
tic segmentation, and vehicle bounding boxes, as shown
in Fig. 7) for the usual number of epochs. We then fine-
tune the resulting checkpoint with all losses, after including
the GRU decoder and MLP classifier. Initializing the back-
bone with features that are pre-trained on the auxiliary tasks
leads to a 4 DS improvement, consistent with the claims of
LAV [9]. We also experiment with freezing the pre-trained
backbone and only training the transformer decoder and its
heads in the second stage. This leads to a drop of 10 DS,
indicating that end-to-end optimization is important.
Dataset scale: Recent work on CARLA [31] shows large
improvements by scaling the dataset size. However, [31]
considers planning models with privileged inputs on train-
ing towns. We investigate the impact of scaling when eval-
uating on held-out validation towns for end-to-end mod-
els. We start with 185k training samples (as in [12]) and
scale it up by re-running the training routes 3 times with
different traffic (555k frames). Table 5 shows a clear im-
provement of 6 DS via scaling. This shows that current IL
approaches can still benefit from larger datasets. We train
for the same amount of epochs, which implies that this im-
provement comes at the cost of 3× longer training.

Dataset size DS ↑ RC ↑ Veh ↓
185k 54 ± 1 92 ± 5 0.79
555k 60 ± 6 98 ± 1 0.73
Table 5: Effects of scale.

▼生成AIの回答(ChatGPT-4o)
① 何についての記載か? + 要旨は何?

3.4. Scaling up to TransFuser++
本節では、既存のTransFuser [12]を改良し、精度向上を図ったTransFuser++の実装について説明している。TransFuser++では主に2つの実装上の変更が行われており、それによりパフォーマンスが大幅に向上した。以下に、主な要旨をまとめる。

二段階のトレーニングアプローチの導入: 単にエポック数を増やすだけでは効果がなかったため、二段階のトレーニング方式を導入。最初のステージでは、エンコーダーを知覚関連の損失（2D深度、2DおよびBEVセマンティックセグメンテーション、車両バウンディングボックス）に基づいて事前学習し、その後、全体の損失関数を用いて微調整を行う。この手法は、他の補助的タスクで事前学習された特徴をバックボーンに活用するものであり、DSのスコアを4向上させた（LAV [9]の主張に一致）。
フリーズとエンドツーエンド最適化の比較: 事前学習済みのバックボーンをフリーズし、トランスフォーマーデコーダーとそのヘッドのみを訓練する試みも行われたが、10 DSの低下を引き起こした。この結果から、エンドツーエンドの最適化の重要性が示唆された。
データセットの拡大による効果検証: CARLAにおける他の研究 [31]では、データセットのスケールアップによって大幅な改善が報告されている。本研究でも、トレーニングサンプル数を185kから555kに増加させたところ、6 DSの向上が見られた。この結果は、現在の模倣学習（IL）アプローチでもデータセットの拡大が有効であることを示している。ただし、トレーニング時間が3倍に増加するコストが伴う。

図・表の参照:

表4: 二段階トレーニングによる各指標（DS、RC、Veh）の変化を示す。
表5: データセットのスケールアップ（185kサンプルから555kサンプル）による指標の改善を示し、DSスコアが6向上している。

▼生成AIの回答(ChatGPT-4o)
⑦ 表に出来そうな部分があれば表でまとめて下さい。

以下に、本節での二段階トレーニングとデータセット拡大による効果をまとめた表を作成する。

方法	DS (↑)	RC (↑)	Veh (↓)	説明	対応表
単一ステージ	50 ± 3	88 ± 1	0.83	通常のトレーニングスケジュール	表4
二段階 (Frozen無し)	54 ± 1	92 ± 5	0.79	二段階でバックボーンを事前学習後に微調整	表4
二段階 (Frozen有り)	44 ± 6	97 ± 1	1.21	二段階のうち第2ステージでバックボーンをフリーズ	表4
データセット 185k	54 ± 1	92 ± 5	0.79	通常のデータセットサイズ	表5
データセット 555k	60 ± 6	98 ± 1	0.73	データセットを拡大（3倍のトレーニングサンプル数）	表5

この表により、各方法がどの指標に対してどの程度効果をもたらしたかが視覚的に理解しやすくなる。二段階トレーニングではFrozen無しの方が高いDSスコアを達成し、データセットの拡大によりDSスコアの更なる向上が見られる。

⑩ 図/表があれば、各図/表は何を主張するためのものかを説明下さい。

表4 (Two stage training): 二段階トレーニングアプローチの効果を示している。特に、バックボーンをFrozenするか否かでDS（Driving Score）やRC（Route Completion）の指標がどのように変動するかがわかる。Frozenを行うとDSスコアが低下するため、エンドツーエンドの最適化が重要であることを強調している。
表5 (Effects of scale): データセットのスケールアップによる性能向上を示す。トレーニングサンプル数を185kから555kに増加させた場合、DSやRCの指標が向上し、特にDSスコアで6ポイントの改善が見られる。この結果は、模倣学習アプローチでも大規模なデータセットが有効であることを示唆している。
図7 (TransFuser++ model architecture): TransFuser++のモデルアーキテクチャ全体を示し、二段階トレーニングで使用される各モジュール（エンコーダー、GRUデコーダー、MLP分類器など）の接続関係を図示している。各モジュールがどのように連携してトレーニングが進むかが視覚的に示されており、二段階トレーニングの理解を補助する。

4. Comparison to State of the Art

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 4. Comparison to State of the Art Methods: This section demonstrates the advantages of TF++ over several state-of-the-art models, which we list be- low, starting with the most recent. (1) Interfuser [35] pro- cesses multiple cameras and a BEV LiDAR by encoding each of them individually with a CNN. The resulting fea- ture grids are fed into a transformer and decoded into per- ception outputs and the path to follow. The network does not predict longitudinal controls. Instead, it uses the BEV bounding boxes and a simple motion forecast (extrapolating historical dynamics) and linearly optimizes for the target speed using heuristically chosen objectives. (2) Perception PlanT [31] is a transformer based method trained in two independent stages that uses BEV bounding boxes as an in- termediate representation. Its perception is based on Trans- Fuser, and its planner outputs waypoints. (3) TCP [41] is a camera-only model with two output representations: way- points and controls. During test time, it ensembles the two outputs together with a weighted average that changes based on whether the vehicle is turning. (4) TransFuser [12] fuses perspective cameras with a BEV LiDAR by process- ing them with individual CNNs and exchanging features us- ing transformers. It uses global average pooling and way- point outputs, as described in Section 3. (5) LAV [9] pro- cesses cameras and LiDAR point clouds into an intermedi- ate BEV representation. It trains a planner on this represen- tation that predicts waypoints for the ego vehicle with a NC conditioned GRU followed by a TP conditioned refinement GRU. During training, the planner is also tasked to predict the trajectory of other surrounding vehicles to increase the number of labels. The authors release two versions of this method, which we call LAV v1 and LAV v2. (6) WOR [8] is an IL method for which the labels are enriched using a re- ward function to provide dense supervision for all possible actions. Unlike the other baselines, it is conditioned with the NC and does not utilize the TP. WOR is the best NC conditioned baseline that is publicly available. Benchmarks: We use two benchmarks to evaluate on seen and unseen towns, with scenarios taken from [12] (type 1,3,4,7,8,9 and 10). Table 6 compares the performance of systems on the Longest6 benchmark [12] which consists of 36 routes in training towns 01 to 06. On Longest6, models trained on any data can be evaluated, so we compare against the author-provided models or directly report numbers from the respective papers. The mean and std of three evaluations is reported. For TF++ we train 3 models and report the av- erage result. Longest6 has the advantage that it evaluates in dense traffic and has diverse towns and routes. The draw- backs are that it does not penalize stop sign infractions or measure generalization to new towns. Therefore, we addi- tionally compare performance on validation towns using the LAV [9] routes in Table 7. These are 4 routes with 4 weath- ers (16 combined) in Town 02 and 05, which are withheld during training. We re-train methods with the dataset from the corresponding paper 3 times and evaluate each seed 3 times. Reported results are the mean of all runs and the std between the training seeds. We compare against the re- ported SotA TCP and our reproduced TransFuser baseline on this benchmark and provide additional baselines in the supplementary. Dataset: For TF++ we collect data on the same training routes as in [12] with an improved expert labeling algorithm (described in the supplementary material). We repeat this 3 times on the same routes with different traffic, as in [31]. For validation, we withhold Town 02 and 05 during train- ing, else we train on all towns. In total, we train with 750k frames (550k when withholding Town 02 and 05). Results: We start with the results in training towns (Ta- ble 6). The best NC conditioned method, WOR, has signifi- cantly lower RC than all TP conditioned systems (22 lower than LAV v1). In particular, the route deviations (Dev) are 10 times higher. Current TP conditioned SotA methods achieve (close to) 0 route deviations with driving scores in the range of 47 DS to 58 DS. TF++ outperforms all base- lines on Longest6, showing a 19% relative improvement over the previous SotA Perception PlanT. TF++ achieves close to expert-level performance on all infractions except for vehicle collisions (Veh). On the validation towns (Ta- ble 7) TF++ outperforms our reproduced TransFuser by 31 DS improving all metrics, particularly environmental colli- sions (Stat). It improves the prior SotA result TCP by 21%. Runtime: Table 8 compares the runtime of TF++ and TransFuser which have the same sensor setup. TF++ yields a large DS improvement while being only 14% slower.

Method ↑ DS ↑ Time (ms) ↓
TransFuser (ours) 39 44
TF++ (ours) 70 50
Table 8: Runtime. We show the runtime per frame in ms
averaged over 300 time steps on a single route on a RTX
3090. TF++ outperforms TransFuser by a wide margin de-
spite using a similar compute budget during inference.

▼生成AIの回答(ChatGPT-4o)
① 何についての記載か? + 要旨は何?

何についての記載か
本節は、提案手法TransFuser++ (TF++)と、他の最先端モデルとの比較について述べている。また、TF++が他の手法に対して持つ優位性を示すために、複数のベンチマークでの評価を行っている。さらに、使用するデータセット、トレーニング手法、および評価結果についても説明されている。最後に、実行速度についても比較が行われている。

要旨

比較対象手法: TF++の性能を評価するために、複数の最新モデル（Interfuser、Perception PlanT、TCP、TransFuser、LAV、WOR）との比較が行われている。それぞれのモデルの特徴や出力方式について簡潔に説明されている。
ベンチマーク: TF++は、訓練済みの町での評価を行うLongest6ベンチマークと、一般化性能を測定するための未訓練の町での評価（LAVルート）でテストされている。Longest6は多様な町やルート、混雑した交通状況での性能を評価する一方、LAVルートは見慣れない環境での性能を測定するものである。
データセット: TF++の訓練には、既存手法で用いられたトレーニングルートと同様のデータセットが使用され、異なるトラフィックシナリオを再現した750kフレームが収集された。
結果: 訓練済みの町（Longest6）では、TF++は最新のSotAモデルであるPerception PlanTに対して19％の相対的なDS（Driving Score）向上を達成した。また、未訓練の町（LAVルート）においてもTF++は再現されたTransFuserを31 DS上回り、TCPに対しても21%の改善を示した。
実行速度: TF++の実行速度は1フレームあたり50ms（RTX 3090上での300ステップの平均）であり、TransFuserの39 DSに対して大幅に改善しつつも、14%の速度低下にとどまっている（表8）。

▼質問(人間)
回答が短い。端折り過ぎで、文脈が分かりにくい。
本件を記憶下さい。前回の質問に再度回答下さい。

▼生成AIの回答(ChatGPT-4o)
① 何についての記載か? + 要旨は何?

本節では、TF++の性能を最先端（SotA）の手法と比較し、各手法の特徴とTF++の優位性について詳述している。比較に用いた手法やベンチマークについて説明し、異なるデータセットサイズでの学習効果、訓練済みモデルのテスト環境、評価結果を示している。また、TF++の推論速度をTransFuserとの比較で紹介し、TF++が性能面での向上を実現しつつもわずかな遅延のみである点を強調している。

対象手法の特徴：以下の手法との比較が行われている。
1. Interfuser【35】：複数のカメラとBEV LiDARを個別のCNNでエンコードし、これらの特徴グリッドをトランスフォーマーに入力する。進行経路のみを予測し、長軸制御の予測は行わない。
2. Perception PlanT【31】：BEVのバウンディングボックスを中間表現として用い、2段階で学習を行うトランスフォーマーベースの手法。
3. TCP【41】：カメラのみを用い、ウェイポイントと制御を出力。テスト時に加重平均で出力を組み合わせる。
4. TransFuser【12】：CNNを用いてカメラとLiDARの特徴を抽出、トランスフォーマーで相互に特徴を融合する。
5. LAV【9】：中間BEV表現でカメラとLiDARを処理し、エゴ車両と周囲の車両の軌道を予測する。2バージョン（LAV v1とLAV v2）が存在。
6. WOR【8】：NCを用いた強化学習的手法で、密な監視を提供し、全行動を教師付きで学習する。
評価ベンチマーク：
- Longest6【12】：訓練データに使用した町01-06の36ルートで構成され、密な交通状況と多様なルートが特徴。
- Validation towns【9】：訓練から除外した町02と05で構成され、未知の環境での性能を評価する目的。
TF++の結果：
- Longest6（表6参照）では、既存のSotAであるPerception PlanTを19%上回り、特にルート逸脱、停止標識無視、環境との衝突（Stat）において優れたパフォーマンスを示した。
- Validation towns（表7参照）においても、TF++は再現されたTransFuserを31 DS改善し、TCPに対して21%の性能向上を示した。
推論速度：
- 表8では、RTX 3090上での推論時間をTransFuserと比較。TF++はわずか14%の遅延増加で大幅な性能向上を実現している。

▼質問(人間)
回答が短い。上記の「対象手法の特徴」について、もっと詳しく記載下さい。

▼生成AIの回答(ChatGPT-4o)
対象手法の特徴について、より詳細に記載する。

Interfuser【35】：
- 特徴：Interfuserは、複数のカメラとBird's Eye View（BEV）視点のLiDARセンサーを用いて情報を取得し、これらのデータを個別の畳み込みニューラルネットワーク（CNN）でエンコードすることで特徴量を抽出する。このエンコードされた特徴グリッドはトランスフォーマーモジュールに入力され、BEVからの知覚情報と、車両が従うべき経路を出力する。
- 制御方式：Interfuserは縦軸の制御（加減速や速度制御）を直接予測するのではなく、BEVからのバウンディングボックスをもとに、単純な動きの予測（過去の動きの線形外挿）を行うことで目標速度を設定している。目標速度はヒューリスティックに選ばれた目標値を元に線形的に最適化されるため、運転の制御は直感的かつシンプルであるが、環境変化に対する柔軟な反応性には限界がある。
Perception PlanT【31】：
- 特徴：Perception PlanTは、トランスフォーマーをベースとする手法であり、BEVのバウンディングボックスを中間表現として利用する。この方法により、環境の抽象的な理解が得られるため、道の認識や障害物の位置把握に優れている。学習過程は2段階に分かれており、まずBEVバウンディングボックスの抽出を行い、それを利用して車両の進行経路に関する出力（ウェイポイント）を得る。
- TransFuserとの関係：Perception PlanTの知覚部分はTransFuserをベースとしており、トランスフォーマーの構造を活かして環境情報を効果的に抽出しているが、計画部分（プランナー）はウェイポイントの出力に特化している点が特徴である。
TCP (Traffic Control Prediction)【41】：
- 特徴：TCPはカメラのみを使用して入力情報を得る手法であり、出力としてウェイポイントと制御信号を生成する。TCPの特徴的な部分は、テスト時にこれら2種類の出力を加重平均で組み合わせる点である。この加重平均の重みは、車両が旋回しているか直進しているかに応じて変化し、環境に合わせた出力の柔軟性を高めている。
- 制御手法：制御信号の出力とウェイポイントの出力を組み合わせることで、TCPは特に道路の曲線や交差点などの複雑な運転状況での精度向上を図っているが、この動的な加重平均による組み合わせが推論時の負荷を上昇させる可能性がある。
TransFuser【12】：
- 特徴：TransFuserは、パースペクティブカメラとBEV LiDARのデータを融合させるために、カメラとLiDARそれぞれに対して個別のCNNを用いる。抽出された特徴量は、トランスフォーマーを介して相互の情報を交換することで、視覚情報と環境情報を高度に融合する。この手法により、カメラによる視覚的な文脈とLiDARによる距離感を統合し、運転に必要な環境把握を強化することができる。
- 出力形式：TransFuserの出力はグローバル平均プーリングでまとめられ、進行経路のウェイポイントとして出力される。知覚情報と経路計画の統合が高いレベルで行われるため、複雑な環境での堅牢な経路計画を可能としているが、エンドツーエンドのシステムのため制御の柔軟性には限界がある。
LAV (Learning Autonomous Vehicles)【9】：
- 特徴：LAVはカメラとLiDARから得られる情報を中間のBEV表現に変換する手法であり、環境に対する抽象的な知覚を実現している。このBEV表現を利用したプランナーは、エゴ車両の進行経路（ウェイポイント）を予測するため、特に交通シナリオでの挙動予測が向上している。
- GRUモデル：LAVは2つのGRUモデルを使用しており、NC（Neighborhood Conditioned）を条件としたGRUで粗い経路を生成し、TP（Trajectory Planning）を条件としたGRUで経路を精緻化する。さらに、学習時に周囲の車両の軌道予測も行い、エゴ車両以外の車両に対するラベルも増加させることで環境把握の精度を向上させている。
- バージョン：LAVには2つのバージョン（LAV v1とLAV v2）があり、異なる設定や条件で動作するように調整されている。TP条件に基づくGRUの存在が特徴であり、これにより複雑なシナリオでも柔軟な運転を可能にしている。
WOR (Weighted Optimal Reinforcement)【8】：
- 特徴：WORは、模倣学習（IL）に基づいた手法であり、各行動に対して密な報酬関数を使用して監視データを補強する点が特徴である。これにより、各動作に対する報酬を明確にすることで、運転の精度と安定性が向上する。
- 制御条件：他の手法と異なり、WORはNCに基づいた条件で訓練されており、TPを使用していない。NC条件を使用することで、エゴ車両の周囲状況に応じた制御を学習しやすくしているが、TPを使用しないことでルートの逸脱や経路精度に課題が残る可能性がある。
- SotAとの比較：WORは公開されている中で最も優れたNC条件付きの基盤モデルであり、NC条件での模倣学習によって、高度なドライビングタスクにおける有効性を示している。

各手法は、入力データの処理方法、知覚と計画の組み合わせ方、訓練時に用いる条件や中間表現などが異なることで、環境把握と経路計画において特有の利点と限界を持っている。TF++は、これらの手法の中でとくに従来のSotAであるPerception PlanTに対して相対的に19%の性能向上を示しており、多様な条件での安定した運転パフォーマンスが実現されている。

元文には記載がないことまで回答に書かれてあり、部分的に不適。

おおよそ「これにより～」で始まる後半の効果を示す記述が、生成AIによって勝手に付け加えられた部分になることが多い。

元文を再掲して、「対象手法の特徴」について、表でまとめてみる:

▼質問(人間)

質問内容全体はここをクリック

上記の内容に関して下記の質問に回答下さい: (である調で記載、一般的な推測を回答に混入しない事、元文の記載内容に基づいて忠実に回答、回答量は長くなってもOK)
⑦「対象手法の特徴」について、表でまとめて下さい。

▼生成AIの回答(ChatGPT-4o)
対象手法の特徴について表でまとめる。

手法	特徴	制御方式	入力	出力	補足情報
Interfuser [35]	複数のカメラとBEV LiDARを個別のCNNでエンコードし、特徴グリッドをトランスフォーマーに入力して環境の知覚と進行経路を生成	BEVのバウンディングボックスを用いた線形的な目標速度設定で、縦軸の制御（加減速・速度制御）は直接予測しない	カメラとLiDARのマルチモーダル入力	知覚情報、進行経路	目標速度設定には過去の動きを外挿する単純な予測を使用し、ヒューリスティックな目標に基づき速度を線形最適化
Perception PlanT [31]	トランスフォーマーベースの2段階学習手法。BEVバウンディングボックスを中間表現として利用し、知覚にはTransFuserを使用。プランナーはウェイポイントを出力	2段階学習により、知覚と経路計画が分離	カメラとLiDARからのBEV表現	ウェイポイント	BEVのバウンディングボックスに基づき経路出力。エゴ車両の経路のみを出力
TCP (Traffic Control Prediction) [41]	カメラのみを使用し、出力としてウェイポイントと制御信号を生成。テスト時にこれらを動的加重平均で統合	テスト時に加重平均で制御信号とウェイポイントを融合	カメラ	ウェイポイント、制御信号	加重平均は車両の旋回状態に応じて変動
TransFuser [12]	カメラとBEV LiDARを個別のCNNで処理し、トランスフォーマーを介して特徴量を交換。BEVと視覚情報を融合して経路計画を実現	グローバル平均プーリングでのウェイポイント出力	カメラとLiDAR	ウェイポイント	BEVと視覚情報の相互融合による環境知覚強化
LAV (Learning Autonomous Vehicles) [9]	カメラとLiDARからBEV表現を生成し、NC条件のGRUで粗い経路を生成、TP条件のGRUで経路を精緻化	エゴ車両および周囲の車両の軌道予測を行い、精緻な経路計画を実現	カメラとLiDAR	ウェイポイント	複数の車両に対する軌道ラベルの増加が特徴
WOR (Weighted Optimal Reinforcement) [8]	密な報酬関数を使用した模倣学習に基づく手法。NC条件で監視データを補強	NC条件でエゴ車両の環境応答を学習、TPは不使用	不明（記載なし）	制御信号	NC条件での最適化に特化し、TP非使用による制約あり

各手法は、入力データのエンコード方法、知覚と計画の統合、及び制御方式が異なり、特定の運転タスクや環境条件に最適化されている特徴がある。TF++はこれらの手法に対して相対的に高い性能を示し、Perception PlanTに対して19%の改善を達成している点が特筆される。

まあ良好。

▼質問(人間)
続けて下記の質問に追加で回答下さい:
Datasetに関する記載があれば説明下さい。

▼生成AIの回答(ChatGPT-4o)
Datasetに関する記載についての説明

データ収集方法とルート設定
　TF++では、データセット収集時に[12]の手法で用いられたトレーニングルートを採用している。また、専門的なラベリングアルゴリズムを改良し、より精度の高い教師データを生成するプロセスが含まれることが述べられている。具体的には、異なる交通状況でルートを3回繰り返して収集するよう設定されている。これは[31]のアプローチに基づいており、ルートの多様性を確保するための工夫である。
トレーニングデータ量
　トレーニングには合計75万フレームのデータを使用している（ただし、Town 02およびTown 05を除外する場合は55万フレーム）。この膨大なフレーム数は、モデルが様々な環境や条件下での運転状況を学習できるように設計されている。
バリデーションに使用するルートと設定
　評価時には、Town 02およびTown 05をトレーニングデータセットから除外し、バリデーション用に使用している。これは、新規の環境や条件におけるモデルの性能を検証するためのものである。バリデーションの際、異なる気象条件と4つのルートを組み合わせた合計16のテストケースで性能評価を行っている。このように未学習の環境でテストすることで、モデルの一般化能力を測定することが意図されている。

以上のように、TF++のデータセット収集とバリデーション設定は、学習に多様性を取り入れながらも、新規環境への対応力を重視した構成になっている。

▼質問(人間)
Method DS ↑ RC ↑ IS ↑ Ped ↓ Veh ↓ Stat ↓ Red ↓ Dev ↓ TO ↓ Block ↓
Table 6: Performance on training towns (Longest6). Released models, std over 3 evaluations.

Method DS ↑ RC ↑ IS ↑ Ped ↓ Veh ↓ Stat ↓ Red ↓ Stop ↓ Dev ↓ TO ↓ Block ↓
Table 7: Performance on validation towns (LAV). Reproduced models, std over 3 trainings (for 3 evaluations each)

上記に関して、各項目(DS等)を、表にまとめて下さい。(必ず正しく抜き取る事、|用語|説明|の表へ)

▼生成AIの回答(ChatGPT-4o)
以下に、各項目について「用語」とその「説明」を表でまとめる。

用語	説明
DS	Driving Scoreの略であり、運転の総合的なスコアを表す。スコアが高いほど良い運転性能を示す指標である。
RC	Route Completionの略であり、ルート完遂率を示す。高い値は走行の成功率が高いことを意味する。
IS	Infraction Scoreの略であり、違反の少なさを示すスコア。高い値は違反が少ないことを示す。
Ped	Pedestrian infractionsの略であり、歩行者との衝突件数を示す。少ない値が良いとされる。
Veh	Vehicle infractionsの略であり、他車両との衝突件数を示す。少ない値が良いとされる。
Stat	Static infractionsの略であり、静的物体との衝突件数を示す。少ない値が好ましい。
Red	Red light infractionsの略であり、信号無視の件数を示す。値が少ない方が良いとされる。
Stop	Stop sign infractionsの略であり、一時停止標識無視の件数を示す。値が少ない方が良いとされる。
Dev	Route Deviationsの略であり、走行ルートからの逸脱回数を示す。少ない値が望ましい。
TO	Time-outsの略であり、特定の操作に必要な時間が経過しても完了しなかった件数を示す。少ない方が良い。
Block	Route Blocksの略であり、走行ルートの障害により進行が阻まれた件数を示す。値が少ない方が望ましい。

以上が、Table 6およびTable 7で使用されている各指標についての説明である。

5. Conclusion

▼質問(人間)

質問内容全体はここをクリック

(論文・記事の各章節を貼り付け) 5. Conclusion In this work, we show that recent SotA driving mod- els have exceptional route following abilities because they learn a strong bias towards following nearby TPs. Shortcut learning like this is a general phenomenon in deep neural networks [17] and has been observed in the context of au- tonomous driving for inputs such as velocity [15] or tem- poral frames [4, 40]. We add to this literature by observ- ing shortcut learning with respect to the conditioning sig- nal. While shortcut learning usually has a negative impact on performance, we observe positive (improved recovery) and negative (cutting turns) effects. We show that the nega- tive effects can be mitigated by avoiding global pooling and incorporating data augmentation. A second commonality in SotA approaches is the use of waypoints as an output representation. We observe that this representation is ambiguous because it predicts a point estimate for multi-modal future velocities. We disam- biguate the representation by disentangling future velocities from the deterministic path predictions and classifying tar- get speeds instead. We then weigh target speeds according to their predicted confidence in our controller. Surprisingly, we find that interpolation is helpful for reducing collisions. We propose TransFuser++ by improving the popular baseline TransFuser with a series of controlled experiments. TF++ is a simple end-to-end method that sets a new state of the art on the LAV and Longest6 benchmarks. Limitations: This study investigates urban driving in CARLA, where all investigated methods drive at relatively low speed (< 35km/h). Therefore, problems specific to high-speed driving are not considered. In addition, lanes are free of static obstacles, hence scenarios requiring navigation around them are not included. We point out the strong re- liance of current methods on TPs for recovery. This implies a reliance on accurate localization and mapping to obtain these TPs. They are accurately mapped in CARLA, how- ever, this assumption might not hold in real environments. Broader Impact: We aim to make progress towards au- tonomous driving. This technology, if realized, could have massive societal impact, reducing road accidents, trans- portation costs and improving the mobility of elderly peo- ple. Potential negative implications include a reduction in jobs for human drivers and possible military applications. Acknowledgements: Andreas Geiger and Bernhard Jaeger were supported by the ERC Starting Grant LEGO-3D (850533), the BMWi in the project KI Delta Learning (project number 19A19013O) and the DFG EXC num- ber 2064/1 - project number 390727645. Kashyap Chitta was supported by the German Federal Ministry of Edu- cation and Research (BMBF): T¨ubingen AI Center, FKZ: 01IS18039A. We thank the International Max Planck Re- search School for Intelligent Systems (IMPRS-IS) for sup- porting Bernhard Jaeger and Kashyap Chitta as well as Niklas Hanselmann and Katrin Renz for proofreading.

▼生成AIの回答(ChatGPT-4o)
何についての記載か?

本章は、本研究の総括、手法の特徴と利点、既存のState-of-the-Art（SotA）手法との違い、限界、社会的影響、及び支援を受けたプロジェクトについて記述している。特に、TP（ターゲットポイント）や経路追従能力、ショートカット学習などに言及し、現行手法が直面する課題と解決策、また実験における成果について述べている。また、現実の環境と比較した課題や、本研究の社会的意義についても考察が含まれている。

要旨

ショートカット学習の影響: TPに依存する経路追従バイアスがSotAモデルに見られることを示している。これは近年の深層学習に共通の現象であり、性能の向上と悪化の両面で影響を持つ（[17], [15], [4], [40]参照）。
経路表現の曖昧さ解消: 現行のSotA手法ではウェイポイントが多用されるが、これは将来の速度の不確定性を伴うため、本研究ではウェイポイントの曖昧さを解消する手法を提案している。具体的には、確定的な経路予測から速度予測を切り離し、予測した自信度に基づく速度分類を行い精度を向上させる。
本研究の手法TF++の優位性: ベースライン手法のTransFuserに改良を加えたTF++は、LAVおよびLongest6ベンチマークにおいて新たなSotAを達成し、高い性能を示している。
限界の指摘: 都市部運転のみに焦点を当てたものであり、高速運転特有の問題や静的障害物を含む環境には適応していない。また、TPに対する依存度の高さが実環境でのローカライズ精度の課題に直結する可能性がある。
社会的影響: 自動運転技術は事故削減、コスト削減、及び高齢者の移動性向上に寄与し得る。しかし、人間ドライバーの雇用減少や軍事利用の可能性といった負の影響も懸念される。

Appendix

同論文の末尾にあるAppendixについては、下記の別記事に記載しました。

■■■途中■■■
https://qiita.com/dl_from_scratch/items/■リンク

あとがき

所感

機械学習についてある程度知っていないと、生成AIに質問しても、その回答内容だけでは理解できないと思います。生成AIの回答は、論文の内容をあまり変えずに、要点をそのまま掻い摘んで回答するような形になっています。(良い意味で論文の要点をそのまま抜き出した形)

分かったこと

分かったこと・注目した点を列挙すると:

Abstract

既存手法に共通する二つのバイアス（横方向のターゲットポイント追従に対する強い帰納バイアス、およびマルチモーダルなウェイポイント予測を平均化することによる減速）が、CARLAでの進展において重要な役割を果たしていると指摘されている。
上記のバイアスによる欠点を指摘し、それに代わる理論的に適切な手法を提案している。

Introduction

エンドツーエンドの模倣学習（IL）を用いた最新のシステムが、異なる手法やトレーニングデータセットを用いて高い評価スコアを達成しているが、その性能向上の要因が完全には解明されていない。

高精度地図（HDマップ）は用いないが、平均30メートル間隔で車線の中心に位置する地図に基づくGNSSポイントである「ターゲットポイント（TP）」を利用して車両の進行方向を示す方法を取っている（参考文献[10], [28]）。これは、従来の「ナビゲーションコマンド（NC）」に代わる方法である（参考文献[14], [15]）。

本研究では新たに「目標速度の分類」によってネットワークの不確実性を明示的に予測し、目標速度間の補間を行うことで衝突を減少させる手法を提案している。

TF++は、データ量を約4分の1に削減し、4台のカメラではなく1台のカメラのみを用い、複雑なヒューリスティクスを用いずにスロットルやブレーキコマンドを出力する簡素な構成となっている。

用語	説明
CARLA	自律運転のシミュレーション環境で、エンドツーエンド自動運転システムの評価に用いられるプラットフォーム。
End-to-End Driving	センサーから取得したデータを直接、車両制御出力（例えばステアリングやスロットルなど）に変換する自律運転手法。
Imitation Learning (IL)	人間の運転データを模倣する形でモデルを学習させる手法。
Compounding Error Problem	模倣学習において、モデルの小さな誤差が積み重なることで誤差が増大し、分布外の状況に陥る問題。
Target Points (TPs)	車線中心の位置を示す座標で、平均30メートル間隔で提供され、車両の進行方向を指示する役割を果たす。
Navigation Commands (NCs)	従来用いられていた進行指示の方法で、「車線に従う」「右折」などの指示を与える手法。
Out of Distribution	モデルが訓練時に見たデータから大きく外れた状態。
Waypoints	車両が進行する予定の未来位置の集合で、通常エキスパートドライバーの動作をもとに設定される。
Multimodal	将来位置や速度など複数の選択肢が存在することを指し、どの進行方向も有効な出力となりうる状態。
Target Speed Classification	目標速度を複数のクラスに分けて分類し、ネットワークの不確実性を明示的に予測する手法。
Path-based Output	車両の進行経路そのものを出力として扱う方法で、ウェイポイントの出力に代わるもの。

Related Work

他の自律運転システム（LAV、TCP、PlanT、TransFuser、Interfuser、ReasonNet、ThinkTwice、CaT）との比較が行われている。

模倣学習の概念は30年以上前から存在しているが、[4, 6, 14]の先行研究とCARLAの登場[16]により、近年再び注目を集めている。

初期のCARLA上でのIL手法は離散的なナビゲーションコマンド（NC）を利用していたが[8, 10, 15]、現代の手法では目標ポイント（TP）に基づくウェイポイント予測が一般的であり[9, 12, 35, 41]、性能が大幅に向上しているとされる。

Sensorimotorバージョンが従来の最先端モデルと異なり、エンドツーエンドではなく2段階で訓練されることを特徴としている。本研究では、エンドツーエンドの訓練が重要であることを示しており、データセットの規模に関する観察も一致している。

TransFuser[12,28]はCARLAの代表的なベースライン。TPに基づくTransFuserアーキテクチャ。

Hidden Biases of End-to-End Driving

評価には「Route Completion（RC）」「Infraction Score（IS）」「Driving Score（DS）」といったCARLAの標準的なメトリクスを用いる。

3.1. A shortcut for recovery

エンドツーエンド運転のルート回復の実現方法を探究している。
ターゲットポイント（TP）情報が運転モデルにどのような回復効果をもたらすかを定量的に示し、また、それがもたらす「ショートカット学習」についても解説している。

現在のCARLAで使用される最先端のエンドツーエンド運転モデル（LAV [9]、TransFuser [12]、Interfuser [35]、TCP [41] など）は、いずれも固定された事前収録データセットを用いた条件付きイミテーションラーニング（IL）で訓練されている。

TPが遠い場合には「ショートカット」問題が生じやすく、特に見通しの悪いカーブで、カーブを無視してTPに向かって外挿することで、対向車線に入り込むリスクが発生する

3.2. Improved pooling and data augmentation

この節は、「エンコーダとデコーダの間のプーリング手法とデータ拡張の改良」に関する記載である。

GAPは空間的な情報を保持しないため、デコーダがエンコーダから抽出された空間的に強い特徴（BEVセグメンテーション）を十分に活用することが難しい。これに対し、トランスフォーマーデコーダのアテンションベースのプーリングは位置情報を保つ。

GAPを使用した元のTransFuserアプローチと、空間的情報を保つトランスフォーマーデコーダのアプローチを比較したところ、後者はルート完遂率 (RC) が9ポイント上昇し、静的物体 (Stat) との衝突率も半減した。

また、シフトおよび回転によるデータ拡張を導入した際、Stat衝突率がさらに5分の1まで減少し、拡張が車両の復帰能力向上に有効であることが確認された。

図3cは、トランスフォーマーデコーダを使用した場合の予測性能を示すものであり、GAPでは失敗したシナリオでトランスフォーマーデコーダが成功する例を示している。この図の注目ポイントは、空間的情報を保持することによって、トランスフォーマーデコーダが道路からの逸脱や静的物体との衝突を回避できることを示唆することである。

3.3. The ambiguity of waypoints

本節では、車両運転システムにおける「ウェイポイント」の使用に関する問題点と、それに対する改善策が述べられている。

ウェイポイントの問題点:
ウェイポイントは、経路と速度が結びついた形で表現されるため、進行方向（経路）と速度の予測に曖昧さを引き起こす。
既存の手法（例：TransFuser）はこの曖昧な表現をそのまま利用しており、単一の予測結果（ポイント推定）のみを生成するため、モードが適切にモデル化されない。

ウェイポイントの結びつきを解き、進行経路（パス）と速度（ターゲット速度）を別々に予測する方法を提案。

図5: この図は、従来のウェイポイント手法で予測される速度が、専門家アルゴリズムの設計意図に沿わない速度分布を持つことを示しており、ウェイポイント表現の曖昧さによって生じる予測のばらつきが明示されている。

3.4. Scaling up to TransFuser++

本節では、既存のTransFuser [12]を改良し、精度向上を図ったTransFuser++の実装について説明している。

TransFuser++では主に2つの実装上の変更が行われており、それによりパフォーマンスが大幅に向上した。

二段階のトレーニングアプローチの導入: 単にエポック数を増やすだけでは効果がなかったため、二段階のトレーニング方式を導入。最初のステージでは、エンコーダーを知覚関連の損失（2D深度、2DおよびBEVセマンティックセグメンテーション、車両バウンディングボックス）に基づいて事前学習し、その後、全体の損失関数を用いて微調整を行う。この手法は、他の補助的タスクで事前学習された特徴をバックボーンに活用するものであり、DSのスコアを4向上させた（LAV [9]の主張に一致）。

フリーズとエンドツーエンド最適化の比較: 事前学習済みのバックボーンをフリーズし、トランスフォーマーデコーダーとそのヘッドのみを訓練する試みも行われたが、10 DSの低下を引き起こした。この結果から、エンドツーエンドの最適化の重要性が示唆された。

データセットの拡大による効果検証: CARLAにおける他の研究 [31]では、データセットのスケールアップによって大幅な改善が報告されている。本研究でも、トレーニングサンプル数を185kから555kに増加させたところ、6 DSの向上が見られた。この結果は、現在の模倣学習（IL）アプローチでもデータセットの拡大が有効であることを示している。ただし、トレーニング時間が3倍に増加するコストが伴う。

Comparison to State of the Art

本節は、提案手法TransFuser++ (TF++)と、他の最先端モデルとの比較について述べている。

Interfuser【35】：
特徴：Interfuserは、複数のカメラとBird's Eye View（BEV）視点のLiDARセンサーを用いて情報を取得し、これらのデータを個別の畳み込みニューラルネットワーク（CNN）でエンコードすることで特徴量を抽出する。このエンコードされた特徴グリッドはトランスフォーマーモジュールに入力され、BEVからの知覚情報と、車両が従うべき経路を出力する。
制御方式：Interfuserは縦軸の制御（加減速や速度制御）を直接予測するのではなく、BEVからのバウンディングボックスをもとに、単純な動きの予測（過去の動きの線形外挿）を行うことで目標速度を設定している。目標速度はヒューリスティックに選ばれた目標値を元に線形的に最適化される。

Perception PlanT【31】：
特徴：Perception PlanTは、トランスフォーマーをベースとする手法であり、BEVのバウンディングボックスを中間表現として利用する。この方法により、環境の抽象的な理解が得られるため、道の認識や障害物の位置把握に優れている。学習過程は2段階に分かれており、まずBEVバウンディングボックスの抽出を行い、それを利用して車両の進行経路に関する出力（ウェイポイント）を得る。

TCP (Traffic Control Prediction)【41】：
特徴：TCPはカメラのみを使用して入力情報を得る手法であり、出力としてウェイポイントと制御信号を生成する。TCPの特徴的な部分は、テスト時にこれら2種類の出力を加重平均で組み合わせる点である。この加重平均の重みは、車両が旋回しているか直進しているかに応じて変化し、環境に合わせた出力の柔軟性を高めている。

TransFuser【12】：
特徴：TransFuserは、パースペクティブカメラとBEV LiDARのデータを融合させるために、カメラとLiDARそれぞれに対して個別のCNNを用いる。抽出された特徴量は、トランスフォーマーを介して相互の情報を交換することで、視覚情報と環境情報を高度に融合する。
出力形式：TransFuserの出力はグローバル平均プーリングでまとめられ、進行経路のウェイポイントとして出力される。

LAV (Learning Autonomous Vehicles)【9】：
特徴：LAVはカメラとLiDARから得られる情報を中間のBEV表現に変換する手法であり、環境に対する抽象的な知覚を実現している。このBEV表現を利用したプランナーは、エゴ車両の進行経路（ウェイポイント）を予測する。
GRUモデル：LAVは2つのGRUモデルを使用しており、NC（Neighborhood Conditioned）を条件としたGRUで粗い経路を生成し、TP（Trajectory Planning）を条件としたGRUで経路を精緻化する。さらに、学習時に周囲の車両の軌道予測も行い、エゴ車両以外の車両に対するラベルも増加させることで環境把握の精度を向上させている。
バージョン：LAVには2つのバージョン（LAV v1とLAV v2）があり、異なる設定や条件で動作するように調整されている。

WOR (Weighted Optimal Reinforcement)【8】：
特徴：WORは、模倣学習（IL）に基づいた手法であり、各行動に対して密な報酬関数を使用して監視データを補強する。
制御条件：他の手法と異なり、WORはNCに基づいた条件で訓練されており、TPを使用していない。
SotAとの比較：WORは公開されている中で最も優れたNC条件付きの基盤モデルである。

他の最先端モデルについての説明:

手法	特徴	制御方式	入力	出力
Interfuser	複数のカメラとBEV LiDARをCNNでエンコードし、トランスフォーマーで進行経路を生成	目標速度設定を線形最適化	カメラ、LiDAR	知覚情報、進行経路
Perception PlanT	トランスフォーマーを用いた2段階学習、知覚と計画を分離	ウェイポイントを出力	カメラ、LiDAR	ウェイポイント
TCP	カメラのみでウェイポイントと制御信号を生成、加重平均で統合	加重平均で制御信号とウェイポイントを融合	カメラ	ウェイポイント、制御信号
TransFuser	カメラとBEV LiDARを融合し、トランスフォーマーで経路計画	グローバル平均プーリングでウェイポイント出力	カメラ、LiDAR	ウェイポイント
LAV	BEV表現生成後、GRUで粗い経路を精緻化	周囲車両の軌道予測、精緻な経路計画	カメラ、LiDAR	ウェイポイント
WOR	模倣学習と密な報酬関数で学習	NC条件で環境応答を学習	不明	制御信号

Table 6およびTable 7で使用されている各指標についての説明:

用語	説明
DS	Driving Scoreの略であり、運転の総合的なスコアを表す。スコアが高いほど良い運転性能を示す指標である。
RC	Route Completionの略であり、ルート完遂率を示す。高い値は走行の成功率が高いことを意味する。
IS	Infraction Scoreの略であり、違反の少なさを示すスコア。高い値は違反が少ないことを示す。
Ped	Pedestrian infractionsの略であり、歩行者との衝突件数を示す。少ない値が良いとされる。
Veh	Vehicle infractionsの略であり、他車両との衝突件数を示す。少ない値が良いとされる。
Stat	Static infractionsの略であり、静的物体との衝突件数を示す。少ない値が好ましい。
Red	Red light infractionsの略であり、信号無視の件数を示す。値が少ない方が良いとされる。
Stop	Stop sign infractionsの略であり、一時停止標識無視の件数を示す。値が少ない方が良いとされる。
Dev	Route Deviationsの略であり、走行ルートからの逸脱回数を示す。少ない値が望ましい。
TO	Time-outsの略であり、特定の操作に必要な時間が経過しても完了しなかった件数を示す。少ない方が良い。
Block	Route Blocksの略であり、走行ルートの障害により進行が阻まれた件数を示す。値が少ない方が望ましい。

Conclusion

限界の指摘: 都市部運転のみに焦点を当てたものであり、高速運転特有の問題や静的障害物を含む環境には適応していない。また、TPに対する依存度の高さが実環境でのローカライズ精度の問題に直結する可能性がある。

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up