1. 概要

この研究では、自動運転向けの完全なEnd-to-Endシステムを提案しており、車両に設置された各種センサーから自車情報を認識し、走行経路を設計して出力し、かつ車の制御信号も最適化させて出力できる”DriveAdapter”を提案している。一般的によく用いられる最新技術では蒸留(Distillation)を採用し、Teacherモデルが周囲の車両情報と地図情報の正確な状態を把握して運転の方策を学習し、Studentモデルは生のセンサーデータのみにアクセスしてTeacherモデルから指示を貰いながら運転していたが、因果関係が不明確なままであった。

2. 新規性

提案手法ではセンサー情報の認識をStudentモデルで担当し、経路計画をTeacherモデルで担当させる手法を採用している。ここで、StudentモデルがTeacherモデルの計画に必要な入力情報を直接学習すると真値との間で大きなギャップが発生し、運転性能が低下することを発見した。そこで、センサー情報の認識部分と経路計画部分のモジュール間で特徴をアライメントすることでこれを解決した(Driving Adapter)。

3. 実現方法

Teacherモデルに車両周囲の俯瞰画像のセグメンテーション画像の真値を教師することで、ネットワークが経路設計でよりよい方策を学習できるようにしている。また、Studentモデルは生のセンサー情報を認識することに注力させるため、Teacherモデルを凍結し相互学習による精度の劣化を防ぐとともに、因果推論の健全性を保つことを実現している。

4. 結果

オープンソースの自動運転シミュレータであるCARLA(Car Learning to Act)を使って、リアルな複数の都市環境を走行させたところ、最高性能を達成した。

Paper URL: https://openaccess.thecvf.com/content/ICCV2023/html/Jia_DriveAdapter_Breaking_the_Coupling_Barrier_of_Perception_and_Planning_in_ICCV_2023_paper.html

last updates: Oct 9 2023