オンライン講座のUdacityが提供する自動運転エンジニアコースのTerm2を修了したので，そのざっくりとした内容と感想を書こうと思います．Term1の感想はこちらにあります．
Term2のプロジェクト
Term1ではDeep LearningとComputer Visionについて学び，使用言語はPythonでした．
Term2ではセンサーフュージョン，自己位置推定，制御について学び，使用言語は自動運転の開発に最も用いられているC++が用いられています．センサーフュージョンと自己位置推定の講義はメルセデスベンツにより提供されており，制御はUBER Advanced Technology Groupにより提供されています．どちらも積極的に自動運転車の開発を行なっている会社であり，最先端の技術を学ぶことができます．課題は全部で5つで期間は3ヶ月となっています．
センサーフュージョン
センサーフュージョンとは2つ以上のセンサー情報を統合し，1つのセンサー情報よりもより詳細な情報を得ることです．例えば，現在販売されているLIDARは位置を測定することができるが，速度を直接測定することはできません．一方，RADARは速度を測定することができます．このように複数のセンサーの長所を利用しながら，現在の位置や速度を計測，予測を繰り返します．
Cited from Udacity's lecture
Project1: Extended Kalman Filter
LIDARによる計測データはデカルト座標系で測定が可能であり，カルマンフィルタをそのまま利用することができる．一方RADARによる測定は極座標系で表され，デカルト座標系に変換する際に，$\cos$や$\sin$等の非線形項が現れ，線形ではなくなる．カルマンフィルタは線形システムにおいてのみ使用可能であるため，非線形項が現れた際にも使用できるように拡張(Extend)しなければいけない．そのための手法がExtended Kalman Filterであり，具体的には非線形システムをヤコビアンを用いて線形化する．
Cited from Udacity's lecture
課題はノイズを含んだLIDARとRIDARのデータをExtended Kalman Filterを用いて，センサーフュージョンをし，歩行者の位置を特定するというものである．使用する言語はC++
Project2: Unscented Kalman Filter
Extended Kalman Filterの弱点は，微分することのできない不連続な非線形性には対処することができない点である．（またヤコビアンを求める際の偏微分が面倒．．．）
Unscented Kalman Filterは線形化を行わないため，Extended Kalman Filterの問題点の一つを解消することができる．
Cited from Udacity's lecture
課題はExtended Kalman Filterよりも詳細なモデル（CTRVモデル）を用いて，LIDARとRIDARのデータをUnscented Kalman Filterによりセンサーフュージョンを行い，歩行者の位置を特定するものとなっている．使用する言語はC++
自己位置推定
GPSの精度(1=50m)では自動運転を実現するのに不十分であるため，より精度高い精度で（3~10cm）自動車の位置を推定する必要がある．そのための手法をこのセクションで学びます．
Project3: Particle Filter
Particle Filter（粒子フィルタ）という手法を用いて，実際の地図情報，自動車の速度と，自動車とランドマークからの距離から自動車の位置を特定するという課題になっている．
Cited from Udacity's lecture
制御
Term1ではDeep Learningによる自動車の自動走行を行なったが，実際の自動運転には多くの制御理論が用いられている．ここでは，PID制御とModel Predictive Control（モデル予測制御）を学美ました．
Project4: PID Control
古典制御のPID制御を自動車の制御に用いるという課題で，Term1で用いたシミュレータを用いて自動車の制御をおこなった．結果はこちらから見れます．また簡単な解説記事も書きましたので参照してくださるとうれしいです．
Project5: Model Predictive Control
PID制御は単純ではあるがうまく機能していることがわかった．これはPID制御により求まったシステムへの制御入力量を時間差なく入力することができているため，うまく作動している．しかし求まった入力量を実際に入力するまでに時間差があると，必ずしも制御できるとは限らない．その時間差に対処するためには最適制御問題を解くことにより，将来の制御入力を決定していく必要がある．その手法がモデル予測制御（Model Predictive Control）であり，このプロジェクトではモデル予測制御をC++で実装する．
先ほどとシミュレータを用いて100msの入力時間差（制御入力を予測してから実際に入力するまでの時間差）があっても自動車をうまく制御することがこのプロジェクトの目標である．
実際の結果はこちらから見れます．
感想
Term1ではDeep Learning（イメージベース）やComputer Visionを学び，人間の視覚に関するものが多かったのに対し，Term2では制御やロボット工学で用いられている手法が多く，数式が中心のタームとなっています．内容には大学院で学ぶものも含まれており，難易度は高い方だと思います．しかしながら講義が充実しており，受講者内でのSlackで議論が活発に行われているため，しっかり勉強をすればついていくことができると思います．
Term1では主にDeep LearningやComputer Visionを扱っており，課題をこなすのに時間がかかりました．Term2は理論が多く，理解するのに時間はかかりましたが，課題をこなすのにはTerm1ほどの時間はかかりませんでした．平均して1週間の学習時間は15時間程度だったと思います．時間を取ることができれば，サポートが手厚いため，課題をこなしついていくことが十分可能だと思います．（Term2では線形代数，微分積分，ベイズ統計学の知識が必要となりますが．）
使用する言語がPythonからC++に変わりましたが，C++の講義もあり，例題等も充実しているので，C++の初心者でもついていくことができると思います．実際，私も初心者でした．
参考文献
最後にTerm2を進めていくにあたり，参考になった文献やURLを紹介します．
カルマンフィルタに関する文献は日本語では以下の本が具体例が多く，わかりやすかったです．
・カルマンフィルタの基礎
動画では以下の資料がわかりやすいと思います．
・https://www.youtube.com/watch?v=CaCcOwJPytQ&list=PLX2gX-ftPVXU3oUFNATxGXY90AULiqnWT
・http://ais.informatik.uni-freiburg.de/teaching/ss16/robotics/
全体的にこのコースの授業はUdacity創業者のSebastian Thrunさんの本に則って進めているため，次の本も参考になります．
・確率ロボティクス (プレミアムブックス版)
制御に関する本は上から順に進めていくと，理解がしやすいと思います．
古典制御に関する文献
・制御工学の考え方―産業革命は「制御」からはじまった (ブルーバックス)
・はじめての制御工学 (KS理工学専門書)
・（フィードバック制御入門 (システム制御工学シリーズ)
現代制御に関する文献
・はじめての現代制御理論 (KS理工学専門書)
・（モデル予測制御―制約のもとでの最適制御
おまけ
Term3ではPath Planningやハードウェア，そして発展的な内容について学べるそうです（6月中旬ごろに正式な発表があるそうです．最終的にはチームを組んで実際に自動車を自動運転できる噂があったり，なかったり．．．）