はじめに
こんにちは、日立製作所 サービス&プラットフォームビジネスユニット Software CoE クラウドビジネス推進センタ の町野玲です。
今回はre:Invent 2020 AWS DeepRacerリーグ Championship Cup ファイナリストに選出された、当社の中村聡さんにAWS DeepRacerの勘所についてインタビューしました。
AWS DeepRacerとは
AWS DeepRacerは機械学習の中でも強化学習を開発者に届けるために作られた1/18スケールのロボットカーです。コースの運転中に1秒あたり15枚の画像を撮影し、走行結果からゴールにたどり着けそうな行動を自律的に学習します。
AWS DeepRacerでモデルを学習すると、強化学習環境としてAmazon SageMakerとシミュレーション環境としてAWS RoboMakerが起動します。車が何度もコースを走り、AWS RoboMakerで経験が蓄積されていくと、そのデータがAmazon SageMakerへ送信され、モデルの学習が行われます。新しいモデルはAmazon Simple Storage Service(以降、Amazon S3)を介してAWS RoboMakerに送られ、さらに経験を蓄積します。このプロセスが何度も続き、モデルの保存にはAmazon S3、ログの保存にはAmazon CloudWatch、コンソールに動画を表示するために Amazon Kinesis Video Streamsを利用します。
〇参考：
(1) AWS Summit Online Japan 2020 DRL-01：AWS DeepRacer Workshop 2020
AWS DeepRacerリーグ Championship Cup
2020年のAWS re:InventにおいてAWS DeepRacerリーグを締めくくるグローバル最終決戦「Championship Cup」が開催されました。全てのレースがオンラインで開催される今大会には、3月から続いた予選を勝ち抜いた総勢112名のファイナリストが出場し、決勝戦「Grand Prix Final」にてPo-Chun Hsuさんが優勝されました。
〇参考：
(1)AWS DeepRacer Championship Cup を応援しよう！ ／ AWS DeepRacer が日本から購入可能に
(2)AWS DeepRacer League announces 2020 Championship Cup winner Po-Chun Hsu of Taiwan
re:Invent 2020 AWS DeepRacerリーグ Championship Cup ファイナリスト インタビュー
AWS DeepRacerリーグ Championship Cup ファイナリストとして選出された当社の中村聡さんにAWS DeepRacerの勘所についてインタビューしました。
中村さんは日立製作所 アプリケーションクラウドサービス事業部 運用マネジメント本部に所属しており、ITシステムの稼働監視、業務自動化、IT資産管理、およびインフラ管理などを統合的に行うソフトウェアの業務に従事しています。
Q1 レースに参加したきっかけを教えてください
中村さん：
AWS DeepRacerが発表されたre:Invent 2018 のKeyNoteを最前列で聞いていて、とても興味がわき、かねてよりずっとやってみたいなとは思っていたんです。
最初、”Deep Learning(深層学習)”や”Reinforcement Learning(強化学習)”という単語にひるんで手を出せずにいたのですが、関連ブログなどを拝見させていただいたところ、そんなに難しくないことを知り、始めてみた次第です。
Q2 AWS DeepRacerの強化学習のポイントは何でしょうか？
中村さん：
まず、資金です。そして、次に資金です！ と言うのは冗談として(笑)
私は大きくは以下の3つがポイントだと考えています。
(1) なにを理想形とするのか？
(＝最速となる理想的なレーシングライン<軌跡>やスピードの定義)
(2) 理想形への近さをどのように評価するのか？
(＝報酬関数における理想形の表現)
(3) どのようにトレーニングすれば効率的に理想形へ近づけるか？
(=最適なトレーニング用ハイパーパラメータの選択)
どの項目も考える内容の分野が全く異なる気がしており、しかもどの分野もかなり難しいです。ただその分、逆にそれらを解決できた時の達成感を“面白い”と感じてしまうのがAWS DeepRacerの良さかなと考えています。
Q3 今回のレースで難しかった点を教えてください
中村さん：
個人で趣味の範囲でやっており、コミュニティなどの存在も知らず、モデルを0から1人で全て考えているので、行き詰っても改善の方向性が全く思いつかなかったなんてこともありました。そんな中でも改善案を考え出さなければならないことがとても難しかったです。
また、今回のre:Invent 2020では、第一回戦は障害物をよけながらのタイムトライアルレースで、障害物をよけるモデルはまだ試作段階だったので急遽モデルを仕上げなければならなかったのですが、障害物を意識する様にモデルを作れば作るほどなぜか障害物に突進していくようになってしまうんです。(笑) そこを改善することも とても難しかったです。
Q4 今後の抱負を聞かせてください
中村さん：
今現在もモデルの改良を続ており、re:Invent 2020後に作成したモデルは、トレーニング時間を従来の10分の１程度に抑えられるようになり、精度も向上してきています。この調子でより良いモデルを完成させ、次回こそはre:Inventの最終レースまで出られるよう頑張っていこうと思います！
最後に
今回はre:Invent 2020 AWS DeepRacerリーグ Championship Cup ファイナリストに選出された、当社の中村さんにAWS DeepRacerの勘所について紹介しました。今後も日立社員によるクラウドの取り組みについて発信していきます。