NVIDIAのAI認定プログラム「Jetson AI Specialist」を取得しました

この度、NVIDIAのAI認定プログラム「Jetson AI Specialist」取得しましたので、取得までの過程を共有します。
今後、取得を目指す方の参考になれば幸いです。

Jetson AI Certificationとは？

Jetson AI Certificationとは、JetsonとAIに関する実践的な知識を証明する認定プログラムです。認定資格には、誰でも受けることのできる「Jetson AI Specialist」と教育者向けの「Jetson AI Ambassador」の二つがあります。今回、私は「Jetson AI Specialist」を取得しましたが、認定を受けるにはJetson AI Fundamentalsという講座を受け、Jetsonを活用したプロジェクトを申請する必要があります。Jetson AI Certificationの詳細については、下記リンクを参照してください。

Jetson AI Certification

準備

Jetson AI Specialistを取得するにあたって、Jetson Nanoをはじめとする機材が必要になりますので、私が使用した機材を紹介します。

• NVIDIA Jetson Nano 2GB 開発者キット
• 電源
• Raspberry Pi NoIR Camera V2
• USBケーブル 0.9m (2.0タイプAオス - マイクロBケーブル)
• ケース、冷却ファン付き
• LANケーブル
• メモリーカード(64GB)
• ロジクール ウェブカメラ C920n

物品のほとんどは、会社から貸与してもらいましたが、途中でウェブカメラが必要になったため、追加で購入しました。
また、後ほど触れますが、GPUが使える環境があるとなお良いと思います。

Jetson AI Fundamentalsを受講

準備が整ったら、こちらのサイトに紹介されているJetson AI Fundamentalsを受講しました。
各コースを順に紹介します。

NVIDIA Deep Learning Institute「Jetson Nano で AI を始める」(必須)

このコースでは、Jetsonのセットアップから簡単なリアルタイムの画像認識を体験することができます。機材が手元にあるものの、何から始めればよいかわからない初心者にとっては良きガイドとなるコースです。4つのハンズオンレッスンがあり、1レッスン当たり15分程度のビデオを見ながら、Jetsonの基本を学ぶことができます。このコースを終了すると終了証がもらえますが、これはJetson AI Specialistの認定を受けるために必須になりますので、必ず受講するようにしてください。

JetBot(任意)

このコースでは、Jetsonを利用したAIロボットに関する知識を学ぶことができます。Jetsonにモーターを付け自立走行できるようにしたロボットにデータを学習させ、物体検出や衝突回避などの機能を実装させます。このコースは任意ですので、AIロボットの実装に興味がある方は参考にしてみると良いかもしれません。

Hello AI World(任意)

このコースでは、リアルタイム画像分類、物体検出、セグメンテーションなどの実行方法を学ぶことができます。SSD-MobileNetなどの既存モデルを利用して、物体検出を体験することができます。また、独自のデータセットを作成してカスタムモデルを構築する方法についても学ぶことができます。このコースも任意ですので、必ず受講する必要はありませんが、私はこのコースで学んだ物体検出をベースにプロジェクトを作成しました。

題材を決める

一通り、Jetsonの使い方について学びましたので、いよいよ自身のプロジェクトの作成に乗り出しました。しかし、実際にJetsonを活用したアプリケーションを作るとなると、どんなものを作ったらよいかということで悩みました。人間、基礎だけを学んでも、なかなかアイディアはわかないものです。そこで、何かしらのアイディアを獲得するために、Jetson Community Projectsを参考にしました。このページでは、Jetsonを活用した様々なプロジェクトを見ることができます。プロジェクトに関するGithubのソースやビデオが公開されており、インスピレーションを受けることがきました。

Jetson Community Projects

いろいろと参考した結果、私はダーツのスコアをAIで自動的に検出するアプリケーションを作ることにしました。プロジェクトの詳細については、下記リンクを参照してください。

プロジェクト構築

構想

題材が決まったので、実際にどうやってソリューションを構築したらよいかを考えました。例えば、「ダーツのスコアをAIで自動的に検出する」というのが、このプロジェクトのソリューションにあたるので、どういった技術が必要かやどんなデータが必要か、またどんな手順で作業を進めるべきかなどをすべて書き出しました。

試作・検証

構想で検討した内容について、可能かどうかを実際に試して検証しました。具体的には、下記のようにプロジェクトを分解し、個別の要件について、想定通りの結果が得られるかどうかを確認しました。この段階で、不可能な事項があれば別の方法を検討しました。

• 物体検出でできること、できないことの確認
• 検出した物体の位置、バウンディングボックスの詳細な情報を取得することができるか
• バウンディングボックスに表示させる情報を変えることができるか
• 物体を検出するには質・量において、どのくらいのデータが必要か
• アプリケーションとして十分な精度を出すためには、どのくらい学習させる必要があるか

この時点で、SSD-MobileNetから転移学習することで、ダーツボードの中心と矢を物体検出することに決めました。

データを集める

プロジェクトの見通しがついたので、モデルに学習させるデータを集めました。試作・検証によって、ダーツボードの中心とダーツボードに刺さる矢のデータが必要であることがわかっていたので、下記のようにダーツボードにランダムに矢を刺しデータを集めました。このデータ収集方法は「Hello AI World」で学びました。カメラでダーツボードを映した状態で、それぞれのラベルに対応したバウンディングボックスを重ね、アノテーションを行いました。この作業を約1,000回程度繰り返し、矢については計3,000件程度のデータを得ました。

学習

データが集まったので、SSD-MobileNetから転移学習を行いました。モデルの学習はJetsonでもできますが、パワーが小さいため、学習に時間がかかります。私はGPUマシンを持っていたので、データを移してデスクトップPCで学習しました。それでも半日くらいかかりました。ここでは、ダーツボードの中心とダーツボードに刺さった矢を検出するモデルを作成しました。
学習の詳細についてはGithubを参照してください。

   cd jetson-inference
   docker/run.sh
   cd python/training/detection/ssd
   python3 train_ssd.py
    --dataset-type=voc
    --data=data/darts_score_detection
    --model-dir=models/darts_score_detection
    --batch-size=16
    --workers=1
    --epochs=200

改善

学習から得られたモデルで想定通りの物体検出ができました。しかし、モデルは物体検出はできても、その意味を理解することができません。このアプリケーションで言うと、ダーツボードに矢が刺さったことは検出できても、矢がどのスコアに刺さったのかは判定することができません。そこで、スコア判定には、この図のようにダーツボードの中心からの相対的な距離と角度を使うことにしました。

この方法でテストしたところ、ある程度スコアを正確に検出することができました。しかし、Single、Double、Tripleの判定では、誤検出が多く発生してしまいました。原因としては、DoubleとTripleのエリアが非常に小さいことと、DoubleのエリアがSingleに挟まれていることによるものだと考えられます。これを受けて、ダーツボードに刺さった矢の位置からSingle、Double、Tripleを推定するニューラルネットワークを別途構築しました。学習の詳細についてはGithubを参照してください。

テスト

最後にテストを実施し、アプリケーションとして機能するかどうかを確認しました。たまに矢を検出できなかったり、スコアの誤検出等もあったりしますが、Single、Double、Tripleの推定精度も改善しました。

実際に動作する様子を下記のビデオで公開しています。

資料作成

Jetson AI Certificationに申請するにあたって、プロジェクトをドキュメントにまとめる必要があるため、Githubにまとめました。これについては、下記にリンクを載せていますので、実際に見てもらった方が早いかと思います。

資料のまとめ方については、題材を決める際に見たJetson Community Projectsの例を参考にさせていただきました。

申請

プロジェクトが終わったころには、申請フォームがどこにあったか忘れてしまうかと思いますが、最初に紹介したJetson AI Certificationのページにあります。ここで、自身のプロジェクトを申請してください。

Jetson AI Specialistの「プロジェクトを提出」をクリックすると必要情報を入力する欄が出てきますので、GithubやYouTube等のリンクをコピペしてください。

また、フォーラムに投稿したリンクを入力する欄もありますので、あらかじめフォーラムに自分のプロジェクトを投稿しておくと良いかと思います。
申請後、私の場合は4日程度で、認定証が送られてきました。

おわりに

以上、Jetson AI Specialistを取得するまでの過程を紹介してきましたが、最後にこのプロジェクトで苦戦した３つのことを紹介して、終わりたいと思います。

• 題材を決めるのに時間がかかった
• 十分な精度を得るだけのデータを集めるのが大変
• PyTorchのモデルが動かないなど、Jetsonのメモリ不足問題に見舞われた

といった感じで、
Jetson AI Specialistは、入門者向けで親切なチュートリアルもあるのですが、その通りにやっていてもダメで、本格的にプロジェクトをやろうとすると応用力や発想力が必要になります。認定を受けるのに費用はかかりませんが、最後までやり抜く根気が求められますので、これから挑戦しようと思っている方は、ぜひ覚悟をもって臨んでください（特に初心者）。