More than 3 years have passed since last update.

久しぶりに M5StickV と V-Training で画像分類用の機械学習モデルを準備する（途中まで）【2021年4月】

Last updated at 2021-04-27Posted at 2021-04-26

1年半くらい前に入手して、その後には知り合いに声をかけて都内某所でもくもく会を開いたり、などということをやっていた M5StickV に関する話。

#M5StickVもくもく会の現時点で試したことの中の１つ、
V-Training を使って、自前で撮影した画像から学習モデルを作り、身近にある物3つを画像認識させるもの。

うまく、#obniz と、#M5Stack Gray と、M5StickC の3つを見分けてくれました！#M5Stack pic.twitter.com/OQApLvApef
— you (@youtoy) September 8, 2019

その時に、M5StickV で撮影した写真を元に機械学習モデルを作ってくれる Webサービスを使って、独自のモデルを使った画像分類を試したりしていました。それを、久しぶりに試してみつつ、その過程をメモとして残したのがこの記事です。

M5StickV とは

この記事で登場する M5StickV は、M5Stack社から出ているカメラ付きの小型デバイスです。
自分は、スイッチサイエンスさんのオンラインショップで、今は販売していないマイク非搭載のバージョンを購入しました（現在、マイク搭載バージョンのみが販売されているようです）。
　●M5StickV（マイク搭載版） - スイッチサイエンス
　　https://www.switch-science.com/catalog/6651/

少し補足をすると、上記のページでこのように説明されています。

Kendryte K210を搭載したAIカメラです。高性能なニューラルネットワークプロセッサ（KPU）とデュアルコア 64 bit RISC-V CPUを使用しており、低コストかつ高いエネルギー効率で高性能な画像処理を行うことができます。

本製品は他のK210開発ボードと比較して、スピーカー、マイク、LCDスクリーン、ジャイロスコープ、リチウム電池など多くの機能を備えています。また、GROVE互換のコネクタによる拡張も可能です。

ちなみに、M5Stack社の M5StickV に関する公式ドキュメントの URL はこちらです。
　https://docs.m5stack.com/en/core/m5stickv

V-Training とは

冒頭に名前を出していた「V-Training」は、画像をアップロードするとオンラインで機械学習モデルを作成してくれるサービスです。M5Stack社の公式ドキュメントの URL はこちらになります。
　https://docs.m5stack.com/en/related_documents/v-training
また、V-Training のアクセス先は以下の URL です。
　http://v-training.m5stack.com/

公式ドキュメントの冒頭の部分では、以下のように説明が書かれています。

At present, V-Training provides two model training modes "Classification" (recognize objects and return their corresponding classification) "Detection (using Yolov3 algorithm, recognize the object is located in the image and draw a wireframe)", the user can according to their own use The scenes can be freely selected and used, and the model training methods of these two modes will be introduced below.

上記の説明を読むと、いわゆる「画像分類」と「物体検出」に使う機械学習モデルが出力できるようです。

今回は、それら 2つのうち「画像分類」のほうをためします。

画像を準備する

前提条件

それでは、上記の V-Training の公式ドキュメントを見つつ、画像分類の機械学習モデルを出力するための、元になる画像データセットを用意していきます。

なお、ここからの手順を試していった際に使った環境は、以下の通りです。
　・OS： Mac
　・デバイス： M5StickV（マイク非搭載バージョン）

M5StickV にファームウェアを書き込む

V-Training の公式ドキュメントの最初の項目は「Burner Firmware」になっています。
その際に利用できるものが 2つあり、Windows用のみがある「EasyLoader」と、Windows/Mac/Linux の各OS向けに提供されている「Kflash_GUI」です。自分は Mac なので、Kflash_GUI のほうを使います。

まずは、ファームウェアをダウンロードしてください。「Kflash_GUI」と書かれた項目の下に「click to download firmware」というリンクがあるので、これをクリックします。記事執筆時点では「M5StickV_Firmware_v5.1.2.kfpkg」というファイルがダウンロードできました。

そして、今度は Kflash_GUI をダウンロードします。Windows/Mac/Linux のそれぞれに対応したダウンロード用リンクがあるので、Mac用のリンクをクリックしました。記事執筆時点では「kflash_gui_v1.5.2_macOS.dmg」というファイルがダウンロードできました。dmgファイル内のアプリを、アプリケーションフォルダにコピーして起動しようとすると、以下のような表示が出ました。

以下のページにある「Controlキーを押しながらアプリを開く」操作で実行します。
　●開発元が未確認のMacアプリケーションを開く - Apple サポート
　　https://support.apple.com/ja-jp/guide/mac-help/mh40616/mac
そうすると、アプリが一瞬起動したように見えたものの、すぐに終了されてしまいました。

ふと「過去にも似たようなことが起こって、対処をしたような...」と思ってググったら、こちらの非公式の情報がありました。
　●M5StickV トラブルシューティング
　　https://iothonpo.com/m5stickv-troubleshooting/#kflash_gui%E3%81%8C%E8%B5%B7%E5%8B%95%E3%81%97%E3%81%AA%E3%81%84

ターミナルで openコマンドを使い open /Applications/kflash_gui.app を実行すれば良いようです。今度こそ、無事にアプリを起動できました。

その後は、PC に M5StickV を接続した状態で「Port」を M5StickV を接続した USB のものに変更します。また、アプリの一番上にある「Select File」の部分で「Open File」と書かれたボタンを押し、先ほどダウンロードしたファームウェアのファイルを選択します。
あとは、アプリの下部の「Download」と書かれたボタンを押してください。そして、以下の表示が出てくるまで、待ちましょう。

PC上で上記の内容が表示された後、M5StickV の画面は以下のような内容が表示されました。

久しぶりに。#M5StickV #M5Stack pic.twitter.com/lv0ALMqkBs
— you (@youtoy) April 26, 2021

画像分類用の写真を撮る

ここまでできたら、次は公式ドキュメントの「Classification mode」の「For M5StickV」という項目の下を見ていきます。
「Click here download boot-M5StickV」というリンクをクリックして ZIPファイルをダウンロードします。記事執筆時点では「VTraining-Client-VerA02B01.zip」というファイルがダウンロードできました。
この ZIPファイルを解凍すると「boot.py」・「kacha.wav」・「startup.jpg」の 3つのファイルがありました。これらは、公式ドキュメントの図で示されているとおり、マイクロSDカードにコピーして使います。

ZIPファイルを解凍して得られた 3つのファイルをマイクロSDカードにコピーし、そのマイクロSDカードを M5StickV に指して起動します。そうすると、先ほどと異なる起動画面になりました。

ファームウェアのアップデート後、V-Training で画像分類を行う手順を進めているところ。#M5StickV #M5Stack pic.twitter.com/EGFE5cHIbW
— you (@youtoy) April 26, 2021

上記の起動画面が表示された後は、M5StickV 画面にはカメラのプレビューと、長細い情報表示部分が表示されます。
情報表示部分の右側には、画像分類を行うクラスに関して最大で 10 まで作ることができるクラスのうち、ｌ現在選択されたクラスが表示されます（例えば「Class:01/10」など）。これは、マイクロSDカードを挿した側とは反対側にあるボタンを押すと、1 から 10 まで順番に変化していきます。
また、情報表示部分の左側には、現在選択されているクラスの撮影済みの画像枚数が表示されます。1枚も撮影していない状態だと「Training:001/35」と表示されます。撮影に関しては、M5StickV の画面がついている面にあるボタンを押すことで行えます。35 という数字は、1クラスあたりで最低限、撮影する必要がある枚数を示しています。

撮影枚数について、公式ドキュメントでは以下の記載があり、1クラスあたり 35枚を超えて 40枚・50枚といった枚数になるのは問題なさそうです。

Note: In order to ensure the accuracy of recognition, the number of materials taken by each class must exceed 35, otherwise it will not be passed during cloud training. The more the number of materials, the better the recognition training effect, and the recognition rate Higher

撮影時の注意点として、以下のようなことも書かれています。

おおまかに言うと「照明の条件は実際に画像分類を行う時の同じように合わせて、かつ、画面いっぱいに対象物のみをうつす（余計なものはうつりこまないようにする）」という内容です。

それでは、ここから撮影を行っていきます。最大で 10 のクラスを準備できますが、今回は 3つだけにしました。

撮影後にマイクロSDカードの中身を見てみると、ファイル・フォルダは以下のような構成になっていました。

さらに、クラス1 の中身を見てみると「1.jpg から 30.jpg までと 36.jpg」が「train/1」の中に、「31.jpg から 35.jpg」までの 5枚が「vaild/1」の中に入っていました。各クラス用にとった写真は、30 から 35 が vaild に、それ以外の残りが train へ振り分けられるようです。

なお、画像の解像度を確認してみると「320ｘ240」でした。