画像から布団の種類を推定できるのか
今回は Azure Custom Vision を使って、画像から布団の種類を推定できるか調査してみます。
Azure LearnでCustom Visionの使い方を学ぶ
Azure のサービスははAzure Learnで教材が提供されており、ハンズオンレベルなら 1 時間くらいで試せるものも多いです。
今回は、
Microsoft Custom Vision Service を使用して画像を分類する
(https://docs.microsoft.com/ja-jp/learn/modules/classify-images-with-custom-vision-service/)
を参考に、布団の推定を進めていきます。
Azure Learn のドキュメントは本当によくできているので、ハンズオンがしたければ上記のドキュメントを見たほうがわかりやすいです。
以降は、布団推定に特化した部分のみ記載します。
布団推定モデルの作成
布団の画像を用意する
以下のような布団やタオルケットなどの写真を計 16 枚用意しました。
タグをつけてアップロードする
Custom Vision Service ポータルから、プロジェクトを作成し、
タグに布団、毛布、タオルケットの 3 つを登録します。
それぞれのタグに紐づく画像をアップロードしていきます。
今回は、タグfutonの画像を 5 枚アップロードしました。
ダッシュボードはこのような感じになります。
続けて、毛布・タオルケットの画像もアップしていきます。
最終的にダッシュボードはこのような感じになりました。
モデルのトレーニングをする
画像のアップロードが終わったので、トレーニングしていきます。
画面右上のTrainingボタンをクリックします。
そうすると数分でトレーニングが完了し、結果が表示されます。
驚異の 100％ですね。さすが、Microsoft が出しているクラウドサービスです。
テストデータでモデルを検証する
トレーニングには使用しなかった別の画像で、精度を検証してみます。
ぐちゃぐちゃになったタオルケットを模したベッドの画像です。
ダッシュボード上のQuick Testをからテストしてみます。
結果は..。
**驚異の 99.9％**です。似たような画像をトレーニングデータとして使用しているからでしょうか。
では、ネットで拾ってきた画像でチャレンジしてみます。
結果は...残念ながらはずれとなりました。
うすうす気づいていましたが、やはりトレーニングデータの偏りが大きそうですね。
普段使っている布団を判定することはできそう
ほかの画像でも数枚検証してみましたが、自分で撮影したものは精度が高く、商品画像などは別物と判定されてしまいました。
自身で撮影したものは大体の色・明るさ・角度が揃っている一方で、商品画像は全然違うので仕方ないですね。
めちゃくちゃ接写して、生地感で判定してみるとうまくいくかもしれません。
いろいろトライしてみて高い精度で判定できるようになったら、他のアイデアに組み込もうと思います。