Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
5
Help us understand the problem. What is going on with this article?
@MikH

enebular x TensorFlow x LINE Botでcocossdとmobilenetを比較した

12月1日(火)の【オンライン】enebular developer meetupでのLT内容を記事にしてまとめます。

はじめに

写真を撮って送ると「これは○○○だよ」と教えてくれるLINE Botを常備したい派です。
こんなBotを常備したいときにはenebularを使うと簡単にできることは、諸先輩方の知見で、よくわかります。

これまでの知見

Teachable Machineのnodeがある

@youtoyさんが、以下の記事を書かれています。Teachable Machineで作った学習モデルがenebularのnodeにあることが分かりました。
Node-RED で Teachable Machine を試す(Node-RED のセットアップ後にノードを追加してサンプルを動かす)https://qiita.com/youtoy/items/102c9ab8b5f25d542056

TensorFlowのnodeがある

@kazuhitoyokoiさんの以下の記事で、TensorFlowのnodeがあることをしりました。これなら、学習済みなので、多くの画像を集めて学習させる必要もないので、TensorFlowのnodeをぜひ使いたいと思いました。
TensorFlow.jsノードをNode-REDで使ってみる https://qiita.com/kazuhitoyokoi/items/e4da2dc1c39c0a11569e

enebularを使うとTeachable Machineを使ってLINEBotが簡単に作れる。

がおまるさん(@h-takaumaさん)が、enebularとTeachable MachineとLINEBotの組み合わせで、写真を撮って送ると「これは何だよ」と教えてくれるLINE Botを作るハンズオンをされました。enebularを使うと、こんなにも簡単にTeachable Machineを使ってLINEBotが簡単に作れるんですね。これは、わかりやすいというか、非常に勉強になったハンズオンでした。
enebularとTeachable Machineハンズオン(ランチ時間開催) 2020年8月10日にライブ配信
Youtube:https://www.youtube.com/watch?v=vDpCk92S-7M
connpassページ:https://enebular.connpass.com/event/179530/
connpassのページにハンズオン資料があります。

機械学習せずにenebularでTensorFlow nodeを使って、LINE Botを作った。

上記のがおまるさん(@h-takaumaさん)のハンズオンで作るflow内のTeachable Machine nodeを、@kazuhitoyokoiさん記事のtensorflow nodeに入れ替えました。

image.png

1か所だけ修正する

上記のがおまるさん(h-takaumaさん)のハンズオンで作るflowの中の画像判定nodeの下に接続されたfunction node(名前:結果取得)のコードの1行目を変更する必要があります。
Teachable Machine nodeの際に
const className = msg.payload[0].class;
となっていたところを
const className = msg.payload;
に変更します。
これでOK。ほぼノンコーディングで、Tensorflowを使って機械学習をすることなく、画像判定LINE Botが出来上がりました。

image.png

2種のモデル(cocossd と mobilenet)を比較してみた。

このTensorflowの学習モデルにはcocossdとmobilenetの2種があります。この2種のモデルを比較して見ることにしました。Teachable machineと異なり、自分で学習させていないので、一体この学習モデルは何を知っているのか試してみたい気持ちで比較することにしました。

まず、この2種について調べてみました。

cocossdとは

cocoはCommon Objects in Context。ssdは、single shot detector。
https://github.com/tensorflow/tfjs-models/blob/master/coco-ssd/README.md から抜粋すると
Object detection model that aims to localize and identify multiple objects in a single image.The model is capable of detecting 80 classes of objects. (SSD stands for Single Shot MultiBox Detection).returns an array of bounding boxes with class name and confidence level.
また、coco-ssdが認識するのは、以下の80のcommon objectらしい。
person, bicycle, car, motorcycle, airplane, bus, train, truck, traffic light, fire hydrant, stop sign, parking meter, bird, cat, dog, horse, sheep, cow, elephant, bear, zebra, giraffe, backpack, umbrella, handbag, tie, suitcase, frisbee, skis, snowboard, sports ball, kite, baseball glove, skateboard, surfboard, tennis racket, bottle, wine glass, cup, fork, knife, spoon, bowl, banana, apple, sandwhich, orange, broccoli, carrot, pizza, donut, cake, chair, couch, potted plant, bed, dining table, toilet, tv, laptop, mouse, remote,, keyboard, cell phone, microwave, oven, toaster, sink, refrigerator, book, clock, vase, scissor, teddy bear, hair drier, toothbrush

coco-ssdは80の一般的な物体を返してくれます。それ以外の物体だったらどう返してくれるのか興味がでてきました。

mobilenetとは

https://github.com/tensorflow/tfjs-models/tree/master/mobilenet から抜粋すると
MobileNets are small, low-latency, low-power models parameterized to meet the resource constraints of a variety of use cases. They can be built upon for classification, detection, embeddings and segmentation similar to how other popular large scale models, such as Inception, are used.MobileNets trade off between latency, size and accuracy while comparing favorably with popular models from the literature.

mobilenetは、何をどれだけ知っているのか興味が出てきました。

flow内で、cocossdとmobilenetの2種を入れ替えて使ってみました。
image.png

いろいろな画像をLINE Botに投げてみた。

いろいろな画像をLINE Botに投げてみたその結果のBotの画像は以下の通りです。Botの返答が小さくて読みにくくてごめんなさい。
比較する目的で、左にcocossdによる結果、右にmobilenetによる結果として並べています。
ざっくりした私の感想・コメントを赤字で書いています。

image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png

mobilenetのLINE Botを常備したい。

cocossdは80種類の物体であればしっかりと答えてくれて、間違わずに安定感がありますね。
一方、mobilenetは、間違うことも多いけれど、多くの物体を知っています。どこまで広く知っているのか、さらに興味が沸きあがってきました。
そこで、このmobilenetを使ったflowを、HerokuへDeploy しました。
写真を撮って送ると「これは○○○だよ」と教えてくれるLINE Botを常備したい派なので、このmobilenetのLINE Botを常備しています。

私はペット飼っていませんが、ペット好きの人が、自分のペットの写真を撮ってLINE Botに、「これはdog」と言われると悲しくなりますね。「これはGolden Retriever」って言ってもらいたいですね。そんな方にも、mobilenetのLINE Botがおすすめです。

楽しいTensorflowライフを!!

5
Help us understand the problem. What is going on with this article?
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
MikH
まず作って試してみるプロトタイプ派。 ProtoOut Studio 1期生,  Call for Code 2019 Regional Finalist, Call for Code 2020 Regional Finalist, IBM Chamipon 2021 ,  医学博士,   実験室と医療現場をAI・IoT化することミッションに、xMedGear株式会社を設立。
protoout-studio
プロトアウトスタジオは日本初のプロトタイピング専門スクールです。プログラミングだけではなく、企画力と発信力を身に付けて”自分で課題を見つけて実装し、発信し続ける人”を育成しています。 圧倒的なアウトプット力を身に付けましょう。 学生募集中です。

Comments

No comments
Sign up for free and join this conversation.
Sign Up
If you already have a Qiita account Login
5
Help us understand the problem. What is going on with this article?