この商品、前はいつ買ったんだっけ？LINEで過去の買物データを見たい #protoout

目的

私は小売業で管理系を担当するAさんです。
お客さまは常に「賢くお買い物したい」と必死です。
スーパーで商品を手にしたとき「この前いくらっだたかな…」。過去に買物したときの売価や日付はすぐに思いだせないでしょう。そんなお客さまがスマホから機械学習させた画像から商品データをLINEに結果を返してくれたら便利じゃないかな。ということで、Teachable MachineとNode-REDを連携させてみました。

使用したツールは5種類

• Teachable Machane
• Node-RED
• Googleスプレッドシート
• MAKE

Teachable Machineに機械学習させる

• Teachable Machineに画像を取り込む　
  自宅にある飲み物をかき集めてパソコンのカメラで画像を取り込みました。これが大変で、明るさやカメラのスペックのためか判定確率がバラバラなところから始まりました。最初が肝心、特に機械学習の判定が低いとこの仕組みは全く価値なしです。撮影環境を整えて、取り込みたいものだけがはっきりと認識学習させるためにも背景を白か黒で統一するなど工夫が必要です。

学習させた商品と画像枚数☟

1	青森りんご	王林	405
2	大正製薬	RIZIN DRY	509
3	伊藤園	お~いお茶	405
4	森永製菓	Inゼリー	406
5	伊藤園	充実野菜	275
6	カゴメ　	秋のフルーツこれ一本	142
7	伊藤園	毎日一杯の青汁	298
8	伊藤園	ビタミン野菜	242
9	森永ＴＢＣ	一日の鉄分	232
10	ヤクルト	蕃爽麗茶	214
11	ヤクルト	ザクロmix	296
12	グリコ	野菜足りてますか	269
13	ヤクルト	ジョアストロベリー	379
14	コカ・コーラ	２５０㎖	261
15	大塚製薬	オロナミンＣ	216
16	アサヒ	ウィンルキンソンドライ	272
17	アサヒ	ドライゼロ　スパーク	246
18		水	247

画像が多いと学習するのに時間がかかるようです。
学習10回やってリンクが生成されるまで平均7~10分ぐらいかかりました。
:::

アップロード完了
https://teachablemachine.withgoogle.com/models/soSDalKsS/

学習結果を連携させる

Node-REDでフロー作成

• 画像を取り込み判定した結果「お～いお茶」100％の判定が返された結果をリンクに置き換えるため http request>httpを配置しました。
  
• http requestnodeの設定
  WebhookからリンクをURLにコピーします。
  

---

お買い物リストをGoogleスプレッドシートで作成しておく

• GoogleドライブでGoogleスプレッドシートを起動し商品一覧を作成します。これが家計簿の役割になるお買い物リストです。今後はこのシートにLINEから自動で買物リストを入力して連携できるよう学習して実装していきます。

最終的にLINE画面には品名や売価、前回購入日などを表示したいので、Teachable Machineの判定の表示の数字をもとにこの表からナンバーで割り出すようにします。

機械学習の結果をMAKEと連携させる

• 使用したモジュール
  • Webhooks Custom webhook
  • Google Sheets Search Row
  • LINE Send a Push Message
    

TO : 自分で作ったID
　　　LINE Developers > Basic setting > Your user ID

Message > Type > text

Text > (画像の通りです）
　　　※読みやすさを考え、表示位置を整列させて区切り線を配置しました。

いざ送信！結果やいかに

（笑）ぴくっとしか動いたいないように見えますが、お~いお茶の買物履歴を返す事が出来ました。

過去に買物していないものはこのように品名　不明と返してくれます。

おわりに

今回は機械学習Teachable Machine をメインに取り組みました。
LINE Botを作る過程で、もしかしてNode-REDだけでいけるのではないかと思いました。次のチャレンジは、LINEから画像を送信する入口の部分を作りこんでいきます。

#protoout