開発奮闘記 その２
前回、”タイの魅力を発信する”というテーマのもと、１週間LINE Bot製作に挑戦しました。
今回はそんなタイお役立ち情報発信のための開発奮闘記第２弾です。
タイに来て困ったこと、それは買い物中 ”陳列棚に書かれている商品名がタイ語のみで分かりづらい” こと。
そもそも値札が無かったり、陳列されている商品と値札に書かれている商品が一致していなかったりして、
会計の時に思っていた値段と違うなんていうことが結構な頻度で起こります。
旅行者はもちろん、タイ在住者であってもとても不便に思います。
というわけで、今回はこの困りごとを解消すべく、Teachable Machineを使用した開発に挑戦しました。
完成品
”写真で判別できれば、いちいち店員さんに聞かないでも済むのに”
そんな思いから、LINEで写真を送ったら商品名（英語）と値段を返してくれるLINE Botを作製してみました。
Teachable Machne
— Risa (@ris_aaa26) September 17, 2022
Product price#teachablemachine #linebot pic.twitter.com/L1ztZPQYdL
手順
-
使用ツール
- LINE Deveropers
- Teachable Machine
- Node-RED (enebularを利用)
① LINE Botの設定
※こちらの記事を参考にLINE Developersに登録し、LINE公式アカウントの作成、
Botにするための設定は済ませておきます。
LINE BotのWebhookのURLを設定する
まず、Node-REDのURLを取得します。
赤丸の部分にカーソルを合わせるとURLが表示されるので、コピーします。
重要ポイント
Node-REDはenebularを使用し、URLを取得します。
ローカル環境からURLを取得しても自分のPCからのアクセスしかできず、
LINE BotとNode-REDとの連携ができません。
次にLINE DevelopersのWebhook設定のページに戻り、コピーしたURLを貼り付けます。
この際、末尾に linebot と追記して保存、Webhookの利用をオンにしましょう。
××失敗談××
わたしはローカル環境のURLをそのまま貼り付けていました。
”有効なHTTPS URLを入力してください”の警告が消えず、何時間も費やすことに…。
② Teachable Machineの設定
今回はPCのカメラを使用してサンプリングをするので、それぞれの商品を手元に用意しておきます。
商品のサンプリング
商品名と値段を入力し、Webcamボタンからサンプリングする商品を100〜200枚ほど撮影します。
全ての商品のサンプリングが終わったらトレーニングボタンを押して、学習させます。
今回はタイのセブンイレブンで販売されている５つの商品をサンプリングしました。(2022年9月17日 現在)
動作確認
とても正確に判別しています。
③ Node-RED でフローを作製
① LINE Botの設定 でも触れましたが、Node-REDのフロー製作は、enebularを利用します。
フロー全体図
LINEで写真を送ったら該当商品の名前と料金が返ってくるフローの作製をしました。
各ノードの設定は以下のサイトを参考にしました。
手順３−９のみ、コードを貼り付け後に文章の中身を変更しました。
動作確認
LINEに写真を送信して動作を確認します。
こちらも正確に判別しています。
以上、実装手順でした。
××反省点××
Node-REDでの実装がうまくいき、LINEの動作がイメージ通りにいったときはとても嬉しかったです。
ただ、完成したは良いものの、実用化は難しいということに気づきました。
今回は各商品を自分で選んで購入してからサンプリングや動作確認のための写真撮影をしましたが、
”支払い前に商品の値段を知る”という本来の目的は、店頭での商品の撮影が許されるという環境が少ないため達成されません。
写真判定以外の別の案か、個人の撮影にならないような方法を考える必要がありそうです。
あとがき
今回の挑戦では目的が達成できず反省点が多く残りましたが、
Teachable Machineを使用してみて、AIの様々な可能性を感じることができました。
”音声判定をつかったら、英語やタイ語で行われる会議の議事録作成が楽になるんじゃないか？”
”目元や顔の表情の画像サンプルを集めて疲労レベルを判定、倒れる前にお知らせする機能をつくれなか？”
”画像判定でデスクを撮影、高評価の人に景品をプレゼントすれば、綺麗なオフィスを維持できるのでは？”
などなど、日頃の業務や困りごとの解決にも役立てるのではないかと感じました。
AIに少し触れた程度でまだまだ知識は足りませんが、今回感じたこと、学んだことをわたしひとりに留めず、
職場のAIに詳しい人に相談をしたり、同僚と共有をして業務改善に取り組んでいきたいと思います。
また、今回浮かび上がった他のアイディアをnoteでも少し取り上げてみたので、
こちらも読んでいただけると嬉しいです。
ご覧いただき、ありがとうございました。