2024/03/06：Google Spread Sheetへの保存にも対応できた続編記事のリンクを追記しました
ご挨拶
おはようございます、こんにちは、こんばんは！
私は小売業に勤める、普段は本社で様々な部署との調整窓口を担当しているいつでも笑顔、いけちゃんと申します！
私は業務の一つとして、店頭催事（ご存じですか？スーパーマーケットの駐車場とかに焼鳥屋さんの車やたこ焼き屋さんの屋台などのことです）の契約・衛生管理・スケジュール管理を受け持っています。
本日は、プログラミングのpの字も知らない「ド初心者」がOCRとChatGPTを活用し、個性溢れる文書を整理・返信するLINE Botを作りデータ化してみた話をお届けします。
最近の悩み・・・紙が減らない！文字が読めない！
←このマークを見つけたらクリック！閉じてある記事が開きます！
皆さんは、店頭催事と聞くとどんなイメージが浮かびますか？
・調理している匂いとかが届いてきて美味しそう・・・・クレープ買って帰ってますよ！
・販売員さんといつも世間話をするの～
とか、そんなイメージを思い浮かんだあなた！その通りです！！
店頭催事にもたくさんの人が従事していますが、お店に来てもらい、商品を作り、そして販売し続けていくには、提供する商品の安全・安心を会社としてきちんと確認する必要があります。
そのために、事前に検便の検査がされているか、営業許可が取れているか、そして保険への加入・更新がされているかを確認しているほか、店舗に来たその日にもお店と相互で衛生管理の確認を徹底しています。
例えばこんな書類をもらっています
1. 催事入店希望日の一覧2. 店舗へ入店時の催事業者さま向けチェックリスト（法令順守・衛生管理）
3. 検便の検査結果（2か月に1回受検し、菌検査基準をクリアしていることが当社ルール）
4. PL保険の更新（加入は必須、ほとんどの保険は1年に1回更新・確認）
5. 営業許可証の更新（催事業者さんは営業許可証がないと販売してはいけない商材がある、大抵は5年に1回更新）
自然と増えていく紙や認識が難しい文字の山を見て思ったのです。
「業者さんがこれらの写真を送るだけでデータ化できる仕組みができればいいのに・・・」
見つけた！プログラムコードを知らなくても色々な仕組みが作れる「Make」
色々と調べてみたところ、Makeというサービスを活用してLINE Botを作ることでその機能が実装できそうだとわかりました！
しかも、私のようなプログラミングコードを知らない「ド初心者」でもできる方法とのこと。
ただし、色々調べてみてもこの仕組みをいきなり使えるようになるにはハードルが高い・・・まずは使い方から学んでみます！
「ド初心者」はまず簡単なLINE Botを作ってみよう！
別記事で、「ド初心者」の私が参考にした記事を多数紹介します↓
このようなわかりやすい記事を投稿くださった皆さまに御礼申し上げます。
Makeというサービスを使って、LINE Botの作り方は何となくわかってきました！
OCRとChatGPTを活用したLINE Bot完成！
まずは結果から、動作状況をこちらの動画で参照ください。
※編集されているため、実際の時間はもう少し長くなりますここまで出来ました〜👏#protoout#ブックオフでプロポーズするダイエット中のヤマト運輸 pic.twitter.com/ysHggaAn9z
— いけちゃん (@since2023_kota) January 9, 2024
上記を実現したMake上のシナリオ画面です。
文章・画像で作り方説明、ぜひ試してみてください
使用したツールはこちら
- Make：下の3つを動かすためにアカウント登録、シナリオを作成
- LINE Developers：LINE公式アカウントを設定し、LINE Botを作成
- Google Cloud Platform：Cloud Vision APIを取得
- OpenAI（ChatGPT） API：ChatGPTのAPIを取得
共通設定
LINE Botがメッセージや添付ファイル（画像orPDF）が送られてきたことを認識します
- AddからLINEの
Watch Eventsを選択します（こちらの設定は触れませんので、前述の紹介記事を参考に作成してください）
次からは、それぞれのパターンごとの処理・設定方法を紹介します。
パターンA：メッセージが送られてきた場合
メッセージに対し、「画像を送ってほしい旨」を自動返信する設定方法です
- AddからLINEの
Send a Reply Messageを選択し、画像通りの設定をしてください
- LINEの
Watch EventsとSend a Reply Messageの間にスパナのマークが出ますので、そちらをクリックし、Add a routerを選択してください
- そうするとこんな感じに
Routerが現れます
-
Routerの右上の出っ張りをクリックし、Labelは自分が確認しやすい名称、Conditionより下を以下の画像通りに設定します
これでメッセージが送られてきた時の設定は完了です！
パターンB：画像データ（jpg,pngなど）が送られてきた場合
画像データ（jpg,pngなど）をGoogle Cloud Visionで認識、テキスト化しChatGPTで整理した文書を自動返信する設定方法です
- AddからLINEの
Download a Message Attatchmentを選択し、画像通りの設定をしてください
- パターンAで設定した
RouterとDownload a Message Attatchmentを繋げてください
Routerの出っ張りをクリックし、Labelは自分が確認しやすい名称、Conditionより下を以下の画像通りに設定します
- Addから
Google Cloud VisionのRun Text Detection(OCR) within an imageを選択し、画像通りに設定します
- Addから
OpenAI(ChatGPT,Whisper,DALL-E)のCreate a Completion(GPT-3,GPT-3.5,GPT-4)を選択し、画像通りに設定します
なお、Message ContentがChatGPTへの命令文書なので、ここを変えると様々な文書に整理してくれるようです
- AddからLINEの
Send a Reply Messageを選択し、画像通りの設定をしてください
これで画像データ（jpg,pngなど）が送られてきた時の設定は完了です！
パターンC：PDFデータが送られてきた場合
PDFデータをGoogle Cloud Visionで認識、ChatGPTで整理し文書を自動返信する設定方法です
- AddからLINEの
Download a Message Attatchmentを選択し、画像通りの設定をしてください
- パターンA・Bで設定した
RouterとDownload a Message Attatchmentを繋げてください
Routerの出っ張りをクリックし、Labelは自分が確認しやすい名称、Conditionより下を以下の画像通りに設定します
- Addから
Google Cloud VisionのRun Text Detection(OCR) within a File and Iterate the Result Arrayを選択し、画像通りに設定します
- Addから
OpenAI(ChatGPT,Whisper,DALL-E)のCreate a Completion(GPT-3,GPT-3.5,GPT-4)を選択し、画像通りに設定します
なお、Message ContentがChatGPTへの命令文書なので、ここを変えると様々な文書に整理してくれるようです
- AddからLINEの
Send a Reply Messageを選択し、画像通りの設定をしてください
これでPDFデータが送られてきた時の設定は完了です！
この仕組みを使って業務改善を実践します！
業者さんからもらっている書類に関して、画像データ（現状は郵送された書類で試験）で送ってもらえないかテストをしています。
書類自体は画像データとして残してあれば良いですが、未提出の確認をするなどに画像データを見ながら遡ることは非効率であり、エクセルデータに提出日や更新期日などを入力し管理しています。
その入力作業をLINE Botで整理されるテキスト化という部分で助けることで、業務改善に繋げていきたいと考えています。
発見と課題
催事業者さんの書類を誰でも同じ認識になるように整理・把握するために作り上げたLINE Botですが、画像から文字列を抽出したいという方は他にもいるのかもしれない、と思い色んな部署の方に試していただきました。
そんな中でいくつもの発見を得られたのでそちらをメモしておきます。
業務面
・催事業者さんの書類未記入や提出チェックがこれで完了できるとよりいいですね！
⇒確かに・・・このままでは紙媒体をデータにしただけで紙は減っても作業負担はあまり減っていない！
GoogleSheetsなどの活用でチェックなどができそうなのでまだまだ調査が必要です。
・LINE Botで返信されたテキストと元となった添付ファイルをGoogle Drive上に保存できないかな？
⇒一番多かった意見であり、私自身改善したいポイントです。
・文字化けがあるので、正確な記述を知るために残したい
・保管（紙でなくても）が必要だから残したい
という理由が大半でした。
文字化けは特に手書き文書データに多く、Google Cloud Visionでも限界がありそうですのでデータ保存は有効かも？
・会議でホワイトボードやノートに記述した文書を簡単にデータにできるので是非使いたい！
⇒ありがたいご意見でした。他にも業務改善に活躍できそうなので色々な方に試してもらい意見いただきます。
・俗にいう「エクセル方眼紙」に記載されたデータを整理・自動保存することができたら凄い良いね！
⇒確かに！取引先さまの情報などはエクセル書式に記載してもらっていますが、結局誰かが手打ちで一覧に入力し直すんですよね・・・
まだエクセル方眼紙では試してないので確認してみよう。
私生活面
・子どもの字の学習機会に使えそう！うまく読み込めなかった字がある⇒その字だけ、詳しく書き方を教えられる！
⇒AIでも読み込めない字を学習機会に使うとは私には全くない視点でした！業務改善で作り上げてきた仕組みですが、全く別の可能性に繋がる発見です。
・化粧品とか薬は字が小さすぎて読みにくいので、いつもは写真を撮って拡大したけど、これだと文書で出てくるからより理解しやすい！
調べたいものが商品のことだったら、その商品の検索画面などに自動で移動するともっと助かる人いるかも？
⇒高齢の方でもLINEは利用している人が多いからより助かるよ！と補足情報もいただきました！
文字の正確さに囚われていましたが、大きさで見にくい人にも見えやすくなるというメリットは気付いていなかったです。
新たな仕組みもできそうだなという様々なヒントをいただきました。
ここまでの試験・実践して感じた課題が以下の通り
- 手書きについては特に文字化けが出やすく、
LINE Botで返信をもらっても受け手側が「内容が違う」と混乱する恐れがありそうです -
Google Cloud Visionだけでは、返ってきたテキストが非常に見にくく、活用しにくいものでした -
ChatGPTを挟むとテキストの整理は抜群だが内容が100%原文そのままになりません（命令が雑かも？） - 今受け持っている催事業者さんの人数を考慮すると、現在の
Makeの無料容量制限内では収まらない可能性が高いため検証します
これらの課題をクリアしたものができないか鋭意調査中であり、今後も記事の更新を以て「ド初心者」の皆さまにも課題解決の流れをお伝えしていきたいと思います。
2024/03/06 追記
課題になっていたGoogle DriveやGoogle Spread Sheetへの保存に対応できた記事を公開中！
送られてくる画像・ファイルの保存にも興味がある方は下記をご覧ください。
最後に
初めにもお伝えしましたが、私はプログラミングのpの字も知らない「ド初心者」です。今もプログラムコードは書けないままですし、これからも書くことはできないかもしれません。
でも、どんな人でも最初は「ド初心者」です。
そこからある課題を解決することを目的に、世の中に溢れる様々なツールを知り、まずは私が試して、他の人にも試してもらう。
その繰り返しをいくつもやっていくと段々と仕組みや言葉の意味がわかり、意見をもらえる仲間が増え、より大きな改善に繋がる一歩になっていくと思いました。
だから皆さん、恐れないでどんどん知らないヒトに、モノに触れてみてください。調べてみてください。話しかけてみてください。
「ド初心者」は特に、そしてそうでなくてもこの心構えをもって臨めば、見える世界が間違いなく変わっていく実感を得られるんだということを、最後にお伝えさせていただきます。
最後までお読みいただき、ありがとうございました！