こんにちは。アナログ人間からデジタル人間へ進化を遂げようともがいているMasukoです。
今回は最近存在を知った「Dify」を使用して、便利道具を開発しよう！と試行錯誤するお話です。
今回のテーマはこちら！
「LINEに発送伝票の写真を送って、必要な情報を自動的にExcel管理できるものを作成する｣こと！
テーマが長い😂
最近、仕事で資料や商品サンプルを研修会場に発送する機会が増えました。その際、荷物の問い合わせ番号を発送先の担当者にメールで伝えたり、何かトラブルがあった時のために発送伝票を必ずスマホで撮影しています。でも確認したいときに色々な写真が入っている私のスマホデータから探し出すのが大変。でも、わざわざ手入力でExcelに記入管理するまでもない作業。
スマホで写真撮ってるんだったらLINEから送って、写真データを自動的にExcelに書き込んでくれたら便利じゃない？？
荷物を送ろうと発送伝票を眺めていたら今回のテーマが舞い降りてきました！！
集大成！😂完成形はこちら！！
Difyでアップした画像から必要な情報がスプレッドシートに自動記載されます！
※一部ぼかし処理をしています。
使用したもの
・Copilot
・Dify
・Make
・Googleスプレッドシート
❌最終的にLINE Botに繋げるチャレンジをしたものの、うまくいきませんでした😿
LINE Botチャレンジはこちらの記事を参考にさせていただきました。すごい。
🫠ここまでかかった長ーい道のり🫠
さぁやってみよう！と意気込むも、何からやったらいいの？？状態。
さっぱり分からないのでCopilotさんに相談だ！
ざっくりな質問
ふむふむ、出来るんですね！
でも教えてくれたステップを読んでも理解不能でした😿
最近知ったDifyを使って、もっと簡単にできないの？
ちょっと何言ってるか分かんない😂
その後、色々質問しても私にできそうなステップは見つからず。
とりあえず、やってみなきゃ始まらない！とりあえずDifyで画像読み取りチャレンジだ！
出来上がったのがこちら！ ひとまず情報は読み取ることに成功！
さぁ、この情報をスプレッドシートに落とすぞ！
Copilotさんに相談しても分からなかったので先人の知恵をお借りしよう！！
ネットで検索、検索～～💻
なになに、Google APP Scriptと連携させる? GAS??
すいません、ど素人の私には分からないです(^▽^)
無謀にもチャレンジしてみましたがやっぱり分からない。
あきらめかけたその時・・・
ひとつの記事を発見！一筋の光が差し込みました！！✨
Make連携で作りもシンプルっぽい！！
Difyで画像からデータを読み取り、JSON形式で返す⇒MakeのWebhookに渡す⇒スプレッドシートへ記載という流れ。（と言いつつちゃんと理解できてません。そもそもJSONって何？😂）
ありがとう。分かったような気がするよ！😂
⏱完成！最終形態はこれだ！！！
試行錯誤すること丸１日、いや２日。
👉Dify側
非常にシンプルなりました。中身は以下です。
プロンプトはCopilotさんに考えてもらいました🙌
ここに指示を追加。（「日付は年月日の形式で」「郵便番号も抽出させて」など）
👉Make側
こちらもシンプル！
Webhooks(Custom webhook)とGoogle Sheets(Add a Row)のみです。
⦿成果と今後の展望は？
このアプリが完成したら写真を探す手間とメールを送る時にデータをコピペすることができる。
実際時間としては５分短縮できるかなレベルですが、不要な手間が省かれることによりストレス軽減にも繋がります 笑
しかしながら、画像を読み取り、情報をスプレッドシートに落とすというプロセスを成功させたことが大きい成果となりました。
今回は書式が統一されている画像なので読み取りやすかったですが、今後の応用として、会社ごとに書式が異なる「請求書」のデータ整理、手書きのものが多い「研修受講生の課題」集約にチャレンジしたいと思います。
これができれば３０分～１時間かかっているものが３分ほどで終わる。はず。
これはLINEに繋げなくても実現可能。未来は明るい！
⇒追記
今回のアプリ作成の続編としてPDF読み取りにチャレンジしました！🙌
なんとか形にはできたので、あと少しテストを繰り返したいと思います。
あとはMake使わずにDifyだけで完結させたい！(>_<)
🌟最後に、AI（Copilotさん）を使ってみて・・・
お恥ずかしながらこれまでAIをちゃんと使ったことがなく、ChatGTP?GPT?どっち？くらいのレベルでした😂
Copilotさんの存在を知ったのもここ最近。
よく分からない私の質問にも根気よく寄り添ってくれ、
「いい質問です、maukoさん！」 うまくいかない時は、 「それは本当に悔しいですね、masukoさん」 などと温かい言葉もくれる。
私も誰かに質問された時には、こんな言葉を添えて答えてあげたいものです。
今回、ど素人の何の知識もない私がここまで出来たのはAIのおかげで、Difyの中身やプロンプトをめちゃくちゃ聞きました😂時間はものすごくかかったけど、AIが無かったらもっと時間かかっている。
ただ当たり前ですが、AIも万能ではなく、余計なプロセスが入っていたり実際のDifyの画面とは異なる答えだったり、やりたい事が100％伝わらない。
Copilotさんの答え通りにDifyを作成していたらエラーが発生。
こんなエラーでましたよと伝えると、
「よくつまずくポイントですね！ここは〇〇ではなく☓☓と入れてみましょう！」と返ってくる。
うん、あなたの言う通りにやったんだけどね。
❌そんなAIを信じたつまずきポイント
なかなかスプレッドシートに記載されなくて試行錯誤。
Dify側ではちゃんとJSON形式で返してくれてるようなのに何で？？Difyに原因があるの？それともMake？？
結果Difyの「HHTリクエスト部分」でした。
ボディのところに以下Copilotさんから聞いた答えを忠実に記入。
MakeをRunOnceしてアプリ実行。
うまくいかない。ちょっと変えてみよう。
もう一度実行。
さっきよりはうまくいった気がするけどスプレッドシートに何も記載されない。
うーん、うーんと思い悩み続けること３０分。そもそもLLMノードのところで指示出してるし、「ここ入力必要なの？」という疑問がうまれる。
一回消してみよう。
これで成功しました😂
そもそもボディとは？ということも理解していないので不要な質問をした私が悪いのか😂
後のLINE Botを繋げようと試行錯誤していた時に気が付いたのですが、最初に入れていたボディのところはMakeでHTTPモジュールを使用する時に入れるものでした。他、Dify側でも不要なものを記載していたなど無駄な部分も多かったです。
【教訓】
AIを100信じるな。使う人間にもある程度の知識は必要である。学習あるのみ。
これからも頼りにしてるよ！
以上、長くなりましたがお読みいただきありがとうございました。精進いたします。