この記事の目的
巷で話題のDifyを試してみました。
ユースケース
ある程度実用的なユースケースを想定して、カスタマーからのメールの返信文案を考えてもらうというのをワークフローで組んでみました。
メールの内容から判断して
- Complaint（苦情）
- Inquiry（質問）
に分類して、それぞれに応じたメール文章を提案する。
Inquiryの場合には、文末にキャンペーンのお知らせを挿入する。
環境
- mac OS Sonoma 14.2
- Dockerを用いてセルフホスティング
- LLMは、Amazon BedrockからAnthropic Claude3を利用
Workflow
ワークフローは以下のように定義しています。
以下、ノードごとに要点を説明します。
Startノード
以下のように、メールタイトルとメールボディーを定義しています。（あとでタイトル足したので、下に配置されていますが、ご愛嬌ということで）
Question Classifierノード
前のノードのInput_Textを参照して、内容に応じてComplaint(苦情)、Inquiry(質問)に振り分けています。
高度な設定という欄で、指示(プロンプト)を与えています。雑なプロンプトですが、割と意図通りに機能しています。
LLM(CompaintResponse)ノード
こちらは苦情の対応なので、ちょっと奮発してSonnetを使っています。（他は全部Haikuです）
Bedrockを使う場合のポイントなのですが、SYSTEMの欄にプロンプトを書いてもうまく動作しません(エラーになります)。その場合にはUSERの欄に書くと良いようです。
参考：https://github.com/langgenius/dify/issues/3397
End(Complaint)ノード
後で、Inquiryのところで説明します。
LLM(Inquiry)ノード
特に、ComplaintResponseと変わるところはないです。
なお、プロンプトの中で、問い合わせ受付の番号を払い出して…と片付けていますが、本来は、ここはIssueトラッカーなどを呼び出して番号を受け取る処理を挟むべきです。(そのうち試す予定)
Template(Add Information)ノード
質問への回答なので、キャンペーンのお知らせを文末に入れています。
これはTemplateの機能を試したかっただけなので、大きな意味はありません。
ちなみに、Templateの直後にEndノードをつけるとjson形式で出力されてしまうので、次のノードでTextだけを取り出すようにしています。(苦肉の策)
LLM(ExtractText)ノード
「そのまま出力してください。」というプロンプトを初めて書いたw
Endノード
特に説明は不要かもしれません。
ワークフローに必ず一つはEndノードが要るそうです。
使ってみた様子
▪️苦情対応：
まずまず丁寧なので初動としては良さそうです。
▪️質問対応：
特に根拠なしに「対応させていただきます」って答えているのが気になりますが、この辺はプロンプトを工夫するとかガードレール的なものを導入することにより精度が高まると思います。
驚いた点！
驚き屋らしくちょっと驚いてみます！
特に何の指定もしてませんでしたが、「Run Batch」というタブがあり、CSVで複数の依頼を一括実行できるようです。
並列処理でサクッと動いているようですし、結果のDownloadまでできます！
これはかなり便利ですね！！
課題
業務的な課題
実際の業務で使う場合には、メール本文に個人情報があった場合に、それをそのままAIに渡すわけにもいかないので、事前のマスキング処理が要ります。これをどうするか？というのは個人情報保護法や各組織のポリシーに応じて作り込みが要ります。
（パブリッククラウドの場合にはリージョンを指定できますが、現時点では海外を使う場合が多いため、より一層個人情報の扱いには慎重さが求められます。これは海外だと危ないとかそういう話しではなく個人情報保護法の定めによるものです。参考）
技術的な課題
これは課題というよりは今後の検証テーマということになりますが、
今回は時間の関係で、一部の機能しか試せていません。（当然ではありますが）
ワークフローのNodesだけでこれだけあります。
この中で有用そうなものとしては、HTTP Requestがあります。
既存のシステムとの連携などは、APIを既存システム側に生やしてそれを叩いて連携するというケースが多いと思います。
（既存システムもだいたいはAPI生やす対応が終わっているかもですが…）
最後に
最後までお読みいただきありがとうございます。
ノーコードでここまでできるというのは正直驚きでした。
もちろん作り込みをする上ではコーディングをするという局面も出てくると思いますが、ある程度のことは標準機能でもできそうです。
特に優れているなぁと思った点は、以下です。
- セルフホスティング（実際はローカルでやってます）もdocker composeで簡単に試し始められる
- ワークフローを作りながらデバッグするのが楽（実行経過がすぐに見られる）
- 今回は触れてませんが、定義をyamlに書き出して共有可能である点
- LLMの事前知識は少し必要ですが、UIが直感的でドキュメント読まなくても使える
以下の情報を参考にさせていただきました。ありがとうございました。