近年、企業内に蓄積された膨大な情報を効率的に活用する方法が注目されています。
今回はMicrosoft 365のサービスの一つである、Copilot Studioを活用して、社内の問い合わせ業務を支援する「社内お問い合わせチャットボット」を開発した事例をご紹介します。
※本記事の内容は、2024/12/26時点の仕様です。
「社内お問い合わせチャットボット」の概要
本チャットボットは、Copilot Studioを使用して作成しました。
※Copilot Studioについて詳しく知りたい方は、以前投稿した記事もぜひご覧ください！＞こちら
今回は、自社の全社ポータルサイト(SharePoint Online)をナレッジデータとして指定。
ユーザーの質問に対して、ポータルサイトに格納されたドキュメント(PPTXやPDFなど)から回答を探す仕様です。
使用上の注意
- 生成AIの回答は必ずしも正確とは限りません。
- 古い情報が残っている場合、最新情報よりも古い情報をもとに回答を生成する可能性があります。
- 重要な判断を行う場合は、必ず最新情報を確認してください。
利用の前提条件
- チャットボットをTeamsから利用する手順を記載しています。
- Teamsに追加されたチャットボットはCopilotライセンスがなくても利用可能です。
- 回答は、ナレッジデータ(全社ポータルサイト)へのアクセス権限があるユーザーのみに提供されます。
チャットボットの設定内容
今回のチャットボットでは、以下の3つの要素を設定しました。
- 説明
- チャットボットの機能を簡単に説明する
- チャットボット自身、説明文を参照し、ふるまいを調整する
- 全般的な指示
- チャットボットにどうやって回答を出力してほしいかなどの指示をする
- チャットボット自身、指示文を参照して出力を調整します
- ナレッジ
- チャットボットが参照するデータ
作成にあたり特に苦労したのは「指示文」の設定です。
指示文が未設定の状態では、回答精度が曖昧で、1回の応答で解決できないケースが多くありました。
なお、Copilot Studioでは検索方法のカスタマイズは不可です。
指示文だけで精度が期待できない場合は、ナレッジデータの構成見直しや、Azure OpenAI ServiceによるRAG構成の検討も必要になるかもしれません。
利用手順
(1) [チャネル] ＞ [TeamsとMicrosoft 365 Copilot]の順にクリックします。
(2) [可用性オプション]をクリックします。
(3) [リンクのコピー]をクリックします。
(4) コピーしたリンクにアクセスし、[開く]をクリックします。
(5) [開く]をクリックします。
(6) 質問文を入力すると、回答が生成されます。
評価結果
簡易的な評価として、以下の2項目を検証しました。
- 正確性
- 応答速度
正確性
- 評価方法：Copilotがランダムに作成した5つの質問をチャットボットに投げ、誤情報の有無を確認
- 結果：正確性 80%（5件中1件が誤情報）
- 結果詳細：
- 誤情報と判断した質問：「有給休暇の付与日数と取得方法を教えてください」
- 回答：「10日間付与される」
→ 一般的には勤続年数によって異なるため、より詳細な回答が望ましいと判断しました。
- 結果詳細：
評価に使用した質問内容と回答は、社内ポータルサイトのナレッジデータを参照しているため、社外向けには公開を控えさせていただきます。
ただし、評価はCopilotが自動生成した一般的な質問文を使用し、実際の運用に近い環境で行いました。質問のジャンルとしては、「休暇制度」「社内申請手順」「福利厚生」など、社員が日常的に問い合わせる内容を中心に構成しています。
これにより、チャットボットの実用性や精度を客観的に検証することができました。
また、今回の質問はCopilotが生成しているため、分かりやすい文章でした。
実運用では、もっと砕けた表現が増えることが予想されるため、回答精度はやや下がる可能性があります。
応答速度
- 平均応答時間：13.7秒
- 体感としては少し待つ印象ですが、ストレスを感じるほどではなく、許容範囲内です。
まとめ
従来のチャットボットは、FAQ形式で質問と回答をセットで用意する必要がありました。
しかし、生成AIの進化により、ナレッジデータを用意するだけでAIが自動で情報を探してくれるようになり、非常に便利になりました！
今後もCopilot Studioを活用したエージェント開発事例を、随時ご紹介していければと思います。
最後に
テンダでは、「こんなプロジェクトに挑戦したい」「こんなチームで働きたい」「理想のチームを創りたい」と願う仲間を求めています。
カジュアル面談も随時受付中です。ぜひ一度お話ししましょう！