はじめに
この記事は、過去にご紹介した Power Virtual Agents と Cognitive Services によるボット開発に引き続き、Power Virtual Agents と Azure Cognitive Services for Language のカスタム質問応答機能について、調査、動作検証した内容を記載しています。
今回はボットの利用状況分析に関する内容となっています。
Power Virtual Agents での分析
Power Virtual Agents の分析ページで利用状況や顧客満足度といった指標を確認できます。
概要タブでは、下記のような指標の変化を示すグラフや関連するトピックが表示されます。
- セッションの合計数: 指定された期間内のセッションの合計数。
- エンゲージメント率: エンゲージ（トピックがトリガーされる、エスカレートされる）になった全セッションの割合。
- 解決率: 解決された従事セッションの割合。
- エスカレーション率: エスカレートされた従事セッションの割合。
- 破棄率: タイムアウトで破棄された従事セッションの割合。
- CSAT: 顧客がセッション終了時のアンケート依頼に応じたセッションの顧客満足度 (CSAT) の平均スコアを示すグラフィカル表示。
CSAT は下記のようにセッション終了時にボットから問い合わせ、ユーザが回答する形で収集されます。
顧客満足度タブでは、CSAT の詳細が表示されます。
CSAT 影響欄には、全体的な平均 CSAT 調査スコアから、トピックを除いた全体的な平均 CSAT 調査スコアを差し引いたスコアが表示され、この値が低いトピックには改善の余地があると思われます。
カスタム質問応答 での分析
カスタム質問応答の Language リソースを Azure ポータルで開き、診断設定を有効にすると、カスタム質問応答のログが保存されるようになります。
下図の例では、全ログを Log Analytics ワークスペースに送るように設定しています。
設定後、対象のカスタム質問応答を利用したボットに対して質問すると、セッションのログが Log Analytics ワークスペースに保存されまます。
Azure ポータルでログ送信先の Log Analytics ワークスペースを開き、Kusto クエリを発行することで分析を行うことが可能です。
下記にいくつか Kusto クエリの例を記載します。
ナレッジベース、ユーザあたりのトラフィック
下記 Kusto クエリでは、1 日のナレッジベース、ユーザあたりのトラフィック数をグラフで表示します。
AzureDiagnostics
| where ResourceProvider == "MICROSOFT.COGNITIVESERVICES"
| where OperationName=="CustomQuestionAnswering QueryKnowledgebases"
| extend kbId_ = tostring(parse_json(properties_s).kbId)
| extend userId_ = tostring(parse_json(properties_s).userId)
| summarize ChatCount=count() by bin(TimeGenerated, 1d), kbId_, userId_
| render timechart
未回答の質問
下記 Kusto クエリでは、スコアが 0 で未回答となった質問を検索しています。
なお、スコアの閾値はデフォルトが 0 となっていますが、カスタム質問応答へのリクエスト毎に指定可能です。
(閾値を変更した場合は下記クエリも変更必要です)
AzureDiagnostics
| where ResourceProvider == "MICROSOFT.COGNITIVESERVICES"
| where OperationName=="CustomQuestionAnswering QueryKnowledgebases"
| extend answer_ = tostring(parse_json(properties_s).answer)
| extend question_ = tostring(parse_json(properties_s).question)
| extend score_ = toint(parse_json(properties_s).score)
| extend kbId_ = tostring(parse_json(properties_s).kbId)
| where score_ == 0
| project question_, answer_, score_, kbId_
Log Analytics ワークスペースのクエリのエクスポート
上記のような Log Analytics ワークスペースのクエリは、都度入力して確認するだけでなく、Azure ダッシュボードにピン留めして Azure ポータルからすぐ確認するようにできます。Power BI のクエリとしてエクスポートすることも可能です。
未回答となった質問が発生したときにアラートを設定したり、Logic Apps で定期的に分析情報を通知するようなことも可能です。
まとめ
Power Virtual Agents、Azure Cognitive Services for Language のカスタム質問応答機能ともにボットの利用状況を分析するための仕組みが提供されています。
ただ、Power Virtual Agents の CSAT を確認するための問い合わせ自体がユーザーの不満とならないか、カスタム質問応答で（未回答ではなく）誤回答したことが検知できるか、これら以外にも配慮が必要な点はあるように思います。