Dynamics 365 Virtual Agent - 分析機能でボットを改善する

Posted at 2019-06-08

前回の記事は会話フローを拡張するアクションについて紹介しましたが、今回は利用状況を解析するための分析機能を紹介します。

利用状況の分析

VA 公開後にカスタマーサービスが向上したか解析できるよう、Power BI ベースの解析機能が提供されます。

利用状況全体をまとめたサマリー
顧客満足度に特化した分析
ユーザーとボットのセッションデータ

※分析機能は https://va.ai.dynamics.com より「Analytics」へアクセス

サマリーページ

サマリーページでは以下の情報が提供されます。

全体の状況を示すサマリーチャート (Summary charts)
時系列のエンゲージチャート (Engagement over Time chart)
時系列での結果チャート (Session Outcomes over Time chart)
解決したトピックの分析チャート (Resolution Rate Drivers chart)
有人チャットにエスカレーションされたトピックの分析チャート (Escalation Rate Drivers chart)
放棄されたチャットの分析チャート (Abandon Rate Drivers chart)

期間は「過去 7 日間」「過去 30 日間」より選択できます。

チャットはユーザーの反応によって「解決した」「エスカレーションされた」「放棄された」の 3 つの分類されます。

解決した
「End of Conversation」トピックでユーザーが解決したと明示的に答えたもの、またこの時点まできて放置されたもの解決したに分類されます。

エスカレーションされた
「Confirm Failure」の結果ややユーザー入力によって「Escalation」トピックが呼ばれると、エスカレーションされたに分類されます。

放棄された
チャットの途中で 1 時間以上放置された会話は、放棄されたに分類されます。

サマリーチャート

サマリー上部にあるサマリーチャートを見ると、全体の状態が分かります。赤や緑の▲は前回からの傾向の変化を示します。

Total sessions: 全セッション数
Engagement rate: 全体に対して、ユーザートピックがトリガーされた、またはエスカレーションされた割合。エンゲージメントの結果は、解決した、エスカレーションされた、放棄されたのいずれか
Resolution rate: 全エンゲージメントのうち解決した割合
Escalation rate: 全エンゲージメントのうちエスカレーションされた割合
Abandon rate: 全エンゲージメントのうち放棄された割合
Average CSAT: 満足度調査に対して回答した結果における、値の平均

時系列のエンゲージチャートと結果チャート

日別のエンゲージ/非エンゲージセッションの割合、およびエンゲージセッションの結果の推移を示します。

トピックの分析

解決した、エスカレーションされた、または放棄された結果について、各トピックが及ぼす影響の割合です。

Topic: トピック名
Rate: トピック全体数のうち、各結果になった割合
Impact: 各トピックが結果に与える影響

上記の結果の場合「Where bot lives」のうち 25% が解決した、75% が放棄されたであることを示します。また影響においては赤がマイナス、青がプラスの影響であるため、赤の影響が大きいものを改善することで結果も改善が可能です。ここでは「Where bot lives」を改善すると「改善した」の割合は向上し「放棄された」の割合は下がり、また影響が他より大きいことからまず改善すべきトピックであると判断可能です。