前回の記事は会話フローを拡張するアクションについて紹介しましたが、今回は利用状況を解析するための分析機能を紹介します。

利用状況の分析

VA 公開後にカスタマーサービスが向上したか解析できるよう、Power BI ベースの解析機能が提供されます。

利用状況全体をまとめたサマリー
顧客満足度に特化した分析
ユーザーとボットのセッションデータ

※分析機能は https://va.ai.dynamics.com より「Analytics」へアクセス

サマリーページ

サマリーページでは以下の情報が提供されます。

全体の状況を示すサマリーチャート (Summary charts)
時系列のエンゲージチャート (Engagement over Time chart)
時系列での結果チャート (Session Outcomes over Time chart)
解決したトピックの分析チャート (Resolution Rate Drivers chart)
有人チャットにエスカレーションされたトピックの分析チャート (Escalation Rate Drivers chart)
放棄されたチャットの分析チャート (Abandon Rate Drivers chart)

期間は「過去 7 日間」「過去 30 日間」より選択できます。

チャットはユーザーの反応によって「解決した」「エスカレーションされた」「放棄された」の 3 つの分類されます。

解決した
「End of Conversation」トピックでユーザーが解決したと明示的に答えたもの、またこの時点まできて放置されたもの解決したに分類されます。

エスカレーションされた
「Confirm Failure」の結果ややユーザー入力によって「Escalation」トピックが呼ばれると、エスカレーションされたに分類されます。

放棄された
チャットの途中で 1 時間以上放置された会話は、放棄されたに分類されます。

サマリーチャート

サマリー上部にあるサマリーチャートを見ると、全体の状態が分かります。赤や緑の▲は前回からの傾向の変化を示します。

Total sessions: 全セッション数
Engagement rate: 全体に対して、ユーザートピックがトリガーされた、またはエスカレーションされた割合。エンゲージメントの結果は、解決した、エスカレーションされた、放棄されたのいずれか
Resolution rate: 全エンゲージメントのうち解決した割合
Escalation rate: 全エンゲージメントのうちエスカレーションされた割合
Abandon rate: 全エンゲージメントのうち放棄された割合
Average CSAT: 満足度調査に対して回答した結果における、値の平均

時系列のエンゲージチャートと結果チャート

日別のエンゲージ/非エンゲージセッションの割合、およびエンゲージセッションの結果の推移を示します。

トピックの分析

解決した、エスカレーションされた、または放棄された結果について、各トピックが及ぼす影響の割合です。

Topic: トピック名
Rate: トピック全体数のうち、各結果になった割合
Impact: 各トピックが結果に与える影響

上記の結果の場合「Where bot lives」のうち 25% が解決した、75% が放棄されたであることを示します。また影響においては赤がマイナス、青がプラスの影響であるため、赤の影響が大きいものを改善することで結果も改善が可能です。ここでは「Where bot lives」を改善すると「改善した」の割合は向上し「放棄された」の割合は下がり、また影響が他より大きいことからまず改善すべきトピックであると判断可能です。

顧客満足度ページ

顧客満足度ページでは以下の情報が提供されます。

顧客満足度のトピック分析チャート (Customer Satisfaction Drivers chart)
顧客満足度の平均スコア (Average CSAT Score)
顧客満足度の回答率 (CSAT Survey Response Rate)
時系列での顧客満足度スコア (CSAT Scores over Time)

これらのチャートを見れば、どのトピックにおけるサーベイの回答率が良いかや、結果について解析が出来ます。

ユーザーとボットのセッションデータ

実際のデータを直接解析したい場合、「Sessions」よりダウンロードが可能です。過去 30 日間、最大 1000 セッションのデータが取得できます。

ダウンロードした CSV には日付やトリガーフレーズ、またその後の会話も含まれます。

トピック単位の解析

VA では全体の分析以外に、特定トピックに絞った解析も可能です。

1.「Topics」より任意のトピックを選択後、「Analytics」タブを選択。
2. またはトピック分析の結果より「Details」をクリック。

まとめ

VA に限らずボットの利用状況解析はサービス向上に必須です。これらの解析手法は他のボットでも便利そうです。ここからトピックをブラッシュアップしていけるといいですね。一通りの説明は終わったので、次回はシナリオベースで VA をカスタマイズしてみます。

参考

記事: Use analytics to improve your bot
記事: Analytics overview
動画: Improve bot performance with Virtual Agent for Customer Service