はじめに
IBM watsonx assistantは自社独自のチャットボットを構築するためのサービスです。
今回は分析機能を使って過去の会話ログを確認し、うまく回答できていない問い合わせをピンポイントで見つけ、修正をかけていく方法についてご紹介します。
適切に処理できた会話と適切に処理できなかった会話を区別して効果的に修正をすることはより良いチャットボットを構築する上で非常に重要です。
今回紹介する分析の使い方を理解すれば、短時間で効果が出やすい会話内容を特定することができます。
ぜひ最後まで読んでいただけると嬉しいです。
この記事を読むのがおすすめな方
- watsonx Assistantの会話ログを活用したい方
- watsonx Assistantの精度を高めたい方
分析ページでできること
分析ページでは以下の3つのことができます
- 概要の確認
- アクションが完了したかの確認
- 会話ログの確認
概要の確認
「Overview」では以下のことを確認することができます。
- Unique Users：固有ユーザー数
- Conversations：会話数
- Request：ユーザー要求数
- How often are your assistant`s actions completed?：アクションの完了率
- Most frequent actions：最も頻度の高いもの
- Least frequent actions：最も頻度の低いもの
- Least completed actions：最も完了率の低いもの
アクションが完了したかの確認
「Action completion」では以下のことを確認することができます。
- How often are your recognized actions completed?：認識されたアクションの完了率
- Times started：各アクションごとの発生件数
- Incomplete：各アクションごとの完了しなかった件数
- Completion：各アクションごとの完了率
会話ログの確認
「Conversations」では以下のことを確認することができます。
- Request：ユーザーの具体的な問い合わせ内容
- Topics：どのアクションに該当するか/認識されなかったか（Unrecognized）
- Conversations：問い合わせが来た日付と時間
また、特定の「Request」を選択すると、右上に具体的な会話ログが表示されるのでどこに問題があったのかを一目で確認することができます。
実際に分析してみました！
それでは実際に分析をして行きたいと思います！
今回はECサイト運営企業がチャットボットを利用している場合を想定して、いくつか問い合わせをしてみました。
その問い合わせ内容を分析するという流れで進めていきます！
完了率からの分析
まずは最初にアクションの完了率を確認すると、右下の「支払い方法」に関するアクションの完了率が低いことがわかります。
こちらを押下して何が原因かを調べてみましょう！
こちらのページでは過去のログのうち、完了したものと完了できていないものが一覧で表示されています。
ここで、「支払い方法」に関するActionの完了ができていないものをいくつか選択して、会話内容を確認してみたいと思います。
すると、支払い方法を示すだけでいいのにも関わらず、支払い方法を選択しなければならない仕様になってしまっていることが原因だとわかりました。
ここでは支払い方法を選択させる仕様から、支払い方法を示す仕様に変更すれば修正が完了となります。
フィルターを活用した分析
次にフィルターを活用して問題点を特定して行きたいと思います。
まずは細かいフィルターをかけるために、右上のフィルターマークを押下します。
続いて、「Recognition」を「Unrecognized」に変更します。
上記のステップでフィルターをかけると、会話ログの中でもAssistantが認識できなかった問い合わせが表示されます。
この一覧をよくみてみると、「ひょうか」や「くちこみ」のようなレビューに関する問い合わせが多く来ていますが、うまく認識できていないことがわかります。
この情報から「ひょうか」や「くちこみ」といいう単語や、「れびゅー」のひらがな表記もレビューに関する問い合わせとして認識できるように設定を修正するという打ち手を考えることができました。
おわりに
今回はwatsonx Assistantの分析機能を活用して効率的に修正をかけていく方法を実演を通してご紹介させていただきました。
どんな問い合わせが来るのかを想像するよりも、実際に運用してみてうまく応答ができなかった問い合わせに修正をかける方が効率的に高度なチャットボットを構築することができると思います。
実際に今回分析機能を活用してみた感想としては、定量的な数字で完了率などを出してくれると改善するべきポイントがわかりやすいなと感じました。
また、頻繁に来る質問とそうでない質問なども一目で確認することができるので、そもそも問い合わせが来ないように商品の改良に繋げたり、商品紹介方法なども改善することができるのではないかと思いました。
ぜひ"trial and error"を繰り返して、自社独自のチャットbotを構築してみてください！
参考
IBM watsonx Assistantデモ・サイト
顧客会話のレビュー
分析を使用してアシスタント全体を一目で確認
成功回数が最も多いアクションと最も少ないアクションを理解