Chatbaseとは？
Chatbaseとは、Google が開発した、
- ユーザーはどのようなトピックを経由しながら会話をしているのか
- 会話のどこでユーザーが離脱してしまうのか
といったchat特有のアナリティクスを提供してくれるツールです。Dialogflow（旧API.ai）とも既に連携しており、さらに使える機能は増える見込みのようです。
会話のstatusを送りつけることのできるAPIがあり、そこにuser idとともにintentやmessageを送るだけでどんなチャットサービスのbotでも使用することができます。
今年５月のGoogle I/Oでお披露目があり、クローズドで利用されていましたが、11月にようやくPublicになりました。
Did you catch our new explainer video via the @googledevs YouTube Channel? ICYMI: https://t.co/c23gh8Ne1v
— Chatbase (@chatbase) November 21, 2017
Chatbaseは、Chatbox UX :Crafting a Valuable Conversation (邦訳：チャットボットのUX：価値ある会話デザインの方法 | UX MILK)でも紹介されています。余談ですが、この記事はサービス企画時に役立ちそうなことが書かれたいい記事でした。
Quickstart
チュートリアルは以下のドキュメントを読んでいただくとして、後の自分のためにすこしメモをしておきます。
Chatbaseが得意そうなこと
対話式のbotが応答文を返す際、まずユーザーからの入力に対して何らかのIntentを判定し、そのスコアに応じて応答文を返す、といったことが実用上多いようです。
QuickStartにも書かれていますが、Chatbaseではintentについて、「ユーザーからの、同じ意味を持つメッセージの集合へのラベルとして使える」という記載がなされているので、そうした理解でいいのだと思います。
botの応答をチューニングする際、そのスコアが一定の閾値以下だったりして、事実上うまくうあてはまるintentがなかったりする場合に、改善をしたいですよね。
そういった場合に、「判定がうまくいかなかったフラグ」をつけてChatbaseに送っておいて、後で集計して改善策を練る、というための仕組みがHandled & Not Handled Messagesという概念です。
なおDialogflowであれば、https://dialogflow.com/docs/machine-learning#ml_classification_threshold にあるように、一定の閾値を設定することができます。
※ MicrosoftのLUISでは2017年12月現在同等の機能はなく、Mircrosoft Bot Framework SDK側で閾値を設定します。
Chatbaseが現時点で得意じゃないこと
Dialogflowのドキュメントでは、Slot Fillingという概念が紹介されています。
たとえば、botを介してホテルを予約（検索）させる際には
- 目的地
- チェックイン日
- チェックアウト日
という3つの要素を確定させることが必要です。これを、「スロットを埋める」という表現をしているのですが、現行のChatbaseの仕組みでは、どのintentからどのintentに遷移したかは辿れても、「slotをいくつ埋めたか？」というトラッキングをする仕組みは提供されていません。Dialogflowとの連携・改善を考えると、いずれ何かしら仕組みが提供されたらうれしいなと思います。
簡単ですが、本日はここまでで終わります。明日は @shunXnegiさんです。