今まで実行数とか簡単な数値しか取れなかったメトリックスダッシュボードがかなり進化しました。
Leverage the New Metrics Dashboard to Deepen Skill Engagement, Drive Retention
Skillの一覧画面を開くと、Actionsのカラムに Metrics のリンクがあります。
https://developer.amazon.com/edw/home.html#/skills
注）以降のスクショは複数のSkillからわかりやすそうなグラフを貼っているで、数値がバラバラです。
絞込用の共通ヘッダ
期間や言語、開発版・Live版など、いろいろな条件をしてしてみたいMetricsを絞り込むことが出来ます。
Overview
ざっと全体の状態を確認するための画面
- Unique Customers
- ユニークユーザー
- Sessions
- セッション数
- Utterances
- 発話回数
- Total Utterances by Intent
- 実行されたIntentの割合
ちなみにMoon Ageと言う月齢を教えてくれるSkillはドイツで人気みたいでした。
Customers
期間内でどれだけのユーザーが利用してくれたかを見る
- Total Unique Customers
- ユニークユーザーの合計
Sessions
セッションの状態を確認する。ユーザーが途中で中断するのかとか、最後まで利用されたのかなど。
- Total Sessions
- 合計セッション数
- Successful End Session Types
- 正常に終了したセッションの種類
- ユーザーからStopしたのか、Skill側で終了したのか
- Average Sessions per Customer
- ユーザーの平均セッション数
- Percent of Total Sessions
- セッションの正常終了、異常終了、などの割合
Utterances
ユーザーがどれだけSkillを使う際に発話したか
- Total Utterances
- 合計発話数
- セッション中の、正常に処理した発話数、エラーが有った発話数
- Average Utterances
- ユーザーの平均発話回数
- セッション中の平均発話回数
- Utterance Responses
Intents
発話数と利用されたIntentの関係を確認する。用意したけど使われていないIntentやよく使われているものなどを確認する
- Intents by Unique Customers
- インテントを利用したユニークユーザー数
- Total Utterances Per Intent
- インテント毎の発話数
- Failed Utterances Per Intent
- インテント毎の失敗した発話
- Total Intents
- インテント毎の呼び出された率
- Failed Intents
- インテント毎の失敗した率
今までのMetricsはお世辞にも分かりやすいとはいえず、Skillの開発者は自作して数値を取得するかVoice Labsのようなサービスを使うことが多かったと思います。
今回のアップデートで細かい数字が見れるようになったのはいいですね。
追加で欲しい機能としては、Intent間をどのように遷移していったかというような図ですね。この機能はVoiceLabsに存在していて、視覚的に利用状態が見れるのがすごく便利と思います。今後のアップデートに期待ですね。
Voice Labsの状態遷移図
Voice Labsについて過去に書いた記事はこちら