Amazon Lookout for Metricsとは
一言で言うと、メトリクスをもとに機械学習を使用して、メトリクスの異常値を自動的に検出するサービスです。
S3等に上げられたメトリクスをソースとし、自動的に分析を行ってくれます。
以下公式説明文
Amazon Lookout for Metrics は、機械学習 (ML) を使用して、売上高や顧客獲得率の急激な低下など、ビジネスおよび運用データの異常 (標準からの外れ値など) を自動的に検出および診断します。数回クリックするだけで、Amazon Lookout for Metrics をAmazon S3、Amazon Redshift、Amazon Relational Database Service (RDS) などの一般的なデータストアや、Salesforce、Servicenow、Zendesk、および Marketo などのサードパーティーの SaaS アプリケーションに接続できます。これにより、ビジネスにとって重要なメトリクスの監視を開始します。Amazon Lookout for Metrics は、これらのソースからのデータを自動的に検査して準備し、異常検出に使用される従来の方法よりも高速かつ正確に異常を検出します。また、検出された異常に関するフィードバックを提供して、結果を調整し、時間の経過とともに精度を向上させることもできます。Amazon Lookout for Metrics を使用すれば、同じイベントに関連する異常をグループ化し、潜在的な根本原因の概要を含むアラートを送信することで、検出された異常を簡単に診断できます。また、異常を重大度の順にランク付けするため、ビジネスにとって最も重要なことを優先できます。
料金は「一か月あたりに分析を行ったメトリクス数に応じて請求されます。
| メトリクス | メトリクスあたりのUSD |
|---|---|
| 最初の1000メトリクス | 0.75USD |
| 1,000 メトリクス～5,000 メトリクス | 0.50 USD |
| 5,000 メトリクス～20,000 メトリクス | 0.25 USD |
| 20,000 メトリクス～50,000 メトリクス | 0.10 USD |
| 50,000 メトリクス超え | 0.05 USD |
引用(2021/07現在)：
この「分析を行ったメトリクス数に応じて課金される」という点がミソで、時間課金ではないので一度に大量のメトリクスを投入すると一気に料金が上がってしまうことが考えられます。
メトリクスとは
Amazon Lookout for Metricesのメトリクスの総数は、Measureと、Dimentionに含まれる値(一意)を乗算した数となります。
後程解説しますが、絶対に適当な値をDimensionsに設定しないでください。
(コンソールに表示されるメッセージ引用)
Amazon Lookout for Metrics derives metrics from on your dataset's measures, dimensions names, and dimension values. The total number of metrics is the number of measure names times the number of unique combinations of dimension name and dimension value. The number of metrics analyzed can vary from interval to interval.
分析を行う上での注意点
仮に以下のようなデータを使用するとします。
| EventTime | EventID | EventName | UserName | Value | Data |
|---|---|---|---|---|---|
| 2021/XX/XX 00:03:10 | ajt6gait7 | EventA | hoge | 743 | 2021/XX/XX 00:03:00 |
| 2021/XX/XX 00:15:45 | bjys9gkit | EventB | hoge | 384 | 2021/XX/XX 00:15:00 |
| 2021/XX/XX 00:29:30 | oit8bisr4 | EventC | hoge | 204 | 2021/XX/XX 00:29:00 |
| 2021/XX/XX 00:29:43 | gti8rmvbf | EventB | huga | 764 | 2021/XX/XX 00:29:00 |
| 2021/XX/XX 00:31:12 | rjugyalot | EventB | hogehuga | 322 | 2021/XX/XX 00:31:00 |
| 2021/XX/XX 00:40:36 | jut75ljga | EventA | hogehuga | 743 | 2021/XX/XX 00:40:00 |
| 2021/XX/XX 00:41:38 | git6ugt74 | EventC | hoge | 384 | 2021/XX/XX 00:41:00 |
MeasuresとDimensionsを
- Measures：Value
- Dimensions：UserName
とした場合、Dimensionsの値は「hoge,huga,hogehuga」の3種類となるため、
1(Measures)×3(Dimensions)=3メトリクスという計算になり料金は0.75*3=2.25USDとなります。
次にMeasuresとDimensionsを
- Measures：Value
- Dimensions：UserName,EventName
とした場合、Dimensionsの値は「hoge,huga,hogehuga」と「EventA,EventB,EventC」の3*3種類となるため、
1(Measures)×3(Dimensions)×3(Dimensions)=9メトリクスという計算になり料金は0.75*9=6.75USDとなります。
このように、メトリクス数はMeasuresの数とDimensionsの数・値に大きく依存します。
基本的に本サービスで扱うようなデータは大量(数万行)であることが考えられる為、Dimensionsの設定を間違えてしまいますとすぐに数万メトリクスに到達してしまいます。
仮に5万行のデータのDimensionsを今回のEventIDのような一意な値にしてしまうと約$90001と大変高額になってしまう計算なので、サービスを利用する場合はMeasuresとDimensionsをあらかじめ考えて使用するようにしましょう。
-
1000*0.75+4000*0.5+15000*0.25+30000*0.1=9500 ↩