はじめに
Amazon Lookout for MetricsでBacktestモードを利用する際に、役に立つと思った機能等について記載します。
※本記事は2024年9月時点での情報になります。
その1：save dataset機能
BacktestモードでActivate前の状態を保存することができます。
■save dataset手順
やり方は以下になります。
Dataset設定の際に「save dataset」を押下します。やることはこれだけです。
すると下記のようなデータセットが作成できたメセージが出ます。
この機能を使うことで、ActivateするまではDetectorの検出機能は開始されませんので
その間にアラートの追加設定や、取り込むデータの見直しをすることができます。
Activateするには以下の手順で実施します。
■Activate手順
Detectorの詳細画面で「Activate detector」のボタンが出ています。
「Activate detector」を押下すると下記の様にDetectorをActivateするか確認されます。
またここではデータの 70% を学習に使用し、30% を異常検出に使用すること、学習中にアラートを設定できることが確認できます。
※アラート設定はオプションの機能になります。
※Activate中にアラート設定を追加することも可能ですが、Activate完了前までにアラート設定を完了させる必要があること、またActivate処理を途中で止める事はできないので注意してください。
「Activate」を押下すると「The detecotr is learning」のメッセージが出てDetectorの状態が変化していきます。
Activating backtestになり
⇩
Backtest in progressになり
⇩
Backtest in completeで完了になります。
その2 ：Backtest data propertiesの情報
上記手順の中で「データの 70% を学習に使用し、30% を異常検出に使用すること」とありますが、具体的にどの期間が学習用でどの期間が異常検出に使われているのかはBacktest data propertiesを見ることで確認することができます。
Activete detectorの状態がcompleteになった後
detector詳細画面の「Backtest data properties」で確認できます。
今回使用したデータを以下のように処理していることが分かります。
・データの範囲：2023/1/1 ～ 2024/8/31
・学習データ期間(70％)：2023/1/1 ～ 2024/4/16
・異常検出期間(30％)：2024/4/17 ～ 2024/8/31
ここから、異常検出には2024年4月17日以降のデータを利用していることがわかります。
※学習期間のデータは異常検出には利用されません。
※ここでは日付単位のデータを使用しています。
※以下のようにBacktestの異常検出に必要な最小データ量の制限もありますので注意してください。
バックテストに使用されるトレーニング データとテスト データの比率は、トレーニング 70%、テスト 30% です
バックテストに必要な最小データ量は、データ収集の間隔によって次のように異なります。
5 分間隔– 約 1 日分のデータ。
10 分間隔– 1.9 日分のデータ。
1 時間間隔– 11.8 日分のデータ。
1 日間隔– 285 日間のデータ。
まとめ
Lookout for MetricsではActivate後に設定ミスに気づいても、Activate処理のキャンセルはできないため、save dataset機能を使うことで最終確認などを落ち着いて行えるのが便利だと思いました。
また異常検出させたいデータが学習期間に含まれていると異常として検出されませんので、うまく異常が検出されない場合には、Backtest data propertiesで学習期間と異常検出期間を確認することで問題解決につながるかもしれません。
この記事が何かのお役に立てれば幸いです。