はじめに
今回は、2020年11月24日に Namita Das 氏、Christy Bergman 氏、Punit Jain 氏によって投稿された 「Amazon Forecast now supports accuracy measurements for individual items」の記事を翻訳し、まとめました。
本記事のリンクは下記 URL 参照
■リンク
Amazon Forecast now supports accuracy measurements for individual items
Amazon Forecast の新機能
この度、Amazon Forecast で個々のアイテムの予測精度を測ることができるようになりました。
これにより、特定のアイテムの予測精度を確認することが可能となります。
各アイテムのバックテストと精度メトリクスから予測のエクスポート
この新機能を使う手順は以下です。
①Forecast のコンソール画面でデータセットグループを作成(今回は retail を選択)
②Target time series data のファイルをアップロード
③アップロード完了後、ダッシュボードの「Predictors」を選択し、「Train Predictor」をクリック
④予測トレーニングの入力項目に、以下の内容をそれぞれ入力
- 「forecast horizon」 で「24」を選択
- 「forecast frequency」で「hour」を選択
- 「Number of backtest windows」で「5」を選択
- 「Backtest window offset」で「24」を選択
- 「Forecast type」の3つある入力箇所に「mean」、「0.65」、「0.90」とそれぞれ入力
- 「Algorithm」で「Automatic」を選択
⑤予測のトレーニングが完了したら、「Predictors」ページでトレーニングが完了した予測子モデルを選択
⑥予測子モデルの詳細ページで「Predictor Metrics」にある「Export backtest results」を選択
⑦S3 に予測子モデルの csv ファイルをエクスポート
⑧S3 を確認すると、2つのフォルダにそれぞれ異なるファイルがあるのでそれを確認
- forecasted-values：各バックテストウィンドウからの予測を含んでいます
- accuracy-metrics-values：各バックテストウィンドウごとの各アイテムの精度メトリクスを含んでいます
accuracy-metrics-values のファイルには、wQL、WAPE、RMSE のメトリクスが提供されています。ファイルは出力されたデータの量に応じてファイルが複数ある場合があります。
■forecasted-values の csv データ
■accuracy-metrics-values の csv データ
- ダッシュボードの「Forecasts」を選択し、「Create a forecast」を選択
- 予測を実施する予測子モデルを選択
バックテスト予測とアイテム精度のメトリクスの可視化
バックテストの可視化を実施する場合は、 QuickSight を利用する必要があります。
QuickSIght を利用することでグラフの可視化が可能となり、精度の正確性がより視覚的にも分かりやすくなります。
おわりに
翻訳まとめは以上となります。
バックテストが可能となったことと、個々の予測の精度を見ることができるようになったため今まで以上に使いやすくなったかと思います。