はじめに
前回は、Databricksで需要予測を行うための環境構築を行いました。
今回は、実際に需要予測モデルの最初のステップとして
「指数平滑法（Holt-Winters法）」を使った予測を見ていきます。
このパートでは、
- 需要予測の基本的な流れ
- 時系列データの扱い方
- シンプルな予測モデルの考え方
を理解することを目的とします。
01 事前確認
アクセラレータでは、データの再作成有無を設定できます。
| 設定 | 意味 |
|---|---|
| true | データを作り直す |
| false | 既存データを使用 |
今回は既存データを利用します。
print(dbname)
print(catalog)
02 Databricksのデータ構造
Databricksではデータは以下の階層で管理されます。
Catalog
↓
Schema（Database）
↓
Table
今回の例：
hirota_fcst_catalog
↓
demand_planning
↓
part_level_demand
03 環境セットアップ
このNotebookでは、需要予測に必要なライブラリを読み込みます。
主な分類は以下の通りです。
① データ処理
import numpy as np
import pandas as pd
- numpy：数値計算
- pandas：データ操作
② 可視化
import matplotlib.pyplot as plt
import matplotlib.ticker as ticker
import matplotlib.dates as md
需要推移や予測結果をグラフで確認するためのツール
③ 時系列モデル
from statsmodels.tsa.api import ExponentialSmoothing, SimpleExpSmoothing, Holt
from statsmodels.tsa.statespace.sarimax import SARIMAX
| モデル | 用途 |
|---|---|
| SimpleExpSmoothing | 単純指数平滑 |
| Holt | トレンド対応 |
| ExponentialSmoothing | 季節性対応 |
| SARIMAX | ARIMA系 |
④ MLflow
import mlflow
モデルや評価結果を管理するツールになります
⑤ Hyperopt
from hyperopt import hp, fmin
モデルのパラメータを自動調整するツールになります
⑥ Spark
import pyspark.sql.functions as f
大量データの処理のためのツール
補足：なぜSparkを使うのか
時系列モデルの基本として
1つの時系列 → 1つのモデル
を作成していきます。
つまり、
5商品 → 5モデル
となります。
実務では1000商品、10000商品以上の数を取り扱うことになり、この商品数のモデルを作成する必要があります。
ここで、Databricksの強みであるSparkを使うと、商品ごとに並列でモデル作成が可能となります。
04 データ整形
時系列モデルでは、データを「時間順」に整える必要があります。
pd.Series(
pdf['Demand'].values,
index=pdf['Date']
)
👉 Demandを値、Dateをインデックスに整形
series_df = series_df.asfreq('W-MON')
👉 週次データとして統一
※ 時系列モデルでは 時間間隔が一定であることが必須
05 学習データの作成（バックテスト）
forecast_horizon = 40
👉 未来40週を予測
is_history = [True] * (len(series_df) - forecast_horizon) + [False] * forecast_horizon
| 値 | 意味 |
|---|---|
| True | 学習データ |
| False | 評価データ |
バックテストとは
未来データがないため、
👉 過去の一部を「未来」として扱う
06 外部要因の作成
需要は外部要因にも影響されます。
例👇
- コロナ
- クリスマス
- 年始
covid_breakpoint = dt.date(year=2020, month=3, day=1)
👉 コロナ開始日の定義
「2020/3/1以降はコロナ影響があるとみなす」という“境界日”を決めています
exo_df = pdf.assign(Week = pd.DatetimeIndex(pdf["Date"]).isocalendar().week.tolist())
👉 Week（週番号）を作る：クリスマス/年始判定に使う
exo_df = exo_df \
.assign(covid = np.where(pdf["Date"] >= np.datetime64(covid_breakpoint), 1, 0).tolist()) \
.assign(christmas = np.where((exo_df["Week"] >= 51) & (exo_df["Week"] <= 52) , 1, 0).tolist()) \
.assign(new_year = np.where((exo_df["Week"] >= 1) & (exo_df["Week"] <= 4) , 1, 0).tolist()) \
.set_index('Date')
👉 covid / christmas / new_year の “0/1フラグ” を作る
07 指数平滑法（Holt-Winters法）
ここからモデルの話です。指数平滑法のモデルを利用して分析とモデルの比較を行います。
💡 なぜ最初に指数平滑法を使うのか
需要予測には様々なモデルがありますが、
- シンプルで理解しやすい
- トレンド・季節性を扱える
- ベースラインとして使える
という理由から、まず最初に指数平滑法を使って全体像を理解します。
以下の画面では、指数平滑法で４種類のモデルを作成と各モデルの比較を行っています。
指数平滑法（Holt-Winters法）とは？
👉 時系列データの以下を扱えるモデルとなります
- トレンド（増減）
- 季節性（周期）
モデル作成
ExponentialSmoothing(
train,
seasonal_periods=3,
trend="add",
seasonal="add"
).fit()
パラメータ解説
seasonal_periods
| データ | 値 |
|---|---|
| 月次 | 12 |
| 週次 | 52 |
| 四半期 | 4 |
※ 今回はサンプルデータの都合上、seasonal_periods=3となっていますが、
通常の週次データでは52（1年周期）を設定することが一般的とされています。
trend
- add：一定の変化
- mul：比例変化
seasonal
- add：一定の季節変動
- mul：変動が大きくなる
use_boxcox
👉 データを安定させる
08 結果の確認
- 黒：実績
- 左側：学習
- 右側：予測
結果の考察
結果を見ると、予測データが実績データのデータと差があるように見られます。
指数平滑法は、指数平滑法はシンプルで扱いやすい一方、
- 外部要因を直接扱えない
- 複雑な変動に弱い
といった特徴があります。
そのため、今回のようなデータでは精度が出にくい結果となりました。
まとめ
今回は、
- 時系列データの扱い方
- Holt-Wintersモデル
- 需要予測の基本
について整理してみました。
指数平滑法では精度が出なかったため、次回はより高度なモデルであるSARIMAXを使って需要予測を行っていきます。
外部要因も考慮した予測がどのように変わるのかを見ていきたいと思います。