はじめに
Databricksを使った需要予測の学習として、公式のソリューションアクセラレータを利用しました。
■ 利用した教材
このアクセラレータでは、
- データの準備（ETL）
- 特徴量の作成
- 機械学習モデルの構築
- 需要予測の実行
といった「需要予測の一連の流れ」を一通り体験することができます。
本記事では、各章の内容を確認しながら
- Databricksの特徴
- 需要予測の考え方
を整理していきます。
※ 詳細なコードや処理については、上記URLをご参照ください。
Databricksとは？
Databricksは、
- 大量データの処理（Spark）
- データ保存（Delta Lake）
- 機械学習（MLflow）
をまとめて扱える「データ基盤（Lakehouse）」です。
セットアップ
まずは、アクセラレータを実行するための準備を行います。
※ 公式手順と重複するため、既に環境が整っている方は読み飛ばして問題ありません。
gitからclone
アクセラレータのNotebookをDatabricks上に取り込みます。
手順
1. Workspace → Repos を選択
2. 「Gitフォルダを作成」をクリック
3. GitリポジトリURLを入力
https://github.com/databricks-industry-solutions/parts-demand-forecasting
を入力する
4. 作成を押下
確認
ワークスペース配下に以下のフォルダが作成されていればOKです。
事前準備
① カタログの作成
Databricksでは「Unity Catalog」を使用してデータを管理します。
今回のアクセラレータでは、データ保存先としてカタログを利用するため、事前に作成しておきます。
※ 既存カタログがある場合は不要です
② カタログ名の設定
以下のNotebookを開きます。
parts-demand-forecasting/_resources/00-setup
以下の箇所にカタログ名を設定します。
catalog = 'カタログ名'
③ MLflowのインストール
機械学習の実験管理ツール「MLflow」を使用するため、ライブラリをインストールします
%pip install mlflow
dbutils.library.restartPython()
テーブル、ボリュームの作成
以下のNotebookを実行します。
01_Introduction_And_Setup
この処理では、
- Deltaテーブル
- Volume（ファイル保存領域）
が作成されます。
実行結果の確認
Notebookの最後までエラーなく実行できることを確認します。
カタログの確認
設定したカタログ配下に
- テーブル
- Volume
が作成されていれば準備完了です。
今回は環境構築を中心に整理しましたが、次回は需要予測の基本となる「時系列データの考え方」について、見ていきたいと思います。
用語補足
- カタログ：データの管理単位（データベースの上位概念）
- Deltaテーブル：高速に扱えるデータ形式
- MLflow：機械学習の実験管理ツール