Databricksにてモデル学習してみた

Databricks ～MLFLOWトラッキング モデル実行結果～

DatabricksのNotebookを活用して、モデル学習をしてみました。
モデル学習した結果の表示や管理等まとめていきます。

参考Notebookは公式ドキュメント記載のMLflowPythonQuickstartを使用します。

・自動的にログに記録する設定

MLflowはmlflow.<framework>.autolog()、多くのMLフレームワークで記述されたトレーニングコードを自動的にログに記録するためのAPIを提供します。トレーニングコードを実行する前にこのAPIを呼び出して、モデル固有のメトリック、パラメーター、およびモデルアーティファクトをログに記録できます。

コード例

# Also autoinstruments tf.keras
import mlflow.tensorflow
mlflow.tensorflow.autolog()

Notebook

import mlflow.sklearn
mlflow.sklearn.autolog()

ランダムフォレストモデルを作成し、使用して、パラメーター、メトリック、およびモデルをログに記録します

# Enable autolog()
# mlflow.sklearn.autolog() requires mlflow 1.11.0 or above.
mlflow.sklearn.autolog()

# With autolog() enabled, all model parameters, a model score, and the fitted model are automatically logged.  
with mlflow.start_run():
  
  # Set the model parameters. 
  n_estimators = 100
  max_depth = 6
  max_features = 3
  
  # Create and train model.
  rf = RandomForestRegressor(n_estimators = n_estimators, max_depth = max_depth, max_features = max_features)
  rf.fit(X_train, y_train)
  
  # Use the model to make predictions on the test dataset.
  predictions = rf.predict(X_test)

with mlflow.start_run():のコマンドを叩くと、mlflowがstartして、モデル学習が行われる

with mlflow.start_run():

実行コマンドが完了されると、Experiment Runsサイドバーに実行実験結果が格納される。

サイドバーに実験結果項目の中でこちらのボタンをクリックすると、実験結果の詳細画面に遷移します。

実験結果のParameters、Metrics、Tags、Artifactsが表示されている。

Artifacts内に表示されているMLmodel、conda.yaml、model.pklはファイルをボタンからダウンロードすることが可能。

参照：
https://docs.databricks.com/applications/mlflow/quick-start-python.html

以上がDatabricksにてモデル学習についてでした。

見ていただき、ありがとうございました。

株式会社メソドロジック

川名智士