はじめに
前回のこちらの記事ではDatabricks上でMLflowを使って機械学習モデルのトレーニングを行った履歴をノートブック上に統合するための方法について書きました。
DatabricksでMLflowを使う① - ノートブック上での実験トラッキング -
Databricksのマネージド型MLflowではUI上でトレーニングモデルのパラメータやメトリクスの比較、モデルのステージングなどを行うことができます。
この記事では実験ごとのパラメータやメトリクスを可視化して比較する部分について書いています。
実験ごとのUI画面
前回記事でノートブック上で実験ごとのメトリクスなどを確認した画面から、図中赤枠の部分をクリックします。
実験ごとの情報がまとめられた画面に移ります。メトリクスやパラメータ、統合されているノートブックなどが表示されます。
下のほうにスクロールすると、アーティファクトファイルとしてモデルや環境設定のデータ、実験結果のスクリーンショットなどが保存されています。
ノートブックにMLflowを統合した場合は実験idが自動で割り振られて、実行結果ごとにrun_idが割り振られて管理されます。アーティファクトファイルはDBFS内のディレクトリに保存されます。
各実験の比較
ノートブックから「Runs」の右にある下図の赤枠部分をクリックします。
各実験の一覧が表示されます。
比較したい実験を選択して「Compare」します。
パラメータやメトリクスが比較できます。それぞれのrun idをクリックすると前述の実験の個別ページに移動します。
下にスクロールするとパラメータやメトリクスを可視化して比較することができます。
おわりに
今回はDatabricksのUI上で実験パラメータやメトリクスを可視化して比較しました。
次回はトレーニングしたモデルを本運用に移行するためのステージングについて書きたいと思います。