こちらのアップデートです。
MLflowのメタデータがシステムテーブルで利用できるようになりました(Public Preview)
MLflowのメタデータがシステムテーブルで利用できるようになりました。一箇所でワークスペース全体のMLflowトラッキングサービスで管理されるメタデータを参照でき、カスタムのAI/BIダッシュボード、SQLアラート、大規模なデータ分析クエリーのようにDatabricksが提供するレイクハウスのツールを活用することができます。MLflowシステムテーブルリファレンスをご覧ください。
systemカタログにmlflowスキーマが表示されるようになっています。
以下の3つのテーブルが利用できます。
-
system.mlflow.experiments_latest: エクスペリメント名とソフト削除イベントを記録します。 このデータは、MLflow UI のエクスペリメント ページに似ています。
-
system.mlflow.runs_latest: MLflowランのライフサイクル情報を記録し、各ランに関連付けられたパラメータとタグ、およびすべてのメトリクスの最小値、最大値、最新の値の集計統計を記録します。 このデータは、ラン検索またはランの詳細ページに似ています。
-
system.mlflow.run_metrics_history: ランに記録されたすべてのメトリクスの名前、値、タイムスタンプ、ステップを記録し、ランから詳細な時系列をプロットするために使用できます。 このデータは、ラン詳細ページのメトリクスタブに似ています。
当たり前ですがクエリーできます。
SELECT
run_name,
date(start_time) AS start_date,
status,
TIMESTAMPDIFF(MINUTE, start_time, end_time) AS run_length_minutes
FROM system.mlflow.runs_latest
WHERE
experiment_id = :experiment_id
AND run_id = :run_id
LIMIT 1
ダッシュボードも作成できます。
今後もますますMLや生成AIの実験管理は重要となってきます。是非ご活用ください！