Accelerate your model development with the new MLflow Experiments UI - The Databricks Blogの翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
MLflowはモデル開発と実験のための先進的なプラットフォームです。数千ものデータサイエンティストが、パラメーター、パフォーマンスメトリクス、ソース情報に基づいてモデルを参照、フィルタリング、並び替えることができるパワフルなGUIベースの体験を通じて、ベストなモデル候補を特定するために日々MLflowのエクスペリメントトラッキングを活用しています。
本日、ビジュアライゼーションを通じてモデルパフォーマンスの洞察を得ることのできる設定可能なチャートビュー、チューニングのために改良されたパラレルコーディネートの体験、検索とフィルタリングを強化したテーブルビューを含むMLflowエクスペリメントUIに対するいくつかの主要な改善点を発表できることを嬉しく思っています。これらの改善によって、データサイエンティストはモデルを比較するスピードを劇的に改善し、彼らが最も愛すること、素晴らしいモデルの構築により多くの時間を費やせることになると信じています。
チャートビュー、改良されたパラレルコーディネートプロット、整理されたテーブルビュー含む新たに改善されたMLflowエクスペリメントUI
それでは、新たなMLflowエクスペリメントUIのキーとなる改善点と機能を見ていきましょう。
新たなチャートビューでモデルのパフォーマンスを分析
プロダクションで使用するベストなモデルを特定するために、データサイエンティストはモデルのパラメーターとパフォーマンスメトリクスのビジュアライゼーションに大きく依存しています。例えば、トレーニングの過程で精度が改善することを検証するために、折れ線グラフはモデルの進捗を表現し、棒グラフは複数モデル間のパフォーマンスの違いに対するクイックな洞察を提供します。
MLflowエクスペリメントページの新たなチャートビューは、モデルのチューニングと選択のための様々なビルトインチャートによってモデルパフォーマンスの洞察を探索できるカスタマイズ可能なダッシュボードです。
MLflowエクスペリメントページに新しいチャートビューを導入できることを嬉しく思っています。チャートビューは、あなたのモデルのパラメーターやメトリクスに対する棒グラフ、折れ線グラフ、散布図、パラレルコーディネートプロットをサポートしているカスタマイズ可能なモデルパフォーマンスのダッシュボードです。ラン(MLflowにおけるモデルトレーニングの単位)を選択し「比較」をクリックするのではなく、テーブルビューとチャートビューをシームレスに行ったり来たりして、お好きなランの比較モードを選択することができます。それぞれのチャートは設定可能でインタラクティブなので、最も適切な結果を見つけ出すために、表示するデータや軸を選択し、データポイントをフィルタリングすることができ、後で参照できるようにモデルをピン留めすることができます。チャートビューはモデルの開発体験とスピードを劇的に改善し、手動によるプロットや計算の必要性を削減します。
改良されたパラレルコーディネートチャートでモデルを迅速にチューニング
高品質のモデルを開発するために、データサイエンティストはモデルパラメーターを注意深く選択する必要があります。このハイパーパラメーターチューニングプロセスは多くの場合、最も重要なパラメーターを特定するために、数十、数百、さらには数千のパラメーターを探索する必要があります。このプロセスにおいては、モデルのパラメーターとパフォーマンスメトリクスの関係性、様々なパラメーターの値が特定のメトリックに影響を及ぼすのかを可視化するパラレルコーディネートチャートが非常に役立ちます。
高度にスケーラブルでインタラクティブなパラレルコーディネートは、モデルチューニングにおいて優れたパラメーター範囲の特定を容易にします。
新たなチャートビューにパラレルコーディネートチャートを埋め込んだので、数千のモデルトレーニングのランから同時にパラメーターの組み合わせをシームレスに分析することができます。さらに、パラレルコーディネートチャートは高度な可視化フレームワークによって再構築されたので、インタラクティブかつ高度にスケーラブルな体験を提供します。新機能には以下が含まれます。
- 改善されたフィルタリング - 興味のあるパラメーターとメトリックの値でモデルトレーニングのランをフィルタリング
- ランのハイライト - メトリクスとパラメーターを参照するためにチャートから特定のランを選択
- 非表示とピン留め - 外れ値の除外および重要なランの保持
改良されたパラレルコーディネートチャートによって、モデルのチューニングがより容易となり、高品質のモデルを迅速に構築、デプロイできるようになります。
整理されたテーブルビューと検索のエクスペリエンスでベストモデルを特定
モデル開発は繰り返しのプロセスです。データサイエンティストは多くの場合、プロダクションで用いるベストモデルを選択する前に、数千もの候補モデルを探索しています。新たなデータが取得され、アプリケーションの要件がへこうされた際、モデルは正確な予測を行い続けられるように再トレーニングされます。このため、データサイエンティストは自分のモデルトレーニングの結果を検索、フィルタリングできるようになっている必要があり、自分のトレーニングを進める過程でベスtなモデルを追跡できるようになっている必要があります。新たなMlflowエクスペリメントUIには、この体験を円滑にするためのいくつかの機能と改善点が盛り込まれています。
すべてのMLflowランには覚えやすい名前が割り当てられ、整理されたランのテーブルでは後で参照、比較できるようにベストなモデルをピン留めすることができます。
モデルを特定し比較できるように、作成したすべてのMLflowランには覚えやすい名前が割り当てられます。さらに、ランテーブルの上部でランをピン留めすることができます。ピン留めされたランはモデルトレーニングの結果をフィルタリング、探索する際に常に表示されるようになるので、クイックな比較を行うために「ベースライン」モデルをピン留めすることができます。最後になりますが、Databricks AutoMLやMLflow Recipesでモデルをトレーニングしている場合には、エクスペリメントページは自動で最適なパフォーマンスメトリクスとモデルの属性を表示するので、最適化モデルをクイックに特定することができます。カラムセレクタードロップダウンを用いることで、容易にモデルの追加情報を表示することができます。
自動で提案されるドロップダウンを用いることで、ベストモデルの検索がかつてないほど簡単になっています。
また、自動サジェスト機能をインテグレーションすることで、エクスペリメントページにおける検索体験を劇的にシンプルにしました。シンプルに、検索バーにパフォーマンスメトリックやモデルパラメーターをタイプすると、オートサジェストのドロップダウンにクエリーでどのように使用するのかが表示されます。また、エクスペリメントページには、文法をクイックに学べるようにサンプルの検索クエリーの網羅的な一覧が含まれています。
新たなMLfowエクスペリメントUIを使い始める
新しく改善されたMLflowエクスペリメントUIによって、高品質なモデルの大規模開発がかつてないほどに簡単になり、最適なプロダクションモデルを簡単に特定できるようになります。この新たな体験はすでに多くのDatabricksワークスペースでリリースされており、間も無くすべての場所で利用できるようになります。シンプルにワークスペースのサイドバーからエクスペリメントに移動し、エクスペリメントを選択してください。新たなエクスペリメントUIのすべての提供機能を探索することを強くお勧めし、みなさまからのフィードバックをお待ちしております！