Databricks Machine Learning

レイクハウスにおけるDatabricks Machine Learningは、全てが一つの環境に統合された状態で、データの取り込みからトレーニングやデプロイメント、モニタリングに渡るエンドツーエンドの機械学習の機能を提供し、MLライフサイクルにおける一貫性のあるビューを作り出し、より強力なチームのコラボレーションを可能にします。今週のData & AIサミットにおいて、我々はDatabricksにおけるMLライフサイクルとプロダクションのMLをさらに加速する機能を発表しました。こちらでは主要な発表の振り返りを行います。

MLflow Pipelinesを含むMLflow 2.0

MLflow 2.0はまもなく公開され、これには新たなコンポーネントであるPipelinesが含まれます。MLflow Pipelinesは、MLエンジニアが主導によるコードの書き直しやリファクタリングのような調整を行わなくて済むように、探索からプロダクションへの移行を自動化する構造化されたフレームワークを提供します。MLflow Pipelinesのテンプレートは、ユーザーがカスタマイズできるステップによる事前定義済みのグラフの足場を組み、ネイティブで他のMLflowライフサイクル管理ツールとインテグレーションされます。また、パイプラインはプロジェクトにおけるモデル評価とデータプロファイリングを標準化するために、ヘルパー関数や「ステップカード」を提供します。本日からMLflow 1.27.0を用いてMLflow Pipelinesのベータバージョンを試すことができます。

MLflow 2.0ではMLを加速するための事前定義済み、プロダクションレディのテンプレートであるMLflow Pipelinesが導入されます

サーバレスモデルエンドポイント

ご自身のプロダクションアプリケーションにおけるリアルタイム推論のために、サーバレスモデルエンドポイントにモデルをデプロイします。サーバレスモデルエンドポイントは、UIあるいはAPI経由でセットアップ、設定できる高可用性、低レーテンシーのRESTエンドポイントです。ユーザーは、モデルのスループットをコントロールしたり、予測可能なトラフィックのユースケースにおいて、オートスケーリングをカスタマイズすることができ、0台にまでオートスケーリングすることで、チームはコストを削減することができます。また、サーバレスエンドポイントにはビルトインの観測機能が備わっているので、モデルサービングをモニタリングすることができます。もはや、データサイエンスチームはMLモデルを提供するために、自分でkubernetesのインフラストラクチャを構築、運用する必要はありません。ゲーテッドパブリックプレビューが開始した際に連絡が必要であれば、サインアップしてください。

サーバレスモデルエンドポイントはDatabricksによってホストされるプロダクションレベルのモデルサービングです

モデルモニタリング

モデルモニタリングを用いて、ご自身のプロダクションモデルのパフォーマンスを追跡します。我々のモデルモニタリングソリューションは、チームがデータドリフトやモデル品質のドリフトを参照、分析できるようにダッシュボードを自動で生成します。また、内部の分析、ドリフトテーブルをDeltaテーブルとして提供するので、チームはビジネスインパクトを計算し、メトリクスが特定の閾値を下回った際にアラートを出せるように、パフォーマンスメトリクスとビジネスバリューメトリクスを結合することができます。モデルモニタリングは自動でドリフトと品質メトリクスを計算しますが、ユーザーが簡単に追加のカスタムメトリクスを取り込めるメカニズムも提供します。パブリックプレビューのローンチをお待ちください。

自動生成されるダッシュボードとアラートを用いて、デプロイされたモデルと集中管理された場所に格納される関連データをモニタリング

より詳細は

Data + AI Summit 2022のオンデマンドの動画を参照する: https://databricks.com/dataaisummit/
MLflow 2.0 with MLflow Pipelines: https://qiita.com/taka_yayoi/items/29a54ba9a5df4a38b3ad
Databricks Machine Learning: https://databricks.com/jp/product/machine-learning
Big Book of MLOps: https://databricks.com/p/ebook/the-big-book-of-mlops

Databricks 無料トライアル

Databricks 無料トライアル