Announcing General Availability of Databricks Model Serving - The Databricks Blogの翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
2023/3/8時点では日本リージョンではサポートされていません。サポートされているAWSリージョンは以下の通りです。
- eu-west-1
- eu-central-1
- us-east-1
- us-east-2
- us-west-2
- ca-central-1
- ap-southeast-1
- ap-southeast-2
DatabricksレイクハウスプラットフォームおけるプロダクションMLの簡素化
Databricks Model Servingの正式提供を発表できることを嬉しく思っています。モデルサービングはREST APIとして機械学習モデルをデプロイすることで、サービングのインフラストラクチャの管理に頭を悩ませることなしに、パーソナライズされたレコメンデーション、カスタマーサービスのチャットbot、不正検知などのようなリアルタイムMLアプリケーションの構築を可能にします。
Databricks Model Servingのローンチによって、既存のデータとトレーニングのインフラストラクチャと一緒にモデルをデプロイできるようになり、MLライフサイクルをシンプルにし、オペレーションコストを削減します。
「データが存在し、モデルをトレーニングするのと同じプラットフォームでモデルサービングを行うことで、デプロイメントを加速し、メンテナスを削減し、最終的には世界中のお客様へのデリバリーを促進し、ドライブをより楽しく維持可能なものにできるようになりました。」- Daniel Edsgärd, Head of Data Science at Electrolux
リアルタイムMLシステム構築における課題
リアルタイム機械学習システムは、到着するデータに基づいて即座に予測やアクションを行う能力を提供することで、ビジネスのオペレーションのあり方を変革します。チャットbot、不正検知、パーソナライゼーションシステムのようなアプリケーションは、即時かつ正確なレスポンスを提供するためにリアルタイムシステムに依存しており、顧客体験を改善し、収益を改善し、リスクを削減します。
しかし、このようなシステムの実装はビジネスにおいて課題となっています。リアルタイムMLシステムでは、構築、維持するための専門家の知識を必要とする高速かつスケーラブルなサービングのインフラストラクチャを必要とします。このインフラストラクチャはサービングをサポートするだけでなく、特徴量の検索、モニタリング、自動デプロイメント、モデルの再トレーニングをサポートする必要があります。これは多くの場合、チームにおいて分散したツールとのインテグレーションを必要とし、オペレーションの複雑性を増加させ、維持のオーバーヘッドを生み出すことになります。ビジネスにおいては、プロセスへのMLへの組み込みではなく、インフラストラクチャの維持に多くの時間とリソースを割くことになってしまいます。
レイクハウスにおけるプロダクションモデルサービング
Databricksモデルサービングは、統合データ & AIプラットフォームで開発された初のサーバレスリアルタイムサービングソリューションです。このユニークなサービングソリューションは、デプロイメントをシンプルにし、インテグレーションされたツールにおける間違いを削減することで、データサイエンスチームのプロダクションに至るパスを加速します。
リアルタイムモデルサービングによる管理オーバーヘッドの排除
Databricksモデルサービングは、API経由でアクセスできるモデルをデプロイする高可用性、低レーテンシーのサーバレスサービスです。スケーラブルなインフラストラクチャを管理する手間や負荷を気にする必要はありません。完全なマネージドサービスがあなたのためにすべてのヘビーな作業の面倒を見るので、インスタンス管理、バージョン互換性の維持、バージョンのパッチ当ての必要性を排除します。需要の変更に合わせてエンドポイントは自動でスケールアップ、ダウンするので、レーテンシーのパフォーマンスを最適化しつつもインフラストラクチャのコストを節約することができます。
「高速なオートスケーリングによって、コストは抑えつつもトラフィック需要の増加にスケールすることができます。我々のチームは今ではインフラストラクチャに関連する問題のデバッグではなく、顧客の問題を解決するモデルの構築により多くの時間を割けるようになっています。」 - Gyuhyeon Sim, CEO at Letsur.ai
レイクハウスで統合されたモデルサービングを通じたデプロイメントの加速
Databricksモデルサービングは、様々なサービスとのネイティブなインテグレーションを提供することで、MLモデルのデプロイメントを加速します。今では、データの取り込みからトレーニング、デプロイメントやモニタリングに至るMLプロセス全体を一つのプラットフォームで管理することができ、エラーを最小化し、デバッグをスピードアップするMLライフサイクル全体での一貫性のあるビューを作り出すことができます。モデルサービングは以下を含む様々なレイクハウスサービスとインテグレーションしています。
- 特徴量ストアのインテグレーション: Databricks Feature Storeとシームレスに連携することで、オンライン/オフラインの偏りを防ぐためのオンラインの特徴量自動検索を提供します - トレーニングで特徴量を定義すると、推論のペイロードを完成させるために適切な特徴量を取得して結合します。
- MLflowのインテグレーション: MLflowモデルレジストリとネイティブで接続するので、迅速かつ容易なモデルのデプロイメントを実現します - モデルを提供すると、自動でプロダクションレディのコンテナを準備し、サーバレスコンピュートにデプロイします。
- 品質 & 診断(まもなく提供): モデルを監視・デバッグするため、あるいはトレーニングデータセットを生成するために、自動でリクエストとレスポンスをDeltaテーブルに格納します。
- 統合されたガバナンス: Unity Catalogによって、モデルサービングで利用、生成されるデータ、ML資産を含むすべてのデータ、ML資産を管理、統治します。
「統合されたデータ & AIプラットフォームでモデルサービングを行うことで、MLライフサイクルをシンプルにし、メンテナンスのオーバーヘッドを削減できるようになりました。これによって、我々の労力を我々のビジネスにおけるAIの活用拡大に振り向けることができるようになりました。」 - Vincent Koc, Head of Data at hipages group
簡素化されたデプロイメントでチームを支援
Databricksモデルサービングは、モデルデプロイメントのワークフローをシンプルにし、複雑なインフラストラクチャの知識や経験を必要とすることなしに、データサイエンティストたちはモデルをデプロイできるようにします。ローンチの一部として、モデルレジストリからスコアリングURIを分離したサービングエンドポイントを導入し、より効率的で安定しており、柔軟性のあるデプロイメントを提供しています。例えば、今では複数のモデルを単一のエンドポイントにデプロイし、望むようにモデル間でトラフィックを分散させることができます。新たなサービングUIとAPIによって、エンドポイントの作成や管理が容易になります。また、監視やアラートのためにエンドポイントはビルトインのメトリクスとログ機能を提供します。
Databricksモデルサービングを使い始める
- Databricksモデルサービングがどのようにリアルタイムシステムの構築に役立つのかということや顧客から得られる洞察について学ぶには、まもなく開催されるカンファレンスに登録ください。
- 動かしてみましょう！REST APIとしてMLモデルをデプロイすることから始めましょう。
- Databricksモデルサービングのドキュメントにディープダイブしましょう。
- レガシーなMLflowモデルサービングをDatabricksモデルサービングに移行するには、ガイドをチェックしてください。