Monitor model serving endpoints | Databricks on AWS [2023/9/25時点]の翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
プレビュー
本機能はパブリックプレビューです。
Databricksレイクハウスモニタリングを用いることで、推論テーブルによりDatabricksモデルサービングエンドポイントの品質をモニタリングすることができます。
要件
推論テーブルを用いてサービングエンドポイントをモニタリングするには、推論テーブルのプレビューにも参加し、両方の機能の要件を満たす必要があります。これらのプレビューに参加するにはDatabricks担当者にお問い合わせください。
推論テーブルのモニタリング
以下のステップでエンドポイントをモニタリングすることができます:
- エンドポイント作成時あるいは更新時に、お使いのエンドポイントの推論テーブルを有効化します。
- エンドポイントのスキーマに沿って、推論テーブルのJSONペイロードをアンパッキングし、処理するためのワークフローをスケジュールします。
- (オプション)モデル品質メトリクスを計算できるように正解ラベルを用いて、リクエストとレスポンスを結合します。
- 結果のDeltaテーブルに対するモニターを作成し、メトリクスを更新します。
以下のスターターノートブックで、このワークフローを実装しています。
推論テーブルモニタリングのスターターノートブック
以下のノートブックでは、推論テーブルからリクエストをアンパッキングし、モニタリングを行うための上述のステップを実装しています。このノートブックはオンデマンドあるいはDatabricksワークフローを用いてスケジュール実行することができます。
推論テーブル、レイクハウスモニタリングスターターノートブック