こちらのウォークスルーです。
以前書いたこちらの記事の続編でもあります。
OpenAI APIを使うチャットbotをDatabricksで動作させる際に、推論テーブル(inference table)を有効化すると、モデルがデプロイされているモデルサービングエンドポイントの入出力を追跡することができます。
モデルサービングエンドポイントを編集して推論テーブルを有効化し、保存先テーブルを指定します。
Databricksで稼働するチャットbotに問い合わせすると、モデルサービングエンドポイントを呼び出す形となり、その際に推論テーブルにリクエスト、レスポンスが記録されます。
カタログエクスプローラでデータを確認できます。
これは生データですので加工します。こちらにサンプルノートブックがあります。アプリケーションの入出力に応じて微調整する必要があるかもしれません。
ノートブックを実行することで、チャットボットへの入出力にアクセスできるようになります。
上記ノートブックにはレイクハウスモニタリングのコードも入っていますので、実行すると上記テーブルに対するモニターが設定されます。
自動生成されるダッシュボードでは、問い合わせ数や内容、レスポンス、レスポンスのtoxicity、perplexityなどを確認することができます。
企業で運用するチャットbotにおいては、LLMに対する入力とレスポンスのモニタリング、それに基づく対策、改善が重要となります。(まだ日本リージョンでは利用できませんが)リリースされたらぜひお試しください！