ステップ6: 繰り返しの実装 & 品質改善の評価

要件

根本原因分析に基づいて、実装、評価すべき収集や生成に対する修正案を特定しています。
あなたのPOCアプリケーションは、同じランに格納されているAgent Evaluationを用いてMLflow Runに記録されています。

コードレポジトリ
こちらからこのセクションで参照しているすべてのサンプルコードにアクセスすることができます。

期待される成果

手順

全てのタイプに対して、最終的なチェーンとベースライン設定(最初はこれはあなたのPOCとなります)を評価するために、B_quality_iteration/02_evaluate_fixesノートブックを使い、"勝者"を選択します。このノートブックは、最も優れたエクスペリメントを選択し、レビューアプリやプロダクションレディでスケーラブルなREST APIにデプロイする助けになります。

B_quality_iteration/02_evaluate_fixesノートブックを開きます。
実装する修正のタイプに基づいて、以下を実施します:
- 1. 新たなデータパイプラインを作成し、最終的なMLflowランの名前を取得するための指示に従います。
  2. 変数DATA_PIPELINE_FIXES_RUN_NAMESにランの名前を追加します。
- 1. 変数CHAIN_CONFIG_FIXESにチェインの設定修正を追加するために、02_evaluate_fixesのChain configurationセクションの指示に従います。
- 1. 修正したチェーンのコードファイルを作成し、B_quality_iteration/chain_code_fixesフォルダーに保存します。あるいは、そのフォルダーに保存されているチェーンのコードフィックスを選択します。
  2. 変数CHAIN_CODE_FIXESにチェーンコードファイルや追加のチェーン設定を追加するために、02_evaluate_fixesノートブックのChain codeの指示に従います。
以下を行うために、Run evaluationセルからノートブックを実行します
- それぞれの修正の評価
- ベストな品質/コスト/レーテンシーメトリクスを提供する修正の特定
- ステークホルダーのフィードバックを得るために、レビューアプリとプロダクションレディのREST APIにベストな修正をデプロイ

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル