Step 6: Iteratively implement & evaluate quality fixes — Databricks Generative AI Cookbook [2024/6/26時点]の翻訳です。
本書は著者が手動で翻訳したものであり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
Databricks生成AIクックブックのコンテンツです。
ステップ6: 繰り返しの実装 & 品質改善の評価
要件
- 根本原因分析に基づいて、実装、評価すべき収集や生成に対する修正案を特定しています。
- あなたのPOCアプリケーションは、同じランに格納されているAgent Evaluationを用いてMLflow Runに記録されています。
期待される成果
手順
全てのタイプに対して、最終的なチェーンとベースライン設定(最初はこれはあなたのPOCとなります)を評価するために、B_quality_iteration/02_evaluate_fixesノートブックを使い、"勝者"を選択します。このノートブックは、最も優れたエクスペリメントを選択し、レビューアプリやプロダクションレディでスケーラブルなREST APIにデプロイする助けになります。
-
B_quality_iteration/02_evaluate_fixesノートブックを開きます。 - 実装する修正のタイプに基づいて、以下を実施します:
-
- 新たなデータパイプラインを作成し、最終的なMLflowランの名前を取得するための指示に従います。
- 変数
DATA_PIPELINE_FIXES_RUN_NAMESにランの名前を追加します。
-
- 変数
CHAIN_CONFIG_FIXESにチェインの設定修正を追加するために、02_evaluate_fixesのChain configurationセクションの指示に従います。
- 変数
-
- 修正したチェーンのコードファイルを作成し、
B_quality_iteration/chain_code_fixesフォルダーに保存します。あるいは、そのフォルダーに保存されているチェーンのコードフィックスを選択します。 - 変数
CHAIN_CODE_FIXESにチェーンコードファイルや追加のチェーン設定を追加するために、02_evaluate_fixesノートブックのChain codeの指示に従います。
- 修正したチェーンのコードファイルを作成し、
-
- 以下を行うために、
Run evaluationセルからノートブックを実行します- それぞれの修正の評価
- ベストな品質/コスト/レーテンシーメトリクスを提供する修正の特定
- ステークホルダーのフィードバックを得るために、レビューアプリとプロダクションレディのREST APIにベストな修正をデプロイ
- 目次
- 前のセクション: 生成品質のデバッグ
- 次のセクション: データパイプライン修正の実装