GenAI Cookbook — Databricks Generative AI Cookbook [2024/6/20時点]の翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
生成AIクックブック
要約 このノックブックでは、DatabricksプラットフォームのMosaic AI Agent EvaluationとGenAI Cookbook — Databricks Generative AI Cookbookを用いて、初期のPOCからプロダクションレディのアプリケーションに至る流れをサンプルコードと共に説明します。
このDatabricks生成AIクックブックは、高品質な生成AIアプリケーションを構築するための決定版のハウツーガイドです。高品質なアプリケーションとは以下の特性を持つアプリケーションです:
- 正確: 正しいレスポンスを提供
- 安全: 有害や安全でないレスポンスを提供しない
- 制御されている: データのアクセス権やアクセスコントロールに準拠し、リネージを追跡
Mosaic AIの研究チームとのパートナーシップを通じて開発されたこのガイドブックでは、高品質なRAGアプリケーションを構築するためのDatabricksベストプラクティスの開発ワークフローを列挙します: 評価によってドライブされる開発です。RAGアプリケーションの品質を改善できる最も適切なノブやアプローチを説明し、これらのテクニックを実装するサンプルコードの包括的なレポジトリを提供します。
Databricksにおける品質へのアプローチ
- 品質に向けて迅速に繰り返すための、高速かつコードファーストの開発者ループ
- 人間によるフィードバックの収集を容易に
- アプリケーション品質の迅速かつ信頼できる指標
このクックブックは、Databricksプラットフォームを活用することを意図しています。特に:
- エンタープライズレディのLLMOpsやガバナンスを伴う迅速な開発者ワークフローを提供するMosaic AI Agent Framework
- 直感的なWebベースのチャットUIを通じて収集される人間のフィードバックによって強化される品質メトリクスを計測するために、プロプライエタリなAIアシストのLLM審判を用いた、信頼できる品質指標を提供するMosaic AI Agent Evaluation
Retrieval-augmented generation (RAG)
この初回のリリースでは、Retrieval-augmented generation (RAG)にフォーカスします。今後のリリースでは、この他の人気の生成AIテクニックが含まれる予定です: エージェント & 関数呼び出し、プロンプトエンジニアリング、ファインチューニング、事前トレーニング。
このRAGクックブックは2つのセクションに分かれます:
- 学習: プロダクションレディ、高品質RAGアプリケーションに必要なコンポーネントの理解
- 実装: 高品質RAGアプリケーションを提供するための、評価ドリブンワークフローに従うサンプルコードの活用
コードベースのクイックスタート
| 所要時間 | 成果 | リンク |
|---|---|---|
| 30分 | フィードバックを収集するWebベースのチャットアプリにデプロイされるサンプルのRAGアプリケーション | RAG Demo |
| 2時間 | みなさまのビジネスステークホルダーからフィードバックを収集することができるチャットUIにあなたのデータをデプロイしたPOCのRAG | Build & deploy a POC |
| 1時間 | あなたのPOCアプリに対する包括的な品質/コスト/レーテンシーの評価 |
目次
概要
学習
実装
- 前提条件: 要件の収集
- ステップ1: コードレポジトリのクローンと計算資源の作成
- ステップ2: ステークホルダーのフィードバックを収集するPOCのデプロイ
- ステップ3: ステークホルダーのフィードバックから評価セットを作成
- ステップ4: POCの品質の評価
- ステップ5: 品質問題の根本原因の特定
- ステップ6: 繰り返しの実装 & 品質改善の評価
- ステップ6: デプロイと監視