生成AIクックブック

要約このノックブックでは、DatabricksプラットフォームのMosaic AI Agent EvaluationとGenAI Cookbook — Databricks Generative AI Cookbookを用いて、初期のPOCからプロダクションレディのアプリケーションに至る流れをサンプルコードと共に説明します。

このDatabricks生成AIクックブックは、高品質な生成AIアプリケーションを構築するための決定版のハウツーガイドです。高品質なアプリケーションとは以下の特性を持つアプリケーションです:

正確: 正しいレスポンスを提供
安全: 有害や安全でないレスポンスを提供しない
制御されている: データのアクセス権やアクセスコントロールに準拠し、リネージを追跡

Mosaic AIの研究チームとのパートナーシップを通じて開発されたこのガイドブックでは、高品質なRAGアプリケーションを構築するためのDatabricksベストプラクティスの開発ワークフローを列挙します: 評価によってドライブされる開発です。RAGアプリケーションの品質を改善できる最も適切なノブやアプローチを説明し、これらのテクニックを実装するサンプルコードの包括的なレポジトリを提供します。

重要

数分しかなくて、Mosaic AI Agent Framework & Agent Evaluationのデモを見たいですか？こちらからスタートしてください。
ご自身のデータを用いてコードに取り組み、RAGのPOCをデプロイしたいですか？こちらからスタートしてください。
データは無いが、サンプルのRAGアプリケーションをデプロイしてみたいですか。このページからスタートしましょう。

Databricksにおける品質へのアプローチ

品質に向けて迅速に繰り返すための、高速かつコードファーストの開発者ループ
人間によるフィードバックの収集を容易に
アプリケーション品質の迅速かつ信頼できる指標

このクックブックは、Databricksプラットフォームを活用することを意図しています。特に:

エンタープライズレディのLLMOpsやガバナンスを伴う迅速な開発者ワークフローを提供するMosaic AI Agent Framework
直感的なWebベースのチャットUIを通じて収集される人間のフィードバックによって強化される品質メトリクスを計測するために、プロプライエタリなAIアシストのLLM審判を用いた、信頼できる品質指標を提供するMosaic AI Agent Evaluation

Retrieval-augmented generation (RAG)

この初回のリリースでは、Retrieval-augmented generation (RAG)にフォーカスします。今後のリリースでは、この他の人気の生成AIテクニックが含まれる予定です: エージェント & 関数呼び出し、プロンプトエンジニアリング、ファインチューニング、事前トレーニング。

このRAGクックブックは2つのセクションに分かれます:

学習: プロダクションレディ、高品質RAGアプリケーションに必要なコンポーネントの理解
実装: 高品質RAGアプリケーションを提供するための、評価ドリブンワークフローに従うサンプルコードの活用

コードベースのクイックスタート

所要時間	成果	リンク
30分	フィードバックを収集するWebベースのチャットアプリにデプロイされるサンプルのRAGアプリケーション	RAG Demo
2時間	みなさまのビジネスステークホルダーからフィードバックを収集することができるチャットUIにあなたのデータをデプロイしたPOCのRAG	Build & deploy a POC
1時間	あなたのPOCアプリに対する包括的な品質/コスト/レーテンシーの評価	Evaluate your POC Identify the root causes of quality issues

目次

概要

学習

1. RAGの概要
2. RAGの基礎
3. RAG品質のノブ
4. RAGの品質の評価
- 4.1. "品質"の定義: 評価セット
- 4.2. パフォーマンスの評価: メトリクスが重要です
- 4.3. 計測の実現: サポートするインフラストラクチャ
5. 評価ドリブンの開発ワークフロー

実装

前提条件: 要件の収集
ステップ1: コードレポジトリのクローンと計算資源の作成
ステップ2: ステークホルダーのフィードバックを収集するPOCのデプロイ
ステップ3: ステークホルダーのフィードバックから評価セットを作成
ステップ4: POCの品質の評価
ステップ5: 品質問題の根本原因の特定
- 収集品質のデバッグ
- 生成品質のデバッグ
ステップ6: 繰り返しの実装 & 品質改善の評価
- データパイプライン修正の実装
ステップ6: デプロイと監視

目次
次のセクション: 1. RAGの概要

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル