Build Compound AI Systems Faster with Databricks Mosaic AI | Databricks Blogの翻訳です。
本書は著者が手動で翻訳したものであり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
我々のお客様の多くは、プロダクションレディの生成AIアプリに必要な品質を達成するために、汎用的なモデルとモノリシックなプロンプトから、特化された複合AIシステムにシフトしています。
7月に、我々はAgent FrameworkとAgent Evaluationをローンチしており、今ではRetrieval Augmented Generation (RAG)のようなエージェント型のアプリを構築するために、多くに企業によって活用されています。本日、複雑な理由付けやサポートチケットのオープン、メールへの対応、予約の実行のようなタスクの実行能力を持つエージェントを構築するプロセスをシンプルにするAgent Frameworkの新機能を発表できることを嬉しく思っています。これらの機能には以下が含まれます:
- 共有可能かつ管理されたAIツールを通じて、企業の構造化、非構造化データとLLMを接続。
- 新たなplaygroundの体験によるエージェントのクイックな実験と評価。
- 新しい1クリックのコード生成オプションによる、playgroundからプロダクションへのシームレスな移行。
- AI GatewayとAgent Evaluationのインテグレーションによる、LLMとエージェントの継続的な監視と評価。
これらのアップデートによって、あなたの企業のシステムやデータとセキュアにやりとりする高品質のAIエージェントの構築、デプロイをより簡単なものにします。
Mosaic AIを用いた複合AIシステム
Databricks Mosaic AIは、複合AIシステムを管理、実験、デプロイ、改善するための完全なツールチェーンを提供します。このリリースでは、エージェントパターンを使用する複合AIシステムの作成、デプロイを可能にする機能が追加されます。
Unity Catalogによるツールとエージェントの中央管理のガバナンス
ほぼ全てのエージェント型の複合AIシステムは、企業データの収集、計算の実行、あるいは他のシステムとのやり取りのようなタスクを実行することで、LLMの能力を拡張するAIツールを頼りにしています。主な課題は、アクセスコントロールを管理しつつも再利用できるようにAIツールをセキュアに共有、検索できるようにすることです。Mosaic AIは、UCの関数をツールとして活用し、許可されないアクセスを防ぎ、ツールの発見を円滑にするためにUnity Catalogのガバナンスを活用することでこの問題を解決します。これによって、データ、モデル、ツール、エージェントはUnity Catalogの単一のインタフェースを通じてまとめて管理することができます。
Unity Catalogにおけるツールは、セキュアでスケーラブルなサンドボックス環境で実行することも可能であり、安全で効率的なコード実行を確実なものにします。ユーザーは、これらのツールをDatabricks内(PlaygroundやAgent Framework)、あるいはオープンソースのUCFunctionToolkitを通じて呼び出すことができるので、自分たちのオーケストレーションロジックをどのようにホスティングするのかに関しての柔軟性を手に入れることができます。
AI Playgroundによる迅速な実験
AI Playgroundには、単一のインタラクティブなインタフェースを通じて、複合AIシステムを迅速にテストできるようにする新たな機能が追加されました。ユーザーはプロンプト、LLM、ツール、そしてデプロイされたエージェントで実験することができます。新たなツールのドロップダウンによって、ユーザーはUnity Catalogでホストされているツールを選択し、 Llama 3.1-70BやGPT-4oのようなさまざまなオーケストレーターモデル("fx"アイコンで識別できます)を比較することができるので、ツールのインタラクションにおいてベストなLLMの特定の助けとなります。さらに、AI Playgroundでは出力でchain-of-thoughtの理由付けをハイライトするので、ユーザーによるデバッグや結果の検証が容易になります。このセットアップによって、ツールの機能をクイックに検証することも可能になります。
AI PlaygroundはMosaic AI Agent Evaluationと連携するようになったので、エージェントやLLMの品質に対する深い洞察を提供します。エージェントが生成したそれぞれの出力は、インラインで表示される品質メトリクスを生成するためにLLMジャッジによって評価されます。展開することで、それぞれのメトリックの根拠が表示されます。
モデルサービングによるエージェントの容易なデプロイメント
Mosaic AIには、複合AIシステムのデプロイメントのファストパスが追加されました。AI Playgroundには、Pythonノートブックを自動生成するExportボタンが追加されました。ユーザーはカスタマイズしたり、そのままモデルサービングにデプロイすることができ、プロダクションへのクイックな移行を可能にします。
自動生成されるノートブックは、(1) Langgraphのようなオーケストレーションフレームワーク(Langgraphからスタートしていますが、将来的には他のフレームワークもサポート予定です)にLLMとツールを組み込み、(2) Playgroundセッションでのすべての質問を評価ようデータセットとして記録します。また、Agent EvaluationのLLMジャッジを用いてパフォーマンス評価を自動化します。
生成されたノートブックは、下流のツールや依存関係の自動認証を含むMosaic AI Model Servingを用いてデプロイすることができます。また、リアルタイムの監視や評価のために、リクエスト、レスポンス、エージェントのトレースの記録を行い、プロダクションにおけるopsエンジニアの品質の維持や、オフラインでの開発者によるエージェントのイテレーションや改善を可能にします。
まとめると、これらの機能によって、実験段階からプロダクションレディのエージェントへのシームレスな移行が可能になるということです。
AI GatewayとAgent Evaluationによるプロダクション品質のイテレーション
Mosaic AI Gatewayの推論テーブルによって、ユーザーはエージェントのプロダクションエンドポイントにおけるリクエストとレスポンスをUnity Catalog配下のDeltaテーブルにキャプチャすることができます。MLflow tracingが有効化されると、推論テーブルはエージェントにおけるそれぞれのコンポーネントの入出力も記録するようになります。このデータは、Agent Evaluationと組み合わせることで、分析のための既存のデータツールで活用することができ、エージェントドリブンのアプリケーションの品質の監視、デバッグ、最適化が可能となります。
次に来るのは？
我々は現在、ツールを選択、実行することで、Model Servingの基盤モデルエンドポイントが企業データと連携するようにする新機能に取り組んでいます。(GPT-4oのような)プロプライエタリモデルであろうが(LLama-3.1-70Bのような)オープンなモデルであろうが任意のタイプのLLMを用いて、カスタムのツールを作成し活用することが可能となります。例えば、以下の単一の基盤モデルエンドポイントに対するAPI呼び出しでは、ユーザーの質問を処理し、get_weatherツールを実行することで適切な気象データを取得し、最終的な結果を生成するためにこれらの情報を組み合わせています。
client = OpenAI(api_key=DATABRICKS_TOKEN, base_url="https://XYZ.cloud.databricks.com/serving-endpoints")
response = client.chat.completions.create(
model="databricks-meta-llama-3-1-70b-instruct",
messages=[{"role": "user", "content": "What’s the upcoming week’s weather for Seattle, and is it normal for this season?"}],
tools=[{"type": "uc_function", "uc_function": {"name": "ml.tools.get_weather"}}]
)
print(response.choices[0].message.content)
一部のお客様にではプレビューが利用可能です。サインアップするには、あなたのアカウントチームに“Tool Execution in Model Serving”のプライベートプレビューの参加についてご相談ください。
すぐに始めましょう
Databricks Mosaic AIを用いて、すぐにご自身の複合AIシステムを構築しましょう。Mosaic AIは、AI Playgroundにおけるクイックな実験から、Model Servingによる簡単なデプロイメント、AI Gatewayの推論テーブルに至るライフサイクル全体をサポートするツールを提供します。
- AIエージェントをクイックに実験、評価するためにAI Playgroundに飛び込みましょう。[AWS | Azure]
- AI Cookbookを用いてクイックにカスタムのエージェントを構築しましょう。(翻訳版はこちら)
- アカウントチームと“Tool Execution in Model Serving” Private Previewについて会話しましょう。
- 我々の大切なお客様が構築している複合AIシステムについて学ぶには、10月のバーチャルイベントを見逃さないようにしましょう。サインアップはこちらから。