概要
DatabricksがAnthoropicとパートナーシップを結びClaudeをDatabricks内から利用できるようになりました。
そしてGenie APIがリリースされたことにより、Agentの一つとして利用できるようになりました。DatabricksではAgent Frameworkというのが用意されており、Databricks上のサービスを簡単に組み合わせて利用できるサービスがあります。これらを組み合わせることで、シンプルかつパワフルなAgentシステムが簡単に構築できるようになります。
ユーザーが利用するインターフェースには、Lakehouse Appを使って作成することも可能ですが、一番シンプルなのはPlaygroundを利用することです。Databricks上のPlayground上でAgentモデルを切り替えることで様々なAgentシステムをすぐに利用可能になります。
システム利用イメージ
システム概要
Mosaic AI Agent Framework と LangGraph を使用してマルチエージェントシステムを構築しております。ここで、Genie はエージェントの 1 つとなります。またSupervisortとしてDatabricks内で利用可能なAnthropicのClaudeを採用しております。
その他にも、ユーザーインターフェースとしてPlaygroundを利用したり、Agentモデルを管理するためのUnity Catalog, 動作するためのModel Servingなど様々な機能を利用しております。
利用しているるDatabricks機能
- Genie : 自然言語でインタラクティブにデータへ問い合わせができるサービス。ただしクエリー結果を返すまでにとどまります。
- Claude 3.7 : Databricks内でCluade Modelを利用出来ます。当初はPay-per-tokenベースの利用となります。
- Model Serving: 今回のAgent Modelを動かすクラスターになります。Scale-to-zero設定により、利用しない際はDownさせておくことが可能です。
- Unity Catalog: モデルを管理しておくリポジトリー機能を提供します。ACL設定により安全にユーザーに解放できます。
- MLflow Tracing: Agent Systemの中身をトレースしてくれます。デバックや開発時に重宝します。
- Mosiac Agent Framework: Databricks内の様々なサービスを組み合わせて管理してくれます。
- AI Gateway: Agentとやりとりした履歴を記録する推論テーブルを提供します。
- Playground: 今回はユーザーインターフェースとして利用します。
構築・利用方法
もっと詳しく知りたい方、もしくは同じような環境を構築したい方はこちらをご覧ください。サンプルノートブックを提供しており簡単に構築が可能です。
まずは以下のReadmeをご覧頂き、前提条件やTODO設定をご確認ください。
参考