Databricks — 🦜🔗 LangChain 0.0.199の翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
Databricks
Databricksレイクハウスプラットフォームは、1つのプラットフォームでデータ、分析、AIを統合します。Databricksは様々な方法でLangChainのエコシステムを取り入れています:
- SQLDatabaseチェーン向けDatabricksコネクター:
SQLDatabase.from_databricks()は、LangChainを通じてDatabricksのデータをクエリーする容易な手段を提供します。 - DatabricksマネージドMLflowとLangChainのインテグレーション: 数ステップでLangChainアプリケーションをトラッキング、サービングします。
- LLMプロバイダーとしてのDatabricks: サービングエンドポイントやクラスタードライバーのプロキシーアプリを通じて、ファインチューニングしたLLMをDatabricksにデプロイします。
- Databricks Dolly: 商用利用可能なDatabricksのオープンソースDollyはHugging Face Hub経由でも利用可能です。
SQLDatabaseチェーン向けDatabricksコネクター
LangChainのSQLDatabaseラッパーを用いてDatabricksランタイムやDatabricks SQLにアクセスできます。
DatabricksマネージドMLflowとLangChainのインテグレーション
MLflowは、実験、再現性確保、デプロイメント、集中管理のモデルレジストリを含む、MLライフサイクルを管理するためのオープンソースプラットフォームです。MLflowとLangChainのインテグレーションの詳細についてはノートブックMLflow Callback Handlerをご覧ください。
Databricksでは、エンタープライズセキュリティ機能、高可用性、エクスペリメントやラン管理、ノートブックバージョン管理のようなその他のDatabricksの機能とインテグレーションされたホスティングバージョンのフルマネージドのMLlfowを提供しています。DatabricksのMLflowは、インテグレーションされた実験トラッキング、機械学習モデルトレーニングの保護、機械学習プロジェクトの実行を提供します。詳細はMLflow guideをご覧ください。
DatabricksマネージドのMLflowは、DatabricksでのLangChainアプリケーションの開発をより容易なものにします。MLflowトラッキングにおいては、トラッキングURI設定する必要がありません。MLflowモデルサービングにおいては、MLflowのlangchainフレーバーでLangChaiのチェーンを保存することができ、MLflowモデルサービングでセキュアに管理される資格情報を用いて、Databricks上で数クリックでチェーンをサービングすることができます。
LLMプロバイダーとしてのDatabricks
ノートブックWrap Databricks endpoints as LLMsでは、LangChainのLLMとして、Databricksのエンドポイントをラッピングする方法を説明しています。2つのタイプのエンドポイントをサポートしてます: プロダクションと開発の両方で推奨されるエンドポイントと、インタラクティブな開発で推奨されるクラスタードライバーのプロキシーアプリです。
DatabricksエンドポイントはDollyをサポートしていますが、MPT-7BやHugging Faceエコシステムのようなモデルのホスティングにも適しています。また、Databricksエンドポイントは、企業のガバナンスレイヤーを提供するためにOpenAIのようなプロプライエタリモデルでも活用することができます。
Databricks Dolly
DatabricksのDollyは、Databricks機械学習プラットフォームでトレーニングされた、商用利用がライセンスされた指示追従型の大規模言語モデルです。このモデルはdatabricks/dolly-v2-12bとして、Hugging Face Hubで利用できます。LangChainとHugging Face Hubインテグレーションを通じてアクセスする手順に関しては、ノートブックHugging Face Hubをご覧下さい。