Llama 2 Foundation Models Available in Databricks Lakehouse AI | Databricks Blogの翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
Meta AIのLlama 2基盤チャットモデルをファインチューニングし、プライベートモデルサービングエンドポイントにデプロイできるように、Databricksマーケットプレイスで利用できるようになったことを発表できて嬉しく思っています。Databricksマーケットプレイスは、クラウド、リージョン、プラットフォーム横断で、データセットやノートブックを含むデータ資産を共有、共有できるオープンなマーケットプレイスです。すでにマーケットプレイスで提供されているデータ資産に加えて、この新たなリスティングでは、Llama 2のチャット指向の70億から700億パラメーターの大規模言語モデル(LLM)、およびUnity Catalogで集中管理されるガバナンスとリネージを提供します。それぞれのモデルはMLflowにラップされているので、DatabricksノートブックでMLflow Evaluation APIを容易に活用でき、LLMに最適化されたGPUモデルサービングエンドポイントに1クリックでデプロイすることができます。
Databricksマーケットプレイス
Llama 2とは？
Llama 2は、チャットユースケースに最適化されたMeta AIの生成テキストモデルのファミリーです。このモデルは他のオープンモデルのパフォーマンスを上回っており、ファインチューニングしたモデルはOpenAIのGPT-3.5-turboに匹敵するブレイクスルーを示しています。
レイクハウスAIにおけるLlama 2
DatabricksレイクハウスのAIプラットフォームで、セキュアかつエンドツーエンドの体験を得ることができます:
- Databricksマーケットプレイスにアクセスします。ノートブックをプレビューすることができ、DatabricksマーケットプレイスからすぐにLlama 2モデルのchatファミリーにアクセスすることができます。マーケットプレイスによって、Unity Catalogで管理できる最先端の基盤モデルの発見、評価が容易になります。
- Unity Catalogでガバナンスを集中管理します。モデルはカタログに格納されているので、あなたのLlama 2モデルに対してUnity Catalogが提供する集中管理されたガバナンス、監査、リネージ追跡の全てを自動で活用できるようになります。
- ご自身のモデルをDatabricksモデルサービングにプライベートにホスティングするために、1クリックでデプロイできるように、Llama 2モデルはMLflowにパッケージングされています。現在パブリックプレビューのGPUモデルサービングは、低レーテンシーと高スループットを提供するために、大規模言語モデルの取り扱いに最適化されています。これは、センシティブなデータを取り扱ったりするケースや、顧客データをサードパーティに送信できないケースでは優れた選択肢となります。
- AIゲートウェイをプライベートエンドポイントと接続します。GPUにプライベートにホストされたモデルは高コストになる場合があるため、組織がエンドポイントへの接続を管理する際、それぞれのユースケースごとのルートを作成、分散できるように、我々はMLflow AI Gatewayの利用をお勧めしています。AIゲートウェイでは、Databricksモデルサービングエンドポイントや外部にホストされたSaaS LLMにおける資格情報管理をセキュアにすることに加え、コストコントロールの制限もサポートしています。
マーケットプレイスからLlama 2モデルを選択
Databricksで生成AIを始める
DatabricksレイクハウスAIプラットフォームによって、開発者は自信を持って生成AIアプリケーションを迅速に構築、デプロイできるようになります。
- Marketplaceに直行して、Llama 2チャットモデルを手に入れましょう！
- Databricks GPU Model ServingによるLLMのプライベートホスティングをチェックしましょう。Llama 2-70Bをデプロイしたい場合には、こちらのフォームを提出していただければ、次のステップをご連絡します。
- MLflow AI Gatewayのプライベートプレビューにサインアップしましょう。
- Databricks Demoを用いて、ご自身の企業データでLLMを拡張するRetrieval Augmented Generation (RAG)チャットbotを構築しましょう。
- GitHub repository with LLM examplesをチェックしましょう。
まもなく発表されるさらにエキサイティングな内容も楽しみにしていてください！