Introducing MLflow 2.7 with new LLMOps capabilities | Databricks Blogの翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
プロンプトエンジニアリングの新たなUIとAIゲートウェイのアップデート
MLflow 2系のLLMOpsサポートの一部として、MLflow 2.7でプロンプトエンジニアリングをサポートするための最新のアップデートを発表できることを嬉しく思います。
インタラクティブなプロンプトインタフェースによるLLMプロジェクトの実行可能性の評価
プロンプトエンジニアリングは、あるユースケースを大規模言語モデル(LLM)で解決できるかどうかをクイックに評価できる優れた手法です。MLflow 2.7の新たなプロンプトエンジニアリングUIによって、ビジネスのステークホルダーは、新規にプロジェクトをスタートするのに十分なアウトプットを得られるのかどうかを確認するために、様々なベースモデル、パラメータ、プロンプトを用いて実験することができます。インタラクティブなプロンプトエンジニアリングツールにアクセスするには、シンプルに新たな空のエクスペリメントを作成するか、(既存のエクスペリメントを開き)New Runをクリックします。こちらからプレビューにサインアップできます。
評価データセットを構築し、ベストなモデル候補を特定するために自動でプロンプトエンジニアリングの実験を追跡
新たなプロンプトエンジニアリングUIでは、ユーザーはMLflowの結果を記録するためにCreate runをクリックすることで、明示的に評価のランを追跡します。このボタンは、MLflowモデルとしてパラメータセット、ベースモデル、プロンプトを追跡し、アウトプットは評価用テーブルに格納されます。このテーブルは、手動による評価に用いられ、SQLでの詳細分析のためにDeltaテーブルに変換することができ、CI/CDプロセスにおけるテストデータセットとして活用することができます。
プロダクションのためのベストなモデル候補を特定しやすくするために、MLflowは常にMLflow Evaluation APIで更なるメトリクスを追加し、今回ここに毒性やパープレキシティが追加されました。モデルのパフォーマンスを比較するために、MLflowのテーブルビューやチャートビューを活用することができます。
パラメータセット、プロンプト、ベースモデルはMLflowモデルとして記録されるので、これはバッチ推論やDatabricksモデルサービングを用いたAPIとして、パラメータセットを持つベースモデルに対して固定されたプロンプトテンプレートをデプロイできることを意味します。MLflowはモデルのバージョン管理を提供するので、LangChainのユーザーにとっては特に有用です。
ガードレールによる組織におけるアドホックな実験の民主化
MLflowのプロンプトエンジニアリングUIはいかなるMLflow AI Gatewayのルートとも動作します。AIゲートウェイのルートによって、皆様の組織でSaaS LLMに対するガバナンスやポリシーを集中管理することができます。例えば、OpenAIのGPT-3.5-turboをどのユーザーがルートに対して問い合わせできるのかを管理するゲートウェイの背後に配備し、セキュアな資格情報の管理やレート制限を実現します。これによって、組織の実験におけるLLMへのアクセスを民主化する際に、乱用を防ぎ、プラットフォームチームは自信を持つことができます。
MLflow AI Gatewayは、OpenAI、Cohere、Anthropic、Databricksのモデルサービングエンドポイントをサポートしています。しかし、汎用的なオープンソースのLLMはこれまで以上にプロプライエタリな汎用LLMに匹敵するものとなっており、皆様の組織においては、これらのオープンソースモデルをクイックに評価、実験したいと思うかもしれません。そして、今ではMosaicMLがホスティングするLlama2-70b-chatを呼び出すことができます。
LLM開発でMLflowを試しましょう！
我々は、MLflowにおけるLLLM開発で最も一般的なワークフローをサポートし、標準化しようとしています。皆様のユースケースでMLflowをどのように活用できるのかを確認するには、デモノートブックをチェックしてみてください。その他のリソースは:
- こちらから(プロンプトエンジニアリングを含む)MLflow AI Gatewayのプレビューにサインアップしてください。
- プロンプトエンジニアリングUIを使い始めるには、お使いのMLflowバージョンをアップグレード(
pip install –upgrade mlflow)し、MLflowエクスペリメントを作成し、New Runをクリックします。 - 同じ質問に対して様々なモデルを評価するには、MLflow Evaluation APIを活用します。
- MLflow AI GatewayでサポートしてほしいSaaS LLMのエンドポイントがあるのであれば、 MLflowリポジトリのguidelines for contributionに従ってください。貢献をお待ちしています！