はじめに
みなさん、LLMOpsは何で構築していますか。
Azure系のサービスやLangSmithなど様々な回答があると思いますし、自作のLLMOps環境を構築している方々の少なくないと思います。
今回はLLMOps構築の一つの選択肢として、MLflowを紹介したいと思います。
MLflowとは
MLflowはLLMOpsのみならず、MLOpsを構築できるオープンソースプラットフォームです。
LLMOpsに求められる基本的な実験の記録や評価を実施できますし、セルフホストで実行可能という特徴があります。
MLflowを使ってみる
環境構築
まずは必要なライブラリをインストールします。
(venv) % pip install mlflow==2.14.0rc0
(venv) % pip install langchain==0.2.1 langchain-openai==0.1.8 langchain-community==0.2.1 tiktoken==0.7.0
Azure OpenAIをLangChain経由で使うため、LangChain系のライブラリをインストールしています。
次にLLMを用意します。筆者はAzure OpenAIを使うので、事前にAzure AI Serviceを作り、モデルをデプロイします。
そしてプログラムでAzure OpenAIを使うためにAPIキーとエンドポイントを環境変数に追加します。
% export AZURE_OPENAI_API_KEY={}
% export AZURE_OPENAI_ENDPOINT={}
MLflowの立ち上げ
MLflowの立ち上げは簡単で、MLflowをインストールした環境で以下のコマンドを実行してください。
(venv) % mlflow ui --port 9000 --backend-store-uri sqlite:///mlruns.db
--portでMLflowのポート番号を指定できます。
--backend-store-uriでMLflowのログや設定情報を保存するDBを指定します。事前にDBを作成する必要はなく、初回は自動で作成してくれます。
ちなみにDBを指定しない場合はmlrunsディレクトリが自動で作成され、mlruns配下に情報が格納されます。(DBの指定の仕方は他にも環境変数 MLFLOW_TRACKING_URIを設定する方法があります。)
正常に実行が完了している場合は、http://127.0.0.1:9000/ にアクセスすると、以下のような画面が出てきます。
MLflowの使い方1:オートログ
LangChainを使う場合は、MLflowに対して自動で実験を記録する設定を導入することができます。以下サンプルコードです。
from langchain_openai import AzureChatOpenAI
import mlflow
mlflow.set_tracking_uri("http://localhost:9000")
mlflow.set_experiment("Test0001")
mlflow.langchain.autolog()
llm = AzureChatOpenAI(
openai_api_version="2024-05-01-preview",#自身のAPI versionを入力してください。
azure_deployment="gpt-35-turbo",#モデルデプロイ名を入力してください。
model_version="0301"#自身のモデルversionを入力してください。
)
output = llm.invoke("Say, Hello.")
上記プログラムを実行すると、画面左側のUIのExperimentsにTest0001が追加され、Traceに情報が保存されています。
ここでReqeust IDをクリックするとリクエストの詳細を確認できます。
LangChainで複数の処理をチェインする場合は、各処理の入出力や経過時間を確認できます。
プログラムを少し解説します。
mlflow.set_experiment("Test001")
上記のmlflow.set_experimentで実験を設定します。引数で設定した名前の実験がなければ、新たに実験を作成できます。
mlflow.langchain.autolog()
上記のmlflow.langchain.autolog()でLangChainでの実行を自動でロギングすることができます。
詳細は以下ドキュメントをご覧ください。
MLflowの使い方2:デコレータを使う方法
上記で説明したmlflow.langchain.autolog()を使わない場合は、デコレータを使って以下のように記述できます。
from langchain_openai import AzureChatOpenAI
import mlflow
mlflow.set_tracking_uri("http://localhost:9000")
mlflow.set_experiment("Test0002")
llm = AzureChatOpenAI(
openai_api_version="2024-05-01-preview",
azure_deployment="gpt-35-turbo",
model_version="0301"
)
@mlflow.trace(span_type="func")
def run(llm, text):
return llm.invoke(text)
output = run(llm, "Say, Hello.")
上記のようにプログラムを実行すると、先ほどと同様に結果を記録できます。
また以下のように関数を独立させて記述することもできます。
from langchain_openai import AzureChatOpenAI
import mlflow
mlflow.set_tracking_uri("http://localhost:9000")
mlflow.set_experiment("Test0003")
llm = AzureChatOpenAI(
openai_api_version="2024-05-01-preview",
azure_deployment="gpt-35-turbo",
model_version="0301"
)
@mlflow.trace(span_type="func")
def llm_run(llm, text):
return llm.invoke(text)
@mlflow.trace(span_type="func")
def run(llm, text):
return llm_run(llm,text)
output = run(llm, "Say, Hello.")
上記のように記述すると、それぞれの関数の処理を区別してMLflowに記録することができます。このように記述することで、（今後関数を増やす場合においても）複数の関数の入出力をMLflowで記録できます。
mlflow.trace()のドキュメントを以下に載せておきます。今回は解説していないですが、withを使って記述することも可能です。
各処理を関数化している場合はwithを使うよりもデコレータを使った方が楽に記述できるはずです。
おわりに
いかがだったでしょうか。
MLflowをLLMOpsとして使うという日本語記事が少なかったので、記事を投稿してみました。
好評であれば、評価の部分も記事執筆したいと思います。
また筆者はまだまだMLflowを熟知しているわけではないので、誤っている点等あればコメントいただけると大変助かります。
おまけ
MLflowのほかにLLMOps関連で筆者が知っているものは以下です。適宜追加していきます。