世の中のスピードがすごいと感じる今日この頃です。
こちらのHugging Faceトランスフォーマーのサポートを試しました。
%pip install mlflow==2.3
DollyをHugging Face HubからDollyをロードして、MLflowにロギングします。
Python
import mlflow
import transformers
architecture = "databricks/dolly-v2-3b"
dolly = transformers.pipeline(model=architecture, trust_remote_code=True)
with mlflow.start_run():
model_info = mlflow.transformers.log_model(
transformers_model=dolly,
artifact_path="dolly3b",
input_example="Hello, Dolly!",
)
loaded_dolly = mlflow.transformers.load_model(
model_info.model_uri,
max_new_tokens=250,
)
記録されました！
モデルカードもばっちり。
次に、ロードしたモデルPyFuncとして活用できるようにしてみます。
Python
import transformers
import mlflow
chat_pipeline = transformers.pipeline(model="microsoft/DialoGPT-medium")
with mlflow.start_run():
model_info = mlflow.transformers.log_model(
transformers_model=chat_pipeline,
artifact_path="chatbot",
input_example="Hi there!"
)
# Load as interactive pyfunc
chatbot = mlflow.pyfunc.load_model(model_info.model_uri)
南極大陸に行くベストな方法は？
Python
chatbot.predict("What is the best way to get to Antarctica?")
ボートでそこに行けると思います。
Out[3]: 'I think you can get there by boat.'
そうですか…。
次は、OpenAIのAPIのフレーバーを試してみます。