どれほど待ったことか。ついに東日本リージョンのAzure DatabricksにMosaic AI Model Servingがやってきました。DatabricksでLLMを活用する際には必須と言える機能です。
早速試します。サービングにアクセスすると基盤モデルも表示されています。今回のリリースに伴い、Databricks Foundation Model APIも利用できるようになっています。
AI Playgroundからも基盤モデルを利用できます。
サービングエンドポイントを作ってみます。
起動しました！これで、REST APIで生成AIモデルを呼び出せます。
ai_query関数で呼び出します。
SELECT ai_query("taka-llama-3-2-1b", "Databricksについて日本語で教えてください")
動きました！
長らくお待たせしました。生成AIアプリの開発やバッチ推論などにご活用ください。Mosaic AI Model Servingの全体像を説明しているマニュアルはこちらです。