こちらのアップデートです。
マルチモーダルサポートが利用できるようになりました
Mosaic AI Model Servingは、Databricksがホストする基盤モデルでマルチモーダル入力をサポートするようになりました。ビジョンモデルのクエリを参照してください。
このマルチモーダルサポートは、以下の機能を使用して利用できます:
- Foundation Model APIs pay-per-token
- Foundation Model APIs provisioned throughput
- AI関数。リアルタイム推論とバッチ推論の両方のワークロード
以前、自分でマルチモーダルモデルをデプロイして使ったことはありましたが、その時は全部自分で実装する必要があったので結構大変でした。
マニュアルに沿って動かしてみます。
Pythonからの呼び出し
%pip install -U openai
%restart_python
from openai import OpenAI
import base64
import httpx
client = OpenAI(
api_key="<パーソナルアクセストークン>",
base_url="https://<Databricksワークスペースのホスト名>/serving-endpoints"
)
# 画像をエンコード
image_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image_data = base64.standard_b64encode(httpx.get(image_url).content).decode("utf-8")
# OpenAIリクエスト
completion = client.chat.completions.create(
model="databricks-claude-3-7-sonnet",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "この画像には何が写っていますか？"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
},
],
}
],
)
print(completion.choices[0].message.content)
この画像にはアリ（蟻）の接写写真が写っています。黒い体色で、細長い脚と触角を持ち、特徴的な細いウエスト（腹部と胸部の間の部分）が見えます。マクロ撮影で撮られたもので、アリの体の細部や質感がはっきりと捉えられています。アリは地面の上に立っているようで、背景はぼかされています。
当たってます。
SQLからの呼び出し
これは便利。
%sql
SELECT ai_query(
'databricks-llama-4-maverick',
'これは何ですか？', files => content)
as output FROM READ_FILES("/Volumes/takaakiyayoi_catalog/image_ai_query/images/rose.png");
これはバラの花束の画像です。6 本のバラと小さな白い花が描かれています。背景には、赤いバラと白い花がぼやけて表現されています。光が差し込んでいるような効果もあり、美しい印象を与えます。バラは一般的には愛情や感謝の気持ちを表す花として知られており、この画像はロマンチックな雰囲気を醸し出しています。
マルチモーダルを必要とするユースケースの実現がさらに容易になります。是非ご活用ください！