新しいマニュアルのページが作成されていました。文言おかしいのは修正済みなので少々お待ちください。

Databricksでもいろいろなモデルが利用できるようになっていますが、Claude Sonnetなどはマルチモーダルなので画像に基づく問い合わせもできるようになっています。

上のページにサンプルがあるので動かしてみます。

ライブラリのインストール。

%pip install -U openai mlflow
%restart_python

Spark設定やノートブックのコンテキストからベースURLとパーソナルアクセストークンを取得します。

# Databricksノートブック内で実行する場合
workspace_url = spark.conf.get("spark.databricks.workspaceUrl")
base_url = f"https://{workspace_url}/serving-endpoints"

api_token = dbutils.notebook.entry_point.getDbutils().notebook().getContext().apiToken().get()

MLflowのトレースをオン。

import mlflow
mlflow.openai.autolog()

シンプルなものから。

from openai import OpenAI
import base64
import httpx
import os

client = OpenAI(
  api_key=api_token,
  base_url=base_url
  )

# 画像のエンコード
image_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image_data = base64.standard_b64encode(httpx.get(image_url).content).decode("utf-8")

# OpenAI request
completion = client.chat.completions.create(
    model="databricks-claude-3-7-sonnet",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "この画像は何？"},
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
                },
            ],
        }
    ],
)

print(completion.choices[0].message.content)

この画像はアリ（蟻）のクローズアップ写真です。黒い体色で、特徴的な細長い胴体と6本の脚、触角が見えます。マクロ撮影によって非常に詳細に捉えられており、アリの体の構造がはっきりと確認できます。背景はぼかされていて、アリが地面や表面の上に立っている様子が写っています。

なるほど。実際の画像を見てみます。

当たってます。

それでは、今度は複数の画像を。

# 複数画像のエンコード
image1_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image1_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")

image2_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image2_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")

# OpenAIリクエスト
completion = client.chat.completions.create(
    model="databricks-claude-3-7-sonnet",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "これらの画像には何がありますか？それらの間に違いはありますか？",
                },
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{image1_data}"},
                },
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{image2_data}"},
                },
            ],
        }
    ],
)

print(completion.choices[0].message.content)

これらの画像は、自然の湿地帯や草原の中に伸びる木製の遊歩道を写したものです。両方の画像は実際には同じ写真のようです。

画像には:
- 鮮やかな緑の草や湿地植物が両側に広がっています
- 中央に木製の遊歩道が奥へと続いています
- 青空と白い雲が広がる美しい空
- 遠景には木々や低い植生が見えます
- 右側には少し色づいた（おそらく秋の）茂みも見られます

2枚の画像を比較しましたが、違いは見当たりません。同じ写真が2回提示されているようです。どちらも同じ角度、同じ明るさ、同じ色調で、自然保護区や国立公園などでよく見られる木製の遊歩道の風景を捉えています。

上のセルを見てみると実は同じ画像を指定しているので当たってます。

じゃあ、間違い探しができるのではと思うのは自然な流れです。以下のような画像をGeminiに作ってもらいました。

これらのファイルをワークスペースファイルとして保存したので、ロジックを少し変えます。

import base64
import os

# 複数画像をエンコード
image1_path = "/Workspace/Users/takaaki.yayoi@databricks.com/20250723_query_vision_model/image1.png"
image2_path = "/Workspace/Users/takaaki.yayoi@databricks.com/20250723_query_vision_model/image2.png"

def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

image1_data = encode_image(image1_path)
image2_data = encode_image(image2_path)

# OpenAI request
completion = client.chat.completions.create(
    model="databricks-claude-3-7-sonnet",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "これらの画像には何がありますか？それらの間に違いはありますか？",
                },
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{image1_data}"},
                },
                {
                    "type": "image_url",
                    "image_url": {"url": f"data:image/jpeg;base64,{image2_data}"},
                },
            ],
        }
    ],
)

print(completion.choices[0].message.content)

これらの画像は、同じ街の通りの風景を描いたイラストですが、いくつかの違いがあります：

主な違い：
1. 中央の「SOME REMES」という店の色：上の画像では緑色、下の画像では紫色です
2. 空に浮かぶ植木鉢の花：上の画像では紫色の花、下の画像ではオレンジ色の花です
3. 下の画像には右上に赤い矢印と「OPEN」の文字があります
4. 窓の装飾や小物が異なります（下の画像には黄色いキャラクターのようなものが窓に見えます）
5. 下の画像では、人々の間に緑色のバッグや荷物が追加されています
6. 右側のカートの色や形状が少し異なります

全体的な構図、建物の配置、人々の基本的な位置は同じですが、色や細部のディテールに多くの違いがあります。これはおそらく「違い探し」のような目的で作られたイラストのペアだと思われます。

正直、間違い探しはChatGPTでもできますが、コードからAPIを呼び出すことで自動化できる余地があるのが大きな違いだと思います。

カメラの画像を与えて異常検知をしたり、追跡すべきオブジェクトの検知を指示したりなど夢が広がります。

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル