周回遅れでLLaVAをDatabricksで動かしてみる

マルチモーダルすごい。

LLaVA: Large Language and Vision Assistant

Databricksでの動作確認

先人達の肩に乗ります。

結構大きめのGPUクラスターを準備しました。そうでないとGPUに収まらないエラーになりました。

ERROR: Project xxxx has a 'pyproject.toml' and its build backend is missing the 'build_editable' hook. Since it does not have a 'setup.py' nor a 'setup.cfg', it cannot be installed in editable mode. Consider using a build backend that supports PEP 660. を回避するためにtouch setup.cfgを実行しています。こちらを参考にしました。

%sh
git clone https://github.com/haotian-liu/LLaVA.git
cd LLaVA
touch setup.cfg
pip install -U -qq transformers accelerate
pip install -e .

Pythonカーネルをリスタート。

dbutils.library.restartPython()

モデルのダウンロード。

from llava.model.builder import load_pretrained_model
from llava.mm_utils import get_model_name_from_path
from llava.eval.run_llava import eval_model

model_path = "liuhaotian/llava-v1.5-7b"

tokenizer, model, image_processor, context_len = load_pretrained_model(
    model_path=model_path,
    model_base=None,
    model_name=get_model_name_from_path(model_path)
)

推論します。

model_path = "liuhaotian/llava-v1.5-7b"
prompt = "What are the things I should be cautious about when I visit here?"
image_file = "https://llava-vl.github.io/static/images/view.jpg"

args = type('Args', (), {
    "model_path": model_path,
    "model_base": None,
    "model_name": get_model_name_from_path(model_path),
    "query": prompt,
    "conv_mode": None,
    "image_file": image_file,
    "sep": ",",
    "temperature": 0.2,
    "top_p": 0.8,
    "num_beams": 1,
    "min_new_tokens": None,
    "max_new_tokens": None
})()

displayHTML(f"<img src=\"{image_file}\">")

eval_model(args)

動きました！

日本語ではどうでしょう。

prompt = "この場所を訪れた際に注意すべきことはなんですか？"
image_file = "https://llava-vl.github.io/static/images/view.jpg"

args = type('Args', (), {
    "model_path": model_path,
    "model_base": None,
    "model_name": get_model_name_from_path(model_path),
    "query": prompt,
    "conv_mode": None,
    "image_file": image_file,
    "sep": ",",
    "temperature": 0.2,
    "top_p": 0.8,
    "num_beams": 1,
    "min_new_tokens": None,
    "max_new_tokens": None
})()

displayHTML(f"<img src=\"{image_file}\">")

eval_model(args)

す、すごい。

関数化します。

def evaluate_image(image_file, prompt):

  args = type('Args', (), {
    "model_path": model_path,
    "model_base": None,
    "model_name": get_model_name_from_path(model_path),
    "query": prompt,
    "conv_mode": None,
    "image_file": image_file,
    "sep": ",",
    "temperature": 0.2,
    "top_p": 0.8,
    "num_beams": 1,
    "min_new_tokens": None,
    "max_new_tokens": None
  })()

  displayHTML(f"<img src=\"{image_file}\">")
  eval_model(args)

こちらの画像を試します。

evaluate_image("https://1.bp.blogspot.com/-pzkUACogq0E/X5OcHr5ZnSI/AAAAAAABb5Q/xb-j2PQXgu03_vypUL1XNOYv4bhpWEFgQCNcBGAsYHQ/s400/bird_mameruriha_inko_blue.png", "何が描かれていますか？")

うひー。マルチモーダルすごい。

Databricksクイックスタートガイド

Databricksクイックスタートガイド

Databricks無料トライアル

Databricks無料トライアル