はじめに
しゅんです。今回はApple が公開したマルチモーダルモデル「ml-fastvlm」を、Python の venv 環境下で動かしてみました。
画像と言語を組み合わせたタスクを手軽に試せるので、ロボットやデモ用途にぴったりです。
APPもあるそうです
以下のように、導入から手順、実行結果、考察までを整理してみました。読みやすさと流れを重視しつつ、必要なポイントはしっかり盛り込んでいます。ご参考ください。
環境構築
公式ドキュメントでは conda を使っていますが、私は軽量な venv を好むため、以下の手順で準備しました。
# 作業ディレクトリの作成とクローン
mkdir apple && cd apple
git clone https://github.com/apple/ml-fastvlm.git
# venv の作成・有効化
python -m venv .venv
source .venv/bin/activate
# パッケージ更新とインストール
pip install -U pip
cd ml-fastvlm
pip install -e .
モデルチェックポイントの取得
事前学習済みのすべてのチェックポイントを一括ダウンロードします。通信環境によっては時間がかかるので、☕️片手に待ちましょう。
bash get_models.sh
サンプル実行
以下のコマンドで、任意の画像に対してキャプション生成が可能です。
python predict.py \
--model-path ./checkpoints/llava-fastvithd_0.5b_stage2 \
--image-file /Users/syun/Downloads/PXL_20250311_052458229.jpg \
--prompt "Describe the image."
結果イメージ
実行結果比較
● 0.5B Stage2 モデル
The image depicts a white shelving unit with three shelves. The shelves are empty except for a few items placed on the top and bottom shelves.
Top Shelf:
- There is a red can of what appears to be a canned food product...
- A small red ball is placed on the top shelf...
Middle Shelf:
- On the middle shelf, there are a banana, a bell pepper, a lemon, and a small orange fruit...
Bottom Shelf:
- On the bottom shelf, there is a single yellow tennis ball...
Background:
- The background consists of a light-colored floor and a grayish wall...
● 7B Stage3 モデル
The image depicts a white, four-shelf storage unit placed against a gray wall. The shelves are evenly spaced...
-
Top Shelf:
- A can labeled “Puppy Chow” with a white lid and red label...
- A small red apple.
-
Second Shelf:
- A yellow banana.
- A green apple.
- An orange.
-
Third Shelf:
- A can of Campbell’s Tomato soup with the classic red-and-white design.
-
Bottom Shelf:
- A single yellow tennis ball.
0.5B は大まかな物体・色の説明でも十分素晴らしいと思います
今後の展望
- 日本語キャプション対応：LoRA を使った日本語データでの微調整（Fine-Tuneやってみたい）
-
リアルタイム入力：Web カメラキャプチャを
predict.pyに組み込み（すでに実装してApple github にIssues投げました）--対応してくれるかどうかはわからないが、一応コードを修正して使えるようにしてたので、気になってる人はコメントかXでDMで連絡してください