GGUFファイルがほしい〜
huggingfaceに登録されているモデルだけど、ggufになっていないものは、変換するしかないので、トライしてみる。
Qwen3 VLでお試し
最初に、ggufが存在していて、比較可能なQwen3 VLでやってみる。目的は、次の通り
- llama-serverで起動する際のパラメータ確認
- Web GUIの操作ポイント
python3 ./convert_hf_to_gguf.py --verbose --outfile /tmp/my_mmproj.gguf --outtype f16 --mmproj models--Qwen--Qwen3-VL-2B-Instruct/snapshots/89644892e4d85e24eaac8bacfd4f463576704203
python3 ./convert_hf_to_gguf.py --verbose --outfile /tmp/my.gguf --outtype f16 models--Qwen--Qwen3-VL-2B-Instruct/snapshots/89644892e4d85e24eaac8bacfd4f463576704203
llama-server --host 0.0.0.0 --port 8011 --jinja --ctx-size 8192 -ngl 99 -m /tmp/my.gguf --mmproj /tmp/my_mmproj.gguf
これで、動くことは確認できた。
別のページにおいたサンプルとは、なにか回答が違うけど、量子化の違いもあると思うので、細かいところは気にしない。動いたことで、確認したかったポイントはクリアとなった。
Sarashina2.2 Vision 3B 頑張ってみた
llama.cpp自体に、(自称)大幅な手を加えて、sarashina2.2-vision-3Bを変換できるようにしてみた。コンバーターは、Pythonの変更がほとんどで、llama-serverが、cソースの変更が必要だったので、ちょっと面倒だった。変更は、時間のあるときに、本家に押し込めないか、やってみる予定。
今気づいたが、この変更がないと、このggufは試せない。
llama.cppへのPRが終わって、2026/5/8以降のmasterで、サポートされました。
コンバートしたのは、ここにおいた。いろいろな画像を読み込ませて、といっても10ファイルくらいだけど、落ちないことが確認できたから、huggingfaceにアップしてみた。
モデルカードとか、難しい話はわからないので、LLM担当と、VLM担当を上げた。同じところに、Q4_K_Mもあげた。このあと、llama.cppのPRをしつつ、README.mdを執筆します。
実際にやってみた結果が、このあと続く。
llama-server を使っているので、コマンドは、こんな感じで叩いた
llama-server --host 0.0.0.0 --port 8011 --jinja --ctx-size 8192 -ngl 99 --no-cache-prompt \
-m /path/to/gguf/sarashina2.2-vision-3b.gguf \
--mmproj /path/to/gguf/sarashina2.2-vision-3b-mmproj.gguf
これで、llama.cppのweb siteが開く。あとは、普通に操作。ただし、"+"マークを押して、Imageを選ばないと、画像はアップされない。
で、このあとは、結果だよ。
Q4_K_M化してみた
$ llama-quantize sarashina2.2-vision-3B.gguf sarashina2.2-vision-3B-Q4_K_M.gguf Q4_K_M
ちょっとプロンプトを変えたけど、まぁまぁの見栄え (内容不問)
Geminiに聞いたら、Visionのほうは、量子化しなくてもいいんじゃないか、とでてきたので、
状態。とりあえず、載せておく。 mmproj側は動かなくなったので、削除します。
huggingfaceへの登録方法
LFSの取り扱いの地雷を踏んだので、かんたんにメモ
# LFSのインストール（初回のみ）
git lfs install
# .gguf ファイルを LFS の管理対象として登録
git lfs track "*.gguf"
# 属性ファイルをコミット対象に加える
git add .gitattributes
これで、気になるなら、.gitattributesだけ先行して、pushすればよし
pushする際の地雷回避。これで、.git/configにユーザを登録してもらえるみたい
hf auth login --token $HF_TOKEN --add-to-git-credential
それでは、今日は、ここまで。