はじめに
タイムラインに流れてきた、以下のポストで見かけた「InternVL3.5」を試してみた話です。
これまでローカルLLM を試す時によく使っている「M4 の MacBook Air（メモリ 16GB）」で試してみました。
Hugging Face で検索してみる
Hugging Face でのモデル名だと「InternVL3.5」ではなく「InternVL3_5」となるようで、これを検索キーワードとして Hugging Face で検索します。
●Models - Hugging Face
https://huggingface.co/models?sort=created&search=InternVL3_5
記事執筆時点では公式以外のものも入りまじって、2ページ分くらいの検索結果が出てきていたのですが、それを「作られた順」でソートして新しい方から見てみました。
気になったもの
その中で、気になったものをピックアップしてみます。
具体的には、以下の LM Studio のもので、30B・14B・8B・4B・2B・1B があるようです。
●lmstudio-community/InternVL3_5-30B-A3B-GGUF · Hugging Face
https://huggingface.co/lmstudio-community/InternVL3_5-30B-A3B-GGUF
●（14B-GGUF）
https://huggingface.co/lmstudio-community/InternVL3_5-14B-GGUF
●（8B-GGUF）
https://huggingface.co/lmstudio-community/InternVL3_5-8B-GGUF
●（4B-GGUF）
https://huggingface.co/lmstudio-community/InternVL3_5-4B-GGUF
●（2B-GGUF）
https://huggingface.co/lmstudio-community/InternVL3_5-2B-GGUF
●（1B-GGUF）
https://huggingface.co/lmstudio-community/InternVL3_5-1B-GGUF
実際に試してみる
それでは試していきます。
メモリ 16GB の MacBook Air で試す
メモリ 16GB の MacBook Air で試します。ローカルLLM に使えるメモリは 8GBくらいになります。
上で掲載していたモデルだと、例えば以下などが使えそうです。
- 14B
- InternVL3_5-14B-Q3_K_L.gguf（サイズ： 7.9 GB）
- 8B
- InternVL3_5-8B-Q3_K_L.gguf（サイズ： 4.43 GB）
- InternVL3_5-8B-Q4_K_M.gguf（サイズ： 5.03 GB）
- InternVL3_5-8B-Q6_K.gguf（サイズ： 6.73 GB）
- 4B・2B・1B
- Q8・Q6・Q4・Q3 の全て
適当に「InternVL3_5-8B-Q4_K_M.gguf（サイズ： 5.03 GB）」を選んで使ってみることにしました。
LM Studio上で、モデルをダウンロードして使います。
試した内容・結果
LM Studio での画像入力を、2種類の画像で試しました。用いた画像は、どちらも過去に生成AI で生成した画像で、それぞれの画像について、内容を尋ねるプロンプトにしています。
それで得られた結果は、以下のとおりです。
左側は、以下の内容でした。
この画像は、幻想的な風景に配置された城と2匹の巨大なドラゴンが描かれています。
背景: 深 Purple（紫）や黒の色調で構成された天候は、嵐の前の静粛さを感じさせます。中央には、螺旋状の星雲のような光景があり、神秘的な雰囲気を醸し出しています。
城: 中央に位置する壮大な城は、複数の塔とスパイラル型の構造を持っています。これはファンタジーゲームや小説によく出現する魔女の城や悪の王国を連想させます。
ドラゴン: 城の前に2匹の巨大なドラゴンが対峙しています。一方は炎のようなオレンジ色で、他方は氷のような青色です。この対立は力や衝突を象徴しているように見えます。
全体的に、この画像はファンタジー・エpic（壮大）な物語の一部である可能性があり、ドラゴンと城の間の戦い或多様な叙事的要素が含まれています。
また、右側の回答は、以下でした。
この画像は、2匹の巨大なドラゴンが対峙している幻想的な風景を描いています。
ドラゴン: 左側には青色のドラゴンと右側には橙色（オレンジ）のドラゴンが存在します。青いドラゴンは電撃に似た光で、橙色のドラゴンは炎のような光を放っています。この対立は力や衝突を象徴しています。
背景: 天空には雷が降り、背景には氷と火の対比が描かれています。左側には氷の山々が見え、右側には火の山（活火山）があります。この対比は元素の拮抗を表しています。
全体的な雰囲気: 激しい天候と壮観な風景相结合し、物語的な要素が強く、ファンタジー・エpic（壮大）な世界観を醸し出しています。
この画像は、ドラゴンの戦い或多様な叙事的要素を持つファンタジー作品の一部である可能性があります。
そして、この時の処理速度などにあたる内容は、以下となっていました。
- 16.32 tok/sec
- 233 tokens
- 4.82s to first token