はじめに

タイムラインに流れてきた、以下のポストで見かけた「InternVL3.5」を試してみた話です。

これまでローカルLLM を試す時によく使っている「M4 の MacBook Air（メモリ 16GB）」で試してみました。

Hugging Face で検索してみる

Hugging Face でのモデル名だと「InternVL3.5」ではなく「InternVL3_5」となるようで、これを検索キーワードとして Hugging Face で検索します。

●Models - Hugging Face
　https://huggingface.co/models?sort=created&search=InternVL3_5

記事執筆時点では公式以外のものも入りまじって、2ページ分くらいの検索結果が出てきていたのですが、それを「作られた順」でソートして新しい方から見てみました。

気になったもの

その中で、気になったものをピックアップしてみます。

具体的には、以下の LM Studio のもので、30B・14B・8B・4B・2B・1B があるようです。

●lmstudio-community/InternVL3_5-30B-A3B-GGUF · Hugging Face
　https://huggingface.co/lmstudio-community/InternVL3_5-30B-A3B-GGUF

●（14B-GGUF）
　https://huggingface.co/lmstudio-community/InternVL3_5-14B-GGUF

●（8B-GGUF）
　https://huggingface.co/lmstudio-community/InternVL3_5-8B-GGUF

●（4B-GGUF）
　https://huggingface.co/lmstudio-community/InternVL3_5-4B-GGUF

●（2B-GGUF）
　https://huggingface.co/lmstudio-community/InternVL3_5-2B-GGUF

●（1B-GGUF）
　https://huggingface.co/lmstudio-community/InternVL3_5-1B-GGUF

実際に試してみる

それでは試していきます。

メモリ 16GB の MacBook Air で試す

メモリ 16GB の MacBook Air で試します。ローカルLLM に使えるメモリは 8GBくらいになります。

上で掲載していたモデルだと、例えば以下などが使えそうです。

14B
- InternVL3_5-14B-Q3_K_L.gguf（サイズ： 7.9 GB）
8B
- InternVL3_5-8B-Q3_K_L.gguf（サイズ： 4.43 GB）
- InternVL3_5-8B-Q4_K_M.gguf（サイズ： 5.03 GB）
- InternVL3_5-8B-Q6_K.gguf（サイズ： 6.73 GB）
4B・2B・1B
- Q8・Q6・Q4・Q3 の全て

適当に「InternVL3_5-8B-Q4_K_M.gguf（サイズ： 5.03 GB）」を選んで使ってみることにしました。

LM Studio上で、モデルをダウンロードして使います。

試した内容・結果

LM Studio での画像入力を、2種類の画像で試しました。用いた画像は、どちらも過去に生成AI で生成した画像で、それぞれの画像について、内容を尋ねるプロンプトにしています。

それで得られた結果は、以下のとおりです。

左側は、以下の内容でした。

この画像は、幻想的な風景に配置された城と2匹の巨大なドラゴンが描かれています。

背景: 深 Purple（紫）や黒の色調で構成された天候は、嵐の前の静粛さを感じさせます。中央には、螺旋状の星雲のような光景があり、神秘的な雰囲気を醸し出しています。
城: 中央に位置する壮大な城は、複数の塔とスパイラル型の構造を持っています。これはファンタジーゲームや小説によく出現する魔女の城や悪の王国を連想させます。
ドラゴン: 城の前に2匹の巨大なドラゴンが対峙しています。一方は炎のようなオレンジ色で、他方は氷のような青色です。この対立は力や衝突を象徴しているように見えます。
全体的に、この画像はファンタジー・エpic（壮大）な物語の一部である可能性があり、ドラゴンと城の間の戦い或多様な叙事的要素が含まれています。

また、右側の回答は、以下でした。

この画像は、2匹の巨大なドラゴンが対峙している幻想的な風景を描いています。

ドラゴン: 左側には青色のドラゴンと右側には橙色（オレンジ）のドラゴンが存在します。青いドラゴンは電撃に似た光で、橙色のドラゴンは炎のような光を放っています。この対立は力や衝突を象徴しています。
背景: 天空には雷が降り、背景には氷と火の対比が描かれています。左側には氷の山々が見え、右側には火の山（活火山）があります。この対比は元素の拮抗を表しています。
全体的な雰囲気: 激しい天候と壮観な風景相结合し、物語的な要素が強く、ファンタジー・エpic（壮大）な世界観を醸し出しています。
この画像は、ドラゴンの戦い或多様な叙事的要素を持つファンタジー作品の一部である可能性があります。

そして、この時の処理速度などにあたる内容は、以下となっていました。

16.32 tok/sec
233 tokens
4.82s to first token