この記事では"How to Use"ではなく"What is This"に着目しています。実際にLLMを使う方法(OllamaやLM Studioでの利用方法)は紹介していません。
今回紹介するモデル
Qwen3.5-0.8B
Qwen3.5-2B
Qwen3.5-4B
Qwen3.5-9B
Qwen3.5ファミリーのここがすごい!
- ネイティブマルチモーダル
従来のVision対応モデルは、Visionエンコーダを"後付け"するアーキテクチャでした。Qwen3.5ファミリーでは画像情報を同一トークンとして学習することで、ネイティブに画像認識が可能となっています。そのため、小さいモデルでも画像認識に対応することができており、従来のVision対応モデルと比べても高い認識能力を有しています。 - ハイブリットアーキテクチャ
Gated DeltaNet(線形注意機構)とGated Attention(標準的な注意機構)を3:1の割合で組み合わせたハイブリッド構造を採用しています。これにより0.8Bサイズのモデルでも262kトークンを扱えるようになっています。 - Multi-Token Prediction (MTP)
従来のほとんどのモデルは、Next-Token Prediction(NTP)という仕組みで少しずつトークンを予測していました。Qwen3.5ファミリーで採用されているMulti-Token Prediction(MTP)は一気にトークンを予測できるため生成速度が従来モデルより高速になっています。生成速度の改善以外にも一回で得られる情報が多いため学習効率も改善しています。
例:- NTP(従来): 「吾輩は」→「猫」→「で」→「ある」と、1つずつ順番に予測。
- MTP(進化型): 「吾輩は」→（「猫」「で」「ある」) を一気にセットで予測。
Qwen3.5-0.8B
モデル概要
ベースモデル: Qwen3.5-0.8B
コンテキストサイズ: 262k
パラメータ数: 0.8B
使用VRAM: 3~4GB(Q4_K_M, Context:262k)
公式対応言語: 多言語・画像
想定用途: 汎用モデル
感想
- 本当に0.8Bなのか疑ってしまうレベルで良い
- おそらく今までの4Bレベルのモデルは凌駕している
- 日本語での会話で違和感を感じることはなかった
- ウェブ検索などもできていたため、普段使いとしてもいいかも
- 流石にコーディングや重量級のタスクは厳しい
Qwen3.5-2B
モデル概要
ベースモデル: Qwen3.5-2B
コンテキストサイズ: 262k
パラメータ数: 2B
使用VRAM: 4~5GB(Q4_K_M, Context:262k)
公式対応言語: 多言語・画像
想定用途: 汎用モデル
感想
- モデル自体は素晴らしい
- が、0.8Bと4Bの中間モデルとしては微妙
- 悪くいうのであれば中途半端な性能なように感じた
- もちろん日本語もできるし、ツールコーリングもできる
- 0.8B版と比べると多少コーディングもできるようになっているが...2Bに求めていない
- 性能に問題があるのではなく、他に良い選択肢があるという点が気になってしまった
- ファインチューニング版に期待したいが...コードサジェストモデルなら0.8Bをベースにした方がいいし...
Qwen3.5-4B
モデル概要
ベースモデル: Qwen3.5-4B
コンテキストサイズ: 262k
パラメータ数: 0.8B
使用VRAM: 5~6GB(Q4_K_M, Context:262k)
公式対応言語: 多言語・画像
想定用途: 汎用モデル
感想
- 0.8B,2B版から順当進化しているような感触
- 0.8B,2B版が従来の4Bモデルを超えたのなら、このモデルは従来の8Bレベルのモデルを超えている
- 当然、日本語で躓くことはない
- ツールコーリングも同様
- コーディング面や重量級タスクでは0.8Bから明らかに進化している
Qwen3.5-9B
モデル概要
ベースモデル: Qwen3.5-9B
コンテキストサイズ: 262k
パラメータ数: 9B
使用VRAM: 7~8GB(Q4_K_M, Context:262k)
公式対応言語: 多言語・画像
想定用途: 汎用モデル
感想
- 4B版の完全上位互換というわけではなく、得意不得意が分かれているように感じた
- 当たり前だが性能は良い
- 従来の12Bモデルと比較してもQwen3.5-9Bの方が強いように感じた
まとめ
大袈裟な表現ではあるが、従来の0.8B~20BサイズのモデルはQwen3.5ファミリーに負けていると考えていいかもしれない。GPT-OSS-20Bを初めて触った時の感動と同じものを感じたし、もはや超えているとも言える。
イチオシは4Bモデル。今まではEva-4Bが個人的に気に入っていたのだが、完全にQwen3.5-4Bの方が勝っていた。驚くべきことにVision対応というところである。もう覇権モデル確定では...?
軽量タスク->0.8B, 中量タスク->4B, それ以上->9B~35B-A3Bという使い分けでいいかもしれない。2Bを使うくらいなら0.8Bを使ったほうがいい気がする。コーディング面での性能やベースの知識は0.8Bから確実に進化しているが、頑張って4Bを導入した方が満足度が高くなると思われる。
いずれにしてもQwen3.5ファミリーは素晴らしい。
評価モデル一覧