1. ベースモデル Qwen3-8B の基本仕様
Qwen3-8Bはパラメータ数8.2B(埋め込み層除くと6.95B)、レイヤー数36、Attention HeadsはGQA構成でQuery側32・KV側8、コンテキスト長はネイティブ32,768トークン、YaRN併用で131,072トークンまで拡張可能です。
Qwen3シリーズはQwen3-235B-A22BやQwen3-30B-A3BといったMoEモデルと、Qwen3-32B/14B/8B/4B/1.7B/0.6Bの計6種のDenseモデルで構成され、すべてApache 2.0ライセンスで公開されています。
技術的な特徴として、複雑な論理推論・数学・コーディング向けの「thinkingモード」と、効率重視の汎用対話向けの「non-thinkingモード」を単一モデル内でシームレスに切り替えられる点がQwen3世代の大きな売りです。プロンプトに/thinkや/no_thinkを挿入することでターン単位の切り替えもできます。
補足(要確認): 2025年7月〜8月に4B・30B-A3B・235B-A22Bには「2507」のマイナーアップデート版(Instruct/Thinking分離版、コンテキスト256K化)が出ていますが、検索した範囲では8Bに対応する2507版は見当たりませんでした。8Bは初期リリース時点のhybrid thinking構成のままである可能性が高いです。
2. AWQ版の配布元が複数ある点に注意
記事執筆時に混乱しやすいポイントとして、「Qwen3-8B-AWQ」という名前のリポジトリが複数存在します。
| 配布元 | 特徴 |
|---|---|
Qwen/Qwen3-8B-AWQ(公式) |
Qwen公式が4-bit AWQで量子化して配布 |
abhishekchohan/Qwen3-8B-AWQ(コミュニティ) |
重み4bit・活性化16bitのAWQ版。32B/14B/8B/4Bをシリーズ展開 |
mlx-community/Qwen3-8B-4bit-AWQ |
Apple Silicon向けMLX形式に変換した版 |
pytorch/Qwen3-8B-AWQ-INT4 |
PyTorchチームがtorchaoライブラリでint4 weight-only量子化+AWQアルゴリズムを適用した版 |
同じ「AWQ」でも量子化ツール・キャリブレーション手法が異なるため、ベンチマーク数値やVRAM実測を記事に書く際は「どの配布元のAWQか」を明記すると誤解を防げます。
3. AWQ量子化の効果(公称値)
コミュニティ版のモデルカードではFP16比で最大3倍のメモリ削減、対応ハードウェアで最大3倍の推論高速化、品質低下は最小限と謳われています。ただしこれはモデルカード上の一般的な訴求であり、厳密なベンチマーク根拠までは確認できていません(記事化する際は自分で実測するのが安全です)。
一方、PyTorchチームのtorchao版ではvLLMで提供する場合バッチサイズ1・H100でVRAM53%削減(7.82GB)、1.34倍の高速化を確認しており、mmlu_abstract_algebraタスク10サンプルでキャリブレーションした結果、int4のスコアが55から56に改善(bfloat16基準は58)という具体的な数値が公開されています。
4. 量子化の精度劣化に関する興味深い研究知見
arXivに掲載された量子化に関する実証研究では、同じw3a16g128(3bit)AWQ設定で比較した場合、LLaMA3-8BはC4でのPerplexityが9.2から11.6への上昇にとどまるのに対し、Qwen3-8B-Baseは10.4から23.8まで大きく悪化したと報告されています。論文ではより入念な事前学習を経たモデルほど表現の冗長性が少なく、量子化に対して敏感になりやすいという仮説を提示しています。
注意点: これは公式配布の4bit AWQではなく、研究目的で3bit設定を再現した実験です。「Qwen3は量子化に弱いかもしれない」という切り口自体は記事のネタとして面白いですが、公式4bit版にそのまま当てはまる結果ではない点は書き分けたほうが正確です。
5. デプロイ方法
vLLM(公式ドキュメント記載のコマンド):
# AWQ量子化版はモデル名を変えるだけで通常版と同じ起動方法
vllm serve Qwen/Qwen3-8B-AWQ
FP8とAWQの事前量子化モデルが提供されており、起動コマンドはモデル名を変更するだけで通常版と同じという説明がされています。
thinkingモードの出力をreasoning_contentとして分離したい場合は--reasoning-parserの指定が必要ですが、ここはバージョン依存で紛らわしいポイントです。Qwen3の旧世代モデル(例: Qwen3-32B-FP8)はqwen3パーサーを必要とする一方、2507アップデート版(例: Qwen3-4B-Thinking-2507-FP8)はdeepseek_r1パーサーを必要とし、この不整合はvLLM側でも認識されている既知の問題です。8B版でどちらが正しく動くかはvLLMのバージョンによって変わりうるため、実際に手元で両方試して記事に書くと価値が出ます。
SGLang:
python -m sglang.launch_server --model-path Qwen/Qwen3-8B-AWQ --reasoning-parser qwen3
SGLangでは--reasoning-parser qwen3を指定する例が公式AWQ配布ページに記載されています。
6. VRAM目安(要検証)
第三者のGPU見積もりツールによる推定では、Qwen3-8B-AWQをINT4に量子化した場合は約4.5GBのVRAMで動作し、24GBのRTX 4090であれば小バッチ処理に十分な余裕があるとされています。ただしこれは重みのみの概算値であり、推論時は重み・活性化・KVキャッシュを含めたピークVRAMで見積もる必要があるため、実際にvLLM等で起動する際は--max-model-lenによるKVキャッシュ確保分が上乗せされる点に注意が必要です。