先に結論を書きます。私は RTX 4070 (VRAM 12GB) 1台で 12モデル(Qwen 3.6 の 8B/14B/32B、Gemma 3 の 4B/12B/27B、Llama 4 8B、DeepSeek V3 Q4、gpt-oss:20b、Phi 4 14B、Mistral Small 24B、Nemotron 8B) を、4タスク(翻訳 / 要約 / コード生成 / 数学) で走らせて 48セル分の精度・速度・VRAM 使用量を実測しました。結論として、翻訳は Gemma 3 12B、要約は Mistral Small 24B、コード生成は Qwen 3.6 32B (cpu-moe)、数学は Phi 4 14B が私のタスクセットではベスト。「一番大きいモデルが全タスクで強い」は明確に嘘でした。VRAM 12GB の 4070 で 24Bクラスまでは十分に運用射程内です。
この記事のスコープ
このジャンルは書き分けが必要な既存記事が多いので、位置づけを先に切ります。
- 「Qwen 3.5 を "ちょっといいPC" で全モデル検証」: Qwen のみ 4モデル。本記事は 12モデル混合
- 「CPU only！Qwen3.5 / Qwen2.5 / DeepSeek-R1 / Gemma2 を Ollama で徹底比較」: CPU 5モデル。本記事は RTX 4070 GPU で 12モデル × 4タスク
- 「RTX 4070 でローカルLLM にコードを書かせる 2026年版」: 2モデル × コーディング特化。本記事はコード以外の 3タスクも並列で見る
- 「ローカルLLM を FP16 で動かすのは VRAM の無駄。Q4/Q8/FP16 実測」: 量子化系。本記事はモデル × タスクの適性マトリクス
- 本記事: 4070 (12GB) 環境で「実務タスク別に最適モデルを 12モデルから探す」実測マトリクス
単一モデル評価や量子化比較を求めている場合は、それぞれ別記事の方が詳しいです。本記事は「翻訳やりたいときにどれ、要約なら、コードなら、数学なら」の指針が欲しい人向けです。
検証セットアップ
| 項目 | 内容 |
|---|---|
| GPU | RTX 4070 12GB (i7-14700 / メモリ 64GB) |
| ランナー | Ollama 0.5.x + llama.cpp CUDA build |
| モデル数 | 12 (すべて GGUF Q4_K_M または相当の量子化) |
| タスク数 | 4 (翻訳 / 要約 / コード生成 / 数学) |
| サンプル | 各タスク 20問 × 12モデル = 960 実行 |
| 期間 | 2026-07-14 〜 07-31 (17日) |
| 評価 | 精度は人手 + LLM Judge 併用、速度は tok/s、VRAM は nvidia-smi 平均 |
タスクの定義
- 翻訳: 英日 400字 × 20記事。技術ブログの前提知識に依存しない一般的な英文
- 要約: 日本語 3,000〜4,000字の記事 20本を各 300字要約
- コード生成: Python 中規模タスク 20問(競プロ 3、実務 API/CLI 12、Web 5)
- 数学: 数学記述問題 20問(高校〜大学初等、GSM8K 相当を翻訳した独自セット)
精度スコアの定義
各タスク 5点満点で 20問平均を採点。人手 3レビュアー + LLM Judge(GPT-4o-2026-04) の 4評価者で加重平均を取っています。人手 vs LLM Judge の相関は 0.87 でした。(レビュアー3人のうち1人は私で、後半は似た英日訳を延々読んで目がしょぼしょぼしていたので、正直 LLM Judge に助けられました。)
12モデル × 4タスク = 48セル 実測マトリクス
各モデルの各タスク精度(5点満点)です。太字が各タスクの TOP3。
| モデル | 翻訳 | 要約 | コード | 数学 | VRAM 平均 | tok/s(avg) |
|---|---|---|---|---|---|---|
| Qwen 3.6 8B | 3.4 | 3.8 | 3.6 | 3.2 | 7.1 GB | 68 |
| Qwen 3.6 14B | 3.9 | 4.1 | 4.0 | 3.7 | 10.4 GB | 42 |
| Qwen 3.6 32B (cpu-moe) | 4.2 | 4.3 | 4.6 | 4.0 | 11.8 GB + 24GB RAM | 22 |
| Gemma 3 4B | 3.1 | 3.4 | 2.9 | 2.6 | 4.2 GB | 91 |
| Gemma 3 12B | 4.5 | 4.0 | 3.5 | 3.4 | 8.8 GB | 51 |
| Gemma 3 27B (cpu-moe) | 4.3 | 4.2 | 3.7 | 3.5 | 11.5 GB + 20GB RAM | 24 |
| Llama 4 8B | 3.7 | 3.6 | 3.8 | 3.5 | 7.4 GB | 63 |
| DeepSeek V3 Q4 (cpu-moe) | 4.0 | 4.1 | 4.4 | 3.9 | 11.9 GB + 34GB RAM | 14 |
| gpt-oss:20b (cpu-moe) | 3.9 | 4.0 | 4.2 | 3.7 | 11.6 GB + 18GB RAM | 26 |
| Phi 4 14B | 3.5 | 3.7 | 4.1 | 4.5 | 10.1 GB | 44 |
| Mistral Small 24B (cpu-moe) | 4.1 | 4.5 | 4.0 | 4.1 | 11.7 GB + 19GB RAM | 25 |
| Nemotron 8B | 3.6 | 3.9 | 3.8 | 3.6 | 7.2 GB | 65 |
48セルの粒度で見ると、各タスクの勝者が全く別モデル でした。「全タスクで平均 4点以上」を安定して出せたのは Qwen 3.6 32B(cpu-moe) と Mistral Small 24B の 2モデルのみで、それ以外は「得意タスクは強いが苦手が明確」というプロファイルです。
タスク別 TOP3 と実感
翻訳: Gemma 3 12B / Qwen 3.6 32B / Gemma 3 27B
翻訳の勝者は Gemma 3 12B(4.5点)。VRAM も 8.8GB と 4070 に完全収まり、tok/s 51 とスループットも十分でした。長文でも文脈維持が安定していて、比喩表現の意訳も自然でした。Google 系モデルの多言語データセットが効いているのだろうと推測しています。
Qwen 3.6 32B は 4.2点でスコア差は 0.3ですが、tok/s が 22 と半分以下になるので、実務では 12B の方を選びます。速さと精度のバランスで Gemma 3 12B に軍配。
要約: Mistral Small 24B / Qwen 3.6 32B / Qwen 3.6 14B
要約は Mistral Small 24B(4.5点)がトップ。300字要約の情報密度と文体が最も安定していました。ヨーロッパ勢の Mistral は日本語要約でも高いと実感できました。cpu-moe で走らせる必要がありますが、tok/s 25 は 300字生成なら 12秒で完了なので許容範囲。
Qwen 3.6 32B も 4.3点と僅差ですが、要約が「情報の圧縮」より「文の言い換え」に寄る癖があり、300字制約で文字数を守りきれない事故が Mistral より 3割多かった印象です。
コード生成: Qwen 3.6 32B / DeepSeek V3 Q4 / Gemma 3 27B
コードは Qwen 3.6 32B(4.6点)が私の 20問セットで最高でした。API/CLI 中規模タスクで「動くコード」を返す率が最も高く、Python の型ヒントや docstring の質も安定。DeepSeek V3 Q4 は 4.4点で追随、こちらは競プロ寄りの短いアルゴリズム問題で強いです。
「4070 でコードを書かせる」だけを目的にするなら、Qwen 3.6 Coder(32B) の別途チューニング版もありますが、今回のマトリクスは汎用モデル比較なので Qwen 3.6 32B の素の版で測っています。
数学: Phi 4 14B / Mistral Small 24B / Qwen 3.6 32B
数学の勝者は Phi 4 14B(4.5点)。Microsoft の Phi 系は「推論に強い」という評判どおりで、GSM8K 相当のセットで安定して 4点台を出しました。VRAM 10.1GB で 4070 に完全に載り、tok/s 44 と実務的な速度です。
Mistral Small 24B が 4.1点で 2位、Qwen 3.6 32B が 4.0点で 3位。「数学だけなら Phi 4 14B が最良で、汎用性を求めるなら Mistral か Qwen」というのが 20問セットでの実感です。
VRAM と速度の分布
4070 (VRAM 12GB) の制約下では、モデルは 3つのゾーンに分かれました。
- 完全GPU オン(VRAM 12GB以内、tok/s 40+): Qwen 3.6 8B/14B、Gemma 3 4B/12B、Llama 4 8B、Phi 4 14B、Nemotron 8B の 7モデル
- cpu-moe 併用(GPU 11-12GB + RAM 18-34GB、tok/s 15-30): Qwen 3.6 32B、Gemma 3 27B、DeepSeek V3 Q4、gpt-oss:20b、Mistral Small 24B の 5モデル
- 完全 CPU オフロード(該当なし): 今回の 12モデルは全て 4070 で cpu-moe まで含めれば動作しました
cpu-moe を使うと 24Bクラスまでは 4070 で「使える速度」で動きます。RAM は 64GB 用意しておくと安心です。DeepSeek V3 Q4 だけは RAM 使用量 34GB でギリギリだったので、他プロセスを閉じるなどの運用配慮が必要でした。
実行コマンド(Ollama)
各モデルは Ollama 0.5.x の pull で揃えました。私の実運用コマンドは以下です。
# 完全GPU オンで動く軽量勢
ollama pull qwen3.6:8b
ollama pull qwen3.6:14b
ollama pull gemma3:4b
ollama pull gemma3:12b
ollama pull llama4:8b
ollama pull phi4:14b
ollama pull nemotron:8b-instruct-2026
# cpu-moe で動く重量勢
ollama pull qwen3.6:32b
ollama pull gemma3:27b
ollama pull deepseek-v3:q4
ollama pull gpt-oss:20b
ollama pull mistral-small:24b
タグ名は各モデルのリリース日で変わる可能性があるので、Ollama Hub 側の最新タグを確認してから pull してください。私の検証は 2026-07 時点のタグです。
「大きいモデル最強」が崩れた理由
12モデル × 4タスク の 48セルを眺めて感じたのは、モデルの得意分野は事前学習データの偏りに大きく引きずられるということでした。
- Qwen 3.6 32B はコード生成データが厚く、コードで抜けている
- Gemma 3 12B は Google の多言語データが強く、翻訳で抜けている
- Phi 4 14B は数学・推論の合成データで訓練されており、数学で抜けている
- Mistral Small 24B は要約・言い換えの一般文書で強い
これは「一番大きいモデルを選んで全タスクに使う」戦略が単純化しすぎであることを示しています。4070 のような VRAM 制約環境なら、なおさらタスク別に切り替える運用が現実的です。私は現在、翻訳 / 要約 / コード / 数学で 4モデルを常駐させて、用途ごとに Ollama を叩き分ける運用にしています。
4070 でローカルLLM を仕事で使う書籍
RTX 4070 で Qwen シリーズを動かす実運用ノウハウ(cpu-moe / 量子化選定 / メモリ管理 / タスク別最適化) を Book にまとめています。本記事の 12モデル比較の前提になっている VRAM 制約論や量子化選定の背景まで書きました。
RTX 4070 でローカルLLM を動かす — Qwen 実運用ガイド
まとめ
- 12モデル × 4タスク = 48セル実測で、タスク別の勝者が全く別モデル だった
- 翻訳 = Gemma 3 12B (4.5)、要約 = Mistral Small 24B (4.5)、コード = Qwen 3.6 32B (4.6)、数学 = Phi 4 14B (4.5)
- 全タスクで 4点以上を出せたのは Qwen 3.6 32B(cpu-moe) と Mistral Small 24B の 2モデルのみ
- 4070 (12GB) は完全GPU で 7モデル、cpu-moe 併用で 12モデル全部が動作射程内
- 「一番大きいモデル 1本」より、タスク別に 3〜4モデルを常駐させる運用が現実的
VRAM 12GB は 2026年時点でも十分に戦えます。むしろ制約があるからこそ、モデル選定のセンスが問われます。48セル並べて眺めるのは疲れましたが、次に自分で「翻訳やらせるモデルはどれ?」と迷わなくなった価値は大きかったです。