JANOG58のデモ開発でDGX Sparkを借用し、ラボの1台と合わせて2台使える期間ができた。この機会に、DeepSeek-V4-Flash(総284B)・GLM-5.2(総744B)・MiniMax-M3(総428B)の大型3モデルと、単機で動く4モデル(Gemma4-31B・Qwen3.6-35B-A3B、後半に追加したNemotron 3 Super 120B・Gemma4-26B-A4B)を、同一judge・同一モード・同一集計方式の統一条件で日本語ベンチマークにかけた。前半は既存ベンチ(JCQ/Shaberi3)での測定結果、後半は飽和した既存ベンチに代わる新しいベンチマーク(JamC-QA)の調査と実測である。さらに脱稿直前の2026-07-31にDeepSeek-V4-Flashの正式版(0731)が公開されたため、単機で追加測定して全ベンチに反映した — 比較は計8モデルとなった。
TL;DR
- DGX Spark(GB10・統合メモリ128GB)×2の期間限定環境で、DeepSeek-V4-Flash(プレビュー/正式版0731)・GLM-5.2・MiniMax-M3・Gemma4-31B・Gemma4-26B-A4B・Qwen3.6・Nemotron 3 Superの計8モデルを、JCQ・Shaberi3・JamC-QAの3ベンチマーク×同一条件(同一judge・nothink・Σ加重)で測り比べた。
- 既存ベンチは飽和していて差が出ない — JCQは上位0.08pt差、Shaberi3総合も上位6モデルが0.019幅。差が見えるのはShaberi3のサブセット別と、JCQ後継として新導入した高難度ベンチJamC-QA(SB Intuitions)で、こちらは8.66pt幅で割れた。
- 総合的に良かったのはDeepSeek-V4-Flash-0731 — 日本固有知識(JamC-QA)で首位、Shaberi3も上位圏(elyzaサブセット首位)で、3bit量子化(約104GB)なら単機で動く。単機勢ではGemma4-31Bがバランス型の優等生、Qwen3.6は軽量高速だが知識は薄め、26B-A4Bは17GBで428B級と並ぶコスパ枠だった。
- 教訓はモデル間の差より測定手法の差の方が大きいこと。集計方式・judge・モード混在でスコアは-0.005〜-0.13動く(実例は巻末Appendix)。スコア報告には4点併記(judge名・モード・集計方式・fix有無)を勧める。
1. 対象モデル
DGX Spark GB10の統合メモリは1台128GB、2台束ねれば256GB — 総パラメータ400B超級のモデルが手元で動く。せっかくの機会なので、大型モデル3つと普段使いの2つを同一条件・同一judgeで測り比べたのが本記事である。過去に測った値も手元にあるが、後述のとおりjudgeや集計方式が違うスコアは絶対値比較ができないため、全て測り直した。さらに後半のJamC-QA測定(§8)を機にNVIDIAのNemotron 3 Super 120BとGemma4ファミリのMoE版Gemma4-26B-A4Bが加わり、脱稿直前には**DeepSeek-V4-Flash正式版(0731)**も単機で追加測定した(追加モデルのみ測定日が2026-08-01/02と他より後だが、ハーネス・judge・設定は完全に同一である)。
| モデル | 総パラメータ(アクティブ) | 量子化 | モデルファイルサイズ | 構成 |
|---|---|---|---|---|
| DeepSeek-V4-Flash(プレビュー) | 284B(13B) | 4.5bit(UD-Q4_K_XL) | 約155GB | DGX Spark×2 |
| DeepSeek-V4-Flash-0731(正式版) | 284B(13B) | 3bit(UD-IQ3_XXS) | 約104GB | DGX Spark×1 |
| GLM-5.2 | 744B(40B) | 1.75bit(UD-IQ1_M) | 228GB | DGX Spark×2 |
| MiniMax-M3 | 428B(23B) | 3bit(UD-Q3_K_XL) | 181GB | DGX Spark×2 |
| Gemma4-31B | 31B(dense) | 4bit(Q4_K_M) | 約19GB | DGX Spark×1 |
| Gemma4-26B-A4B | 26B(4B) | 4bit(UD-Q4_K_M) | 約17GB | DGX Spark×1 |
| Qwen3.6-35B-A3B | 35B(3B) | 4bit(MXFP4_MOE) | 約22GB | DGX Spark×1 |
| Nemotron 3 Super 120B | 120B(12B) | 4bit(Q4_K) | 約69GB | DGX Spark×1 |
どの量子化モデルを使うかは、メモリ(2ノード256GB / 単機128GB)に入るモデルで判断。M3は3bit、GLM-5.2は1.75bit、0731は3bitという非対称(§9で再論)。
DeepSeek-V4-Flashは、DeepSeek(中国・杭州)が2026年4月に公開したV4シリーズの小型側MoEモデルである。総284B・アクティブ13Bで100万トークンコンテキストに対応し、MITライセンスで重みが公開されている。上位のV4-Pro(1.6T)に対し効率重視の位置づけだが、公称ベンチではProプレビュー版を上回る項目もある。なお脱稿直前の2026-07-31に正式版0731が公開された。本記事の2ノード測定はプレビュー版だが、正式版も小型量子化(3bit・約104GB)の登場で単機実行が可能になったため追加測定し、両版を表に併記する。
GLM-5.2は、Z.ai(旧Zhipu AI、中国・北京)が2026年6月に公開した総744B・アクティブ40BのMoEフラッグシップである。MITライセンス、100万トークンコンテキスト。コーディング・エージェントタスク向けに強くチューニングされたモデルであり、この点は日本語チャット系ベンチの結果を読む際の文脈になる(§9)。今回の比較対象で総パラメータ最大だが、1.75bitという極端な量子化で128GB×2に押し込んでいる。
MiniMax-M3は、MiniMax(中国・上海)が2026年6月1日に公開したフラッグシップで、総428B・アクティブ23BのMoE。100万トークンコンテキスト、独自スパースアテンションMSA、ネイティブマルチモーダルを看板とする(いずれも本測定のスコープ外、§9)。minimax-communityライセンス。
Gemma4-31BとGemma4-26B-A4Bは、GoogleのオープンモデルGemmaシリーズの同世代ペアである(Gemma 4世代からApache 2.0ライセンス)。31Bは今回の比較で唯一のdenseアーキテクチャ、26B-A4BはそのMoE版(総26B・アクティブ4B)で、同一ファミリのdense vs MoEという貴重な比較軸になる。
Qwen3.6-35B-A3Bは、Alibaba(Qwenチーム)のMoEモデルで、総35B・アクティブ3Bという軽量構成ながらThinkingモードを備える。Apache 2.0ライセンス。当ラボの日常推論サーバで常用している、単機で快適に動く現実的なデイリーユース級の代表である。
Nemotron 3 Super 120Bは、NVIDIAがGTC 2026に合わせて2026年3月に公開した総120B・アクティブ12BのMoEモデルである(NVIDIA Nemotron Open Model License、商用利用可)。Mamba-2レイヤーとTransformer Attention、独自のLatentMoE(512エキスパート中22個を活性化)を組み合わせたハイブリッドアーキテクチャが特徴で、100万トークンコンテキストと高スループットを看板とするエージェント向けモデルだ。DGX Spark単機のQ4_Kで実用速度が出る、いわば「NVIDIAハードにNVIDIAモデル」の組み合わせでもある。
2. 測定環境
- ハード: NVIDIA DGX Spark(GB10、統合メモリ128GB)×2。2台をConnectX-7 200GbE(QSFP)で直結し、大型3モデルはllama.cpp RPC(TCP)による2ノード分散で、その他のモデルは単機で推論した。
- 推論: llama.cppのGB10(sm_121)向けネイティブビルドに全モデルを統一した(0731のみ新チャットテンプレート対応のため最新masterビルドを専用に使用。生成条件は同一)。vLLMもDGX Sparkで動作確認済みだが採用しなかったのには合理的な理由がある。第一に、744Bを256GBに収める1.75bit級の低bit動的量子化(unsloth UD系)はGGUF/llama.cppエコシステムにしか実用的な選択肢がなく、大型3モデルは事実上llama.cpp一択である。第二に、2ノード分散で安定稼働まで持ち込めた手段がllama.cpp RPC(TCP)だった(TensorRT-LLM系は本環境では既知問題により断念)。第三に、そこで単機のモデルだけvLLMにするとバックエンド混在となり、生成条件の統一 — 本記事の生命線 — が壊れる。速いバックエンドより、同じバックエンドを選んだ。なお念のため、バックエンド差の影響をvLLMとのA/Bで検証したところ、Gemma4-31BのJamC-QA accuracyはllama.cpp(Q4_K_M)=61.28% vs vLLM(NVFP4)=60.94%と差0.34ptで誤差範囲だった — ただし個問レベルの一致は84.5%に留まる(詳細はAppendix(6))。
-
judge: gpt-oss-120b-mxfp4をllama.cppサーバで起動(ctx 81920、
--reasoning off、temp=0)。このjudgeを採用したのは当ラボの事前検証による — ローカルで動くjudge候補を、クラウドの定番judge(gemini-2.5-flash)の採点との順位相関で評価したところ、gpt-oss-120bは上位層(ρ≈0.6台)に入った。ローカルjudgeは無償で何度でも再現でき、クラウドAPIの版更新でスコアの系譜が切れる心配もない。なお統合メモリ上、測定対象モデルとjudgeは同居できないため、生成フェーズ→採点フェーズの逐次実行とした。 - 自動化: 回答生成→judge採点→Σ加重集計→台帳(runs.csv)記録の一連はClaude Codeに委任して自律実行させ、人手は方針判断とレビューに絞った。全作業はWORKLOGとして時刻・結果込みで記録している。
2ノード分散の構築手順・速度・障害記録は本記事のスコープ外とし、別稿(実務知見編)に譲る。
- 測定時間: 実測の壁時計時間をモデル×ベンチマークで示す(単機はspark-82c2、—は壁時計未記録)。
| モデル | JCQ(1,119問) | Shaberi3(315問・生成+judge採点) | JamC-QA(2,309問) |
|---|---|---|---|
| Gemma4-26B-A4B(単機) | 約4分 | 約1.7h(生成27分+採点76分) | 約8分 |
| Qwen3.6(単機) | — | — | 約18分 |
| Gemma4-31B(単機) | — | — | 約22分 |
| Nemotron(単機) | — | 約4.9h(生成3.5h+採点81分) | 約33分 |
| V4-Flash-0731(単機) | 約20分 | 約3.9h(生成2.7h+採点75分) | 約42分 |
| GLM-5.2(2ノード) | — | 約60h(think/nothink両モードのフルラン) | 未測定 |
— の箇所は7月の測定キャンペーン時に壁時計を記録していなかったもの(スコアは正規記録済み)。傾向として、多肢選択(JCQ/JamC-QA)は最遅モデルでも1時間以内、Shaberi3はjudge採点が約75〜80分でモデルによらずほぼ一定のため、差は生成フェーズで開き、最速でも1.7時間・大型2ノードでは日単位になる。「多肢選択は分単位、LLM-as-judgeは時間〜日単位」というコスト差は、ベンチマーク選定の現実的な判断材料である。
時間差の内訳を補足する。多肢選択系の所要は「プロンプト処理+短い回答生成」の繰り返しで、生成速度の実測はQwen3.6=96.2 tok/s(A3B)、Gemma4-31B=19.5 tok/s(31B dense)、Nemotron=35.4 tok/s(120B MoE)、V4-Flash-0731=30.7 tok/s(284B MoE・単機3bit)。NemotronはMoEのため速度自体はdenseのGemma4より速いが、120B級の重みでプロンプト処理(few-shot 3例込み)が重いことに加え、1問あたりの出力トークンが多め(回答が冗長になりがち)で、結果として1問あたりの所要が長い。Shaberi3でNemotronの生成に約3.5時間かかったのも同じ性格による — 上限15,000トークンまで許した長文回答を実際に長く使い、最長回答は約4万文字(論理パズルの考察が脱線した外れ値)に達した。対照的にアクティブ4BのGemma4-26B-A4Bは同じ315問の生成が約27分で済む。GLM-5.2の約60時間は、744Bを2ノードRPCで回す生成速度の上に、think/nothink両モード計630回答ぶんの長文生成が乗った結果である。
3. JCommonsenseQA: もう差が出ない
JCommonsenseQA(JCQ)は、ヤフーと早稲田大学河原研究室が構築した日本語言語理解ベンチマークJGLUEに含まれる5択の常識推論タスクである。日常的な常識で答えられる問題を選択肢から選ぶ形式で、LLM-as-judgeを使わず正解一致で機械的に採点できるため、測定の再現性が高い。本測定ではdevセット1119問をnothinkで解かせた。
| モデル | 量子化 | JCQ accuracy |
|---|---|---|
| DeepSeek-V4-Flash(プレビュー) | 4.5bit(UD-Q4_K_XL) | 97.94% |
| GLM-5.2 | 1.75bit(UD-IQ1_M) | 97.86%(1095/1119) |
| Gemma4-31B | 4bit(Q4_K_M) | 97.86%(1095/1119) |
| Nemotron 3 Super 120B | 4bit(Q4_K) | 97.86%(2026-04測定・同一ハーネス) |
| DeepSeek-V4-Flash-0731(単機) | 3bit(UD-IQ3_XXS) | 97.14%(1087/1119) |
| Gemma4-26B-A4B | 4bit(UD-Q4_K_M) | 96.69%(1082/1119) |
| Qwen3.6-35B-A3B | 4bit(MXFP4_MOE) | 95.89% |
| MiniMax-M3 | 3bit(UD-Q3_K_XL) | 94.28% |
レンジは3.66pt、上位4つはわずか0.08pt内で、97.86%が3モデル並ぶ。特筆すべきは1.75bit量子化のGLM-5.2が、4bitのGemma4-31Bと正解数まで同値(1095/1119)で並んだことだ。常識知識クイズ系のベンチはこのクラスのモデルではほぼ飽和しており、モデル選定の判断材料としては役目を終えつつある。当ラボではJCQを「性能比較」ではなく環境変更時の回帰検知用途に位置づけ直した。
注記: GLM-5.2のJCQは2026-07-12測定(TCP構成・nothink・他モデルと同一ハーネス)。2026-07-19に別構成で再測した97.5%(1091/1119)とは±1pt以内で一致しており、構成差の影響は誤差範囲であることを確認済み。Gemma4-26B-A4BとDeepSeek-V4-Flash-0731は2026-08-02測定(同一ハーネス)。
4. Shaberi3: JCQの次に導入したベンチマーク
JCQで差が出なくなった当ラボが、次のベンチマークとして導入したのがShaberi3である。生成品質をLLM-as-judgeで採点する方式で、多肢選択より遥かに「実戦的な日本語力」を測れる — その代わり、judgeサーバの運用や採点条件の管理まで含めた環境構築が必要になり、測定コストも桁で重くなる(§2の測定時間表のとおり)。
Shaberiは、東京のAI企業Lightblueが開発した日本語LLM評価ハーネスで、既存の日本語ベンチマーク4本をまとめてLLM-as-judge方式で評価できる。その後shisa-aiが大幅に拡張したフォーク(OpenAI互換API対応、reasoningモデル対応等)を公開しており、日本語ローカルLLM界隈の定番評価基盤の一つになっている。本記事の「Shaberi3」はこの系譜のハーネス(当ラボ運用版)を指す。
評価対象の4サブセットはそれぞれ性格が異なる。
- tengu_bench(115問・10点満点) — Lightblue自身が構築したデータセット。推論・QA・文章作成など多ジャンルの日本語タスクを広く含む「なんでもあり」型で、採点基準が作り込まれている。後述のとおり本測定で最も辛口かつ識別力が高かった。
- elyza-tasks-100(100問・5点満点) — ELYZA(東大松尾研発)が構築した複雑指示追従タスク集。模範解答と採点基準が丁寧に整備されており、実用的な指示追従・生成品質を測る。満点が5点で他と異なる点に注意。
- ja-mt-bench-1shot(60問・10点満点) — LMSYSのMT-Benchを日本語化したデータセットの1ショット簡易版。8カテゴリの対話・作文タスクで、文体や表現品質の差を拾う。
- rakuda-questions(40問・10点満点) — YuzuAIによる、日本の地理・政治・歴史・社会に関する4カテゴリのオープン質問。日本固有の知識と説明力を問う。
一点だけ重要な注意を書いておく。LLM-as-judge方式はjudgeを替えるとスコアの絶対値が大きく変わる(当ラボ実測で約0.10)。judge名を伴わないShaberi3スコアは他所の値と並べて比較できない。この罠を含め、測定手法まわりで実際に踏んだ落とし穴は巻末のAppendixにまとめた。
本測定の統一条件は以下のとおり。
- 生成: temp=0.2、SHABERI_MAX_TOKENS=15000、nothinkのみ(think混在はスコアを歪める)
- 採点: judge=gpt-oss-120b-mxfp4(
--reasoning off/temp=0)、judge-fix適用後のハーネス - 集計: Σ加重方式 — overall_norm = Σ有効スコア / Σ(満点×有効数)。満点の非対称(ELYZA=5点、他=10点)があるため、データセット別norm平均(単純平均)は使わない
5. Shaberi3 も飽和しつつある
そうして環境を作り、延べ数日〜60時間級の測定を回した結果がこれである。judge=gpt-oss-120b-mxfp4 / nothink限定 / Σ加重 / judge-fix後の統一条件による確定値。
| 順位 | モデル | 量子化 | 構成 | overall_norm | n_valid/315 |
|---|---|---|---|---|---|
| 1 | DeepSeek-V4-Flash(プレビュー) | 4.5bit(UD-Q4_K_XL) | DGX Spark×2 | 0.8269 | 314/315 |
| 2 | Qwen3.6-35B-A3B | 4bit(MXFP4_MOE) | DGX Spark×1 | 0.8186 | 314/315 |
| 3 | Gemma4-31B | 4bit(Q4_K_M) | DGX Spark×1 | 0.8133 | 313/315 |
| 4 | DeepSeek-V4-Flash-0731(正式版) | 3bit(UD-IQ3_XXS) | DGX Spark×1 | 0.8117 | 314/315 |
| 5 | MiniMax-M3 | 3bit(UD-Q3_K_XL) | DGX Spark×2 | 0.8092 | 314/315 |
| 6 | Gemma4-26B-A4B | 4bit(UD-Q4_K_M) | DGX Spark×1 | 0.8076 | 313/315 |
| 7 | Nemotron 3 Super 120B | 4bit(Q4_K) | DGX Spark×1 | 0.7977 | 313/315 |
| 8 | GLM-5.2 | 1.75bit(UD-IQ1_M) | DGX Spark×2 | 0.7904 | 311/315 |
首位はプレビュー版DeepSeek-V4-Flashだが、上位3モデルは0.0136幅、0731を含む上位4モデルで0.0152幅、M3までの上位5でも0.0177幅、26B-A4Bまでの上位6でも0.0193幅に収まっており、総合点ではモデル間の差がほとんど見えなくなっている。3bitのM3と4bitのGemma4-31Bの差はわずか0.0041。4位のDeepSeek-V4-Flash-0731(単機・3bit)と5位のMiniMax-M3(2ノード・181GB)、6位のGemma4-26B-A4B(単機・約17GB)は0.0041内にひしめく — サイズ約1/11のモデルが単機で428B級と並ぶ。総284Bを2台がかりで回しても、単機の35B/31Bと総合点では0.01強しか変わらない — これが「日本語ベンチの飽和」の実感である。
なおDeepSeekの両版(プレビュー0.8269 / 0731=0.8117)の差-0.0152には、モデル版+量子化(4.5bit→3bit)+構成(2ノード→単機)の三重差が含まれる。特にV4-FlashはQATモデルでexperts(96%)がネイティブMXFP4格納のため、3bit化はexpertsの再量子化を伴い、量子化だけでこの幅は説明可能である — この表から「正式版が後退した」と読むことはできない。一方、NemotronとGLM-5.2は上位グループから一段離れており、飽和の中でも「離される」モデルはある。n_validの欠けはjudge出力のparse失敗(None)を分母から除外したもので、M3・Nemotron・26B-A4B・0731はそれぞれja-mt-benchの4問・2問・2問・1問が該当する。
6. だがサブセット別に見ると、差は開く
総合点の僅差は「強いサブセットと弱いサブセットが相殺し合った結果」である。内訳を見ると、また違った傾向が見えてくる。
| サブセット | 順位(高→低) | スプレッド |
|---|---|---|
| tengu_bench | DeepSeek旧(0.8026) > Qwen3.6(0.7948) > 0731(0.7600) > Gemma4-31B(0.7591) > Nemotron(0.7565) > M3(0.7557) > 26B-A4B(0.7522) > GLM-5.2(0.7254) | 0.0772 |
| elyza-tasks-100 | 0731(0.8580) > DeepSeek旧(0.8540) > M3(0.8260) > Gemma4-31B(0.8120) > 26B-A4B(0.8080) > GLM-5.2(0.8060) > Qwen3.6(0.7980) > Nemotron(0.7880) | 0.0700 |
| ja-mt-bench-1shot | Gemma4-31B(0.8879) > GLM-5.2(0.8684) > M3(0.8589) > Qwen3.6(0.8576) > 26B-A4B(0.8552) > 0731(0.8508) > DeepSeek旧(0.8458) > Nemotron(0.8414) | 0.0465 |
| rakuda-questions | 26B-A4B(0.8975) > M3(0.8725) > Nemotron(0.8650) > Gemma4-31B(0.8625) > Qwen3.6(0.8550) > GLM-5.2(0.8450) = 0731(0.8450) > DeepSeek旧(0.8350) | 0.0625 |
読み取れることは3つある。
- tengu_benchが最も辛口で、最も識別力が高い。スプレッド0.0772は総合上位5モデル幅(0.0177)の約4.4倍であり、モデル間の実力差を最も鮮明に映す。
- 得意・不得意はモデルごとに明確に割れる。rakudaの首位は意外にも最小のGemma4-26B-A4B(0.8975)で、428BのM3(0.8725)を上回る — その26B-A4Bはtenguでは下から2番目である。M3はrakuda 2位に対しtenguは下位で落差0.1168。DeepSeekは正反対で、tengu/elyzaが強くja-mt-bench/rakudaが弱い — 興味深いことにこの凸凹はプレビュー版と0731で一致しており(0731はelyzaで0.8580の全体首位、rakudaは下位)、版が変わってもモデルの「性格」は保存されている。Nemotronもrakuda上位に対しelyza・ja-mt-benchは最下位に沈む。
- したがって総合点1つでモデルを語るのは危険である。用途がどのサブセットの性質に近いか(指示追従ならelyza、日本知識ならrakuda、対話品質ならja-mt-bench)で選定すべきだ。
なぜtengu_benchだけ差が開くのか。断定は避けるが、構造的な要因を3つ挙げられる。第一に多ジャンル混成で逃げ場がないこと。推論・知識・長文構成・形式指示が混ざるため、単一ジャンルのサブセットなら得意分野で天井に張り付けるモデルも、tenguでは苦手ジャンルが必ずスコアに残る。第二に採点基準が細かく作り込まれており、judgeが部分点を刻みやすい — 満点に張り付きにくい設計になっている。第三に、実測でも全モデルの平均が最も低いサブセット(0.73〜0.80帯)であり、天井まで距離があるぶんモデル間差が圧縮されずに残る。要するに「難しくて逃げ場がないベンチほど識別力が残る」— この観察は、次章でJamC-QAを選ぶ際の判断基準にそのまま繋がる。
なお、この統一条件に行き着くまでに、集計方式・judgeの版・think/nothink混在・満点スケールの見落とし等で、実際にスコアが-0.005〜-0.13動く罠をいくつも踏んでいる。モデル間の差より測定手法の差の方が大きいというのが本測定最大の教訓で、対策として「judge名・モード・集計方式・fix有無」の4点併記を全ての表で徹底した。踏んだ罠の詳細は巻末のAppendixにまとめている。
7. 次のベンチマークを探す — JamC-QAの登場
さて、時間をかけて作ったShaberi3の総合点まで飽和してきたとなると、次のベンチマークが要る。「差が出なくなったのでベンチを乗り換える」のは、JCQ→Shaberi3に続いて当ラボ2度目である。改めて日本語ベンチの最新動向を調べると、業界全体が同じ壁に当たっていた — W&BのNejumi Leaderboard 4は「従来のベンチマークではスコアが飽和し、モデル間の性能差が見えづらくなった」ことを明言して高難度化の再設計を行い(2025年9月)、東京科学大+産総研のSwallowプロジェクトも高難易度ベンチ対応のLeaderboard v2を公開している(2025年8月)。日本語LLM評価は「高難度化」の局面に入っている。
その中で、当ラボの用途 — ローカルLLMをllama.cppサーバで立て、機械採点で回帰も比較も回す — に最も適合すると判断したのがJamC-QAである。SB Intuitionsが構築・公開した日本固有の知識(文化・風習など)を問う4択ベンチマークで、全2,309問、Hugging Faceで申請不要で公開されている。設計動機がまさに「既存ベンチの飽和」で、構築論文では、JCQではほとんど差が見えないLlama-3.1-70Bと405BがJamC-QAでは10pt以上の差になること、スコア向上の余地=解くべき難しさがまだ十分残っていることが報告されている。前節の観察 — 「難しくて天井が遠いベンチほど識別力が残る」 — に照らして、JCQの後継として理想的な性質である。
実務面でも都合が良い。JCQと同じ多肢選択・正解一致判定なので既存のJCQハーネスがほぼ流用でき、LLM-as-judgeの管理コストが発生しない。2,309問はJCQの約2倍だが、それでも1モデル1時間以内で測れる(§2の測定時間表)。
8. JamC-QAで測る — やっと差が出た
というわけで実測である。借用機は既に返却済みのため2ノード必須の大型モデル(GLM-5.2・M3)は次の機会に譲り、DGX Spark 1台で測れる4モデル — Qwen3.6、Gemma4-31B、Gemma4-26B-A4B、Nemotron 3 Super 120B — をJamC-QAにかけた。さらに脱稿直前に公開された正式版DeepSeek-V4-Flash-0731も、小型量子化(3bit・約104GB、ロード後101GiB/121GiB使用)の登場で単機実行が可能になったため加えた — 計5モデルである。JCQで94〜98%に密集したモデルたちが、JamC-QAで割れるのか。
結果、差が出た。
| モデル | 量子化 | JCQ | JamC-QA |
|---|---|---|---|
| DeepSeek-V4-Flash-0731(単機) | 3bit(UD-IQ3_XXS) | 97.14% | 63.92%(1476/2309) |
| Gemma4-31B | 4bit(Q4_K_M) | 97.86% | 61.28%(1415/2309) |
| Nemotron 3 Super 120B | 4bit(Q4_K) | 97.86%(2026-04測定) | 59.33%(1370/2309) |
| Gemma4-26B-A4B | 4bit(UD-Q4_K_M) | 96.69% | 58.08%(1341/2309) |
| Qwen3.6-35B-A3B | 4bit(MXFP4_MOE) | 95.89% | 55.26%(1276/2309) |
(測定: 2026-08-01〜02、nothink、JCQドライバ派生の4択ハーネス+devスプリット3-shot、dataset=sbintuitions/JamC-QA v1.0 testスプリット2,309問。parse失敗は5モデル合計6問・0.1%未満)
読み取れることは3つ。
- JamC-QAでは差がはっきり出た。JCQでは1.97pt幅(95.89〜97.86%)に密集していた5モデルが、JamC-QAでは8.66pt幅(55.26〜63.92%)に割れた。4倍を超える開きで、しかも55〜64%帯は天井(100%)まで十分遠い — 「解くべき難しさが残っている」というJamC-QAの設計主張どおりの結果だった。
- 首位は総284Bの0731で、JCQで同値だったモデルも分離した。知識量には総パラメータが効く傾向がここでも確認できる(ただし31BのGemma4が120BのNemotronを上回る例外もあり、学習データの日本語比率も効いていそうだ)。JCQで97.86%ちょうどに並んでいたGemma4-31BとNemotronは約2pt差に分かれた。同一ファミリのdense vs MoEでは31B denseがMoE版26B-A4Bを3.2pt上回り、一方その26B-A4B(アクティブ4B)はほぼ同じアクティブ規模のQwen3.6(A3B)を2.8pt上回る — 知識量にはアクティブパラメータだけでなく総パラメータも効くようだ。
- カテゴリ別に見ると、得意不得意の構造が見える。全8カテゴリの内訳を以下に示す。
| カテゴリ | n | Qwen3.6 | Gemma4-31B | 26B-A4B | Nemotron | 0731 |
|---|---|---|---|---|---|---|
| culture | 640 | 54.53% | 61.88% | 58.75% | 60.78% | 66.72% |
| custom | 200 | 60.00% | 71.00% | 70.00% | 68.00% | 68.00% |
| geography | 272 | 48.53% | 49.63% | 45.96% | 51.84% | 58.46% |
| government | 110 | 58.18% | 71.82% | 67.27% | 67.27% | 64.55% |
| healthcare | 48 | 56.25% | 81.25% | 70.83% | 62.50% | 68.75% |
| history | 343 | 65.01% | 58.60% | 60.06% | 63.27% | 71.14% |
| law | 299 | 57.53% | 68.90% | 59.20% | 55.18% | 59.53% |
| regional_identity | 397 | 47.61% | 54.66% | 52.64% | 54.91% | 57.43% |
全モデル共通でgeography・regional_identity(いずれも地域固有の詳細知識)が相対的に低い一方、custom・government・healthcareは高めに出る。日本の地理・郷土的な知識は一般的な学習コーパスに含まれにくいドメインなのだろう。その中で0731は最低カテゴリでも57.4%と底が抜けず(他モデルの最低圏は46〜55%)、総パラメータの厚みが弱点ドメインの底上げに効いている様子が読める。モデル別ではGemma4-31Bがhealthcare 81.25%・law 68.90%と分野特化的に突出し、historyは0731(71.14%)が最高でGemma4-31B(58.60%)が最下位という逆転もある。ここでも「総合点より内訳」である。
なおQwen3.6のJamC-QA最下位は、アクティブ3Bという極小構成を考えれば妥当とも言える。Shaberi3(対話・指示追従)では総合2位に付けるモデルが、知識を正面から問われるとShaberi3で7位のNemotronにも届かず最下位に沈む。逆に0731はShaberi3では4位ながらJamC-QAでは首位 — ベンチが測る能力の面が違えば並びも変わることの好例が、上下両方向で観測された。
9. まとめ
8モデル×3ベンチマークを俯瞰して、モデル選びの結論から書く。
総合的に最も良かったのはDeepSeek-V4-Flash-0731である。 日本固有知識(JamC-QA)で全モデル首位、Shaberi3でも上位グループに付け、指示追従のelyzaサブセットでは首位。3bit量子化(約104GB)なら単機128GBに収まり、30.7 tok/sの実用速度が出る。知識・対話・運用性のバランスで、現時点のDGX Spark環境における第一候補と言える。
各モデルの位置づけを一言で整理するとこうなる。
| モデル | 今回の日本語ベンチからの位置づけ |
|---|---|
| DeepSeek-V4-Flash-0731 | 総合首位候補。知識(JamC首位)+指示追従(elyza首位)。単機ぎりぎりの104GB・30.7 tok/s |
| Gemma4-31B | 単機のバランス型優等生。Shaberi3 3位・JamC 2位・ja-mt-bench首位。healthcare/lawなど専門分野に強い |
| Qwen3.6-35B-A3B | 軽量高速の対話特化。Shaberi3 2位・96 tok/sだが、知識(JamC)は最下位。日常対話・ツール連携向き |
| Gemma4-26B-A4B | コスパ枠。わずか17GBで428BのM3と総合0.0016差、rakuda首位。省メモリ環境の第一候補 |
| Nemotron 3 Super 120B | 総合は一段下で応答が冗長・測定も遅い。今回の日本語用途では選びにくい(本領はエージェント側か) |
| GLM-5.2 / MiniMax-M3 | 2ノード必須の運用コストに対し、日本語総合では単機勢と差がつかない。GLMはコーディング特化で本業外の評価である点に留意 |
ベンチマーク運用の結論はこうだ。JCQとShaberi3の総合点は飽和しており、単体ではもうモデルを選べない。当ラボの使い分けは、JCQ=環境変更時の回帰検知、Shaberi3=サブセット別の性格観察(総合点は見ない)、JamC-QA=知識比較の主戦場、となった。飽和は業界共通の課題で、Nejumi 4もSwallow v2も高難度化に舵を切っている — 「差が出ない」と感じたら、モデルではなくベンチマークを疑うべき時代である。
もう一つの教訓は、モデル間の差より測定手法の差の方が大きいこと。集計方式・judge・モード混在でスコアは-0.005〜-0.13動いた(Appendix)。スコアを報告するなら、4点併記(judge名・モード・集計方式・fix有無)を勧める。
限界も明記しておく。順位は量子化ハンデ込みであり(M3=3bit、GLM-5.2=1.75bit、0731=3bit)、量子化を揃えれば入れ替わりうる。DeepSeek両版の差-0.0152は版・量子化・構成の三重差を含み、版の優劣は判定できない(§5)。M3の看板機能(MSA・1Mコンテキスト・マルチモーダル)は未検証。そしてGLM-5.2とMiniMax-M3のJamC-QAは2ノード必須のため未測定 — 次にDGX Spark 2台を確保できたタイミングで測る。
Appendix: 測定の落とし穴 — 実際に踏んだ6つの罠
クリックで展開(スコアが-0.005〜-0.13動いた実例集)
(1) 集計方式で順位の読みが変わる。 M3の総合を4サブセットのnorm単純平均で出すと0.8283、Σ加重では0.8092。読みが「Qwen/Gemmaの間」から「Gemma4の下」に変わった。サブセットごとに問題数も満点も違う以上、単純平均は誤解を招きやすい。本記事ではΣ加重に統一している。
(2) judgeハーネスの版(judge-fix)で-0.005〜-0.007動く。 judge側の修正前後で、Qwen3.6は0.8356→0.8298、Gemma4は0.8324→0.8253(いずれもmixed-mode値)。本記事の表は全てfix後の判定ファイルから再計算した値で統一している。
(3) think/nothinkの混在で-0.0165動く。 GLM-5.2の台帳値0.8069はthink+nothink混合(n=630)であり、nothink限定に揃えると0.7904。モードを混ぜたスコアを他と並べてはならない。
(4) 満点スケールの見落としで-0.13壊れる。 ELYZAだけ満点5点(他は10点)である。これを見落として全て10点で除算した初回計算はDeepSeekで0.6974という誤値を出した(訂正後0.8269)。Σ加重の分母は満点の非対称に直撃される。
(5) judgeが違えば絶対値は比較不可。約-0.10ずれる。 同一の回答セットをgemini-2.5-flashで採点すると0.8617、gpt-oss-120b-mxfp4で再採点すると0.7611。約0.10の差であり、モデル間の差(0.0365幅)の3倍近い。shisa-ai版READMEにも「比較は必ず同一プロンプト・同一judgeで行うこと」と明記されている。他所のShaberi3スコアと自分の値を並べる前に、必ずjudgeを確認すべきだ。
(6) バックエンド+量子化形式が違うと、総合が同じでも個問は割れる。 Gemma4-31BのJamC-QAをllama.cpp(Q4_K_M)とvLLM(NVFP4)で測り比べると、accuracyは61.28% vs 60.94%(差0.34pt)で誤差範囲 — だが個問レベルの予測一致率は84.5%に留まった。「llama.cppのみ正解」131件と「vLLMのみ正解」123件がほぼ相殺して総合が近く見えているだけで、約15%の問題では異なる回答をしている。総合点が内訳を隠す構図は、バックエンド比較でも再現される。
対策はシンプルで、スコアを報告するときは「judge名・モード(think/nothink)・集計方式・judge-fix有無」の4点を必ず併記すること(バックエンド・量子化形式も条件に含めるのが理想である)。本記事の表がすべてこの形式なのはそのためである。
参考リンク
- Shaberi(Lightblue) / shisa-aiフォーク: https://github.com/shisa-ai/shaberi
- JGLUE / JCommonsenseQA: https://github.com/yahoojapan/JGLUE
- JamC-QA(SB Intuitions): https://huggingface.co/datasets/sbintuitions/JamC-QA
- DeepSeek-V4-Flash-0731 GGUF(Unsloth): https://huggingface.co/unsloth/DeepSeek-V4-Flash-0731-GGUF
- Nejumi Leaderboard 4(W&B): https://nejumi.ai/
- Swallow LLM Leaderboard v2: https://swallow-llm.github.io/leaderboard/
測定期間: 2026-07上旬〜下旬(Shaberi3/JCQ 5モデル)、2026-08-01〜02(JamC-QA・Nemotron/Gemma4-26B-A4BのShaberi3・vLLM A/B・DeepSeek-V4-Flash-0731単機測定)。生データ・台帳・判定ファイルは当ラボで保全している。