Nemotron-Nano-9B-v2-Japaneseを量子化別に検証！ローカルSLMに進化！？

Posted at 2026-02-23

はじめに

2026年2月17日、NVIDIA から日本語に特化した小規模言語モデル NVIDIA-Nemotron-Nano-9B-v2-Japanese がリリースされました。「日本のソブリンAIを支える最先端小規模言語モデル」と銘打たれた本モデルを、量子化の違い（BF16 / Q8 / Q4_K_M） および 思考モード（thinking / nothinking） の組み合わせ計6パターンで、日本語常識推論ベンチマーク JCommonsenseQA を用いて評価しました。

本記事では、モデルの概要・評価手法・結果・考察をまとめましたので是非参考にして下さい。

NVIDIA-Nemotron-Nano-9B-v2-Japanese とは

モデル概要

NVIDIA-Nemotron-Nano-9B-v2-Japanese は、NVIDIA がスクラッチから学習した 90億パラメータ の大規模言語モデルです。英語版の NVIDIA-Nemotron-Nano-9B-v2 をベースに、日本語データで追加学習が行われています。

項目	内容
パラメータ数	90億（9B）
アーキテクチャ	Mamba2-Transformer ハイブリッド（Nemotron-Hybrid）
コンテキスト長	最大 128K トークン
対応言語	日本語・英語
ライセンス	NVIDIA Nemotron Open Model License（商用利用可）
リリース日	2026年2月17日

概要詳細はこちら！

アーキテクチャの特徴

本モデルは、主に Mamba-2 および MLP 層を中心とし、4層の Attention 層を組み合わせたハイブリッドアーキテクチャを採用しています。従来の Transformer ベースのモデルと比較して、長いコンテキストでの推論効率が高いことが特徴です。学習には Megatron-LM および NeMo-RL が使用されています。

推論モードの制御（Thinking / Nothinking）

本モデルは、ユーザーからの質問に対して 推論トレース（reasoning trace）を生成してから最終回答を提示する設計になっています。この推論機能はシステムプロンプトによって制御可能です。

Thinking モード: 中間的な推論過程を生成した上で回答する。難易度の高い問題で精度向上が期待される
Nothinking モード: 推論過程を省略し、最終回答のみを出力する。レスポンスが高速になる一方、精度がわずかに低下する可能性がある

学習データ

学習データは 10兆トークン以上 のテキストで構成され、日本語・英語の書籍やウェブページが含まれます。日本語のツール呼び出し学習には、Qwen3-235B-A22B 等によって生成された合成データも使用されています。

評価手法

評価手法の詳細はこちら！

使用データセット

JCommonsenseQA（leemeng/jcommonsenseqa-v1.1）の validation split 全1,119問 を使用しました。

JCommonsenseQA は、日本語の常識推論能力を測定する5択の選択式問題で構成されたベンチマークです。

問題例:

質問: 電子機器で使用される最も主要な電子回路基板の事をなんと言う？

A. 掲示板

B. パソコン

C. マザーボード

D. ハードディスク

E. まな板

正解: C. マザーボード

評価方式

項目	内容
評価方式	0-shot
プロンプト	指示文 + 質問 + 選択肢を提示し、正しい選択肢の内容を出力させる
採点方法	モデル出力を正規化し、正解と完全一致で判定
評価指標	正答率

評価対象モデル（量子化バリエーション）

同一の NVIDIA-Nemotron-Nano-9B-v2-Japanese を、以下の量子化形式 × 推論モードの 6パターン で評価しました。
※１日近く小型電子レンジが動いていいる状態だったので、流石に家庭内CFOに怒られました汗

モデル名	量子化	推論モード
`nemotron-bf16`	BF16（非量子化）	thinking
`nemotron-bf16-nothink`	BF16（非量子化）	nothinking
`nemotron-q8`	Q8（8bit量子化）	thinking
`nemotron-q8-nothink`	Q8（8bit量子化）	nothinking
`nemotron-q4km`	Q4_K_M（4bit量子化）	thinking
`nemotron-q4km-nothink`	Q4_K_M（4bit量子化）	nothinking

※今回Q5_K_Mモデルについては検証無し

実行環境

推論サーバ: llama.cpp(RTX 4090 24GB)
評価スクリプト: Python(Claude作成)

既存サーバでOllamaを構築しており、その環境にGGUFを入れて検証を行おうとした所、エラーとなりログを見る限り、llama.cppが古かったようです。他の方の記事も参考にさせて頂きつつ最新のllama.cppを使って今回は実施しました。

評価結果

正答率一覧

モデル	量子化	推論モード	正解数 / 全問	正答率	概算所要時間
`nemotron-q4km-nothink`	Q4_K_M	nothinking	1,034 / 1,119	92.4%	約3分
`nemotron-q8-nothink`	Q8	nothinking	1,025 / 1,119	91.6%	約3分
`nemotron-bf16-nothink`	BF16	nothinking	1,024 / 1,119	91.5%	約5分
`nemotron-q4km`	Q4_K_M	thinking	972 / 1,119	86.9%	約1時間36分
`nemotron-q8`	Q8	thinking	964 / 1,119	86.1%	約2時間10分
`nemotron-bf16`	BF16	thinking	926 / 1,119	82.8%	計測漏れ(体感4時間程度)

※所要時間はファイル出力時刻の差分から算出
※各モデル切替時に15秒待機を実施させた為、実処理時間＋15秒となります
※nemotron-bf16は所要時間測定漏れ、体感的には4時間程度かかったかと思います

結果グラフ

考察

1. nothinking モードが thinking モードを上回った

今回の評価で最も驚いたことは、全ての量子化において nothinking モードが thinking モードを上回ったことです(利用したデータセットを考慮すると当たり前の結果かもしれません)

量子化	thinking	nothinking	差分
BF16	82.8%	91.5%	+8.7pt
Q8	86.1%	91.6%	+5.5pt
Q4_K_M	86.9%	92.4%	+5.5pt

JCommonsenseQA は日本語の常識問題であり、深い推論よりも直感的な知識が求められるタスクです。thinking モードでは推論トレースの生成過程で「考えすぎ」てしまい、今回の評価については誤答に至るケースになたっと考えています。

HuggingFace のモデルカードにも「推論を要する難易度の高いプロンプトにおいては、推論トレースを生成させる設定にすると、一般的により高品質な最終回答が得られます」と記載されており、タスクの性質に応じた推論モードの選択が重要である改めて実感しました。

2. 量子化による精度劣化はほぼ見られない

nothinking モードでの比較:

BF16: 91.5%
Q8: 91.6%
Q4_K_M: 92.4%

驚くべきことに、Q4_K_M（4bit量子化）が最高精度を記録しました。量子化による精度劣化はこのタスクにおいてはほぼ無視できるレベルであり、むしろ統計的な揺らぎの範囲内と考えます。

3. 推論速度は量子化の恩恵が大きい

これは当たり前の結果と思いますが、BF16が4時間程度かかってしまった点について今回の検証環境が原因と考えています。

thinking モードでの所要時間を比較すると:

Q4_K_M: 約1時間36分
Q8: 約2時間10分
BF16: 4時間程度

量子化によりモデルサイズが小さくなることで、推論速度が大幅に向上しています。特に thinking モードでは生成トークン数が多くなるため、量子化の恩恵が顕著に現れます。

nothinking モードでは全モデルが 3〜5分 で1,119問を処理しており、実用上の差はほとんどありません。

4. Q4_K_M で 92% 超えは凄い

9Bパラメータの小規模モデルJCommonsenseQAの1,119問に対して、0-shot 評価で 92.4% の正答率は、相当凄い、脅威とも感じています。

まとめ

観点	結論
推奨量子化	Q4_K_M
推奨推論モード	常識QAタスクでは nothinking が有利
量子化の影響	JCommonsenseQA では精度劣化なし
総合評価	9Bモデルとして日本語常識推論能力は高い

NVIDIA-Nemotron-Nano-9B-v2-Japanese は、商用利用可能で、量子化しても精度が落ちにくい実用的なモデルと思います。特に Q4_K_M + nothinking の組み合わせは、精度・速度のバランスに優れており、チャットボットや RAG システムなどで実力を発揮するのではないかと思います。

今回は、日本データセットのみでの評価のため検証その2としてチャットボット、RAGの実装、より難易度の高い推論タスクでの thinking モードの効果検証などを実施したいと思います。

SaaS料金って積み重なると結構痛い出費になりませんか・・・？
もちろん最新のSaaSモデルであるGPT5.2、Claude Opus4.6などと比べてしまうと性能差はありますが、AIを使うにあたり全て最新モデルに頼る必要のあるタスクばかりでは無いと思います。

本モデルについては、ローカルというプライバシーを確保することが可能で、thinking有無を切り替え可能な事、かつ精度劣化の無いQ4_K_MならGPUメモリ8~9GBで動作させる事が可能という事を考慮すると、これまでのローカルLLM・SLMの概念を壊しに来ていると感じており、SaaS・ローカルLLMの使い分けが今後重要になっていくと改めて認識しました。

切実に仕事でもこのモデルを使いたい・・・・

参考リンク

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up