エグゼクティブサマリー

本記事の目的

本記事は、ローカルLLM製品「Nenoa」において最適なモデルを選定するために実施したベンチマーク評価の結果と、その根拠を取りまとめたものです。13モデルを対象に、業務で想定される3種類のタスク（コーディング・ドキュメントレビュー・要約）で評価し、スタンダードモデル（Dell Pro Max GB10）向けの適性スコアをカテゴリごとに算出して最適モデルを決定しました。

Nenoaとは

ローカルネットワークで完結するプライベートなAIサービスを提供するTDCソフトの製品です。
AIを動かせるPCごと提供するため、ローカルで動作可能なモデルであれば自由に選択することができます。

主要な結論

標準推奨モデルは Qwen3.6-35B-A3B。各カテゴリ評価にGB10のメモリ占有率と処理速度を織り込んだ「スタンダードモデル適性スコア」をカテゴリ別に算出した結果、レビュー適性1位・コーディング適性2位・要約適性2位と、全3カテゴリで上位に入る唯一のモデル。最小級メモリ（27.7 GiB）と最速級の処理時間により、複数人利用や他アプリのホスティングを前提とするGB10に最も適合する。
コーディング・要約に特化するなら gpt-oss-20b。最小・最速ゆえ、コーディング適性・要約適性ともに1位。ただし文書レビューは不向き（レビュー適性は低い）。

推奨構成

用途	推奨モデル	理由
総合（標準推奨）・文書レビュー	Qwen3.6-35B-A3B	全3カテゴリで適性上位（レビュー1位）。最速級・最小級メモリ
コーディング・文書要約特化	gpt-oss-20b	両カテゴリで適性1位。最小・最速（レビューは不向き）

ベンチマーク環境

本章では、評価に使用したハードウェアおよびソフトウェア環境を説明します。

ハードウェア仕様

評価には Nenoa のスタンダードモデルである「Dell Pro Max GB10」を使用しました。NVIDIA GB10 Grace Blackwell Superchip を搭載した小型デスクトップ PC です。

項目	仕様
プラットフォーム	Dell Pro Max GB10
チップ	NVIDIA GB10 Grace Blackwell Superchip
CPU	NVIDIA Grace（20 コア Arm：Cortex-X925 ×10 + Cortex-A725 ×10）
GPU	NVIDIA Blackwell（GB10）
メモリ	128 GB LPDDR5X（CPU/GPU 共有ユニファイドメモリ）
メモリ帯域幅	273 GB/s

ユニファイドメモリアーキテクチャ

GB10 の特徴は、CPU と GPU が同一の 128 GB メモリプールを共有するユニファイドメモリアーキテクチャです。従来の GPU サーバーでは CPU-GPU 間の PCIe 転送がボトルネックになりますが、GB10 では両者が同じメモリに直接アクセスします。このアーキテクチャにより、120B 規模のモデルも単一デバイス上で GPU 推論が可能です。

また小型デスクトップ筐体でありながら、一般的なサーバーラックを必要とせずオフィスへの設置が容易であることも特長です。

ソフトウェア環境

項目	内容
LLM サーバー	llama.cpp
モデル形式	GGUF（MXFP4 / BF16 等）
ネットワーク環境	完全オフライン（外部 API 不使用）

補足：上記の「完全オフライン」は、評価対象モデル（Nenoa が実際に搭載するローカルLLM）の推論環境を指します。一方、ベンチマークの定性評価（qual）のスコアリングには、評価作業時に外部の AI ジャッジ（Claude Sonnet 4.6）を使用しています。これは評価ツールであり、製品 Nenoa の動作には含まれません（後述「評価の前提」）。

llama.cpp

llama.cpp は CPU/GPU ハイブリッド推論に対応したオープンソースの推論エンジンです。GGUF フォーマットの量子化モデルを読み込み、OpenAI 互換 API としてリクエストを受け付けます。

評価条件

項目	条件
接続方式	シングルユーザー（1 名同時接続）での逐次実行
評価対象モデル数	13 モデル
モデルロード	各モデルを個別に llama.cpp へロードして実行

モデル選定の取り組み

評価の方針

モデル選定においては「品質」と「コストパフォーマンス」の両立を重視しました。単にスコアが高いモデルではなく、処理速度・安定性・タスク適性を総合的に判断できるよう、独自のベンチマーク基盤を用いて評価を実施しました。

評価対象モデル

オープンウェイトとして入手可能な代表的な13モデルを対象としました。量子化は llama.cpp の GGUF 形式を使用し、メモリ容量（128 GB）と品質のバランスから原則 4bit 級で統一しました（最小モデルの一部のみ例外）。

モデル	パラメータ規模	アーキテクチャ	量子化（ビット幅）
gpt-oss-120b	120B (活性5.1B)	MoE	MXFP4（約4bit）
Qwen3-Coder-Next	80B (活性3.0B)	MoE	Q4_K_M（約4bit）
Qwen3.5-122B-A10B	122B (活性10B)	MoE	Q4_K_M（約4bit）
Qwen3.5-35B-A3B	35B (活性3B)	MoE	Q4_K_M（約4bit）
Qwen3.6-35B-A3B	35B (活性3B)	MoE	UD-Q4_K_M（約4bit）
gpt-oss-20b	20B (活性3.6B)	MoE	MXFP4（約4bit）
NVIDIA-Nemotron-3-Super-120B-A12B	120B (活性12B)	MoE	UD-Q4_K_M（約4bit）
gemma-4-26B-A4B-it	26B (活性4B)	MoE	UD-Q4_K_M（約4bit）
gemma-4-E4B-it	4B	dense	UD-Q4_K_XL（約4bit）
Qwen3.5-9B	9B	dense	UD-Q4_K_XL（約4bit）
Qwen3-4B-Instruct	4B	dense	Q4_K_M（約4bit）
gemma-4-E2B-it	2B	dense	UD-Q2_K_XL（約2bit）
Qwen3.5-0.8B	0.8B	dense	Q4_K_M（約4bit）

量子化に関する注記

MXFP4：gpt-oss が標準採用する 4bit 浮動小数点形式。配布時点の量子化をそのまま使用しています。

Q4_K_M / Q4_K_XL / Q2_K_XL：llama.cpp の k-quant 形式。末尾の _M / _XL は同一ビット級内での粒度（混合精度の配分）を表します。

UD-：Unsloth Dynamic 量子化（レイヤーごとにビット幅を動的に最適化し、同等ビット級でも精度劣化を抑える手法）を示します。

比較の公平性のため原則 4bit 級で揃えていますが、gemma-4-E2B-it（2B）のみ約2bit（Q2_K_XL）です。同モデルは最小クラスであり、推奨候補からは外れるため比較結論には影響しません。

評価カテゴリとタスク数

実業務を想定した3カテゴリ、計51タスクで評価しました。

カテゴリ	タスク数	評価内容
コーディング	21	Javaプログラムの実装・テスト通過
ドキュメントレビュー	15	仕様書・コードへの指摘の網羅性と品質
文書要約	15	技術文書の要約精度と網羅性

各カテゴリのベンチマーク概要は以下のとおりです。

コーディング：詳細設計書をもとに、エージェントがツール（ファイル編集・ビルド・テスト実行）を用いて Java の業務アプリケーション（REST API など）を実装するタスクです。生成したコードを JUnit の統合テストで自動検証し、エンドポイント・計算ロジック・エラー処理・状態遷移などの正しさをテスト通過率で評価します。
ドキュメントレビュー：基本設計書などの業務文書をレビューし、意図的に埋め込まれた欠陥（誤字脱字・技術的な誤り・仕様の不整合・改善点）を Critical/Major/Minor の重要度付きで指摘するタスクです。期待される指摘をどれだけ拾えたか（検出網羅率）と指摘内容の質で評価します。
文書要約：日本語の技術文書を要約するタスクです。原文の必須項目を落とさず簡潔にまとめられているか（網羅率）と、要約文そのものの品質で評価します。

詳細なベンチマーク内容については別途記事を作成予定です。

スコア算出方法

スコアは以下の観点を組み合わせて算出しました（5点満点換算）。

gate：出力形式・ビルド成功など最低要件を満たすかどうか（0 または 1。通過しなければ0点）
pass_rate（定量）：テスト通過率や指摘の網羅率（0〜1、重み：62.5%）
qual（定性）：AIジャッジによる生成物の品質評価を 0〜1 に正規化した値（重み：37.5%。生スコアは0〜5）

スコア（5点満点） = gate × (pass_rate × 0.625 + qual × 0.375) × 5

括弧内（pass_rate と qual の加重和）は 0〜1 の範囲のため、末尾の × 5 で 5 点満点に換算します。コーディングタスクのみ、上式の結果にさらに decay_factor（ターン効率ペナルティ、0〜1）を乗算します。これは解決までのターン数が多いほど 1 から逓減する係数で、冗長な試行を減点します（コーディング上位帯のスコア上限はこの係数で規定されるため、コーディングの僅差順位はこの係数の影響を受けます）。

評価の前提

各タスクは1試行（N=1）の単発実行です。反復実行による平均化を行っていないため、各スコアは点推定であり信頼区間を伴いません。僅差のスコア（コーディング上位の2.52〜2.74、要約上位の4.16〜4.40など）は順位の優劣ではなく同等帯として解釈してください。

定性評価（qual）は外部の Claude Sonnet 4.6 を AI ジャッジに用いたブラインド採点です（評価作業時のスコアリングツールで、製品の完全オフライン推論環境とは分離）。ジャッジ（Claude）は評価対象13モデル（Qwen・gpt-oss・gemma・Nemotron 系）のいずれとも別系統のため、同系統モデルを優遇する自己選好バイアスは生じにくい構成です（LLM ジャッジ一般の文体選好等のバイアスは残りえます）。なお qual は上位モデル間でほぼ横並びのため、最終順位は主に pass_rate（網羅率）と gate 通過で決まります。採点ルーブリックや人手評価との一致度は別途記事で扱う予定です。

スタンダードモデル適性スコア（最適モデルの選定指標）

前項までのスコアは各タスクでの生成物の良し悪しを測るものです。しかし本記事の目的は「Nenoa のスタンダードモデル（Dell Pro Max GB10）に最適な LLM を選ぶ」ことであり、タスク評価だけでは決められません。

GB10 は1台（メモリ128GB）で LLM に加えて AI チャットサーバーや WEB IDE をホスティングし、複数人での同時利用も想定します。そのためモデルがメモリを占有しすぎないこと・推論スループットが十分高いことが選定要件になります。そこで、各カテゴリの評価にこの2要件を係数として乗じた スタンダードモデル適性スコア をカテゴリごとに算出し、各タスクで GB10 に最適なモデルを特定します。

スタンダードモデル適性スコア（カテゴリ） = カテゴリ評価（/5）× メモリ係数 × スループット係数

  メモリ係数      = 1 − 0.5 × (footprint / 128GB)
  スループット係数 = 最速モデルの総処理時間 / 当該モデルの総処理時間

メモリ係数：モデルが占有するメモリ（footprint）が GB10 の 128GB に占める割合で減衰。大型モデルほどメモリを消費し、他アプリ・複数人利用に回せる余裕が減るため不利になります（係数 0.5 は LLM 以外が全メモリを必要とするわけではないことを反映し、全占有でも 0.5 を保持）。なお footprint は GiB 実測値、128GB は GB10 の公称メモリ容量（decimal GB、≈119.2 GiB）で、本記事ではこの差（約7%）を区別せず 128 をそのまま分母に用いています。全モデルに対して均等にメモリ係数をわずかに甘く見積もる方向のズレであり、モデル間の相対順位には影響しません。
スループット係数：51タスクの総処理時間が遅いほど減衰（最速モデル=1.0）。

メモリ係数（footprint）とスループット係数（処理速度）は、いずれもモデル固有のコスト指標として全カテゴリ共通に適用します。したがって、カテゴリ間で変動するのは評価（品質）部分のみです。3カテゴリを平均せずカテゴリ別に算出することで、特定タスクに尖ったモデルと全カテゴリで安定するモデルを区別できます。

速度の代理指標について：本来はスループット係数もカテゴリ別（各タスクのデコード速度）で算出するのが理想ですが、カテゴリ別のデコードスループット（Raw TPS）はドキュメントレビューで実測値が揃わないため、本記事では**モデル全体の総処理時間（全51タスク）**を速度の代理指標とし全カテゴリに共通適用しています。総処理時間が遅いモデルは概ねどのカテゴリでも遅いため大勢に影響はありませんが、カテゴリ固有の速度差は反映されない点に留意してください。

各モデルの実測値とカテゴリ別ランキングは「コストパフォーマンス分析」で示します。

評価結果

タスク別スコア概要

各カテゴリで実施しているチェック内容は次のとおりです。各タスクはまず gate（最低要件のチェック）を通過する必要があり、通過しなければそのタスクは生成物の中身によらず0点になります（スコア算出式は前掲「スコア算出方法」を参照）。

コーディング：生成したコードがビルド（コンパイル）に成功し、JUnit の統合テストを通過するかを自動検証します。gate はビルド成功・実行可能な形式での完結、スコア本体は JUnit のテスト通過率です。
ドキュメントレビュー：指定フォーマットでの出力（gate）を満たしたうえで、文書に埋め込まれた欠陥を重要度（Critical / Major / Minor）付きでどれだけ検出できたか（指摘の網羅率）を評価します。
文書要約：原文の必須項目を落とさず簡潔にまとめられているか（網羅率）と、要約文そのものの品質を評価します（gate は全モデルが通過）。

コーディング（coding-java）

コーディングはモデルの規模が最も直接的に性能に影響するタスクです。20B以上のモデルが実用ラインとなります。

順位	モデル	スコア（/5）	特徴
1	gpt-oss-120b	2.74	gate安定・難タスク通過率最高
2	gpt-oss-20b	2.71	20Bながら効率・完遂率で120B級スコア（難タスクの正答力は劣る、後述）
3	Qwen3.5-122B-A10B	2.69	gate通過率最高（FAIL 1件のみ）
3	Qwen3.5-35B-A3B	2.69	活性3Bで大型モデルと同等の効率
5	Qwen3.6-35B-A3B	2.52	35B世代更新版
—	Qwen3.5-0.8B	0.00	全タスク暴走・実用不可
—	gemma-4-E2B-it	0.00	全タスク失敗・実用不可

注目点：NVIDIA-Nemotron-120Bはコーディングの品質評価（qual）が全モデル中最高（4.42/5）でありながら、gateを通過できない割合が高く、最終スコアは1.72に留まります。「コードの品質は高いが、決まった形式で完結させる能力」が不足している典型例です。

補足：「gate通過率」とは — gate はタスク1件ごとの二値判定です。出力形式・ビルド成功などの最低要件を満たせばそのタスクは「通過」、満たさなければ「未通過（0点）」となります。「gate通過率」は、そのカテゴリの全タスクのうち gate を通過したタスクの割合を指します。たとえばコーディング21タスクのうち5タスクが未通過なら、gate通過率は 16/21 ≈ 76% です（表中の「FAIL 1件」は、21タスク中の未通過が1件＝通過率 20/21 ≈ 95% を意味します）。未通過タスクはスコア0点としてカテゴリ平均に算入されるため、個々の生成物の品質が高くても形式を守れないモデルは最終スコアが大きく下がります（NVIDIA-Nemotron-120B がその典型）。

ドキュメントレビュー（doc-review）

モデルの規模よりも「出力フォーマットへの忠実度」がスコアを左右するタスクです。

順位	モデル	スコア（/5）	特徴
1	Qwen3-Coder-Next	3.45	gate FAIL ゼロ・指摘網羅率が最も安定
2	NVIDIA-Nemotron-120B	3.06	品質高。15タスク中13で集計（2タスク欠測, N=13）※
3	Qwen3.6-35B-A3B	3.01	レビューでの品質評価（qual）最高クラス（4.52/5）
4	gpt-oss-120b	2.96	上位帯で安定
—	gpt-oss-20b	1.83	コーディングは高得点なのにレビューは上位モデル中で最下位
—	Qwen3-4B-Instruct	0.34	出力形式違反で大半が失格（網羅率も低め、全モデル中最下位）

注目点：gpt-oss-20bはコーディングで高スコアを出す一方、このカテゴリでは上位モデル（表中5モデル）の中で最下位。タスクの種類によってモデルの適性が大きく異なることを示しています。

※ NVIDIA-Nemotron-120B の欠測について：同モデルのみ、ジャッジ呼び出し失敗等により15タスク中13タスクでの集計（N=13）です。他モデルは N=15。2位（3.06）と3位 Qwen3.6-35B-A3B（3.01）の差は0.05と小さく、欠測2件の内容次第で順位が前後しうる点に留意してください。

補記： 本カテゴリのスコアは、埋め込まれた欠陥をどれだけ拾えたかという指摘の網羅率で主に決まります。ただし指摘は重要度（Critical/Major/Minor）のレベルも一致している必要があります。Qwen3-Coder-Next は重要度も含め、埋め込まれた誤りを検出する能力が高かったと言えます。一方、指摘文そのものの品質評価では新世代の Qwen3.6-35B-A3B が最高クラスですが、スコアは網羅率で決まるため順位には直結しません（採点方式の留意点は後述）。

なお、Qwen3-Coder-Next がなぜドキュメントの誤りを高い網羅率で検出できたのか、その要因（モデル特性によるものか、特定タスクの捕捉しやすさやスコアリング設計の影響か）は現時点で未解明です。本カテゴリ単独の順位は暫定的な結果と位置づけ、要因の分析は別途記事で扱う予定です。

文書要約（doc-summary）

全モデルがgateを通過し、スコアの差は品質と網羅率のみで決まります。上位9モデルが4.16〜4.40に密集しており、実用上の差は小さいカテゴリです。

順位	モデル	スコア（/5）	特徴
1	gemma-4-E4B-it	4.40	4Bの小型モデルが大型を凌駕
2	Qwen3-Coder-Next	4.39	コーダー系モデルだが日本語要約も堅牢
3	Qwen3-4B-Instruct	4.30	要約に特化した安定性
9	NVIDIA-Nemotron-120B	4.16	120Bだが上位帯（4.16〜4.40）の下端に留まる
12	gemma-4-E2B-it	3.65	小型の限界
13	Qwen3.5-0.8B	3.39	小型下限モデル。doc-summaryも全モデル中最下位（doc-reviewの最下位はQwen3-4B-Instruct 0.34）

要約スコアの解釈には注意が必要：文書要約では 4〜9B 規模でスコアが頭打ちになり、gemma-4-E4B-it（4B）が120B超のモデルを上回っています。ただしこれはベンチマーク設計上の難易度の低さによる面が大きく、小型モデルの要約能力が大型に匹敵することを示すものではありません。「要約は小型モデルで十分」と結論づけるのは早計です（理由と改善予定は後述「ベンチマーク設計上の限界と今後の改善」）。

補記： 上位9モデルは4.16〜4.40に密集しており、この差は実用上は誤差レベルです。

図1　カテゴリ別スコア一覧（全13モデル、5点満点）

カテゴリ横断の総合評価

全3カテゴリを横断して安定して高いパフォーマンスを発揮するモデルの比較です。

モデル	コーディング	レビュー	要約	評価
gpt-oss-120b	2.74 ★	2.96 ★	4.26 ★	全カテゴリ★（low帯なし）で最も安定
Qwen3-Coder-Next	2.21	3.45 ★	4.39 ★	文書系に突出（レビュー首位・要約2位）。コーディングは中位
Qwen3.6-35B-A3B	2.52 ★	3.01 ★	4.11	コーディング・レビューはhigh帯、要約はhigh帯僅差（後述の適性スコアでは全カテゴリ上位）
gpt-oss-20b	2.71 ★	1.83 ✗	4.19 ★	レビューのみ不適
NVIDIA-Nemotron-120B	1.72	3.06 ★	4.16 ★	コーディングで大きく失点

★ = high帯　✗ = low帯

補記： 能力差が明確に出るコーディングでは、新世代の Qwen3.6-35B-A3B（2.52）が旧 Qwen3-Coder-Next（2.21）を上回ります。各カテゴリの強み・弱みは上表のとおりで、これらを統合した最終的な選定指標（スタンダードモデル適性スコア）は「コストパフォーマンス分析」で扱います。

図2　主要モデルのカテゴリ横断スコア比較（破線：コーディング実用ライン、スコア2.0）

考察 — モデルサイズと性能の関係

評価からモデルサイズと性能の関係性について考察結果を示します。

コーディングはサイズが直接効く　20B未満のモデルは実用水準に達しません。
文書要約はサイズが伸びを止める　4〜9B規模で品質が飽和します。巨大モデルへの投資が文書要約の改善に直結しません。ただしこれはベンチマーク設計上の難易度の低さによる面があり、設計を改めると傾向が変わる可能性があります（後述「ベンチマーク設計上の限界と今後の改善」）。
用途別の適性が重要　どのタスクでも高スコアを出すモデルは限られています。全3カテゴリで上位帯（high帯）に入るのは gpt-oss-120b のみですが、単一実行のため Qwen3.6-35B-A3B との品質差は誤差水準であり、この「全カテゴリ上位」が実用上の優位に直結するわけではありません。

難易度層別の傾向

全51タスクには Easy（13件）・Medium（22件）・Hard（16件）の難易度ラベルが付与されています。難易度層ごとの平均スコア（5点満点・3カテゴリ横断）を見ると、難タスクほど大型モデルが相対的に強く、小型モデルは大きく落ち込む傾向が明確です。

注記：以降、本節および「スループット計測結果」「コストパフォーマンス分析」の表は Qwen3.5-0.8B・gemma-4-E2B-it・Qwen3-4B-Instruct の3モデルを除いた実用候補10モデルを対象とします。3モデルはいずれも小型クラスで、coding-java での全滅（Qwen3.5-0.8B・gemma-4-E2B-it、前掲「コーディング」参照）またはコーディング・レビュー両カテゴリでの著しい低スコア（Qwen3-4B-Instruct）により推奨候補から外れるため、処理速度・GPUリソース分析の対象からも除外しています。したがって以降の表・文中の「全モデル」は原則この10モデルを指します。

モデル	Easy	Medium	Hard
Qwen3.5-122B-A10B	3.15	3.19	3.18
Qwen3-Coder-Next	3.57	3.06	3.15
gpt-oss-120b	3.55	3.19	3.09
Qwen3.6-35B-A3B	3.43	3.04	3.01
Qwen3.5-35B-A3B	3.41	3.25	2.74
gemma-4-26B-A4B-it	3.18	2.74	2.92
gpt-oss-20b	3.09	2.92	2.67
gemma-4-E4B-it	3.11	2.63	2.82
NVIDIA-Nemotron-120B	2.96	3.03	2.46
Qwen3.5-9B	2.66	2.82	2.26

Hard タスクの上位は大型モデル：Qwen3.5-122B-A10B（3.18）・Qwen3-Coder-Next（3.15）・gpt-oss-120b（3.09）が並びます。総パラメータが大きいモデルほど、難問でスコアを維持できています。
gpt-oss-20b は難易度上昇で明確に低下します（Easy 3.09 → Hard 2.67）。コーディングの高スコア（評価結果の冒頭）は、易〜中タスクを少ないターンで確実に完遂する効率・安定性によるもので、難タスクの正答力ではありません（コーディング難タスクに限ると、テスト通過率は gpt-oss-120b・Qwen3.6-35B-A3B を下回ります）。小型の gemma-4-E4B-it・Qwen3.5-9B も同様に Hard で落ちます。
標準推奨の Qwen3.6-35B-A3B も Hard では 3.01 と大型に一歩譲ります。日常的な実装・レビュー・要約には十分です。なお、コストを無視して難易度の高いコーディングをさせる場合は、大型モデルが優位になります。

補記：品質（raw評価）だけで見ればパラメータ数の大きいモデルが優れる。 難タスクの raw スコア上位は Qwen3.5-122B-A10B・Qwen3-Coder-Next・gpt-oss-120b といった大型モデルが占めます。本記事の推奨はメモリ・速度を加味したスタンダードモデル適性スコアに基づくため小型の Qwen3.6 等を推していますが、メモリ・速度を度外視して純粋な品質（特に難タスクの正答力）だけを求めるなら、パラメータ数の大きいモデルほど有利です。

留意：難易度ラベルは本ベンチマークの設定値で、各タスク1試行（N=1）の点推定です。Hard はサンプルが少なくスコアの振れも大きいため、傾向の把握に留めてください。

スループット計測結果（TPS・TTFT）

ベンチマーク実行時のメタデータ（openai-stream プロバイダ経由で計測）からスループット（TPS: トークン/秒）と初回応答時間（TTFT: 初回トークンまでの時間）を取得しました。値はターン単位の中央値です。

スループット（Raw TPS）

成功タスクにおける実測デコード速度（Raw TPS、単位: トークン/秒）です。コーディングと文書要約を代表値として示します。

モデル	コーディング	要約
gpt-oss-20b	112.5	78.3
gpt-oss-120b	81.7	48.9
Qwen3-Coder-Next	68.3	54.1
Qwen3.5-35B-A3B	65.6	60.4
Qwen3.6-35B-A3B	63.9	60.1
gemma-4-E4B-it	61.7	53.5
gemma-4-26B-A4B-it	52.9	44.1
Qwen3.5-9B	39.0	33.6
Qwen3.5-122B-A10B	22.8	20.8
NVIDIA-Nemotron-120B	16.9	16.5

図3　各モデルのデコードスループット（Raw TPS）比較

初回応答時間（TTFT）

TTFT は入力プロンプトの長さ（推論時に処理するトークン数）とモデルの処理速度で決まります。コーディングはエージェントが短いターンを繰り返す形式のため1ターンあたりの入力が小さく、TTFT 中央値はいずれのモデルも 0.3〜1.0秒 に収まります。一方、ドキュメントレビュー・文書要約は数千〜1万トークン規模の文書を一括で読み込んで推論するため、TTFT は 数秒規模 に達し、処理速度の遅い大型モデルほど大きくなります（最も遅い NVIDIA-Nemotron-120B はレビュー約22.8秒・要約約21.7秒）。

モデル	コーディング	レビュー	要約
gpt-oss-20b	0.6	3.1	3.2
gpt-oss-120b	1.0	7.9	8.1
Qwen3-Coder-Next	0.5	9.7	8.4
Qwen3.5-35B-A3B	0.4	5.1	4.0
Qwen3.6-35B-A3B	0.4	5.0	3.9
gemma-4-E4B-it	0.3	2.5	1.9
gemma-4-26B-A4B-it	0.7	4.3	3.3
Qwen3.5-9B	0.5	4.2	3.2
Qwen3.5-122B-A10B	0.8	14.8	11.6
NVIDIA-Nemotron-120B	1.0	22.8	21.7

TTFT 中央値（秒）。per-turn 集計のため、長文を一括入力するレビュー・要約では推論時間が支配的になります。

図4　モデル別 TTFT 中央値（カテゴリ別、縦軸は対数）

推奨モデル（Qwen3.6-35B-A3B・gpt-oss-20b）のコーディング初動はいずれも1秒以内で、対話的なコーディング支援に十分な応答性です。文書タスクでは長文の推論処理により数秒の初動待ちが生じますが、これは出力が始まるまでの一度きりの待機であり、一括処理が前提の要約用途では許容範囲です。一方、Qwen3.5-122B-A10B・NVIDIA-Nemotron-120B はレビューでも初動に10秒以上を要し、対話的な使い方には不向きです。

主な知見：

推奨モデルは十分なスループットを確保。 Qwen3.6-35B-A3B・gpt-oss-20b はコーディングで60〜120 トークン/秒台を達成しており、快適な応答速度が期待できます。
NVIDIA-Nemotron-120Bは速度面でも最下位。 コーディング Raw TPS が 16.9 トークン/秒にとどまり、スコアの低さとあわせてコストパフォーマンスが全モデル中最も不利です。
Qwen3.5-122B-A10Bはスコアは高いがスループット不足。 コーディング Raw TPS 22.8 トークン/秒はQwen3.5-35B-A3Bと比較すると約3分の1となっており、スコアと速度のバランスが課題です。

スコアの解釈と留意点

スコアは「指摘・テストの網羅率」と「gate（出力形式・ビルド成功などの最低要件）通過」で主に決まります。生成物の品質評価（qual）は上位モデルでほぼ横並びのため、順位は品質よりも網羅率・形式遵守を反映します。解釈上の留意点は次のとおりです。

ドキュメントレビューの gate は形式遵守を要求する。 指定フォーマットを守れないと減点されます。妥当な評価軸ですが、判定が二値のため表記ゆれにも厳しめです。
文書要約の上位帯（4.16〜4.40）の差は誤差レベルで、このカテゴリ単独でのモデル選定差はほぼ無視できます。

ベンチマーク設計上の限界と今後の改善

本記事のスコアは、タスク設計に起因する以下の限界を含みます。いずれも難易度が本来より低く見積もられている方向の偏りであり、設計を見直したうえで再計測するとモデル間の順位が入れ替わる可能性があります。継続的に設計を改善し、再ベンチマークの結果を今後の記事で報告する予定です。

文書要約は、モデルに有利な情報を与えすぎている。 現行タスクは、要約のフォーマットに加えて「含めるべきキーワード」までコンテキストで提示しています。これは要約の骨子をあらかじめ渡しているに近く、モデルは自力で要点を抽出せずとも高スコアを取りやすくなります。小型モデルが大型モデルを上回り、上位が4.16〜4.40の僅差に密集したのは、この設計による難易度の低さが大きく寄与していると考えられます。コンテキストからキーワードを外し、純粋な要点抽出能力を測る方式への改善余地があります（前掲「サイズが伸びを止める」という考察も、この前提のもとでの傾向として解釈してください）。
コーディングは、設計能力ではなく「実装→ビルド→修正」ループの遂行能力を測っている。 現行タスクは詳細設計書レベルのコンテキスト（クラス一覧を含む）を与えた状態で実装させるため、要件から構造を起こす設計能力は評価対象に入っていません。実質的に、与えられた設計に沿ってコードを書き、ビルド・テストの失敗を修正しきれるかを測るベンチマークです。gpt-oss-20b が効率・完遂率で高スコアを得たのはこのループ遂行能力の高さを示すもので、要件のみからの設計力を保証するものではありません。要件だけを渡して設計から実装させる方式への改善余地があります。

設計難度の高いタスク（要件定義・基本設計等）に最適なモデルの評価は、上記の改善とあわせて別途実施し、記事化する予定です。

コストパフォーマンス分析

スコアが高いだけでは最適なモデルとは言えません。本章では処理速度・GPUリソース消費（メモリ・電力）を加味した「コストパフォーマンス」の観点から最適モデルを特定します。

処理速度（総実行時間）

全51タスク（コーディング21件・レビュー15件・要約15件）を1モデルで処理したときの総実行時間です。この値が、スタンダードモデル適性スコアのスループット係数の基になります。

モデル	総実行時間（分）	速度
gpt-oss-20b	113.5	最速
Qwen3.6-35B-A3B	116.4	上位帯で最速
gemma-4-E4B-it	138.8	速い
Qwen3-Coder-Next	144.6	中位
Qwen3.5-35B-A3B	146.5	中位
gemma-4-26B-A4B-it	159.8	中位
gpt-oss-120b	170.5	やや遅い
Qwen3.5-122B-A10B	228.7	最遅級
Qwen3.5-9B	300.0	最遅級
NVIDIA-Nemotron-120B	310.5	最遅

注目：NVIDIA-Nemotron-120B は全モデル中最も遅く（310.5分）、gpt-oss-120b とほぼ同規模ながらコーディングでのgate未通過が処理を長引かせています。大型の Qwen3.5-122B-A10B（228.7分）・Qwen3.5-9B（300.0分）も最遅級で、スループット係数で大きく減点されます。

GPUリソース（メモリ・電力）

footprint（モデル重み＋KVキャッシュの実測値）と消費電力 p95（ベンチマーク実行区間の電力の95パーセンタイル）を計測しました。メモリ使用量は各モデル3カテゴリの平均値、消費電力 p95 は3カテゴリ中の最大値（電力負荷が最も高い要約時の p95 に相当）です。メモリ使用量が、スタンダードモデル適性スコアのメモリ係数の基になります。

モデル	メモリ使用量（GiB）	消費電力 p95（W・ピーク）
gemma-4-E4B-it	6.7	82
gpt-oss-20b	14.8	81
Qwen3.5-9B	15.5	85
Qwen3.6-35B-A3B	27.7	82
Qwen3.5-35B-A3B	28.0	83
gemma-4-26B-A4B-it	29.0	80
Qwen3-Coder-Next	54.7	79
gpt-oss-120b	63.6	76
Qwen3.5-122B-A10B	82.7	82
NVIDIA-Nemotron-120B	85.1	76

メモリ使用量・消費電力の傾向

メモリ使用量はモデルサイズで決まり、モデル間の開きが大きい。 footprint は 6.7〜85.1 GiB と十数倍の幅があります。大型の Qwen3.5-122B-A10B（82.7 GiB）・NVIDIA-Nemotron-120B（85.1 GiB）は GB10 の128GBの6〜7割を占有し、AIチャット・IDE・複数人利用に回せる余裕を圧迫します。一方 Qwen3.6-35B-A3B（27.7 GiB）は約2割の占有に収まり、余裕を多く残せます。この差がメモリ係数に直結します。

消費電力はモデルサイズによらずほぼ一定。 ピーク電力は全モデルで 76〜85W という極めて狭いレンジに収まっており、6.7 GiB の小型モデル（gemma-4-E4B-it）から 85 GiB の大型モデル（NVIDIA-Nemotron-120B）まで電力差はわずか9Wに留まります。GB10のユニファイドメモリアーキテクチャでは、メモリ帯域幅が律速となるため、モデルサイズによらず電力が概ね一定の上限に張り付くものと考えられます。

示唆：電力はモデル間でほぼ差がないため、スタンダードモデル適性スコアの係数には含めていません。一方メモリ使用量はモデルごとに大きく異なり、占有が小さいほど複数人利用・他アプリのための余裕が大きくなるため、メモリ係数として評価に反映します。

カテゴリ別のGPUリソース挙動

前項の分析を3つのタスクカテゴリ（コーディング・レビュー・要約）に分解すると、消費電力とメモリ使用量が異なる要因に支配されていることが明確になります。

カテゴリ	消費電力 p95 平均（レンジ）	メモリ使用量平均	throttle発生
コーディング	53W（41〜79W）	39 GiB	1件（1/10モデル）
レビュー	68W（49〜81W）	42 GiB	2件（1/10モデル）
要約	81W（76〜85W）	41 GiB	86件（8/10モデル）

図5　タスクカテゴリ別の消費電力・メモリ使用量の推移（C=1、赤線：推奨モデル、黒破線：全モデル平均）

消費電力はタスク種別で決まる

消費電力はモデルではなくタスクカテゴリによって段階的に上昇します。全モデル平均でコーディング 53W → レビュー 68W → 要約 81W と推移し、最も負荷の高い文書要約では全モデルが 76〜85W という狭いレンジに収束します（図5左）。要約は長文の入力処理による推論と長い出力生成が続くため、GB10の電力上限近くで張り付くのに対し、コーディングはツール実行・ビルド・判定の待ち時間が挟まり平均電力が下がります。

メモリ使用量はモデルサイズで決まる

一方メモリ使用量は、カテゴリが変わってもほぼ一定です（図5右の水平な帯）。KVキャッシュはコンテキスト長に応じて数GiB増減するものの、footprintの大半はモデル重みが占めるため、メモリ使用量は事実上モデル固有量です。容量設計（収容可能なモデルサイズ）はタスク種別に依存しません。

示唆：消費電力・発熱の観点では、文書要約が最も過酷なワークロードです。

スタンダードモデル適性スコアによる最適モデルの決定

前掲「スタンダードモデル適性スコア（最適モデルの選定指標）」で定義した スタンダードモデル適性スコア を、各カテゴリの評価にメモリ係数・スループット係数を乗じてカテゴリごとに算出します。

スタンダードモデル適性スコア（カテゴリ） = カテゴリ評価 × メモリ係数 × スループット係数
  メモリ係数      = 1 − 0.5 × (footprint / 128GB)
  スループット係数 = 最速モデルの総処理時間 / 当該モデルの総処理時間

電力は全モデルほぼ一定で弁別力がないため、係数には含めていません。メモリ係数・スループット係数はモデル固有のコスト指標（全カテゴリ共通）で、カテゴリ間で変動するのは評価部分のみです。スループット係数はカテゴリ別のデコード速度ではなくモデル全体の総処理時間に基づく代理指標です（理由は前掲「スタンダードモデル適性スコア（最適モデルの選定指標）」。カテゴリ固有の速度差は反映されません）。

カテゴリ別ランキング

各カテゴリで適性スコア上位のモデルを示します（★ = 推奨モデル）。

順位	コーディング適性	レビュー適性	要約適性
1	gpt-oss-20b 2.55 ★	Qwen3.6-35B-A3B 2.62 ★	gpt-oss-20b 3.95 ★
2	Qwen3.6-35B-A3B 2.19 ★	Qwen3-Coder-Next 2.13	Qwen3.6-35B-A3B 3.57 ★
3	Qwen3.5-35B-A3B 1.86	gemma-4-E4B-it 2.10	gemma-4-E4B-it 3.50
4	gemma-4-E4B-it 1.43	Qwen3.5-35B-A3B 1.94	Qwen3.5-35B-A3B 2.81
5	gemma-4-26B-A4B-it 1.39	gpt-oss-20b 1.72	Qwen3-Coder-Next 2.71
…	gpt-oss-120b 1.37 / Qwen3-Coder-Next 1.36	gpt-oss-120b 1.48	gemma-4-26B-A4B-it 2.70 / gpt-oss-120b 2.13

図6　カテゴリ別スタンダードモデル適性スコア（カテゴリ評価 × メモリ係数 × スループット係数、赤：推奨モデル）

結論：標準推奨は Qwen3.6-35B-A3B

カテゴリ別に見ると、各タスクで GB10 に最適なモデルは次のとおりです。

コーディング・要約：gpt-oss-20b（両カテゴリで1位）。最小（14.8 GiB）・最速で係数の失点がほぼなく、コーディング適性2.55で突出します。要約適性も1位（3.95）ですが、要約は各モデルの品質が横並び（前掲「スコアの解釈と留意点」）のため、これは品質ではなく最小・最速による差です。ただしレビュー適性は低く（1.72、レビュー評価1.83）、汎用には不向きです。
レビュー：Qwen3.6-35B-A3B（1位、2.62）。レビュー評価3.01は最高ではない（raw首位は Qwen3-Coder-Next 3.45）ものの、Coder-Next のメモリ54.7 GiB・144.6分のコストが重く、コスト調整後は Qwen3.6 がレビュー適性で逆転します。
総合・標準推奨：Qwen3.6-35B-A3B。レビュー1位・コーディング2位・要約2位と、全3カテゴリで適性スコア上位（1〜2位）に入る唯一のモデルであり、用途を限定しない標準採用に最も適します。

注目すべきは、raw 評価が高いモデルもコストを掛けると順位を落とす点です。レビュー raw 首位・要約 raw 2位の Qwen3-Coder-Next はメモリ・速度のコストにより、レビュー適性で Qwen3.6 に、要約適性で gpt-oss-20b・Qwen3.6 に及ばず、どのカテゴリでも1位になれません。大型・低速の gpt-oss-120b・Qwen3.5-122B-A10B・NVIDIA-Nemotron-120B も、メモリ占有と処理時間のコストにより適性スコアが下位になります。「各タスクの評価が高い＝Nenoa の標準構成に最適」ではないことが定量的に示されました（GB10 自体は120B規模も動作しますが、AIチャット・IDE・複数人利用と共存させる Nenoa の運用では効率が重視されます）。

推奨事項とまとめ

用途別推奨モデル

カテゴリ別のスタンダードモデル適性スコア（前章参照）で評価した結果、各タスクで GB10 に最適なモデルは以下のとおりです。用途を限定しない標準採用には、全3カテゴリで適性スコア上位（1〜2位）に入る唯一のモデル Qwen3.6-35B-A3B を推奨します。

主な用途	推奨モデル	カテゴリ別適性スコア（順位）	メモリ使用量	特徴
総合（標準推奨）・文書レビュー	Qwen3.6-35B-A3B	レビュー1位(2.62)／コーディング2位(2.19)／要約2位(3.57)	27.7 GiB	全カテゴリで適性上位の唯一のモデル。最小級メモリ・最速級
コーディング・文書要約特化	gpt-oss-20b	コーディング1位(2.55)／要約1位(3.95)	14.8 GiB	最小・最速で両適性1位（要約は各モデルの品質差が小さく、最小・最速ゆえの選択）。レビューは不向き（適性1.72）

本評価のポイントまとめ

各タスクの評価が高い＝Nenoa の標準構成に最適、ではない。Nenoa は1台の GB10 で AI チャット・WEB IDE・複数人利用を同時にホストするため、評価（品質）に加えメモリ占有率と処理速度を織り込んだスタンダードモデル適性スコアで選定します。この指標では、レビュー raw 首位の Qwen3-Coder-Next や大型の gpt-oss-120b・Qwen3.5-122B-A10B・NVIDIA-Nemotron-120B は、メモリ占有と処理時間のコストにより適性スコアが上位に届きません（GB10 自体は120B規模も動作可能ですが、他サービスと共存させる前提では効率が優先されます）。
標準推奨は Qwen3.6-35B-A3B。レビュー適性1位・コーディング2位・要約2位と、全3カテゴリで適性上位に入る唯一のモデルです。最小級メモリ（27.7 GiB）と最速級の処理時間により、単一筐体で AI チャット・IDE・複数人利用を同時に抱える Nenoa の要件に最も適合します。
タスクを絞るなら gpt-oss-20b。最小・最速ゆえコーディング・要約の適性スコアで1位。ただし文書レビューは不向きです。

本評価の注意事項

評価スコープはテキスト処理のみ。本ベンチマークはコーディング・ドキュメントレビュー・文書要約に限定しており、画像入力・音声入力等のマルチモーダル機能は対象外です（今後の号で評価予定）。マルチモーダルが要件となる場合は別途モデルの選定が必要です。
各タスクは1試行（N=1）の点推定。反復実行による平均化を行っていないため、僅差のスコアは順位ではなく同等帯として解釈してください（前掲「評価の前提」）。
定性評価は外部のAIジャッジ（Claude Sonnet 4.6）による自動採点。ジャッジは評価対象モデルのいずれとも別系統のため同系統の自己選好バイアスは生じにくく、また最終順位は主に網羅率（pass_rate）とgate通過で決まるため、ジャッジの影響は限定的です（前掲「評価の前提」）。なおジャッジは評価作業時のツールで、製品の完全オフライン推論環境とは分離されています。
計測は単一ユーザー（C=1）のみ。同時接続時のスループットは本号では未評価です。推奨における同時利用への言及はメモリ余裕に基づく拡張余地であり、同時利用性能の実測ではありません。
ベンチマーク設計に難易度上の限界がある。文書要約・コーディングともにコンテキストで多くの情報を与えているため難易度が低めで、要約の要点抽出力・要件からの設計力までは測れていません。設計を見直して再計測するとモデル間の順位が変わる可能性があり、継続改善の結果を今後の記事で報告します（詳細は前掲「ベンチマーク設計上の限界と今後の改善」）。